Les robots et leur inscription

[Bid0uille]

Bonjour,

Petite question sur le fond, quelle est l'incidence d'enregistrer un robot dans l'ACP ?

Depuis quelques mois, nous avons beaucoup de visites de Bytedance / Bytespider (le bot de Tik-Tok).
Il génère jusqu'à 600 connexions d'invités et sature nos forums.

Comment phpBB traite t-il ces robots par rapport à un utilisateur lambda ?

Merci

[varchar]

Vous pouvez ajouter ce qui suit dans le fichier .htaccess après RewriteEngine on :

Code : Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule ^.*$ - [F,L]

Explication :
F -->

• L’utilisation de l’indicateur [F] fait que le serveur renvoie un code d’état 403 Forbidden au client.

L -->

• L’indicateur [L] mod_rewrite entraîne l’arrêt du traitement de l’ensemble de règles. Dans la plupart des contextes, cela signifie que si la règle correspond, aucune autre règle ne sera traitée.

Source => https://www.phpbb.de/community/viewtopi ... 3#p1424893

[Bid0uille]

Merci mais ce n'est pas ma question.
Nous n'avons pas la main sur le serveur pour ajouter une règle .htaccess

Par exemple, la navigation d'un robot par rapport à un utilisateur génère t-il moins de requêtes en base ?

[Sylveretour]

Bonjour,

Je te conseille d'enregistrer les robots avec leur user-agent, ainsi, ils sont obligés de respecter les permissions robots et cela évite qu'ils ne fassent des dizaines de sessions anonymes.

[varchar]

Qu'est-ce que cela peut bien vous apporter de savoir si oui ou non ils génèrent plus ou moins de requête de base qu'un simple utilisateur?

Les robots, Bytedance et Bytespider sont à bloquer le plus rapidement possible si vous avez suit une attaque récente.

Raisons principales :

• Ils ne respectent pas les règles du robots.txt.
• Ils utilisent des services d'hébergement bien connus pour contourner les canaux ou méthodes de blocage normaux. Par exemple, ils utilisent les services AmazonAWS pour explorer des sites Web et masquer (ou rediriger) leurs adresses IP d'origine. Détails : https://prnt.sc/7Zst7eUZaxZ3
• Leurs taux de crawl sont extrêmement élevés.
• Généralement, la géolocalisation des adresses IP d'origine des bots est la Chine. Lors du blocage des agents utilisateurs des bots, la géolocalisation des adresses IP d'origine change pour Singapour (un autre refuge pour les bots malveillants).

Un peu de lecture datant de 2020 si vous voulez approfondir le sujet => https://www.phpbb.com/community/viewtop ... #p15489551

[Bid0uille]

Je te conseille d'enregistrer les robots avec leur user-agent

Comme l'explique varchar, ce robot ne respecte pas la norme et ne renvoie pas cette chaîne.

Qu'est-ce que cela peut bien vous apporter de savoir si oui ou non ils génèrent plus ou moins de requête de base qu'un simple utilisateur?

Si déclaré en robot, il génère moins de requêtes, il sature moins la base : CQFD
A priori, c'est le cas puisque les ralentissements ont quasi cessés.
Mais je voulais une confirmation de la part de quelqu'un connaissant le code source.

Les robots, Bytedance et Bytespider sont à bloquer le plus rapidement possible si vous avez suit une attaque récente.

Comme je vous l'ai déjà dit, nous n'avons pas la main sur l'infra.
Donc le seul moyen à ma disposition est PhpBB.

[varchar]

Comme je vous l'ai déjà dit, nous n'avons pas la main sur l'infra.
Donc le seul moyen à ma disposition est PhpBB.

Vous ne possédez même pas un accès FTP pour la gestion de forum en cas de mise à jour?

[Bid0uille]

Non, nous n'assurons que l'administration et la modération.
Nos forums sont très particuliers avec un moteur unique et une déclinaison par langue.

J'ai pu obtenir l'info sur phpbb.com(*)

Une fois les robots enregistrés, phpBB leur supprime certains éléments inutiles de la page tels que les liens de profil, la recherche, etc.

Cela limite donc leur nuisance au niveau de la charge serveur/base.
On peut même limiter par l'ACP, la visibilité de certaines sections.


(*) https://www.phpbb.com/community/viewtopic.php?t=2650591

[varchar]

J'ai pu obtenir l'info sur phpbb.com(*)

Une fois les robots enregistrés, phpBB leur supprime certains éléments inutiles de la page tels que les liens de profil, la recherche, etc.

Oui en ce qui concerne l'enregistrement cela revient à ce que disait sylveretour

On peut même limiter par l'ACP, la visibilité de certaines sections.

Oui les permissions du groupe des robots

Enfin sans un blocage réel je ne vois pas comment vous pourrez vous prémunir d'une nouvelle attaque puisque vous n'avez accès à rien.

[Sylveretour]

Puis, de toute façon tout webmaster qui respecte à tant soit peu son site quel qu'il soit doit absolument incorporer un fichier robot.txt afin d'y établir certaines règles relatives aux passages des robots...

[varchar]

de toute façon tout webmaster qui respecte

Là nous n'avons pas à faire à u webmaster mais à un simple administrateur de la section française du forum OpenOffice.
Si effectivement l'OP n'a accès à rien il lui est compliqué de mettre en place un pare-feu efficace.

[Sylveretour]

Il y a bien quelqu'un en amont qui gère le serveur et les fichiers...

[Skouat]

Hello,

Sinon, une idée comme une autre…
Pour les robots indésirables, voir à créer un groupe dédié et les ajouter dedans.
Niveau permissions => Accès à rien

[Bid0uille]

Pour les robots indésirables, voir à créer un groupe dédié et les ajouter dedans.

C'est une bonne idée effectivement
Merci