Les robots et leur inscription

Pour discuter de phpBB3 - Pas de support dans cette section !
Pour du support veuillez vous rendre dans la section de support

Modérateur : Équipe

Règles du forum
A lire impérativement : Règlement de phpBB-fr.com

Attention, aucun support n'est donné dans cette section.
Répondre
Avatar du membre
Bid0uille
Roi des posts
Roi des posts
Messages : 646
Enregistré le : 18 nov. 2005 à 16:42
Localisation : Caen, France
Contact :

Les robots et leur inscription

Message par Bid0uille »

Bonjour,

Petite question sur le fond, quelle est l'incidence d'enregistrer un robot dans l'ACP ?

Depuis quelques mois, nous avons beaucoup de visites de Bytedance / Bytespider (le bot de Tik-Tok).
Il génère jusqu'à 600 connexions d'invités et sature nos forums.

Comment phpBB traite t-il ces robots par rapport à un utilisateur lambda ?

Merci
Enfin un Forum francophone pour OpenOffice et ses dérivés !
L'ensemble des forums officiels pour OpenOffice (10 langues) est propulsé par PhpBB
Avatar du membre
varchar
Posteur habitué
Posteur habitué
Messages : 232
Enregistré le : 26 janv. 2023 à 00:29

Les robots et leur inscription

Message par varchar »

Vous pouvez ajouter ce qui suit dans le fichier .htaccess après RewriteEngine on :

Code : Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule ^.*$ - [F,L]
Explication :
F -->
  • L’utilisation de l’indicateur [F] fait que le serveur renvoie un code d’état 403 Forbidden au client.
L -->
  • L’indicateur [L] mod_rewrite entraîne l’arrêt du traitement de l’ensemble de règles. Dans la plupart des contextes, cela signifie que si la règle correspond, aucune autre règle ne sera traitée.
Source => https://www.phpbb.de/community/viewtopi ... 3#p1424893
Fondateur du CPOR
Comité de Promotion de l’Outil de Recherche
Avatar du membre
Bid0uille
Roi des posts
Roi des posts
Messages : 646
Enregistré le : 18 nov. 2005 à 16:42
Localisation : Caen, France
Contact :

Les robots et leur inscription

Message par Bid0uille »

Merci mais ce n'est pas ma question.
Nous n'avons pas la main sur le serveur pour ajouter une règle .htaccess

Par exemple, la navigation d'un robot par rapport à un utilisateur génère t-il moins de requêtes en base ?
Enfin un Forum francophone pour OpenOffice et ses dérivés !
L'ensemble des forums officiels pour OpenOffice (10 langues) est propulsé par PhpBB
Avatar du membre
Sylveretour
Maître des floodeurs
Maître des floodeurs
Messages : 2103
Enregistré le : 21 nov. 2017 à 18:24
Localisation : West Coast
Contact :

Les robots et leur inscription

Message par Sylveretour »

Bonjour,

Je te conseille d'enregistrer les robots avec leur user-agent, ainsi, ils sont obligés de respecter les permissions robots et cela évite qu'ils ne fassent des dizaines de sessions anonymes.
Avatar du membre
varchar
Posteur habitué
Posteur habitué
Messages : 232
Enregistré le : 26 janv. 2023 à 00:29

Les robots et leur inscription

Message par varchar »

Qu'est-ce que cela peut bien vous apporter de savoir si oui ou non ils génèrent plus ou moins de requête de base qu'un simple utilisateur?

Les robots, Bytedance et Bytespider sont à bloquer le plus rapidement possible si vous avez suit une attaque récente.

Raisons principales :
  • Ils ne respectent pas les règles du robots.txt.
  • Ils utilisent des services d'hébergement bien connus pour contourner les canaux ou méthodes de blocage normaux. Par exemple, ils utilisent les services AmazonAWS pour explorer des sites Web et masquer (ou rediriger) leurs adresses IP d'origine. Détails : https://prnt.sc/7Zst7eUZaxZ3
  • Leurs taux de crawl sont extrêmement élevés.
  • Généralement, la géolocalisation des adresses IP d'origine des bots est la Chine. Lors du blocage des agents utilisateurs des bots, la géolocalisation des adresses IP d'origine change pour Singapour (un autre refuge pour les bots malveillants).

Un peu de lecture datant de 2020 si vous voulez approfondir le sujet => https://www.phpbb.com/community/viewtop ... #p15489551
Fondateur du CPOR
Comité de Promotion de l’Outil de Recherche
Avatar du membre
Bid0uille
Roi des posts
Roi des posts
Messages : 646
Enregistré le : 18 nov. 2005 à 16:42
Localisation : Caen, France
Contact :

Les robots et leur inscription

Message par Bid0uille »

Sylveretour a écrit : 08 févr. 2024 à 17:01Je te conseille d'enregistrer les robots avec leur user-agent
Comme l'explique varchar, ce robot ne respecte pas la norme et ne renvoie pas cette chaîne.


varchar a écrit : 08 févr. 2024 à 17:22 Qu'est-ce que cela peut bien vous apporter de savoir si oui ou non ils génèrent plus ou moins de requête de base qu'un simple utilisateur?
Si déclaré en robot, il génère moins de requêtes, il sature moins la base : CQFD
A priori, c'est le cas puisque les ralentissements ont quasi cessés.
Mais je voulais une confirmation de la part de quelqu'un connaissant le code source.


varchar a écrit : 08 févr. 2024 à 17:22 Les robots, Bytedance et Bytespider sont à bloquer le plus rapidement possible si vous avez suit une attaque récente.
Comme je vous l'ai déjà dit, nous n'avons pas la main sur l'infra.
Donc le seul moyen à ma disposition est PhpBB.
Enfin un Forum francophone pour OpenOffice et ses dérivés !
L'ensemble des forums officiels pour OpenOffice (10 langues) est propulsé par PhpBB
Avatar du membre
varchar
Posteur habitué
Posteur habitué
Messages : 232
Enregistré le : 26 janv. 2023 à 00:29

Les robots et leur inscription

Message par varchar »

Bid0uille a écrit : 09 févr. 2024 à 08:03 Comme je vous l'ai déjà dit, nous n'avons pas la main sur l'infra.
Donc le seul moyen à ma disposition est PhpBB.
Vous ne possédez même pas un accès FTP pour la gestion de forum en cas de mise à jour?
Fondateur du CPOR
Comité de Promotion de l’Outil de Recherche
Avatar du membre
Bid0uille
Roi des posts
Roi des posts
Messages : 646
Enregistré le : 18 nov. 2005 à 16:42
Localisation : Caen, France
Contact :

Les robots et leur inscription

Message par Bid0uille »

Non, nous n'assurons que l'administration et la modération.
Nos forums sont très particuliers avec un moteur unique et une déclinaison par langue.

J'ai pu obtenir l'info sur phpbb.com(*)
Une fois les robots enregistrés, phpBB leur supprime certains éléments inutiles de la page tels que les liens de profil, la recherche, etc.
Cela limite donc leur nuisance au niveau de la charge serveur/base.
On peut même limiter par l'ACP, la visibilité de certaines sections.


(*) https://www.phpbb.com/community/viewtopic.php?t=2650591
Enfin un Forum francophone pour OpenOffice et ses dérivés !
L'ensemble des forums officiels pour OpenOffice (10 langues) est propulsé par PhpBB
Avatar du membre
varchar
Posteur habitué
Posteur habitué
Messages : 232
Enregistré le : 26 janv. 2023 à 00:29

Les robots et leur inscription

Message par varchar »

Bid0uille a écrit : 09 févr. 2024 à 15:03 J'ai pu obtenir l'info sur phpbb.com(*)
Une fois les robots enregistrés, phpBB leur supprime certains éléments inutiles de la page tels que les liens de profil, la recherche, etc.
Oui en ce qui concerne l'enregistrement cela revient à ce que disait sylveretour
On peut même limiter par l'ACP, la visibilité de certaines sections.
Oui les permissions du groupe des robots

Enfin sans un blocage réel je ne vois pas comment vous pourrez vous prémunir d'une nouvelle attaque puisque vous n'avez accès à rien.
Fondateur du CPOR
Comité de Promotion de l’Outil de Recherche
Avatar du membre
Sylveretour
Maître des floodeurs
Maître des floodeurs
Messages : 2103
Enregistré le : 21 nov. 2017 à 18:24
Localisation : West Coast
Contact :

Les robots et leur inscription

Message par Sylveretour »

Puis, de toute façon tout webmaster qui respecte à tant soit peu son site quel qu'il soit doit absolument incorporer un fichier robot.txt afin d'y établir certaines règles relatives aux passages des robots...
Avatar du membre
varchar
Posteur habitué
Posteur habitué
Messages : 232
Enregistré le : 26 janv. 2023 à 00:29

Les robots et leur inscription

Message par varchar »

Sylveretour a écrit : 09 févr. 2024 à 16:20 de toute façon tout webmaster qui respecte
Là nous n'avons pas à faire à u webmaster mais à un simple administrateur de la section française du forum OpenOffice.
Si effectivement l'OP n'a accès à rien il lui est compliqué de mettre en place un pare-feu efficace.
Fondateur du CPOR
Comité de Promotion de l’Outil de Recherche
Avatar du membre
Sylveretour
Maître des floodeurs
Maître des floodeurs
Messages : 2103
Enregistré le : 21 nov. 2017 à 18:24
Localisation : West Coast
Contact :

Les robots et leur inscription

Message par Sylveretour »

Il y a bien quelqu'un en amont qui gère le serveur et les fichiers...
Skouat
Resp. Traducteurs
Resp. Traducteurs
Messages : 15958
Enregistré le : 02 avr. 2008 à 20:47
Contact :

Les robots et leur inscription

Message par Skouat »

Hello,

Sinon, une idée comme une autre…
Pour les robots indésirables, voir à créer un groupe dédié et les ajouter dedans.
Niveau permissions => Accès à rien
Avatar du membre
Bid0uille
Roi des posts
Roi des posts
Messages : 646
Enregistré le : 18 nov. 2005 à 16:42
Localisation : Caen, France
Contact :

Les robots et leur inscription

Message par Bid0uille »

Skouat a écrit : 14 févr. 2024 à 00:55 Pour les robots indésirables, voir à créer un groupe dédié et les ajouter dedans.
C'est une bonne idée effectivement :)
Merci
Enfin un Forum francophone pour OpenOffice et ses dérivés !
L'ensemble des forums officiels pour OpenOffice (10 langues) est propulsé par PhpBB
Répondre

Retourner vers « Discussions sur phpBB3 »

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 0 invité