[Réglé] Forum saturé par connections de bots

[groquik]

Bonjour
Je me permet de vous contacter pour un problème de saturation de mon forum par de trop nombreux "invités" indesirables.

J ai bien suivi la procédure indiqué sur d autres sujet a savoir rentrer un code de blocage pour l utilisateur qui sature le serveur par contre je n arrive à identifier un nom de bot ( le fameux claudbot de openai bot, du amazonbot, du semrush bot , comment identifier les bons des mauvais et ceux avec juste l ip du genre ci dessous:

InvitéIP : 20.171.206.155 » Qui est-ce ?
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
InvitéIP : 18.216.34.133 » Qui est-ce ?
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
InvitéIP : 34.233.219.155 »
InvitéIP : 44.223.232.55 »
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://develop
InvitéIP : 18.118.195.220 » Qui est-ce ?
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
InvitéIP : 54.80.185.200 »
InvitéIP : 51.222.253.20 »
InvitéIP : 3.217.82.254 »
InvitéIP : 34.194.95.99 »
InvitéIP : 3.210.114.189 »
InvitéIP : 85.208.96.202 »
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html
InvitéIP : 52.44.148.203 »
InvitéIP : 54.235.172.96 »
InvitéIP : 185.191.171.12 »
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)
InvitéIP : 52.6.97.88 »
InvitéIP : 18.119.113.68 »
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) Page d’accueil 27 sept. 2024 10:15 pm
InvitéIP : 3.17.166.24 » Qui est-ce ?
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) Page d’accueil 27 sept. 2024 10:15 pm
InvitéIP : 52.4.213.199 »
InvitéIP : 3.93.253.174 »
.....


Du coup je pensais les trier et bloquer les ip une à une dans le fichier htacces ?? ( je n ai jamais mis les mains dans le code :/ je vais chercher sur ce forum ) y a t il un autre moyen de visualiser pour nettoyer le probleme ?

Merci d avance

[Sylveretour]

Bonjour,

Vouloir bloquer les bots par ip est juste une illusion mais sans sensations
Ils en changent comme de chemise

Bref, pour limiter cela, il faut plutôt les dompter.
Prend par exemple le bot GPTBot, tu créé un nouveau robot.
Direction l'administration, onglet Robots -> Ajouter un robot
Nom du robot : Gpt[Bot]
Agent correspondant ; GPTBot/1.2
Et hop ! ce bot sera toujours avec une seule session en cours.
De plus, il prendra automatiquement les permissions données au groupe Robots.

Reste à faire la même chose avec les autres...

Cela me donne :

Gpt[Bot] IP : 20.171.206.210 » Whois
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

Ahrefs [Bot] IP : 54.36.148.107 » Whois
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)

SEMrush [Bot] IP : 185.191.171.19 » Whois
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

Barkrowler [Bot] IP : 217.113.194.15 » Whois
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

Yandex [Bot] IP : 95.108.213.183 » Whois
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Bytespider [Bot] IP : 47.128.39.220 » Whois
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)

[groquik]

Merci je vais regarder cela 
 
Ajouté 6 heures 44 minutes 25 secondes après :
 
 Hello
J ai essayé la manip en tant que gros néophyte j ai du me.planter qq part.
Je vais sous panneau administrateur-> système
- tâches générales robots
Ajouter un robot et je rentre le nom du robot
"robot[Bot]" pour le définir comme bot

Agent utilisateur proprietes pour limiter le nombre de connections j imagine
"RobotBot"/1.2

Est ce bien cela ?

Concernant le fichier hataccess on le trouve où à modifier ou bien on le crée en fichier txt via notepad et à ce moment là on le place à quel endroit ?

En vous remerciant

[Sylveretour]

Agent utilisateur proprietes pour limiter le nombre de connections j imagine
"RobotBot"/1.2

On n'invente pas un agent au petit bonheur la chance...

Je t'ai donné l'exemple pour GPTBot, l'agent correspondant donné GPTBot/1.2 provient de sont agent :

Code : Tout sélectionner

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)

Pour SEMrush, sont agent étant :

Code : Tout sélectionner

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) 

L'agent correspondant extrait est donc SemrushBot/7

Comme tu peut le constater, cela permet alors de bien les identifier.
Supprime celui que tu a fait, il ne servira jamais à rien
Et pour tout cela, ne rien bidouiller dans .htaccess

[groquik]

Ok merci je débute ^^ c est surtout le amazonbot qui se multi connecté dans mon cas

Par contre claudebot ne se traite pas de la même manière de ce que j ai lu.

Bonne journée 
 
Ajouté 3 heures 10 minutes 2 secondes après :
 
 Bonjour
J ai redefini les robots mais ça ne limite toujours pas le nombre de connections simultanée de ceux ci.

Edit: après avoir clôture toutes les sessions ouvertes c est bon

Grand merci @Sylveretour

[Skouat]

Hello,

Si tu considères ton sujet comme réglé, n'hésites pas à définir l'attribut de sujet comme tel (c'est un bouton à cliquer juste en dessus de ce message).

Je l'ai fait pour ce sujet, penses-y pour tes prochaines demandes.

A+