Frequently Asked Question
Bots vorübergehend aussperren
Last Updated 9 months ago
Wenn Bots nicht grundsätzlich gepserrt werden sollen, aber die Botanfragen reduziert werden sollen, weil der Bot zum Beispiel sehr viel Last erzeugt (z. B. der GPTBot), kann dies mit folgender Regel in der .htaccess definiert werden:
SetEnvIfNoCase User-Agent "gptbot" bots
Header always set Retry-After "43200" env=bots
RewriteEngine on
RewriteCond %{ENV:bots} 1
RewriteRule .* - [R=503,L] Die Zahl "43200" gibt in Sekunden an, wie lange der Bot nach einem Aufruf gesperrt wird. In diesem Fall also 12 Sunden.
Über den User-Agent wird der Name des Bots definiert. Wird anstatt einem Botname ein Browsername eingetragen, würde ein bestimmter Browsertyp gesperrt werden. dies ist in der Praxis jedoch unüblich (aber möglich).
Informationen um mehrere Bots dauerhaft auszusperren gibt es in folgendem Beitrag:
https://ticket.roundaboutweb.net/kb/f35/bot_aussperren
