Jak możemy pomóc?

Jak odblokować nietypowe boty na stronie?

Poniższe boty są domyślnie blokowane:

AhrefsBot
AIOSEO
Amazonbot
anthropic-ai
Applebot
BLEXBot
Bytespider
ClaudeBot
CookieYesbot
DataForSeoBot
DotBot
DuckAssistbot
Factset_spyderbot
GPTBot
ICCCrawler
loader.io
meta-externalagent
MJ12bot
PerplexityBot
PetalBot
Pinterestbot
QualifiedBot
SeekportBot
SemrushBot
SentiBot
serpstatbot

Można je odblokować dodając odpowiednie reguły do pliku .htaccess w katalogu public_html:

UnsetEnv bot_deny
SecRuleRemoveById 10000

W celu odblokowania tylko konkretnych:

<If "%{HTTP_USER_AGENT} =~ /(AhrefsBot|SemrushBot)/">
UnsetEnv bot_deny
SecRuleRemoveById 10000
</If>

Mimo zdjęcia blokady, mogą one dalej podlegać limitom wywołań, np. w przypadku loader.io, który ma charakterystykę typowych ataków DDoS.