<https://talk.pr-cy.ru/topic/20579-poiskovye-roboty-atakuyut/#comment-272076>
<http://schema.org/text>
"Здравствуйте \nНовички не могут создавать новые темы, поэтому прошу, пожалуйста, не ругайтесь. К тому же, это единственная тема, которая более-менее подходит под описание проблемы: \nБот Mail.RU_Bot/Fast/2.0 начисто игнорирует рекомендации, прописанные для него в robots.txt. А именно, Crawl-delay. Он создает несколько запросов сразу ежесекундно. Тем самым идет приличная нагрузка на хостинг. Банить его по ip или через .htaccess, как советуют многие в поиске, мне кажется некорректным решением. Все-таки трафик худо-бедно идет из mailru. \nМожно ли что-то придумать и заставить бота вести себя согласно robots.txt? \nСпасибо за внимание "
<https://talk.pr-cy.ru/topic/20579-poiskovye-roboty-atakuyut/?tab=comments#comment-254004>