Register Now

Login

Lost Password

Lost your password? Please enter your email address. You will receive a link and will create a new password via email.

Add post

Add question

You must login to ask a question.

Login

Register Now

Цель сайта совместная помощь друг другу, если вы желаете скачивать ресурсы и ничего при этом не делать, вам нужно оплатить Подписку Другой вариант активно помогать другим участникам

DDos атака ботами с вымоганием денег причины и методы борьбы

DDos атака ботами с вымоганием денег причины и методы борьбы

Много сайтов на Opencart и не только, сталкиваются с DDoS-атаками, тоже самое произошло с одним из феофанов) грузят сайт он перестает работать, и начинают вымогать деньги, пока не заплатишь сайт не будет работать, сопротивляться бесполезно.

Небольшая заметка может кому пригодится. Сам процесс как вычислялся трафик описан тут https://amkolomna.ru/content/zashchita-nginx-ot-ddos-atak

Включение кнопки идет атака на cloudflare, что бы при входе на сайт выводилась капча и тариф за 20$ не помогает))

Смотрим трафик

tcpdump -n -i eno1 -s 0 -w output.txt dst port 80 and host <IP сервера, без скобок>
cat /root/output.txt
  • -n: Отключает преобразование числовых адресов и портов в их имена. Это ускоряет сбор данных, так как tcpdump не будет искать DNS-записи.
  • -i eno1: Захватывает трафик на указанном сетевом интерфейсе eno1 Если у вас другой укажите, проверить какой команда ifconfig.
  • -s 0: Устанавливает размер захватываемого пакета на максимально возможное значение. Это гарантирует, что будут захвачены полные пакеты данных.
  • -w output.txt: Записывает захваченные пакеты в файл output.txt. По умолчанию будет лежать /root/ посмотреть командой cat /root/output.txt
  • dst port 80: Фильтрует пакеты, адресованные на порт 80 (обычно используется для HTTP-трафика).

Выходит боты создают большое количество Get запросов после сайт перестает работать.

https://mj12bot.com/
https://www.semrush.com/bot/
https://developer.amazon.com/support/amazonbot
https://support.apple.com/ru-ru/HT204683
  1. Majestic-12 (MJ12Bot): Это веб-паук, который используется для сканирования Интернета и создания публично доступной базы данных о веб-страницах. Это часть проекта Majestic-12, который занимается сбором информации о структуре Интернета.
  2. SEMrushBot: Это бот, используемый компанией SEMrush для сбора данных о поисковых запросах, ключевых словах и других параметрах, связанных с поиском в Интернете. SEMrush предоставляет услуги анализа конкурентной информации и оптимизации поисковых систем.
  3. Amazonbot: Этот бот является частью инфраструктуры Amazon и используется для сканирования и индексации веб-страниц с целью улучшения поисковой выдачи и обеспечения качества контента для пользователей Amazon.
  4. Applebot: Applebot – это поисковый робот, используемый Apple для сканирования веб-страниц, включая контент веб-магазинов приложений App Store и iTunes Store. Это помогает улучшить поиск и обнаружение контента для пользователей Apple.

Эти боты работают на основе автоматизированных алгоритмов, сканируя Интернет для сбора информации, которая затем используется для различных целей, включая улучшение качества поиска и анализа данных. Они могут создавать значительный трафик на сайтах, которые они посещают, поскольку производят множество запросов для сбора данных.

Просто блокируем их, один из вариантов запретить доступ к сайту через robots.txt 

User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Applebot
Disallow: /

Еще вариант неплохой и 100% блочить через nginx как на него перейти описано тут

Для начала можно добавить в nginx.conf
после
include /etc/nginx/mime.types;
default_type application/octet-stream;

map $http_user_agent $is_bot {
       default 0;
       ~*mj12bot 1;
       ~*semrush 1;
       ~*amazonbot 1;
       ~*applebot 1;
       ~*bingbot 1;
       ~*dotbot 1;
   }

Еще вариант создать файл block.conf в каталоге /etc/nginx/conf.d/. Вы можете сделать это с помощью текстового редактора, например, nano или vi. В этом примере я буду использовать nano:

sudo nano /etc/nginx/conf.d/block.conf

И добавляем в block.conf

deny 95.79.121.193;
deny 217.69.195.134;
deny 178.213.24.233;
deny 91.230.154.149;
deny 5.35.6.28;
deny 185.177.114.137;
deny 193.233.158.166;
deny 88.87.78.95;
deny 217.197.237.74;
deny 212.42.56.120;
deny 45.5.116.242;
deny 188.163.120.155;
deny 180.178.103.82;
deny 38.49.140.14;
deny 46.8.22.67;
deny 146.19.39.94;
deny 146.19.44.134;
deny 79.110.31.107;
deny 193.163.207.147;
deny 146.19.91.164;
deny 79.110.31.243;
deny 95.24.78.111;
deny 91.246.51.127;
deny 147.78.180.133;
deny 193.163.207.202;
deny 146.185.203.224;
deny 91.243.88.33;
deny 146.185.201.168;
deny 146.185.203.153;
deny 147.78.180.154;
deny 146.185.203.224;
deny 91.246.51.120;
deny 62.204.49.235;
deny 193.163.207.110;
deny 94.154.113.17;
deny 146.185.201.77;
deny 94.154.113.218;
deny 185.89.101.188;
deny 91.243.95.160;
deny 185.212.115.28;
deny 146.19.39.69;
deny 146.19.39.101;
deny 91.243.88.120;
deny 62.233.39.173;
deny 85.239.35.172;
deny 62.204.49.23;
deny 146.185.203.215;
deny 212.18.113.68;
deny 62.233.39.147;
deny 147.78.180.237;
deny 91.246.51.197;
deny 146.185.202.122;
deny 212.18.127.147;
deny 188.40.90.167;
deny 85.239.35.175;
deny 212.18.113.220;
deny 193.163.207.93;
deny 146.185.201.106;
deny 94.154.113.236;
deny 85.239.35.117;
deny 146.19.44.56;
deny 185.89.101.102;
deny 146.185.203.11;
deny 147.78.180.233;
deny 83.97.119.173;
deny 91.243.88.163;
deny 91.243.88.161;
deny 212.18.127.100;
deny 5.255.231.64;
deny 146.19.91.253;
deny 146.185.203.191;
deny 146.185.202.152;
deny 212.18.127.129;
deny 146.185.203.83;
deny 185.89.101.218;
deny 62.233.39.85;
deny 193.163.207.28;
deny 146.19.39.218;
deny 91.246.51.94;
deny 66.249.70.69;
deny 94.154.113.28;
deny 66.249.70.70;
deny 79.110.31.76;
deny 185.68.153.83;
deny 62.204.49.35;
deny 146.19.39.72;
deny 146.19.44.129;
deny 146.19.78.193;
deny 66.249.70.69;
deny 147.78.180.250;
deny 212.18.113.182;
deny 91.247.163.146;
deny 62.233.39.63;
deny 185.68.153.49;
deny 146.185.201.223;
deny 62.204.49.185;
deny 85.239.35.143;
deny 62.233.39.148;
deny 85.68.152.150;
deny 185.68.152.150;
deny 185.68.155.132;
deny 193.163.89.245;

Теперь вам нужно включить этот файл в основной конфигурационный файл Nginx или конфигурационный файл вашего сайта. Обычно это делается в блоке server или http. Для этого откройте соответствующий конфигурационный файл:

sudo nano /etc/nginx/nginx.conf

Перезагрузите Nginx для применения изменений:

sudo systemctl reload nginx

Еще вариант добавить в /etc/nginx/nginx.conf

map $arg_limit $is_high_limit {
    default     0;
    "~^(?<limit>[1-8][0-9]{3}|9000)$"  $limit;
}

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
    
     # Определение ботов
    map $http_user_agent $limit_bot {
        default 0;
        ~*(MJ12bot|SemrushBot|Amazonbot|Applebot|AhrefsBot|Yandex|Bytespider|my-tiny-bot|SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) 1;
    }

А в конфигурационный файл, в блок server { добавить

# Блокировка по параметру в запросе
   if ($args ~* "limit=10000") {
       return 403;
   }


# Блокировка по параметру в запросе
    if ($is_high_limit>1000) {
        return 403;
    }

# Можно еще так 
if ($is_high_limit) {
    return 403;
}

About Grek

Хорошее начало — не мелочь, хотя и начинается с мелочи По вопросам подписки / рекламе, пишите в личку https://t.me/trafimmamedov или на почту [email protected]

Follow Me

Comments ( 3 )

  1. Написано все верно. Сам спасал от мерзоты всякой клЫентов, )))  даем еще парочку примерчиков.

    Решение для nginx – в конфиг сайта или сервера ежли хотите для всех сайтов запретить сразу своих этих милых зверюшек.

    [CODE]server {
    if ($http_user_agent ~ Amazonbot|Bytespider|my-tiny-bot|SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
    return 403;
    }[/CODE]

  2. извиняюсь, попутал редакторы… вот

    server {
    if ($http_user_agent ~ Amazonbot|Bytespider|my-tiny-bot|SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
    return 403;
    }

    и второй веселый вариант он для апачки.

    в robots.txt сайта суем в самом начале:

    User-agent: AhrefsBot
    User-agent: my-tiny-bot
    User-agent: Amazonbot
    User-agent: AhrefsSiteAudit
    User-agent: adbeat_bot
    User-agent: Alexibot
    User-agent: AppEngine
    User-agent: Aqua_Products
    User-agent: archive.org_bot
    User-agent: archive
    User-agent: asterias
    User-agent: b2w/0.1
    User-agent: BackDoorBot/1.0
    User-agent: BecomeBot
    User-agent: BlekkoBot
    User-agent: Blexbot
    User-agent: BlowFish/1.0
    User-agent: Bookmark search tool
    User-agent: BotALot
    User-agent: BuiltBotTough
    User-agent: Bullseye/1.0
    User-agent: BunnySlippers
    User-agent: CCBot
    User-agent: CheeseBot
    User-agent: CherryPicker
    User-agent: CherryPickerElite/1.0
    User-agent: CherryPickerSE/1.0
    User-agent: chroot
    User-agent: Copernic
    User-agent: CopyRightCheck
    User-agent: cosmos
    User-agent: Crescent
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    User-agent: DittoSpyder
    User-agent: dotbot
    User-agent: dumbot
    User-agent: EmailCollector
    User-agent: EmailSiphon
    User-agent: EmailWolf
    User-agent: Enterprise_Search
    User-agent: Enterprise_Search/1.0
    User-agent: EroCrawler
    User-agent: es
    User-agent: exabot
    User-agent: ExtractorPro
    User-agent: FairAd Client
    User-agent: Flaming AttackBot
    User-agent: Foobot
    User-agent: Gaisbot
    User-agent: GetRight/4.2
    User-agent: gigabot
    User-agent: grub
    User-agent: grub-client
    User-agent: Go-http-client
    User-agent: Harvest/1.5
    User-agent: Hatena Antenna
    User-agent: hloader
    User-agent: http://www.SearchEngineWorld.com bot
    User-agent: http://www.WebmasterWorld.com bot
    User-agent: httplib
    User-agent: humanlinks
    User-agent: ia_archiver
    User-agent: ia_archiver/1.6
    User-agent: InfoNaviRobot
    User-agent: Iron33/1.0.2
    User-agent: JamesBOT
    User-agent: JennyBot
    User-agent: Jetbot
    User-agent: Jetbot/1.0
    User-agent: Jorgee
    User-agent: Kenjin Spider
    User-agent: Keyword Density/0.9
    User-agent: larbin
    User-agent: LexiBot
    User-agent: libWeb/clsHTTP
    User-agent: LinkextractorPro
    User-agent: LinkpadBot
    User-agent: LinkScan/8.1a Unix
    User-agent: LinkWalker
    User-agent: LNSpiderguy
    User-agent: looksmart
    User-agent: lwp-trivial
    User-agent: lwp-trivial/1.34
    User-agent: Mata Hari
    User-agent: Megalodon
    User-agent: Microsoft URL Control
    User-agent: Microsoft URL Control - 5.01.4511
    User-agent: Microsoft URL Control - 6.00.8169
    User-agent: MIIxpc
    User-agent: MIIxpc/4.2
    User-agent: Mister PiX
    User-agent: MJ12bot
    User-agent: moget
    User-agent: moget/2.1
    User-agent: mozilla
    User-agent: Mozilla
    User-agent: mozilla/3
    User-agent: mozilla/4
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
    User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 2000)
    User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95)
    User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 98)
    User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT)
    User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows XP)
    User-agent: mozilla/5
    User-agent: MSIECrawler
    User-agent: naver
    User-agent: NerdyBot
    User-agent: NetAnts
    User-agent: NetMechanic
    User-agent: NICErsPRO
    User-agent: Nutch
    User-agent: Offline Explorer
    User-agent: Openbot
    User-agent: Openfind
    User-agent: Openfind data gathere
    User-agent: Oracle Ultra Search
    User-agent: PerMan
    User-agent: ProPowerBot/2.14
    User-agent: ProWebWalker
    User-agent: psbot
    User-agent: Python-urllib
    User-agent: QueryN Metasearch
    User-agent: Radiation Retriever 1.1
    User-agent: RepoMonkey
    User-agent: RepoMonkey Bait & Tackle/v1.01
    User-agent: RMA
    User-agent: rogerbot
    User-agent: scooter
    User-agent: Screaming Frog SEO Spider
    User-agent: searchpreview
    User-agent: SEMrushBot
    User-agent: SemrushBot
    User-agent: SemrushBot-SA
    User-agent: SEOkicks-Robot
    User-agent: SiteSnagger
    User-agent: sootle
    User-agent: SpankBot
    User-agent: spanner
    User-agent: spbot
    User-agent: Stanford
    User-agent: Stanford Comp Sci
    User-agent: Stanford CompClub
    User-agent: Stanford CompSciClub
    User-agent: Stanford Spiderboys
    User-agent: SurveyBot
    User-agent: SurveyBot_IgnoreIP
    User-agent: suzuran
    User-agent: Szukacz/1.4
    User-agent: Szukacz/1.4
    User-agent: Teleport
    User-agent: TeleportPro
    User-agent: Telesoft
    User-agent: Teoma
    User-agent: The Intraformant
    User-agent: TheNomad
    User-agent: toCrawl/UrlDispatcher
    User-agent: True_Robot
    User-agent: True_Robot/1.0
    User-agent: turingos
    User-agent: Typhoeus
    User-agent: URL Control
    User-agent: URL_Spider_Pro
    User-agent: URLy Warning
    User-agent: VCI
    User-agent: VCI WebViewer VCI WebViewer Win32
    User-agent: Web Image Collector
    User-agent: WebAuto
    User-agent: WebBandit
    User-agent: WebBandit/3.50
    User-agent: WebCopier
    User-agent: WebEnhancer
    User-agent: WebmasterWorld Extractor
    User-agent: WebmasterWorldForumBot
    User-agent: WebSauger
    User-agent: Website Quester
    User-agent: Webster Pro
    User-agent: WebStripper
    User-agent: WebVac
    User-agent: WebZip
    User-agent: WebZip/4.0
    User-agent: Wget
    User-agent: Wget/1.5.3
    User-agent: Wget/1.6
    User-agent: WWW-Collector-E
    User-agent: Xenu's
    User-agent: Xenu's Link Sleuth 1.1c
    User-agent: Zeus
    User-agent: Zeus 32297 Webster Pro V2.9 Win32
    User-agent: Zeus Link Scout
    Disallow: /

    а потом в .htaccess (барабанная дробь…смотрим последнюю строчку, помните домен может быть там любым)

    RewriteEngine On
    RewriteCond %{REQUEST_URI} !/robots.txt$
    RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*my-tiny-bot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Amazonbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EventMachine.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NerdyBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Typhoeus.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*archive.org_bot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*archive.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*adbeat_bot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*github.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*chroot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Jorgee.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Go 1.1 package.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Go-http-client.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Copyscape.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*semrushbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*semrushbot-sa.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*JamesBOT.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SEOkicks-Robot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LinkpadBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*getty.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*picscout.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*AppEngine.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Zend_Http_Client.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BlackWidow.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*openlink.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*spbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Nutch.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Jetbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebVac.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Stanford.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*scooter.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*naver.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*dumbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Hatena Antenna.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*grub.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*looksmart.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebZip.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*larbin.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Copernic.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*psbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Python-urllib.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NetMechanic.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*URL_Spider_Pro.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*CherryPicker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ExtractorPro.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*CopyRightCheck.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Crescent.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*CCBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SiteSnagger.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ProWebWalker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*CheeseBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LNSpiderguy.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EmailCollector.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EmailSiphon.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebBandit.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EmailWolf.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ia_archiver.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Teleport.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*MIIxpc.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Telesoft.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Website Quester.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*moget.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebStripper.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebSauger.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebCopier.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NetAnts.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Mister PiX.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebAuto.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*TheNomad.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WWW-Collector-E.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*RMA.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*libWeb/clsHTTP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*httplib.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*turingos.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*spanner.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Harvest.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*InfoNaviRobot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Bullseye.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebBandit.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NICErsPRO.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Microsoft URL Control.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*DittoSpyder.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Foobot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebmasterWorldForumBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SpankBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BotALot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*lwp-trivial.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebmasterWorld.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BunnySlippers.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*URLy Warning.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LinkWalker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*cosmos.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*hloader.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*humanlinks.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LinkextractorPro.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Offline Explorer.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Mata Hari.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LexiBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Web Image Collector.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*woobot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*The Intraformant.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*True_Robot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BlowFish.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SearchEngineWorld.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*JennyBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*MIIxpc.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BuiltBotTough.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ProPowerBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*toCrawl/UrlDispatcher.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebEnhancer.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*suzuran.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebViewer.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*VCI.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Szukacz.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*QueryN.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Openfind.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Openbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Webster.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EroCrawler.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LinkScan.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Keyword.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Kenjin.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Iron33.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Bookmark search tool.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*GetRight.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*FairAd Client.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Gaisbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Radiation Retriever 1.1.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Flaming AttackBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Oracle Ultra Search.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*MSIECrawler.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*PerMan.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*searchpreview.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*sootle.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Enterprise_Search.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Bot mailto:[email protected].*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ChinaClaw.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Custo.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*DISCo.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Download Demon.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*eCatch.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EirGrabber.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EmailSiphon.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EmailWolf.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Express WebPictures.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ExtractorPro.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*EyeNetIE.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*FlashGet.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*GetRight.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*GetWeb!.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Go!Zilla.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Go-Ahead-Got-It.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*GrabNet.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Grafula.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*HMView.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*HTTrack.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Image Stripper.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Image Sucker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Indy Library.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*InterGET.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Internet Ninja.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*JetCar.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*JOC Web Spider.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*larbin.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*LeechFTP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Mass Downloader.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*MIDown tool.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Mister PiX.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Navroad.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NearSite.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NetAnts.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NetSpider.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Net Vampire.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*NetZIP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Octopus.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Offline Explorer.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Offline Navigator.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*PageGrabber.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Papa Foto.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*pavuk.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*pcBrowser.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*RealDownload.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*ReGet.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SiteSnagger.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SmartDownload.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SuperBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SuperHTTP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Surfbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*tAkeOut.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Teleport Pro.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*VoidEYE.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Web Image Collector.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Web Sucker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebAuto.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebCopier.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebFetch.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebGo IS.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebLeacher.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebReaper.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebSauger.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*wesee.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Website eXtractor.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Website Quester.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebStripper.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebWhacker.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebZIP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Wget.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Widow.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WWWOFFLE.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Xaldon WebSpider.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Zeus.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Semrush.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BecomeBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Screaming.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Screaming FrogSEO.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SEO.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsSiteAudit.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*MJ12bot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*rogerbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*exabot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Xenu.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*dotbot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*gigabot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Twengabot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*htmlparser.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*libwww.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Python.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*perl.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*urllib.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*scan.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Curl.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*email.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*PycURL.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*Pyth.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*PyQ.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebCollector.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*WebCopy.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*webcraw.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SurveyBot.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*SurveyBot_IgnoreIP.*$ [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^.*BlekkoBot.*$ [NC]
    RewriteRule ^.*.* http://www.google.com/ [L]

    Спасибо за внимание! Да поможет нам всем Святой ДевилБокс! )))

  3. Соррьки, забыл сказать. Кстати, некоторые а точнее не некоторые боты на robots забивают, поэтому в конфиге нжинкса или хатчессе лучше все-таки воспроизвести эти чудные конструкции

Leave a reply