Этот скрипт поможет вам создать файл robots.txt, содержащий 22 варианта инструментов, чтобы лучше настроить обходной доступ к вашему сайту.

Eng===========================================

This script helps you build your robots.txt file providing 22 crawler options to better configure the crawling access to your website.

001

002

003