Что такое файл robots.txt. Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем. Для чего нужен robots.txt 1) Исключение страниц из поискового индекса той или иной поисковой системы;     2) Оптимизация нагрузки на сайт со стороны поисковых роботов. В ...