Создавая Интернет-магазин, стоит позаботиться о том, как скрыть от поисковой системы дублирующиеся страницы (например, на сайте будет несколько товаров с одинаковым описанием). Или же Вы хотите, чтоб содержание конкретной страницы отображалось только для пользователей, но поисковые роботы не индексировали ее. Чтобы Ваш сайт не попал в бан Google или же Яндекс, необходимо создать специальный файл – robots.txt. Данный файл находится в корне папки сайта и содержит информацию о страницах, которые не нужно индексировать.

Если Вы не хотите постоянно обращаться к помощи программистов, чтобы поместить в него очередную ссылку, понадобится модуль «NeoSeo Генератор robots.txt». Он позволяет автоматически сгенерировать файл, который вы сможете наполнять «запретными» ссылками самостоятельно, используя свою административную панель сайта.

Внимание! Модуль Генератор robots.txt уже установлен в такие разработки и не требует дополнительной покупки: