Оптимальный robots.txt для магазина Opencart
Что такое файл robots.txt. Robots.txt — текстовый файл, который содержит параметры индексирования сайта для роботов поисковых систем.
Для чего нужен robots.txt
1) Исключение страниц из поискового индекса той или иной поисковой системы;
2) Оптимизация нагрузки на сайт со стороны поисковых роботов.
В Интернете довольно много примеров файла robots.txt для OpenCart. Вот оптимальный пример:
User-Agent: * Disallow: /*.js Disallow: /*.css Disallow: /*.jpg Disallow: /*.jpeg Disallow: /*.gif Disallow: /*.png Disallow: /*? Allow: /index.php?route=feed/sitemap_pro Allow: /index.php?route=product/category&path= Allow: /*?path= Allow: /index.php?route=product/product&product_id= Allow: /index.php?route=product/product&path= Allow: /*?product_id= Allow: /index.php?route=information/information&information_id= Allow: /index.php?route=product/special User-agent: YandexImages Disallow: / Allow: /image/cache User-agent: Googlebot-Image Disallow: / Allow: /image/cache User-agent: msnbot-media Disallow: / Allow: /image/cache Sitemap: http://site.com/robot.txt
Возможно кто то знает еще что то полезное, буду рад, если поделитесь на форуме ibazh.com или здесь.
Comments ( 3 )
Если заблокировать стили, то невозможно пройти проверку на мобильную оптимизация в гугле.
генерит файл со следующим содержанием
http://domain.com.ua/sm/base.xml.gz2015-11-24http://domain.com.ua/sm/products0.xml.gz2015-11-24
Это же не нормально?
вопрос снят.
А фотографии зачем ?