Файлы Robots влияют на индексацию сайта. Именно на файлы Robots.txt в первую очередь обращают внимание поисковые роботы. Просто говоря, этот инструмент показывает роботам, что нужно индексировать, а что нельзя.
Источник информации тут
Настройка Robots производится в разделе Панели управления:
Настройки => Настройки поиска.
Пользовательский файл Robots.txt.
Нажимаем Изменить => Использовать собственный файл robots.txt =>Да
и в открывшемся окошке вписываем следующее:
_________________________________________________________________
User-agent:
Mediapartners-Google
Disallow:
User-agent:
Yandex
Disallow:
/search
Disallow:
/p/search.html
Allow: /
User-agent:
*
Disallow:
/search
Disallow:
/p/search.html
Allow: /
Sitemap:
http://popletushki.blogspot.com/sitemap.xml
_________________________________________________________________Вместо адреса, выделенного цветом, вставляем адрес своего блога.
Персонализированные теги Robots для заголовков.
Тут настройки должны выглядеть следующим образом:
Сделаем свой блог лучше! Удачи!
Спасибо за памятку.
ОтветитьУдалитьСделал так же.
Еще Яндекс пишет "Добавьте директиву Host в файл robots.txt".
Вы добавляли?
Директиву HOST можно больше не указывать. Об этом Яндекс сообщил на своём блоге _yandex.ru/blog/webmaster/301-redirekt-zamenit-direktivu-host-pri-vybore-glavnogo-zerkala
УдалитьТем более в Blogger её добавить было просто невозможно.
может он это и писал ранее, но сейчас у меня стоит в метрике проблема с пометкой лёгкая или что-то в этом роде, что нужно написать в роботсе директиву хост. а как Вы написали ранее, в блоггере это сделать просто невозможно...
Удалить55555555555555555555
ОтветитьУдалитьА почему в вашем роботе присутствует by?
ОтветитьУдалитьСпасибо большое за информацию. Может Вы еще подскажете как на блоге в вордпрессе сделать robots.txt.
ОтветитьУдалитьСпасибо
ОтветитьУдалитьСпасибо
ОтветитьУдалить