Правильный robots.txt для Blogspot (Blogger)

Правильный robots.txt для Blogspot (Blogger)

Приветствую всех читателей своего блога.

Сегодня решил посвятить небольшой пост важному файлу для поисковых роботов,простому документу формата .txt,  robots.txt.

Что это за файл и для чего он нужен? Этот документик, указывает поисковым ботам какие разделы сайта можно и нужно индексировать а какие нет, или же наоборот запрещает,одним словом в этом файле мы задаем

четкие инструкции для роботов поисковых машин которые посещают наш сайт. Файл лежит в корневой директории сайта, после тега. Blogspot не исключение, и тоже имеет такой файл изначально в каждом стандартном шаблоне, который выглядит так:

User-agent: Mediapartners-Google 

Disallow:           

 

User-agent: *

Disallow: /search

Disallow: /

 

User-Agent: googlebot

Disallow: /search

Allow: /

Вот так можно расшифровать этот robots.txt:

Поисковый бот для рекламных блоков адсенс, только ему,

разрешена индексация рекламы, всем другим поисковым

роботам запрещено. User-agent:* — все поисковые боты, все

обозначаются символом «*»Disallow:/search — запретить.

Тут подразумевается запретить индексацию всех страниц

с директивой search, это архивы,страницы из карты сайта,

которые повторяются, чтоб не было дублей в кеше поиска

robots.txt запрещает их сканировать. User-Agent:googlebot —

поисковый робот Google, который очень любит блоги Блогспот и посещает их каждый день, для него прописано

что может индексировать все, кроме страниц с атрибутом

search.

Посмотреть свой robots.txt вы вставив адресную строку браузера название своего сайта добавив к нему robots.txt

http:///robots.txt

В Blogger, можно заменить robots.txt на пользовательский, для этого заходим в панель управления своими блогами, выбираем настройки поиска-пользовательский файл robots.txt, изменить, далее удаляем имеющийся там текст и

вставляем вот такой :

User-agent: Mediapartners-Google

 Disallow:

  User-agent: *

 Disallow: /search

 Disallow: /p/search.html

 Disallow: /tags/

 Allow: /

 Sitemap:

  User-agent: Yandex

Правильный robots.txt для Blogspot (Blogger)

 Disallow: /search

 Disallow: /p/search.html

 Disallow: /tags/

 Allow: /

 выделенное черным меняете на свой адрес RSS канала, который служит блогу картой сайта.  Этот robots.txt, для Blogspot изменен. Яндекс лучше будет индексировать ваш блог, проверенно! А вообще у каждой поисковой системы есть свои названия роботов, вот некоторые:

Google – «googlebot»; 

 Яндекс – «Yandex»; 

 Рамблер – «StackRambler»; 

 Yahoo – «Yahoo! Slurp»; 

MSN – «msnbot»

Вот атрибуты которые:

NOINDEX — запрещает индексирование документа;

NOFOLLOW — запрещает проход по ссылкам,имеющимся в документе;

INDEX — разрешает индексирование документа;

FOLLOW — разрешает проход по ссылкам

Вот и все что я хотел сегодня написать, конечно существует

намного более правил для поисковых роботов, и это далеко не все боты, для каталогов свои, для изображений свои боты и.т.д

Подпишитесь на рассылку чтобы не пропустить следующие

статьи. До скорых встреч на страницах моего блога.