Хотите, что бы ваш сайт индексировался поисковыми роботами? Тогда начните с самого малого, настройте файл robots.txt для Яндекса. Как говорят знаменитые SEO-гуру в SEO мелочей нет. Вот тут я с ними полностью согласен, порой самая банальная мелочь может оказаться огромной не приятностью.
В более чем 70% анализируемых мною сайтов, данный файл был составлен не должным образом. Ошибки вели к тому что, например, казалось бы, релевантная определенному запросу страница, оказывалась ниже в выдаче, чем страница с тегами. Банальная ошибка, в роботсе не закрыты к индексации страницы тегов. Мелочь, а какая неприятность? Чтобы не возникало подобных недоразумений, давайте попробуем разобраться, как правильно составить roots.txt для поисковой системы Яндекс.
Правильный robots.txt для Яндекса
Robots.txt — обычный текстовый файл, который расположен в корневой дериктории сайта. Основное предназначение — указать роботам поисковых систем основные параметры индексирования сайта.
Одним из первых файлов, к которому обращаются поисковые роботы — robots.txt, «считывая» информацию, прописанную в файле, поисковый робот действует согласно прописанной «инструкции». Какая информация должна быть в файле robots.txt?
Вся информация прописывается директивами, директива это команда поисковому роботу на то или иное действие. Основных директив для robots.txt ни так уж и много.
User-agent: — назначение этой директивы указать, какому поисковому роботу предназначена информация.
Allow: — разрешение на индексацию всего сайта или какой-то его части
Disallow: — запрещение индексации всего сайта или определенной его части
Sitemap: — не обязательная директива, она указывает на то, что у вас на сайте есть Sitemap, так называемая карта сайта, или по «научному» – описание структуры вашего сайта в формате .xml или .xml.gz.
Host: — тоже не обязательная директива – ей мы указываем основное зеркало сайта.
А сейчас на примере опробуем составить простенький robots.txt для Яндекса:
User-agent: * — данной директивой мы разрешаем индексировать сайт всем поисковым роботам, для этого достаточно после User-agent: добавить значок *. Но мы составляем robots.txt именно для Яндекса, в этом случае наш User-agent: должен выглядеть так:
User-agent: Yandex – этой директивой мы открываем доступ всем поисковым роботам Яндекса, которых существует более десятка.
Возможно, каким то из них вы решите запретить доступ к вашему сайту. Привожу их список и краткое описание;
«YandexBot» — основной индексирующий робот
«YandexMedia» — индексирует мультимедийные данные
«YandexImages» — индексирует картинки
«YandexCatalog» — так называемый «стукач» Яндекс.Каталога
«YaDirectFetcher» — индексатор Яндекс.Директа, вот этому можно смело дать запрет
«YandexBlogs» — поиск по блогам, индексирует комментарии и посты всех блогов
«YandexNews» — индексирует Яндекс.Новости
«YandexPagechecker» — валидатор микроразметки я бы тоже не пускал его на сайт)
«‘YandexMetrika» — поисковый бот Яндекс.Метрики
«YandexMarket» — поисковый бот Яндекс.Маркета
«YandexCalendar» — поисковый бот Яндекс.Календаря что это такое я не знаю
Теперь, когда мы знаем всех роботов Яндекса в «лицо», при желании можно запретить любому из них, индексировать ваш сайт. Хотя это и не обязательно, особого вреда они вашему сайту не принесут, но мало ли у кого какие цели.
Несколько практических примеров robots.txt для Яндекса:
User-agent: Yandex Disallow: / Полный запрет на индексацию вашего сайта всем роботам Яндекса.
User-agent: Yandex Allow: / В данном случае ваш сайт полностью открыт для индексации Яндексом.
User-agent: Yandex Allow: / User-agent: YandexMetrika Disallow: / В этой ситуации, ваш сайт закрыт от индексации только роботу YandexMetrika остальным роботам Яндекса доступ к сайту открыт.
Я думаю, что принцип понятен.
User-agent: Yandex Allow: /content Disallow: / Здесь мы закрыли для индексации весь сайт кроме директории /content
User-agent: Yandex Allow: / Disallow: /content А это противоположная ситуация, весь сайт открыт для индексации кроме директории /content. Как видите совсем ни чего сложного.
User-agent: Yandex Allow: / Disallow: /content Sitemap: адрес сайта/ sitemap.xml Host: домен.ру Добавили две директивы, и это уже похоже на настоящий robots.txt, или вернее сказать это основной скелет будущего файла robots.txt.
И еще, один совет.
Особо следует уделить внимание, когда от индексации закрываются страницы категорий. Иногда в адресе страницы можно увидеть такую картину – название сайта/категория/название категории/название статьи, если адреса страницы у вас построены таким образом, а категории закрыты в robots.txt, вы долго будете искать причины, по которым ваш сайт не индексируется.
Как проверить robots.txt в Яндексе
Если вы, поняли принцип создания правильного robots.txt для Яндекса,и ваш файл готов, самое время его проверить. Проверка robots.txt Яндексом, процедура не трудная, и не займет у вас много времени. Идем в Яндекс.Вебмастер, все дальнейшие действия будут происходить именно там.
1 шаг2 шаг3 шаг4 шаг5 шаг6 шаг Жмем мои сайты и выбираем нужный вам сайт В левом меню – Индексирование сайта Анализ robots.txt Загружаем robots.txt с сайта После загрузки жмем – проверить И смотрим результаты
Результаты проверки Яндексом robots.txt моего блога показали, что все директивы учитываются роботом Яндекса, в правильности данной проверки можно не сомневаться.
В заключении не большой совет: если вы слабо разбираетесь, или попросту не хотите вникать в то что я описал выше, для составления правильно файла robots.txt обратитесь к специалисту. Даже если вы нашли готовый файл, для популярных CSM существуют готовый роботсы, всеравно покажите его специалисту, не все сайты одинаковы, даже если сделаны на одинаковых движках.
В ближайшее время я расскажу вам о том, как сделать правильный robots txt для WordPress.