Настало время поговорить о двух файлах, занимающих не последнее по важности место в продвижении сайтов. Это файлы robots. txt и sitemap. xml. Эти файлы должны быть на каждом сайте, и многие источники сходятся во мнении, что без них ни о какой SEO-оптимизации говорить не стоит. Давайте разберемся зачем нужны эти файлы и как добавить их в блог на WordPress.
Зачем нужен robots. txt?
Данный файл, находящийся в корневой директории сайта, содержит инструкции для забредших поисковых роботов.
«Паук» имеет строго определенное время на анализ одного сайта, поэтому следует всемерно помогать ему управиться в срок и при этом следить, чтобы он не «наломал дров». Например, некоторые разделы сайта стоит запретить для индексации, т. к. они содержат дублирующуюся информацию или сведения, которые не должны быть доступны через поисковик.
Как выглядит этот робот?
Текст типичного robots. txt для WordPress таков:
User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*? *
Host: seo-armory. ru
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments
Disallow: /*? *
Sitemap:
Обратите внимание! Если на вашем блоге не включены ЧПУ (как сделать ссылки ЧПУ или даешь URL для народа), то строчку Disallow: /*? * надо удалить. Иначе у вас не будут индексироваться записи. Если ЧПУ включены, то всё в порядке.
Если вы хотите закрыть от индексации категории или тэги, то добавьте следующие строчки:
Disallow: /category Disallow: /tag
Внимание! Хорошенько подумайте перед тем, как закрыть тэги и категории. Без тегов и категорий Яндекс не сможет добраться до многих страниц сайта, и количество страниц в индексе резко уменьшиться.
Думаю, по хорошему стоит закрыть от индексации либо теги, либо категории, но что-то одно надо оставить открытым.
Рассмотрим вкратце, что обозначает та или иная часть заклинания. Директива User-agent определяет, «пауку» какой поисковой системы предназначен дальнейший текст. Видно, что первая часть robots. txt адресована роботу Яндекса, а вторая – всем остальным (* – звездочка обозначает любых роботов).
Директивы Allow и Disallow разрешают и запрещает роботам индексации той или иной папки (обычно с целью избежать дублирования контента). В данном случае от индексации закрыты папки cgi-скриптов, админская папка, файлы плагинов, темы оформления, трэкбэки, новостные фиды, метки. Всё остальное – пожалуйста, роботы, индексируйте.
Директива Host, понимаемая только яндексом, позволяет задать основное зеркало вашего сайта (с www или без). Я предпочитаю без, хотя не знаю, есть ли какая-то разница.
Директива Sitemap позволяет задать путь к карте сайта, о которой мы поговорим чуть позднее.
Файл robots. txt создается для сайта раз и навсегда (скорее всего), так что нет смысла особенно вникать в его синтаксис. Но почитать обзорно рекомендую – вот замечательный сайт по этой теме.
Добавляем robots. txt в блог на WordPress
Создайте текстовый файл (например, в Блокноте) и назовите его robots. txt (все буквы маленькие). Скопируйте приведенный выше текст типичного «робота» в файл. Замените в трех местах адрес «Оружейной» на адрес своего блога.
Помните, как делается доступ к блогу с помощью FTP? Загрузите подготовленный robots. txt в корневую директорию вашего блога (что-то типа /domains/seo-armory. ru/public_html).
Проверяем наличие файла, набрав в адресной строке браузера:
Файл на месте?
Всё! С «роботом» закончили.
Теперь поговорим о том…
Зачем нужен sitemap. xml и как его добавить в блог на WordPress
Задача этого файла – предоставить зашедшему на сайт поисковому роботу как можно более подробную карту сайта, то есть список всех его страниц. Это не то же самое, что robots. txt, который чаще всего запрещает «паукам» ползать по той или иной папке. Это скорее обратная задача.
Я немножко упростил назначение sitemap, но тот, кто захочет глубже изучить тему, может почитать, например, здесь.
Карты бывают двух видов: в виде HTML (ее часто можно видеть в меню сайта) и в виде xml. Первый предназначен и для людей, а вот второй создается исключительно для роботов.
Если вас интересует карта сайта, предназначенная для посетителей блога, т. е. карта сайта в формате HTML, то читайте другую мою статью – «Геодезия и картография блога«, а далее мы поговорим о карте для роботов.
Создание и обновление sitemap. xml вручную – довольно хлопотное занятие, поэтому следует поблагодарить судьбу, что в WordPress для этой цели есть ряд плагинов. Один из них – Google XML Sitemap.
Не надо думать, что карта сайта, созданная с помощью этого плагина, подходит только для гугла. Нет, она сгодится всем поисковым системам.
Устанавливаем плагин (как установить?) и во вкладке «Параметры» видим новый пункт XML-Sitemap, поражающий нас обилием настроек.
Не пугайтесь. Подробное описание этих настроек – тема для отдельной статьи, но большинство из них можно оставить как есть. Лично я изменил только одну:
Add sitemap URL to the virtual robots. txt file. (The virtual robots. txt generated by WordPress is used. A real robots. txt file must NOT exist in the blog directory!) Эта галочка добавляет путь к карте сайта в виртуальный robots. txt WordPress. Написано: настоящего robots. txt быть не должно. А у нас он уже есть. Значит снимаем галочку.
Ознакомившись с настройками и представив возможности плагина, жмем ссылку «Построить карту сайта» (или как ее там?) вверху страницы. Если всё прошло без ошибок, то ваша карта сайта готова и доступна по адресу:
Если верить настройкам плагина, карта должна обновляться автоматически при изменениях в блоге.
Теперь у вашего блога есть файлы robots. txt и sitemap. xml, которые многие гуру считают совершенно необходимым условием продвижения в поисковых системах.