Файлы robots.txt и sitemap.xml на сайте отеля

Файлы robots.txt и sitemap.xml на сайте отеля

Зачем нужны файлы robots.txt и sitemap.xml? Именно они помогают поисковикам правильно находить страницы вашего сайта и решать, какие из них показывать в поиске, а какие — нет. За это отвечают два служебных файла: robots.txt и sitemap.xml.

Хорошая новость — на сайте отеля они создаются и обновляются сами, вам не нужно ничего настраивать. В этой статье коротко объясним, зачем они нужны и как проверить, что у вашего сайта они есть.

Что такое robots.txt

Это небольшой файл, который лежит в корне сайта. Он подсказывает поисковым роботам (роботам Яндекса, Google и других), какие страницы можно показывать в поиске, а какие — скрыть. В файле есть два простых правила:

• Allow — разрешить показывать страницу в поиске;
• Disallow — запретить показывать страницу в поиске.

С помощью этого файла закрыты от поиска технические страницы и служебные адреса. Так в результаты поиска попадают только нужные страницы — главная, номера, услуги, контакты — а лишнее остаётся скрытым.

Что такое sitemap.xml

Это карта сайта — список всех страниц, которые нужно показать поисковикам. Она помогает роботам быстрее и точнее находить и индексировать ваш сайт. В карте также указывается дата последнего обновления каждой страницы. Если у сайта несколько языковых версий, для каждого языка составляется своя карта.

Проще говоря: robots.txt говорит поисковику, что показывать нельзя, а sitemap подсказывает, что нужно найти. Вместе они помогают вашему сайту правильно выглядеть в поиске.

Зачем это нужно вам

Ничего настраивать руками не придётся — оба файла формируются автоматически и обновляются вместе с сайтом. Но полезно знать, где их найти и как убедиться, что с ними всё в порядке. Особенно это пригодится, когда вы подключаете сайт к сервисам для веб-мастеров и хотите проверить, что поисковики видят все нужные страницы.

Шаг 1. Откройте вкладку «Веб-мастер»

Слева в меню откройте раздел «Сайт отеля», а затем вверху перейдите на вкладку «Веб-мастер». В самом верху вы увидите блок «Файлы для поисковых систем».

Здесь и собраны оба файла. Рядом есть подсказка: файлы создаются автоматически, настраивать их не нужно.

Шаг 2. Посмотрите файлы вашего сайта

В блоке две строки — robots.txt и sitemap.xml. У каждой есть короткое описание и кнопка «Открыть». Нажмите её, чтобы посмотреть содержимое файла в новой вкладке браузера.

Первая кнопка открывает robots.txt, вторая — карту сайта sitemap.xml.

Шаг 3. Проверьте robots.txt

После нажатия «Открыть» напротив robots.txt откроется простой текстовый файл. В нём вы увидите разрешённые к показу страницы (строки с Allow) и ссылку на карту сайта.

Так выглядит файл, когда с ним всё в порядке — это нормальный рабочий вид.

Шаг 4. Проверьте карту сайта sitemap.xml

Кнопка «Открыть» напротив sitemap.xml покажет список всех страниц вашего сайта с датой последнего обновления.

Если вы видите этот список — значит, поисковики знают обо всех страницах вашего сайта.

Как проверить файлы вручную

Проверить наличие этих файлов можно и без входа в личный кабинет:

1. Введите в адресной строке браузера адрес вашего сайта и добавьте в конце /robots.txt — например, ваш-сайт/robots.txt.
2. Точно так же для карты сайта добавьте /sitemap.xml.

Если файл есть, вы увидите его содержимое — ровно то же, что открывается по кнопкам в разделе «Веб-мастер».

Подсказки

• Ничего настраивать не нужно. Оба файла создаются и обновляются автоматически. Добавили новую страницу или поменяли содержимое — карта сайта обновится сама.
• Файлы появляются только у опубликованного сайта. Пока сайт не опубликован, поисковикам показывать нечего — публикуйте сайт, и файлы появятся.
• Пригодится для веб-мастеров. Когда подключаете сайт к сервисам для веб-мастеров, там иногда просят указать адрес карты сайта. Возьмите его прямо из кнопки «Открыть» напротив sitemap.xml.

Частые вопросы

Нужно ли мне самому создавать или редактировать эти файлы? Нет. Всё делается автоматически. Вам достаточно знать, где их посмотреть.

Я открыл файл, а там непривычный текст. Это ошибка? Нет. robots.txt — это простой список правил, а sitemap.xml — список страниц. Так и должно выглядеть, это рабочий вид файлов для поисковых роботов, а не для людей.

Почему в списке страниц нет некоторых адресов? В карту сайта попадают основные страницы, которые важно показать в поиске. Служебные и технические адреса намеренно скрыты, чтобы не мешать поисковикам и защитить лишнее от показа.

Как часто обновляется карта сайта? Она обновляется вместе с вашим сайтом. Рядом с каждой страницей указана дата последнего изменения.

У меня несколько языков на сайте. Будет ли карта для каждого? Да. Для сайта с несколькими языковыми версиями составляется отдельная карта на каждый язык.