SEO: Что такое Robots.txt?

Robots.txt - текстовый файл в корневом каталоге Вашего ресурса. Понятно? - Нет! Тогда давайте разбираться, что же это всё-таки за файл. Robots.txt - это текстовый файл, который содержит инструкции и алгоритмы действия поисковых систем на Вашем сайте. Например, с помощью Robots.txt Вы можете запретить индексацию некоторых страниц, которые Вы хотели бы оградить от выдачи в поиске по той или иной причине. К примеру, Вам совсем не нужно, чтобы технические разделы ресурса индексировались поисковиком. Также, как говорилось в прошлом видео-ролике, в Robots.txt можно прописать путь к Sitemap.xml. То есть, как ни странно, файл позволяет несколько направить и скорректировать действия роботов поисковой системы на вашем сайте. С предназначением всё ясно, теперь передём к созданию. Создать файл довольно просто - в обычном блокноте, даже не меняя расширение, как в случае с Sitemap.xml. Зайдя на Ваш ресурс, первое, что увидет поисковый робот - Robots.txt. Настроить файл можно используя 2 директивы: User-Agent и Disallow. Если на Вашем сайте есть несколько зеркал, также используется директива Host; так же, как уже говорилось ранее, директива Sitemap; Crawl-Delay (подробнее о директивах в видео-уроке). Главное помнить, что именно корректная настройка файла Robots.txt крайне важна. Некорректная настройка приведёт либо к отображению страниц конфиденциального характера, либо к закрытию от индекса страниц с информацией, которую Вы бы хотели видеть в поисковой выдаче. Возникшие вопросы по созданию и настройке Robots.txt задавайте в комментариях.