Старый 07.09.2012, 08:58 #1 (Ссылка)
Подглядывающий
Дополнительная информация
По умолчанию

SEO: Что такое Robots.txt?


Robots.txt - текстовый файл в корневом каталоге Вашего ресурса. Понятно? - Нет! Тогда давайте разбираться, что же это всё-таки за файл. Robots.txt - это текстовый файл, который содержит инструкции и алгоритмы действия поисковых систем на Вашем сайте. Например, с помощью Robots.txt Вы можете запретить индексацию некоторых страниц, которые Вы хотели бы оградить от выдачи в поиске по той или иной причине. К примеру, Вам совсем не нужно, чтобы технические разделы ресурса индексировались поисковиком. Также, как говорилось в прошлом видео-ролике, в Robots.txt можно прописать путь к Sitemap.xml. То есть, как ни странно, файл позволяет несколько направить и скорректировать действия роботов поисковой системы на вашем сайте. С предназначением всё ясно, теперь передём к созданию. Создать файл довольно просто - в обычном блокноте, даже не меняя расширение, как в случае с Sitemap.xml. Зайдя на Ваш ресурс, первое, что увидет поисковый робот - Robots.txt. Настроить файл можно используя 2 директивы: User-Agent и Disallow. Если на Вашем сайте есть несколько зеркал, также используется директива Host; так же, как уже говорилось ранее, директива Sitemap; Crawl-Delay (подробнее о директивах в видео-уроке). Главное помнить, что именно корректная настройка файла Robots.txt крайне важна. Некорректная настройка приведёт либо к отображению страниц конфиденциального характера, либо к закрытию от индекса страниц с информацией, которую Вы бы хотели видеть в поисковой выдаче. Возникшие вопросы по созданию и настройке Robots.txt задавайте в комментариях.

crystall.seo вне форума   Ответить с цитированиемОтветить с цитированием


Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Вкл.


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
файл robots.txt Arch LInux Раскрутка сайта 3 21.07.2015 02:27
robots.txt для форума на vBulletin Veter vBulletin 65 30.06.2014 21:07
Запрет индексирования папки в robots.txt RoInmana SEO и поисковое продвижение 4 19.04.2013 19:44
robots.txt и sitemap werctor Раскрутка сайта 23 14.11.2011 23:01
как создать robots.txt и карту сайта за пять минут титов саня Дайджест блогосферы 5 19.04.2011 17:49


Текущее время: 18:58. Часовой пояс GMT +3.

Powered by vBulletin®
Copyright ©2000 - 2020, WMboard.
Перевод: zCarot
 

Форум вебмастеров

Здесь делают сайты, учатся на них зарабатывать. Ты новичок, и ничего не понимаешь в создании сайтов и в интернет заработке? Не знаешь ответа на вопрос по сайтостроению? Мучают вопросы сео оптимизации?

Не беда, присоединяйся к сообществу вебмастеров, и зарабатывай вместе с нами!