robots.txt для форума на vBulletin

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
В этой теме мы поговорим о robots.txt

Для чего нужен robots.txt?

robots.txt нужен для роботов поисковых систем, и для правильной индексации форума либо просто сайта.

Сложно сказать какой Роботс будет идеальным для поисковых систем. Есть фанаты robots.txt, которые постоянно что-то изменяют, добавляют пытаясь добиться идеальности. Лично мое мнение, что во всех вопросах по robots.txt главное не переусердствовать. Лучше что-то не включить, чем включить в robots.txt, но затем ломать голову почему те или иные страницы выпали из индекса.

Включая те или иные правила в robots.txt вы должны четко понимать, что robots.txt служит лишь рекомендациями роботам поисковых систем, но никак не правилом.

robots.txt для форумов с vbSEO и без него будет существенно отличаться.

robots.txt для форума без vbSEO

Вот, например один из "идеальных" роботсов для форума без ЧПУ

офф
User-agent: *
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/

Sitemap: http://мойсайт.ru/sitemap/vbulletin_sitemap_index.xml.gz
Host: мойсайт.ru

User-agent: Googlebot
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=

User-agent: Yandex
Disallow: /admincp/
Disallow: /album.php
Disallow: /archive/
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /install/
Disallow: /js/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /modcp/
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /tags.php
Disallow: /usercp.php
Disallow: /vb/
Clean-param: s&do&blogtype&sort&order&mode&goto&m&y&markreadhash&prefixid&p&viewfull&p
Crawl-delay: 5


Если у вас форум без установленного vbSEO, то я бы рекомендовал обратиться к роботсу forum.searchengines.ru. Уверен, что robots этого форума устроит даже более чем простого обывателя :)

Смотрим:

офф
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
robots.txt для форума с установленным vbSEO

robots.txt для форума с установленным vbSEO

Здесь я также не буду лезть в дебри. Я не фанат роботса, поэтому обращусь к другому лидеру с устанвленным модулем vbSEO форуму webmasters.ru. Вот их роботс, заметьте, что данный роботс написан под директорию папки forum, то есть если у вас форум находится в корневом каталоге, нужно просто исключить во всех записях /forum

офф
User-agent: Yandex
Crawl-delay: 3
Disallow: /forum2/
Disallow: /forum/blogs/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: мойсайт.ru

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Disallow: /forum/daos/
Disallow: /forum/tools/backlinks/


Это были просто примеры. Естественно не нужно бездумно запрещать к индексации нужные вам папки, так как вы должны понимать что все эти примеры заточены под конкретные нужды конкретного форума.

Например в последнем в строке Disallow: /forum/blogs/ мы запрещаем к индексации блоги. Или Disallow: /forum2/ это их личная директория, которая только на данном форуме. Скорее всего тестовый форум. Или Disallow: /forum/daos/ - это запрет индексации модуля daos, который они используют. И так далее.

Тем не менее во всех приведенных выше роботсах основная часть атрибутов является общими, и подойдет к абсолютно любому форуму.

Так что удачи в собственных изысканиях :)
 

Аркадий 10

Пользователь
Регистрация
06.01.12
Сообщения
487
Реакции
83
Баллы
13
Ветер, а для начинающих есть возможность пояснить подробнее?

З.Ы. Я так то ничего не понял...:sorry:
 

Ночная странница

Пользователь
Регистрация
30.01.12
Сообщения
1.751
Реакции
965
Баллы
28
Возраст
47
Аркадий 10, подробнее поясню я, можно?
Мне просто казалось, что Veter расскажет нам какие-то особые секреты...)))

User-agent: - эта директива показывает, для какого бота расписаны рекомендации
Crawl-delay: - показывает роботу период ожидания между закачками страниц (чтобы не перегружать сервер запросами)
Host: основной домен сайта (основное зеркало), все остальные будут считаться зеркалами... но без гарантии - директива носит рекомендательный характер
ну и
Disallow: запрещает доступ к некоторым частям сайта.

Файл должен называться строго robots.txt (никаких заглавных букв), располагаться в корневой директории сайта...
Если что-то ещё непонятно - спрашивай конкретнее.
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Мне просто казалось, что Veter расскажет нам какие-то особые секреты...)))

Там нет секретов :)


Аркадий 10, ищете готовый роботс для себя? Возьмите роботс от forum.searchengines.ru вам подойдет практически без изменений. Только допишите в него свой Host: мойсайт.ru в колонку Яндекса и все.
 

Аркадий 10

Пользователь
Регистрация
06.01.12
Сообщения
487
Реакции
83
Баллы
13
Аркадий 10, ищете готовый роботс для себя? Возьмите роботс от forum.searchengines.ru вам подойдет практически без изменений.
А у меня SEO установлено, правда отключено через управление продуктами, это ничего не повлияет на работу? Вы же вот писали, что без установленного SEO?

Только допишите в него свой Host: мойсайт.ru в колонку Яндекса и все.

И прошу поподробнее рассказать как это сделать (как дописать то, я не понимаю где эта колонка Яндекса?:)) и вообще куда этот файлик (в блокноте все делать?) закидывать? в папку ПАБЛИК ХТМЛ?
 

Ночная странница

Пользователь
Регистрация
30.01.12
Сообщения
1.751
Реакции
965
Баллы
28
Возраст
47
И прошу поподробнее рассказать как это сделать (как дописать то, я не понимаю где эта колонка Яндекса?) и вообще куда этот файлик (в блокноте все делать?) закидывать? в папку ПАБЛИК ХТМЛ?

Создаешь обычный виндосовский блокнот, называешь его robots (расширение txt пропишется автоматически), закидываешь в него следующий текст:

п
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: мойсайт.ru

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


мойсайт.ru меняешь на свой домен, сохраняешь, закидываешь в корневой каталог сайта и проверяешь доступность через мойсайт.ru/robots.txt

Всё :)
 
Последнее редактирование:
  • Мне нравится
Реакции: inso

jess123

Пользователь
Регистрация
17.04.12
Сообщения
15
Реакции
4
Баллы
3
закидываешь в корневой каталог сайта
Только ж ты учти структуру своего сайта.
Если это с /forum то и в robots.txt надо дописывать этот префикс и забрасывать на ФТП в каталог /forum
И, соотеснно, проверка будет тогда по адресу мой сайт.ру/forum/robots.txt
 

Ночная странница

Пользователь
Регистрация
30.01.12
Сообщения
1.751
Реакции
965
Баллы
28
Возраст
47
jess123, спасибо за дополненние, просто я знаю сайт Аркадия и поэтому так смело дала "закинуть" :)
 

Аркадий 10

Пользователь
Регистрация
06.01.12
Сообщения
487
Реакции
83
Баллы
13
мойсайт.ru меняешь на свой домен, сохраняешь, закидываешь в корневой каталог сайта и проверяешь доступность через мойсайт.ru/robots.txt
Все сделал, права выставил 755

Все - :)
Not Found

The requested URL /robots.txt was not found on this server.

Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.
Apache/2 Server at ..................ya.com Port 80
 

Ночная странница

Пользователь
Регистрация
30.01.12
Сообщения
1.751
Реакции
965
Баллы
28
Возраст
47
Аркадий 10, я чего-то не понимаю... Если файл лежит в корневой, то почему бы ему быть недоступным?
Может, Veter подскажет, почему так может быть...
 

jess123

Пользователь
Регистрация
17.04.12
Сообщения
15
Реакции
4
Баллы
3
Хотел и свои 5 копеек вставить:
Оператор Crawl-delay — правило, которое не учитывается Googlebot

Добавлено через 5 минут
Аркадий 10, а вы уверены, что ТОЧНО в корень сайта его положили? На ФТП вот сюда /public_html
Кстати, у меня права на роботс 766

Добавлено через 22 минуты
более конкретное расположение моего robots:
home/имя_директории/public_html
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard

Boss3

Пользователь
Регистрация
19.06.10
Сообщения
1.683
Реакции
392
Баллы
28
Адрес
Pirate Bay
Аркадий. Если у тебя сео не в работе снеси его на фиг. И файлы сеошные тоже снести не забудь. Сео даже отключенное влияет на какие то функции. Не помню какие но замечал. Может у тебя и ошибка из поиска поэтому. Когда будешь сносить тебя спросит по аглицки удалять таблицы в базе данных, жми "да".
 

Аркадий 10

Пользователь
Регистрация
06.01.12
Сообщения
487
Реакции
83
Баллы
13
Аркадий. Если у тебя сео не в работе снеси его на фиг. И файлы сеошные тоже снести не забудь. Сео даже отключенное влияет на какие то функции. Не помню какие но замечал.
Снес все нафиГ. Сообщение вот потом вылезло следующее: "Перестроение битовых полей прошло успешно" Что это?
Может у тебя и ошибка из поиска поэтому.
Ошибка скорее сего из-за установленного хака "облако слов из гугла", отключил его - все нормально переходит. Как оценишь этот хак, говорят, что он вреден и отрицательно влияет на индексацию? Лучше вообще снести его?
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
"Перестроение битовых полей прошло успешно" Что это?

Это все нормально значит.


Аркадий 10, не нужно ставить целью максимум хаков. Нужно ставить полезные админам и юзерам. Чем больше хаков, тем слабее безопасность. Параноить не нужно, но не нужно и злоупотреблять.
 

Sylo

Пользователь
Регистрация
18.05.12
Сообщения
101
Реакции
5
Баллы
13
Я вот тут составил свой robots.txt, не мог бы кто нибудь глянуть? :)
И ещё такой вопрос: у меня в гугл-вебмастер robots.txt конфликтует(кажется) с sitemap.xml, т.е. гугл говорит, что у меня 895 предупреждений при 492 ссылок и при том, что проиндексированных URL... Как это вообще возможно? :)
robots.txt
User-agent: *
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /images/customprofilepics/
Disallow: /customgroupicons/
Disallow: /signaturepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /install/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /forum/global.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /forum/faq.php
Disallow: /infraction.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member_inlinemod.php
Disallow: /misc.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /picture_inlinemod.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /forum/memberlist.php
Host: www.kamoro4ka.tw1.ru
Sitemap: http://www.kamoro4ka.tw1.ru/sitemap.xml
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Sylo, а что у вас есть папка forum? Насколько я понял ваш форум в корне директории лежит.
 

Sylo

Пользователь
Регистрация
18.05.12
Сообщения
101
Реакции
5
Баллы
13
Sylo, а что у вас есть папка forum? Насколько я понял ваш форум в корне директории лежит.

У меня есть ссылка
Код:
http://kamoro4ka.tw1.ru/forum26.html
, я подумал, что это и есть папка форум :) Получается /forum/ надо убрать? Кстати, если пройти по одной из ссылок с forum, то ошибки не будет :)
 

lukamal

Редактор
Регистрация
30.08.12
Сообщения
803
Реакции
484
Баллы
28
Veter, а почему в вашем файле robots.txt
стоит Disallow: /members
а не Disallow: /member.php
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Потому что member.php это без vbSEO, а с ним members
Но даже если я выкину эти строчки из robots это не будет иметь никакого значения, тк профили закрыты от гостей, следовательно и от ботов автоматом.
 

desperadoo

Пользователь
Регистрация
26.09.09
Сообщения
209
Реакции
33
Баллы
16
Возраст
40
А можно ли в роботсе запретить к индексации определённые подразделы форума?
 

Helenka1

Пользователь
Регистрация
26.06.12
Сообщения
2.501
Реакции
535
Баллы
28
Dzmitry, насколько я знаю, запретить индексацию определенных разделов можно с помощью стандартных настроек воблы.
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Можно. Прописываете нужны разделы форума и все.

насколько я знаю, запретить индексацию определенных разделов можно с помощью стандартных настроек воблы.


Helenka, стандартными настройками гости не будут видеть эти разделы. А если ты имеешь в виду в настройках раздела запрет на индексацию, то это на поиск.
 

Avalanch

Пользователь
Регистрация
22.02.13
Сообщения
91
Реакции
42
Баллы
3
Адрес
Москва
robots.txt для форума с установленным vbSEO

Здесь я также не буду лезть в дебри. Я не фанат роботса, поэтому обращусь к другому лидеру с устанвленным модулем vbSEO форуму webmasters.ru. Вот их роботс, заметьте, что данный роботс написан под директорию папки forum, то есть если у вас форум находится в корневом каталоге, нужно просто исключить во всех записях /forum

офф
User-agent: Yandex
Crawl-delay: 3
Disallow: /forum2/
Disallow: /forum/blogs/
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: мойсайт.ru

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Disallow: /forum/daos/
Disallow: /forum/tools/backlinks/


Это были просто примеры. Естественно не нужно бездумно запрещать к индексации нужные вам папки, так как вы должны понимать что все эти примеры заточены под конкретные нужды конкретного форума.

Например в последнем в строке Disallow: /forum/blogs/ мы запрещаем к индексации блоги. Или Disallow: /forum2/ это их личная директория, которая только на данном форуме. Скорее всего тестовый форум. Или Disallow: /forum/daos/ - это запрет индексации модуля daos, который они используют. И так далее.

Тем не менее во всех приведенных выше роботсах основная часть атрибутов является общими, и подойдет к абсолютно любому форуму.

Так что удачи в собственных изысканиях :)

Veter,

тут ошибочка, повторяющая директива:
Яндекс валидатор robots пишет как раз о том, что он дублируется, надо одну удалить :)
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Ну я его не сам придумывал, а взял с указанного форума :) А так, спасибо. Те, кто будет составлять свой конечно учтут ваше замечание.
 

desperadoo

Пользователь
Регистрация
26.09.09
Сообщения
209
Реакции
33
Баллы
16
Возраст
40
А как вам такой вариант?
[OFF]User-agent: *
Allow: /$
Allow: /page.php?p=
Allow: /showthread.php?t=
Allow: /forumdisplay.php?f=
Allow: /opr
Allow: /img
Allow: /sitemap
Disallow: /
Host: сайт
Sitemap: http://сайт/sitemap_index.xml.gz[/OFF]
 

Milkivey

Пользователь
Регистрация
28.03.13
Сообщения
68
Реакции
1
Баллы
3
Тут вписывают папки админки и модерации, но ведь можно посмотреть как называется эта папка зайти пытаться попасть в админку. Зачем тогда вписывают эти папки?
 

Avalanch

Пользователь
Регистрация
22.02.13
Сообщения
91
Реакции
42
Баллы
3
Адрес
Москва
Тут вписывают папки админки и модерации, но ведь можно посмотреть как называется эта папка зайти пытаться попасть в админку. Зачем тогда вписывают эти папки?

Чтобы не индексировались, почитайте, что такое robots.txt и для чего он служит.
 

Milkivey

Пользователь
Регистрация
28.03.13
Сообщения
68
Реакции
1
Баллы
3
Ну Я знаю для чего необходим роботс, смысл тогда менять название папки если все равно ставишь на показ измененной папки название? И на этом сайте созданном роботс не вписана папка админки.
 
Последнее редактирование:

Allex1

Пользователь
Регистрация
21.04.12
Сообщения
158
Реакции
34
Баллы
13
Ну Я знаю для чего необходим роботс, смысл тогда менять название папки если все равно ставишь на показ измененной папки название? И на этом сайте созданном роботс не вписана папка админки.

Вы знаете как она называется? Чего вы хотите?

[ADMIN="Veter"]Часть постов перемещена: https://lumtu.com/vbulletin/4431-kak-mozhno-zapretit-papku-foruma-k-indeksacii.html[/ADMIN]
 
Последнее редактирование модератором:

Milkivey

Пользователь
Регистрация
28.03.13
Сообщения
68
Реакции
1
Баллы
3
Mister, прошу извинить, но напишите еще раз пожалуйста код от индексации папки яндексом, гуглом и прочим, то куда-то пропал файл. Заранее спасибо.
 

джинася

Пользователь
Регистрация
13.03.12
Сообщения
547
Реакции
229
Баллы
28
Если у вас форум без установленного vbSEO, то я бы рекомендовал обратиться к роботсу forum.searchengines.ru. Уверен, что robots этого форума устроит даже более чем простого обывателя

А мне тоже такой нужен?:blush:
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Ну да. Примерно такой, если vbSEO не ставили.
 

Dja

Пользователь
Регистрация
08.04.13
Сообщения
76
Реакции
14
Баллы
3
Адрес
Москва
Залил роботс, яндекс и гул выдали ошибки.
Дело в следующем: хостинг каким-то образом добавляет в залитый роботс в самый конец вот это
Код:
<!-- Hosting24 Analytics Code -->
<script type="text/javascript" src="http://stats.hosting24.com/count.php"></script>
<!-- End Of Analytics Code -->
Яндекс выдает "синтаксическая ошибка" и "обнаружена неизвестная директива".
Сам файл брал отсюда.
Что тут можно придумать?

Под спойлером "оффтоп" сам файл, он длинный.

[OFF]User-agent: Yandex
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Host: djscuterforum.comoj.com

User-agent: Googlebot
Crawl-delay: 3
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/archive/

User-agent: Slurp
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: msnbot
Crawl-delay: 10
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/

User-agent: *
Crawl-delay: 30
Disallow: /forum/clientscript/
Disallow: /forum/cpstyles/
Disallow: /forum/customavatars/
Disallow: /forum/images/customprofilepics/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/ajax.php
Disallow: /forum/announcement.php
Disallow: /forum/infraction.php
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/global.php
Disallow: /forum/image.php
Disallow: /forum/inlinemod.php
Disallow: /forum/joinrequests.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/moderator.php
Disallow: /forum/newattachment.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/threadrate.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
Disallow: /forum/news
Disallow: /forum/redirect-to
Disallow: /forum/redirect/
Disallow: /forum/tools/backlinks/
<!-- Hosting24 Analytics Code -->
<script type="text/javascript" src="http://stats.hosting24.com/count.php"></script>
<!-- End Of Analytics Code -->[/OFF]
 
Последнее редактирование:

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Сам файл брал отсюда.

Сам файл брали отсюда, но у вас бесплатный хостинг. Вот и все.

Люди, как вы не можете понять. Если вы пользуетесь бесплатными хостингами, то должны быть готовы к тому, что:

Хостинг добавит вам какие нибудь скрипты
Хостинг добавит вам какой-нибудь код
На нем форум может работать некорректно
На нем могут не работать какие-либо хаки
На нем могут быть любые неприятные моменты.

Неужели сложно найти 30 руб в месяц, и избавиться от проблем...
 

Dja

Пользователь
Регистрация
08.04.13
Сообщения
76
Реакции
14
Баллы
3
Адрес
Москва
Понял.
Обойти это никак нельзя? Ведь фактически, это же запрет на индексацию содержимого - кривой роботс.тхт поисковики не обрабатывают...
[OFF]Получилось наглядное пособие по теме "Почему не надо связываться с бесплатным хостингом"[/OFF]
 

джинася

Пользователь
Регистрация
13.03.12
Сообщения
547
Реакции
229
Баллы
28
Для особо одаренных,вот такой подойдет для моего сайта?:
блокнот
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: istradeti.ru

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
 

Dja

Пользователь
Регистрация
08.04.13
Сообщения
76
Реакции
14
Баллы
3
Адрес
Москва
О том, про что писал выше. Разобрался.
В конфе техподдержки хостинга этот вопрос освещен.
Признаются, что да, они добавляют этот код, типа как для пользы юзеров, чтобы юзеры у них же смогли поглядеть статистику по своему сайту....:D
Есть окошко для выключения этого.
Предупреждают, что если не поможет (мне не помогло, естессно:crazy::D) то добавить в .htaccess такую строчку:

php_value auto_append_file none

Всё, убрался код, яндекс перестал давать ошибку.:victory:
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
джинася, поменяйте директиву хост на

Код:
Host: www.istradeti.ru

За что это вас Яндекс выбросил из индекса до трех стр?
 

Dja

Пользователь
Регистрация
08.04.13
Сообщения
76
Реакции
14
Баллы
3
Адрес
Москва
Только ж ты учти структуру своего сайта.
Если это с /forum то и в robots.txt надо дописывать этот префикс и забрасывать на ФТП в каталог /forum
Это требует пояснений, потому что на http://robotstxt.org.ru/robotsexclusion/guide#______ сказано:
На сайте может быть только один файл «/robots.txt». Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать. Если вы хотите иметь возможность создавать файлы robots.txt в поддиректориях, то вам нужен способ программно собирать их в один файл robots.txt, расположенный в корне сайта.
И дальше:
Как видите, файл robots.txt нужно класть исключительно в корень сайта.
Сайт у меня, допустим, bumbub.org, там только одна-единственная (пока) страница index.html, форум лежит по адресу bumbum.org/forum.
Причём когда открываю Filezillo-й, дерево такое: в самом корне (не знаю чего) лежит несколько папок, среди них папка WWW, в ней лежит папка с названием bumbum.org, а в ней - index.html и папка forum. Куда класть robots.txt, в bumbum.org? И добавлять /forum во все строчки?
 

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
Все правильно сказано в цитате. Роботс должен быть один, и роботс должен быть в корневой директории.

Куда класть robots.txt, в bumbum.org?

В папку WWW конечно же. Это и есть корень сайта.
 

Ночная странница

Пользователь
Регистрация
30.01.12
Сообщения
1.751
Реакции
965
Баллы
28
Возраст
47
ВНИМАНИЕ! ВАЖНО!

Буквально сегодня столкнулась с ситуацией, когда в robots.txt добавляют ссылки на переименованные админки и модерки. Такого ни в коем случае делать нельзя - переименование для того и делается, чтобы скрыть эти разделы от непрошенных гостей! А в этом файле их может увидеть любой школьник! Особенно это актуально в связи с повальным брутом...

[ADMIN="Veter"]Часть постов перемещена: https://lumtu.com/poiskovye-sistemy-runeta/4616-nol-stranic-v-indekse-ssndeksa-eto-ban-2.html[/ADMIN]
 
Последнее редактирование модератором:
  • Мне нравится
Реакции: inso

inso

Пользователь
Регистрация
12.06.13
Сообщения
362
Реакции
14
Баллы
13
User-agent: Slurp
Crawl-delay: 5
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html

User-agent: msnbot
Crawl-delay: 10
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


User-agent: Yandex
Crawl-delay: 3
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html
Host: мойсайт.ru

User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Crawl-delay: 30
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /sendtofriend.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /warn.php
Disallow: /search.php
Disallow: /search_forum.php
Disallow: /poll.html


Если у меня домен .рф? его писать Host:мой-сайт.рф? Я просто закинул, проверил доступность по ссылке мой-сайт.рф/robots.txt, а там хост кракозябрами написан.

Добавлено через 4 минуты
Проверил в панели яндекс без регистрации, по итогу проверки выдал используемые секции:


38-55 User-agent: Yandex
Crawl-delay: 3
...
Host: мой-сайт.рф

Я правильно понимаю, что все в порядке?
 
Последнее редактирование:

Wmboard

Пользователь
Регистрация
01.01.70
Сообщения
9.274
Реакции
2.665
Баллы
28
Адрес
На wmboard
С рф не знаю. Нет у меня таких доменов, и не будет.
 

inso

Пользователь
Регистрация
12.06.13
Сообщения
362
Реакции
14
Баллы
13
Я правильно понимаю, чтобы не индексировались разделы Справка и Календарь, надо добавить строчки
Disallow: /faq.php
Disallow: /calendar.php
для каждого бота?

Также заметил что у меня некоторые темы индексируются два раза - в самом форуме и в архивном варианте. Это ведь не очень хорошо, верно?
 

Статистика форума

Темы
200.635
Сообщения
380.523
Пользователи
327.876
Новый пользователь
pm1199
Сверху Снизу