robots.txt для форума на vBulletin

[Wmboard]

Да, нужно добавить эти строчки для каждого бота.
Хотя особенного смысла их исключать нет. По дефолту гостям запрещено просматривать события календаря.

Это ведь не очень хорошо, верно?

Это дубликаты текстов, что не только не хорошо, а очень плохо.

Disallow: /archive/

 

[Льюви]

Disallow: /archive/

тогда зачем вообще включать архивную версию?

 

[Wmboard]

Не знаю Человек спросил как сделать чтоб не индексировался.

 

[inso]

Хотя особенного смысла их исключать нет. По дефолту гостям запрещено просматривать события календаря.

У меня из 38 страниц проиндексированных, 6 страниц календаря.

тогда зачем вообще включать архивную версию?

Не знал что ее можно в настройках отключить.

 

[Льюви]

Не знал что ее можно в настройках отключить.

нашли? разобрались?
вообще считается, что боты охотнее и быстрее индексируют как раз архивную версию

 

[inso]

нашли? разобрались?

да, основные настройки - архив форума - ставим "нет" в графе "включить архив".

вообще считается, что боты охотнее и быстрее индексируют как раз архивную версию

Там тоже написано, что это облегчает поисковым роботам. Так я чето не понял, лучше отключить или оставить?

 

[Льюви]

Так я чето не понял, лучше отключить или оставить?

на своих собственных форумах я повыключала
и нЕ из-за сео или пресловутых "дублей страниц", мне на это наплевать

мне не нравится ситуация, когда юзер из результатов поиска попадает на архивную страницу: многие просто не понимают, как попасть на нормальный форум

 

[inso]

Добрый день. хочу посоветоваться с веб-мастерами насчет принципа работы robots.txt. Я раньше думал, что этот файл не дает ботам скачивать ненужные страницы, чтобы они вместо них скачивали больше нужных. Поэтому я заблокировал в роботсе практически все страницы, которые не имеют отношения к текстам.
Но в реальности начал осознавать, что боты Яндекса качают все подряд, просто запрещенные страницы не индексируются. Получается, от моих запретов количество нужных страниц в поиске не увеличится? Я верно понимаю?
Может тогда стоит снять запрет в роботсе с части ненужных страниц (например профили пользователей)? Ведь как мне кажется количество страниц в индексации добавляет некоторый вес сайту.

Подскажите, я верно рассуждаю? Или все таки лучше иметь меньшее количество страниц, но с нужным контентом?

 

[Wmboard]

Получается, от моих запретов количество нужных страниц в поиске не увеличится? Я верно понимаю?

Верно. А с чего они должны увеличиться?

Может тогда стоит снять запрет в роботсе с части ненужных страниц (например профили пользователей)?

Хотите индексировать ссылки с профилей ботов?

Ведь как мне кажется количество страниц в индексации добавляет некоторый вес сайту.

Не придаст. Вес сайту придает контент и ссылки с авторитетных ресурсов. Даже неиндексируемые ссылки с переходом реальных пользователей полезны.

 

[inso]

Верно. А с чего они должны увеличиться?

Я думал, что вместо ненужных страниц боты сразу будут грузить нужные. Но нет, они все равно загружают все подряд.

Не придаст. Вес сайту придает контент и ссылки с авторитетных ресурсов. Даже неиндексируемые ссылки с переходом реальных пользователей полезны.
Тогда выходит, что лучше максимально ограничивать, чтобы меньше мусора индексировалось. Но почему тогда сайт поднимается в поиске именно когда в поиске появляются десяток новых страниц?

Добавлено через 2 минуты

Тогда выходит, что лучше максимально ограничивать, чтобы меньше мусора индексировалось. Но почему тогда сайт поднимается в поиске именно когда в поиске появляются десяток новых страниц?

А блин я понял почему. Потому что количество полезного контента увеличилось.

 

[Wmboard]

Тогда выходит, что лучше максимально ограничивать, чтобы меньше мусора индексировалось.

Не максимально, а в меру. Только мера у каждого своя.

Но почему тогда сайт поднимается в поиске именно когда в поиске появляются десяток новых страниц?

Так новых же. А не профилей ботов

 

[zikker]

Немогу понять одной вещи.Вот мой robots

robots.txt

User-agent: *
Disallow: /album.php
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
User-agent: Googlebot
Disallow: /album.php
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=
User-agent: Yandex
Disallow: /album.php
Disallow: /calendar.php
Disallow: /clientscript/
Disallow: /converse.php
Disallow: /cpstyles/
Disallow: /css.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /images/customprofilepics/
Disallow: /external.php
Disallow: /faq.php
Disallow: /group.php
Disallow: /includes/
Disallow: /list.php
Disallow: /list/
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /packages/
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /signaturepics/
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /vb/
Disallow: /seoOptimize/
Crawl-delay: 1
Host: мой домен.ru
Sitemap: http://мой домен.ru/sitemap_index.xml.gz

Для Гугла прописано

Вот это

Disallow: /*do=
Disallow: /*blogtype=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*mode=
Disallow: /*goto=
Disallow: /*m=
Disallow: /*y=
Disallow: /*prefixid=
Disallow: /*p=
Disallow: /*a=rate
Disallow: /*viewfull=

Но яндекс каким-то образом тоже берет настройки и так же не индексирует.
Помогите разобраться!

 

[inso]

А ПС индексируют цитаты, заключенные в тег

внутри разрешенных страниц? Если да, то есть возможность прописать запрет?

 

[Wmboard]

Оу
Да вы становитесь сео извращенцем

Если да, то есть возможность прописать запрет?

Есть решение. Модераторы бьют по рукам за оверквотинг

 

[inso]

Да вы становитесь сео извращенцем

Вряд ли это комплимент

Есть решение. Модераторы бьют по рукам за оверквотинг

Так я не поянял, решение - это модерировать? Или есть решения автоматизированное?

 

[Wmboard]

Это черный юмор.

Или есть решения автоматизированное?

Возможно есть Я о таком решении не знаю. Очень многое делаю руками, даже с известными решениями.