Мега мета тэги

(вот и я добрался до мета тегов)

Как я понял этот тег имеет различные атрибуты (не знал что так много)

1. Description - Описание страницы.
2. Keywords - Ключевые слова.
3. Robots - Разрешение на индексирование страниц.
4. Revisit-After - Время и интервал посещения поискового робота.
5. Author - Имя автора или Компании
6. http-equiv - указывает браузеру как следует обработать основное содержание документа, точнее на основе каких данных.
7. name - информационное имя. (применяется в паре с атрибутом content)
8. content - информационное содержание, связанное с мета именем (name)

Список возможных команд роботу:
Index - индексировать страницу
Noindex - не индексировать страницу
Follow - прослеживать гиперссылки на странице
Nofollow - не прослеживать гиперссылки на странице
All - индексировать страницу и прослеживать гиперссылки на странице (по умолчанию)
None - не индексировать страницу и не прослеживать гиперссылки на странице

вплоть до
Page-Enter - Эффект появления страницы
Page- Exit - Эффект исчезновения страницы
В которых:
Duration - время действия эффекта в секундах
Transition - Один из номеров предлагаемых эффектов (от 0 до 23)


в связи с чем возникли вопросы..
1. Зачем файл robots.txt если все это можно прописать в метатегах..
2. Почему на некоторых сайтах какой-то отказ..
типа
<meta name="robots" content="noindex,follow"
<meta name="description" content="None" />
<meta name="keywords" content="None" />

3. Насколько реальны ограничения в количестве символов, описание description не должно превышать по длине более 200 символов, ключевые слова keywords 1000 символов.

Я обычно использую мета-теги только четырех типов:
Еще иногда refresh вместе с JS.

Понятно, что файл robots.txt обслуживает сразу весь сайт, а теги нужно размещать в каждой странице. Как относятся поисковики к этим тегам, не в курсе, т.к. не использую.