Управлением действиями поисковых
роботов занимаются файл robots.txt и мета-тэги
с атрибутом "robots".
Файл robots.txt.
Файл robots.txt должен входить в
структуру сайта и быть доступным по
вашему URL-адресу, т.е. располагаться в
той же директории, что и стартовая
страница index.
http://www.ваш_домен.ru/robots.txt
Как видно, файл должен иметь
расширение .txt . Для тех, кто не знает:
это текстовый документ и создать его
можно к примеру в "Блокноте" Windows.
Что он из себя представляет? Грубо
говоря, это указание поисковым
роботам (или конкретному роботу) не
индексировать определенные части (страницы,
файлы, папки) вашего сайта.
Выглядеть его содержимое может так:
#robots.txt for http://www.ваш_домен.ru/
User-Agent: *
Disallow: /cgi_bin/ /images/ /ssi/ /css/
Вот и все.
Строка, помеченная
символом # - это комментарий, т.е. для
робота ничего не означает, а служит
вам для информативности.
User-Agent: -
здесь задаются имена роботов, можно
перечислить конкретные имена (если
знаете) или поставить символ * - все
роботы.
Disallow: - здесь
перечисляются все компоненты сайта,
которые не надо индексировать.
Наверняка
на вашем сайте есть папки со
скриптами, изображениями и прочие
вспомогательные разделы. Так зачем
же "забивать голову" роботу
такими вещами, пусть лучше
индексирует ваши страницы, т.е. места,
куда должны приходить посетители.
Учтите,
команд Disallow может быть много, но они
должны быть записаны каждая в своей
строке. Еще :
Disallow:
- т.е. команда без параметров,
разрешает индексировать все;
Disallow:
/ - т.е. с одним
слэшем, запрещает индексировать все.
Теперь,
я думаю, вы сможете создать файл
robots.txt без проблем. Если что-то
непонятно, походите по сайтам и
почитайте файлы robots.txt , посмотрите,
как это сделано у других. Вызывается
это так:
http://www.web-book.narod.ru/robots.txt
Мета-тэг META NAME="ROBOTS".
<META NAME="ROBOTS" CONTENT="robot_terms">
robot_terms - это разделенный запятыми список следующих ключевых слов (заглавные или строчные символы роли не играют):
ALL, NONE, INDEX, NOINDEX, FOLLOW, NOFOLLOW.
NONE
говорит всем роботам игнорировать эту страницу при индексации (эквивалентно одновременному использованию ключевых слов
NOINDEX, NOFOLLOW).
ALL
разрешает индексировать эту страницу и все ссылки из нее (эквивалентно одновременному использованию ключевых слов
INDEX, FOLLOW).
INDEX
разрешает индексировать эту страницу
NOINDEX
неразрешает индексировать эту страницу
FOLLOW
разрешает индексировать все ссылки из этой страницы
NOFOLLOW
неразрешает индексировать ссылки из этой страницы
Если этот мета-таг пропущен или не указаны
robot_terms, то по умолчанию поисковый робот поступает как если бы были указаны
robot_terms=INDEX, FOLLOW (т.е. ALL).
Если в CONTENT обнаружено ключевое слово
ALL, то робот поступает соответственно, игнорируя возможно указанные другие ключевые слова.
Если в CONTENT имеются противоположные по смыслу ключевые слова, например,
FOLLOW, NOFOLLOW, то робот поступает по своему усмотрению (в этом случае
FOLLOW).
Если robot_terms содержит только NOINDEX, то ссылки с этой страницы не индексируются.
Если robot_terms содержит только
NOFOLLOW, то страница индексируется, а ссылки, соответственно, игнорируются.
|
