Главная Портфолио Услуги Реклама Рекомендуем Контакты

Файл robots.txt

Для управления индексацией страниц сайта в поисковиках используется файл robots.txt. Все ненужные с точки зрения поисковиков страницы сайта желательно закрыть от индексации.

Описание:
http://robotstxt.org.ru/
http://www.robotstxt.org/

Использование (помощь Яндекса):
http://help.yandex.ru/webmaster/?id=996567

Пример простого robots.txt (пустая строчка Disallow в этом случае обязательна):

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.site.ru

Если главная страница сайта доступна по двум URL-адресам http://site.ru/ и http://site.ru/index.html, то второй вариант желательно закрыть от индексации:

User-agent: *
Disallow: /index.html

User-agent: Yandex
Disallow: /index.html
Host: www.site.ru

Это поможет избежать возникновения в индексе дубля главной страницы сайта.

Проверить, какие страницы, закрытые в robots.txt, будут действительно индексироваться, а какие нет, можно в панели вебмастера.