Параметр robots определяет взаимодействие веб-страницы с поисковыми роботами.
<meta name="robots" content="индексация,переход_по_ссылкам">
Возможные значения параметров:
1. <индексация>:
index - индексация разрешена
noindex - индексация запрещена
2. <переход по ссылкам>:
follow - разрешено переходить по ссылкам, которые находятся на этой веб-странице
nofollow - запрещено переходить по ссылкам
3. Комбинации параметров:
all - комбинация index и follow
none - комбинация noindex и nofollow
Пример:
<meta name="robots" content="noindex, nofollow">
Данный дескриптор является альтернативой текстовому файлу robots.txt, находящемуся в корневой директории и применяющемуся ко всему сайту.
