Мета тег запрета индексации страниц сайта

Robots

<Robots> – это простой инструмент для указания роботам поисковых систем, может ли страница быть проиндексирована и можно ли следовать по ссылкам со страницы.
      До того как сайт готов лучше отключить индексацию в поисковых системах, чтобы на основе незаконченного сайта не попять вниз ранжирования сайтов. Также необходимо отключить индексирование технических страниц, таких как редирект и т.д.

Как и любой мета тег он должен быть помещен в область HEAD HTML страницы:


<html>
    <head>

        <meta name="robots" content="noindex,nofollow">

    </head>
<body>

Директивы понятные роботам Яндекса и Google.

Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.

all - Используется по умолчанию. Означает, что в отношении веб-страницы не предусмотрены исключающие правила для роботов.

noindex - Запрещает индексирование (отображение в поисковой выдаче) веб-страницы.

nofollow - Запрещает переход по ссылкам на веб-странице.

none - Запрещает индексирование и переход по ссылкам на веб-странице.

noarchive - Запрещает выводить ссылку на сохраненную копию веб-страницы в сниппете поисковой выдачи.

Примеры:

<meta name="robots" content="index,follow"> - разрешает индексирование и переход по ссылкам.

<meta name="robots" content="noindex,nofollow"> - запрещает индексирование и запрещае тпереход по ссылкам на веб-странице.

<meta name="robots" content="noindex,follow"> - Запрещает индексирование разрешает переход по ссылкам на веб-странице.

<meta name="robots" content="index,nofollow"> - Разапрещает индексирование и запрещает переход по ссылкам

Рекомендации по применению

Необходимо очень внимательно использовать мета-тег Robots, т. к. он может стать причиной непопадания страниц сайта в поисковую выдачу. Чтобы исключить возможные недоразумения, следуйте указанным рекомендациям:

- применяйте запрещающие директивы мета-тега Robots, совмещая их с директивами файла robots.txt и не допускайте конфликтов между ними;

- учтите, что директивы файла robots.txt выполняются в первую очередь: если в robots.txt установлен запрет на сканирование страницы, а на странице указан мета-тег Robots со значением all или другим равнозначным значением, то робот, следуя инструкции в файле robots.txt, не перейдёт на страницу и не проиндексирует её;

- исключайте индексирование ненужных в поисковой выдаче страниц сайта (виртуальная корзина, результаты поиска по сайту, дубли страниц и т. д.).