Как запретить индексацию сайта в файле robots.txt фото

Как закрыть сайт от индексации. Настройка robots.txt

Как закрыть сайт от индексации поисковыми роботами, чтобы оставить секретными парочку страниц или файлов?

Достаточно правильно настроенного robots.txt и поместить его в главную папку вашего сайта.

Что представляет собой файл и для чего нужен?

robots.txt – текстовый файл, где владелец ресурса может приписать ограничения для действий поискового робота.

Перед тем, как “гулять” по веб-ресурсу, поисковые роботы ищут этот файл.

В случае, если robots.txt настроен, но ничего там не написано или вовсе файла нет, то ПР принимают это за возможность “погулять” по веб-ресурсу без каких-либо “не индексировать” запретов владельца.

Соответственно, если в файле прописано что-либо, то ПР будут соблюдать рекомендации написанные в нашем файле.Как закрыть сайт от индексации в файле robots.txt фото

Настройка robots.txt

Первая строка записи начинается с команды “User-agent”. Через двоеточие приписывается имя поискового робота для которого мы пишем что не индексировать или наоборот индексировать.

Если вы хотите приписать одинаковые рекомендации всем поисковым роботам-индексаторам, то используйте специальный символ “звезда”Команда обращения к поисковому роботу в файле robots.txt фото

Следующей строкой мы пишем директиву Allow/Disallow в зависимости от ваших целей и прописываем что именно хотим разрешить/запретить.Команда обращения к поисковому роботу в файле robots.txt фото

Как закрыть сайт от индексации с помощью robots.txt?

Пользоваться данным файлом желательно и даже нужно в своих целях. Какие существуют варианты использование:

  1. Запрет на индексацию страниц. Желательно использовать, в случае, если на сайте присутствуют страницы которые должны остаться, но не должны влиять на репутацию веб-ресурса.Запрет на индексацию страниц в файле robots.txt фотоНапример это может быть страница “Отказ от ответственности”, в которой находиться не уникальный текст.
  2. Запрет разделов/категорий. Практично использовать при создании нового раздела или категории(на момент, когда сайт имеет неплохую репутацию) и индексация пока что будет лишней.Запрет на индексацию разделов/категорий в файле robots.txt фото
  3. Запретить индексацию всего сайта. При разработке нового сайта и исправления основных ошибок сайта это сделать необходимо. Иначе вы рискуете испортить репутацию сайта заблаговременно.Запрет на индексацию всего сайта в файле robots.txt фото

10 важных правил при настройке robots.txt

Нельзя писать сначала директивы, а потом User-agent. Такую запись робот не поймет и не учтет ваши рекомендации.Ошибка написания рекомендаций роботу в файле robots.txt фото

Директивы Dissallow/Allow нужно писать каждый раз с новой строчки. Их можно указать только для одного файла, раздела или страницы.Каждая запись должна начинаться с новой строки в файле robots.txt фото

Рекомендации должны прописываться только в нижнем регистре.

Так же не стоит забывать о sitemap(карте сайта). Её нужно прописать как указано на картинке ниже. Это заметно поторопит индексацию новых страниц и не пропустит ни одну страницу сайта.В записи желательно прописывать путь к своему sitemap файлу фото

Не прописанная директива пропускает робота на сканирование всего веб-ресурса без исключений страниц.

При запрете каталога(например seo) нужно прописывать символ “/” с двух сторон. Иначе вы запрещаете поисковому роботу индексировать все страницы, в названии которых слово “seo”.Команда запрещает индексировать все страницы с указанным именем в файле robots.txt фото

Возможно приписывать рекомендации в записи для определенных роботов(таких как Googlebot, Yandex и т.д.)

Даже если не нужно создавать каких-либо рекомендаций, то желательно написать как минимум одну строку User-agent, чтобы файл воспринимался роботом правильно.

Если разместит символ “*” между символом “/” и названием, то будет запрет на индексацию всех объектов с выбранным названием.Запрет на индексацию всех объектов с выбранным названием в файле robots.txt фото

Если вы указали запрет на каталог, в котором находятся другие файлы, то они тоже по старшинству будут под запретом от индексации.

Подведем итог

На самом деле, не правильная настройка файла robots.txt не повлияет на поисковых роботов. За это не будут ругать.

Однако, если вы не правильно укажите запрет на индексацию какого-нибудь объекта, который ни в коем случае не должен был попасть в индексацию, то извините, но последствия из-за которых вы так переживали, повлияют на рейтинг сайта.

Появились вопросы по теме “Как закрыть сайт от индексации?” или не совсем поняли Как настроить файл robots.txt? Оставляйте их в комментариях! Обязательно получите ответ!

One comment

  1. Очень хорошая, интересная и полезная инфа для продвижения своего сайта!

Leave a Reply

Your email address will not be published. Required fields are marked *