Как запретить индексацию сайта в файле robots.txt фото

Як закрити сайт від індексації. Налаштування robots.txt

Як закрити сайт від індексації пошуковими роботами, щоб залишити секретними парочку сторінок або файлів?

Досить правильно налаштованого robots.txt і помістити його в головну папку вашого сайту.

Що являє собою файл і для чого потрібен?

robots.txt – текстовий файл, де власник ресурсу може приписати обмеження для дій пошукового робота.

Як закрити сайт від індексації у файлі robots.txt фото

Перед тим, як “гуляти” по веб-ресурсу, пошукові роботи шукають цей файл.

У разі, якщо robots.txt налаштований, але нічого там не написано або зовсім файлу немає, то ПР приймають це за можливість “погуляти” по веб-ресурсу без будь-яких «не індексувати” заборон власника.

Відповідно, якщо в файлі прописано що-небудь, то ПР будуть дотримуватися рекомендацій написані в нашому файлі.

Правильно налаштований robots.txt фото

Налаштування robots.txt

Перший рядок записи починається з команди “User-agent“. Через двокрапка приписується ім’я пошукового робота для якого ми пишемо що не індексувати або навпаки індексувати.

Якщо ви хочете приписати однакові рекомендації всім пошуковим роботам-індексатора, то використовуйте спеціальний символ “зірка”

Команда звернення до пошуковому роботу в файлі robots.txt фото

Наступним рядком ми пишемо директиву Allow / Disallow в залежності від ваших цілей і прописуємо що саме хочемо дозволити / заборонити.
Команда звернення до пошуковому роботу в файлі robots.txt фото

Як закрити сайт від індексації за допомогою robots.txt?

Користуватися цим файлом бажано і навіть потрібно в своїх цілях. Які існують варіанти використання:

  1. Заборона на індексацію сторінок. Бажано використовувати, в разі, якщо на сайті присутні сторінки які повинні залишитися, але не повинні впливати на репутацію веб-ресурсу.
    Заборона на індексацію сторінок в файлі robots.txt фотоНаприклад це може бути сторінка “Відмова від відповідальності”, в якій знаходитися не унікальний текст.
  2. Заборона розділів / категорій. Практично використовувати при створенні нового розділу або категорії (на момент, коли сайт має непогану репутацію) і індексація поки що буде зайвою.
    Заборона на індексацію розділів / категорій в файлі robots.txt фото
  3. Заборонити індексацію всього сайту. При розробці нового сайту і виправлення основних помилок сайту це зробити необхідно. Інакше ви ризикуєте зіпсувати репутацію сайту завчасно.
    Заборона на індексацію всього сайту в файлі robots.txt фото

10 важливих правил при налаштуванні robots.txt

Не можна писати спочатку директиви, а потім User-agent. Такий запис робот не зрозуміє і не врахує ваші рекомендації.
Помилка написання рекомендацій роботу в файлі robots.txt фото

Директиви Dissallow / Allow потрібно писати кожен раз з новою рядки. Їх можна вказати тільки для одного файлу, розділу або сторінки.
Кожен запис має починатися з нового рядка в файлі robots.txt фото

Рекомендації повинні прописуватися тільки в нижньому регістрі.

Так само не варто забувати про sitemap (карті сайту). Її потрібно прописати як зазначено на зображенні нижче. Це помітно поквапить індексацію нових сторінок і не пропустить жодну сторінку сайту.

У записі бажано прописувати шлях до свого sitemap файлу фото

Не прописана директива пропускає робота на сканування всього веб-ресурсу без винятків сторінок.

При забороні каталогу (наприклад seo) потрібно прописувати символ “/” з двох сторін. Інакше ви забороняєте пошуковому роботу індексувати всі сторінки, в назві яких слово “seo”.

Команда забороняє індексувати всі сторінки з вказаним ім'ям у файлі robots.txt фото

Можливо приписувати рекомендації в запису для певних роботів(таких як Googlebot, Yandex і т.д.)

Навіть якщо не потрібно створювати будь-яких рекомендацій, то бажано написати як мінімум один рядок User-agent, щоб файл сприймався роботом правильно.

Якщо розмістить символ “*” між символом “/” і назвою, то буде заборона на індексацію всіх об’єктів з вибраною назвою.

Заборона на індексацію всіх об'єктів з вибраною назвою у файлі robots.txt фото

Якщо ви вказали заборона на каталог, в якому знаходяться інші файли, то вони теж по старшинству будуть під забороною від індексації.

Підведемо підсумок

Насправді, неправильна настройка файлу robots.txt не вплине на пошукових роботів. За це не будуть лаяти.

Однак, якщо ви не правильно вкажіть заборона на індексацію якогось об’єкта, який ні в якому разі не повинен був потрапити в індексацію, то вибачте, але наслідки через які ви так переживали, вплинуть на рейтинг сайту.

З’явилися питання по темі “Як закрити сайт від індексації?” або не зовсім зрозуміли Як налаштувати файл robots.txt? Залишайте їх у коментарях! Обов’язково отримаєте відповідь!

Leave a Reply

Your email address will not be published. Required fields are marked *