Рейтинг:   / 1517
ПлохоОтлично 

Файл Robots.txt – это обычный текстовый файл в формате .txt, содержащий инструкции и директивы для поисковых роботов, запрещающие индексировать определенные файлы сайта, его документы и папки. То есть, данный файл ограничивает ботам поисковых систем доступ к содержимому сайта.

Robots.txt является стандартом исключений для роботов, принятым консорциумом W3C 30 января 1994 года. Его использует большая часть современных поисковиков, как рекомендацию к индексированию проекта.

Директивы Robots.txt
В Robots.txt прописываются директивы для роботов поисковых систем, тем самым помогая им понять, какие страницы/разделы индексировать, а какие – нет. Рассмотрим, какие директивы что означают:

1. User-Agent. Это обязательная директива, определяющая, к какому роботу будут применяться прописанные ниже правила. По сути, это обращение к конкретному роботу или всем поисковым ботам. Все файлы начинаются именно с этой строчки.

2. Disallow. Самая распространенная директива, запрещающая индексировать отдельные страницы или целые разделы веб-сайта. Здесь зачастую указывают:

страницы пагинации;
страницы с личными данными пользователей;
страницы с результатами поиска внутри ресурса;
дублирующиеся страницы;
логи;
служебные/технические страницы.
В ней можно применять специальные символы * и $.

3. Allow. Противоположная Disallow директива, разрешающая поисковому роботу обход конкретных страниц или разделов сайта. Здесь, как и в Disallow, допускается применение спецсимволов.

4. Sitemap. Данная директива сообщает ботам расположение XML карты сайта. Нужно указывать полный URL. Она важна для поисковых машин Google и Яндекс, так как при обходе сайта в первую очередь они обращаются именно к Sitemap, где показана структура ресурса со внутренними ссылками, приоритетами индексации страниц и датами их создания или изменения.

Хотите стать уверенными в продуктивности создания и активации файла Robots.txt ? можете заказать создание файла Robots.txt у наших специалистов и стать уверенными что именно он, создан правильно и понятен для поисковиков. Это ВАЖНЫЕ файлы для продвижения сайта самостоятельно.

Также вы получите от наших специалистов:  Sitemap, рабочую карту вашего сайта, которая также будет прописана в вашем файле ROBOTS.TXT

   
© система продвижения сайта | продвижение сайта в яндексе | продвижение сайтов на яндексе цена | продвижение сайта в гугл | продвижение сайта в гугл цена
Document