Файл robots.txt - это The Robots Exclusion Protocol, то есть файл исключений для поисковых роботов. Он является основным инструментом ограничения доступности информации для поисковых роботов.
Файл robots.txt чаще всего используется для запрета индексирования поисковыми роботами страниц:
- с конфиденциальной информацией (интернет-магазины и любые сайты, хранящие личные данные пользователей);
- перемещённых или удалённых (например, при изменении структуры сайта или появления нового зеркала для максимально быстрого обновления кэша поисковой системы);
- дублей контента (блоги, интернет-магазины, сайты с использованием пейджинга и др.).
Robots.txt также позволяет задавать поисковому роботу время загрузки страниц и другие технические характеристики вашего сайта, однако использование таких директив имеет свои особенности в каждой конкретной поисковой системе и в сущности не является приоритетной задачей файла robots.txt.
Стандарт для robots.txt никому не принадлежит, а начало его использования приходится на 1994 год. Сейчас robots.txt используется всеми популярными поисковыми системами.
Основные базы знаний по использованию файла robots.txt – это сайт www.robotstxt.org (на английском языке) и robotstxt.org.ru (на русском языке).
Что такое Файл robots.txt? Файл robots.txt это. На данной странице словаря опубликовано определение экономического термина "Файл robots.txt".
Из описания термина вы сможете узнать, что означает понятие "Файл robots.txt", как и где, используется термин "Файл robots.txt".
|