Поисковый робот

Поисковые работы (краулеры, пауки) – специальные программы для обхода сайтов и записи полученной информации о них в базу данных ПС.

Различают несколько вариантов роботов:

• - Национальные, собирающие информацию о сайтах внутри одного национального домена (например, «ru», «ua»);
• - Глобальные, осуществляющие сбор данных со всех национальных ресурсов;
• - Индексаторы отдельных видов контента (например, изображений);
• - Зеркальщики, выявляющие все зеркала сайтов;
• - Ссылочные, определяющие и считающие количество ссылок на ресурсах;
• - Проверяющие, осуществляющие проверку наличия ресурса в базе данных поисковой системы;
• - Роботы, контролирующие доступность сайтов;
• - Быстрые, проверяющие дату обновления данных и сразу же вносящие изменения в индекс;
• - Исследователи – в основном применяются для корректировок поисковых алгоритмов;
• - Шпионы, осуществляющие поиск тех ссылок на сайты, которые еще не были проиндексированы;
• - Смотрители, запускаемые вручную для проверки уже полученных данных.