Поисковый робот

Поисковые работы (краулеры, пауки) – специальные программы для обхода сайтов и записи полученной информации о них в базу данных ПС.

Различают несколько вариантов роботов:

  • - Национальные, собирающие информацию о сайтах внутри одного национального домена (например, «ru», «ua»);
  • - Глобальные, осуществляющие сбор данных со всех национальных ресурсов;
  • - Индексаторы отдельных видов контента (например, изображений);
  • - Зеркальщики, выявляющие все зеркала сайтов;
  • - Ссылочные, определяющие и считающие количество ссылок на ресурсах;
  • - Проверяющие, осуществляющие проверку наличия ресурса в базе данных поисковой системы;
  • - Роботы, контролирующие доступность сайтов;
  • - Быстрые, проверяющие дату обновления данных и сразу же вносящие изменения в индекс;
  • - Исследователи – в основном применяются для корректировок поисковых алгоритмов;
  • - Шпионы, осуществляющие поиск тех ссылок на сайты, которые еще не были проиндексированы;
  • - Смотрители, запускаемые вручную для проверки уже полученных данных.
Расскажите нам о вашем проекте
Поля, отмеченные «*», обязательны к заполнению