Поисковый робот

Поисковый робот (краулер, веб-паук) — программа, которая является честью поисковой системы и используется для перебора страниц в сети с целью занесения информации о них в базу данных.

Типы поисковых роботов

  • Быстрый робот. Такая программа работает с целью индексации актуальной, свежей информации и занимается ее внесением в базу.
  • Индексирующий робот. Такая программа осуществляет сбор контента для последующего формирования базы поиска. Индексирующий робот проверяет документы на релевантность, уникальность, тошноту, водность и иные важные параметры.
  • Поисковый робот по видео и изображениям. Такая программа занимается поиском актуальных картинок, фотографий, видеоматериалов.
  • Технический робот. Эта программа занимается проверкой работоспособности сайта, определяет наличие скриптов, влияние их на пользователей.

Принцип работы роботов

По принципу действия роботы напоминают обычные браузеры. Они анализируют страницы, сохраняют их в специальном формате на сервере поисковика.

Механизм работы роботов сводится к:

  • получению запроса на активизирование деятельности,
  • сканированию сначала крупных серверов и раскрученных ресурсов, затем менее популярных;
  • выбору релевантных результатов и формированию списка выдачи, предоставляемого в дальнейшем пользователю.

Такой принцип действия краулеров является общим. В каждой поисковой системе имеются свои нюансы.