Поисковый робот (краулер, веб-паук) — программа, которая является честью поисковой системы и используется для перебора страниц в сети с целью занесения информации о них в базу данных.

Типы поисковых роботов

• Быстрый робот. Такая программа работает с целью индексации актуальной, свежей информации и занимается ее внесением в базу.
• Индексирующий робот. Такая программа осуществляет сбор контента для последующего формирования базы поиска. Индексирующий робот проверяет документы на релевантность, уникальность, тошноту, водность и иные важные параметры.
• Поисковый робот по видео и изображениям. Такая программа занимается поиском актуальных картинок, фотографий, видеоматериалов.
• Технический робот. Эта программа занимается проверкой работоспособности сайта, определяет наличие скриптов, влияние их на пользователей.

Принцип работы роботов

По принципу действия роботы напоминают обычные браузеры. Они анализируют страницы, сохраняют их в специальном формате на сервере поисковика.

Механизм работы роботов сводится к:

• получению запроса на активизирование деятельности,
• сканированию сначала крупных серверов и раскрученных ресурсов, затем менее популярных;
• выбору релевантных результатов и формированию списка выдачи, предоставляемого в дальнейшем пользователю.

Такой принцип действия краулеров является общим. В каждой поисковой системе имеются свои нюансы.