Робот

Робот (англ. spider – «паук», жарг. «бот») – программа, которая является составной частью поисковой системы и используется для перебора страниц с целью занесения сведений о них в базу данных. По принципу действия напоминает браузер. Робот анализирует страницу, сохраняет ее.

Виды поисковых роботов

  • Главный индексирующий робот – осуществляет сканирование страниц и прочих документов для основного поиска.
  • Робот, определяющий зеркала сайтов, – проверяет, совпадает ли главная страница при обращении к домену без www. и с ним. Также осуществляет оценку параллельных доменов на совпадения.
  • Робот, индексирующий изображения, видео.
  • «Простукивалка» – робот, определяющий доступность сайта и его отдельных страниц.
  • Роботы, занятые сбором контента для мобильной версии поиска.
  • Боты-сборщики иконок. Запрашивают иконку favicon.ico, появляющуюся рядом со ссылкой на сайт в выдаче.
  • Проверочный бот для новых сайтов. Проверяет отклик ресурса, посылая запрос HEAD к корневому URL. Робот появляется при добавлении в форму AddURL.

Названия поисковых роботов разных поисковых систем

  • Роботы «Google» имеют общее название Googlebot.
  • Роботы «Яндекс» — Mozilla/5.0.
  • Роботы «Mail.ru» — Mail.Ru/2.0.