Поисковый робот
Поисковый робот (краулер, веб-паук) — программа, которая является честью поисковой системы и используется для перебора страниц в сети с целью занесения информации о них в базу данных.
Типы поисковых роботов
- Быстрый робот. Такая программа работает с целью индексации актуальной, свежей информации и занимается ее внесением в базу.
- Индексирующий робот. Такая программа осуществляет сбор контента для последующего формирования базы поиска. Индексирующий робот проверяет документы на релевантность, уникальность, тошноту, водность и иные важные параметры.
- Поисковый робот по видео и изображениям. Такая программа занимается поиском актуальных картинок, фотографий, видеоматериалов.
- Технический робот. Эта программа занимается проверкой работоспособности сайта, определяет наличие скриптов, влияние их на пользователей.
Принцип работы роботов
По принципу действия роботы напоминают обычные браузеры. Они анализируют страницы, сохраняют их в специальном формате на сервере поисковика.
Механизм работы роботов сводится к:
- получению запроса на активизирование деятельности,
- сканированию сначала крупных серверов и раскрученных ресурсов, затем менее популярных;
- выбору релевантных результатов и формированию списка выдачи, предоставляемого в дальнейшем пользователю.
Такой принцип действия краулеров является общим. В каждой поисковой системе имеются свои нюансы.
Мы используем файлы «cookie» для улучшения пользования веб-сайтом, персонализации, а также в статистических и исследовательских целях. Если вы продолжите пользоваться нашим сайтом, то мы будем считать, что вы согласны с использование cookie-файлов. Подробнее - о нашей Политике по работе с персональными данными.
ПОИСКОВАЯ ОПТИМИЗАЦИЯ
САЙТОВ И SMM