Поисковый робот

Поисковые роботы или боты – это определенные программы, предназначенные для сканирования страниц и материалов в интернете, и дальнейшей их индексации. Боты не анализируют содержимое ресурса, а лишь передают информацию о нем на сервер.

Как работает поисковый робот?

Вся работа данной автоматизированной программы состоит из трех этапов:

  1. Сканирование ресурса: полный сбор текстовой информации, фото и видеофайлов. Этот этап не одноразовый, а проводится с установленной поисковой системой периодичностью, так как информация на сайте со временем может меняться и дополняться.
  2. Передача собранных материалов на сервер, где они подвергаются анализу. На основании полученного результата ресурсу присваивается индекс для быстрого доступа. Данный процесс называется индексацией.
  3. Завершающий этап – выдача результатов. При помощи индекса происходит поиск информации, и сайт ранжируется в поисковиках по принципу релевантности запросам.

Виды поисковых роботов

Любая поисковая система имеет целый ряд роботов. У Яндекса и Google основными ботами по сканированию и индексации интернет-ресурсов являются YandexBot и GoogleBot соответственно.

Google также располагает и другими роботами:

  • Googlebot Images – исследует и присваивает индексы картинкам;
  • Googlebot News – исследует и добавляет материалы в раздел новостей;
  • Google Favicon – собирает иконки сайтов.

И у Яндекса помимо основного бота есть целый список «помощников»:

  • YandexAccessibilityBot – скачивает страницы и проверяет их на доступность;
  • YandexImages – индексирует изображения;
  • YandexMedia – индексирует мультимедийный контент;
  • YandexNews – собирает материал для Яндекс.Новостей;
  • YandexFavicons – собирает иконки сайтов.
Leo Peterson

Владелец и автор портала Affspot.ru с 5-летним опытом работы в партнерском маркетинге.

Оцените автора
affspot.ru
Оставьте комментарий

Rambler's Top100