Поисковые роботы или боты – это определенные программы, предназначенные для сканирования страниц и материалов в интернете, и дальнейшей их индексации. Боты не анализируют содержимое ресурса, а лишь передают информацию о нем на сервер.
Как работает поисковый робот?
Вся работа данной автоматизированной программы состоит из трех этапов:
- Сканирование ресурса: полный сбор текстовой информации, фото и видеофайлов. Этот этап не одноразовый, а проводится с установленной поисковой системой периодичностью, так как информация на сайте со временем может меняться и дополняться.
- Передача собранных материалов на сервер, где они подвергаются анализу. На основании полученного результата ресурсу присваивается индекс для быстрого доступа. Данный процесс называется индексацией.
- Завершающий этап – выдача результатов. При помощи индекса происходит поиск информации, и сайт ранжируется в поисковиках по принципу релевантности запросам.
Виды поисковых роботов
Любая поисковая система имеет целый ряд роботов. У Яндекса и Google основными ботами по сканированию и индексации интернет-ресурсов являются YandexBot и GoogleBot соответственно.
Google также располагает и другими роботами:
- Googlebot Images – исследует и присваивает индексы картинкам;
- Googlebot News – исследует и добавляет материалы в раздел новостей;
- Google Favicon – собирает иконки сайтов.
И у Яндекса помимо основного бота есть целый список «помощников»:
- YandexAccessibilityBot – скачивает страницы и проверяет их на доступность;
- YandexImages – индексирует изображения;
- YandexMedia – индексирует мультимедийный контент;
- YandexNews – собирает материал для Яндекс.Новостей;
- YandexFavicons – собирает иконки сайтов.
