Задание

Ознакомьтесь с видами поисковых роботов (http://wiki.rookee.ru/poiskovyj-robot-/) и распределите по группам:

Пауки Яндекса

Пауки Google

1.01.001 I — основной бот, занимающийся индексацией

Робот Googlebot — основной робот

1.01.001 (P) — индексирует картинки

1.01.001 (H) — находит зеркала сайтов

1.03.003 (D) — определяет, соответствует ли страница, добавленная из панели вебмастера, параметрам индексации

DirectBot/1.0 (I) — индексирует ресурсы из рекламной сети

1.02.000 (F) — индексирует фавиконы сайтов

bot News — сканирует и индексирует новости

bot Mobile — индексирует сайты для мобильных устройств

bot Images — ищет и индексирует изображения

bot Video — индексирует видео

Mobile AdSense — индексирует сайты рекламной сети