Эксперимент как индексирует Яндекс и Гугл

06.10.17

В начале ноября 2014 года Игорем Бакаловым было решено проверить, каким образом поисковики учитывают meta-robots, если быть точнее, инструкции follow/nofollow и index/noindex. Что получилось в итоге? Выяснилось, что интерпретация поисковой системой Google осуществляется в соответствии с документацией для веб-специалистов, занимающихся продвижением сайтов. Яндекс же не индексирует документы, а также не проходит по ссылкам, расположенным в разделах, где имеется мета-тег “noindex,follow”.

Безусловно, такой результат вызвал удивление, поскольку в документация Yandex содержит четкий пример с участием вышеупомянутого тега. Может быть, дело в том, что прошел пока еще малый период времени, а потому говорить о результатах рано. Или же в эксперимент закралась ошибка, или поисковая система просто учитывает все иначе, а не как в рекомендациях.

Ввиду этого, необходимо было повторить этот эксперимент, внеся некоторые корретировки:

  • во-первых, взять большее число страниц, чтобы выборка стала более репрезентативной;

  • в-вторых, подождать более полную индексацию страниц веб-ресурса, а, если будет нужно, поставить также для ускорения дополнительные ссылки;

  • в-третьих, провести проверку маршрута поисковых ботов по access_log.

Ход эксперимента

28 ноября специально для проведения эксперимента был создан поддомен, а на главную страницу были помещены ссылки, ведущие на четыре базовых раздела. При этом в разделы, обладающие более высокой неопределенностью, было вставлено большее число тестовых страниц. Всего ресурс имел уникальных страниц 14 штук (2 дополнительных). Веб-проект был добавлен в адурилки Yandex и Google. Спустя несколько дней основные страницы были проиндексированы Гуглом. На Яндексе же было выявлено появление главной страницы и page5.html. Ситуация держалась до 6 декабря, далее в целях ускорения индексации с блога был поставлен сквозняк. И только 18 декабря Яндекс проиндексировал основные страницы.

Итоги

Гугл провел индексацию страниц “/index/nofollow/”, “/index/follow/”, оправдывая первоначальные ожидания. Можно проследить, что его работа точно соответствует правилом мета-тега роботс. Yandex же следует таким принципам:

noindex, nofollow (стр 1-2) — не имеет значения, что тут имеется nofollow, нужно проверить, куда ведет ссылка с этой страницы;

noindex, follow (стр 3-5) — данная страница куда-то ссылается, значит, я должен выяснить, куда именно;

index, nofollow (стр 6-8) — так... тут есть nofollow... хотя и индексировать документ мне разрешено, я не буду палиться;
index, follow (стр 9) — картина стандартная, все разрешено.

Таким образом, выяснилось, что поисковик Гугл воспринимает все правила четко. Работа же Яндекса вызывает некоторые вопросы в отношении “noindex,nofollow”.

Остались вопросы? свяжитесь с нами!

620017, г. Екатеринбург,
ул. Машиностроителей, 19, офис 606 (6 этаж)
Посмотреть панораму
Skype: Saytum.Ru
Отправить заявку
на бесплатную консультацию
Я согласен с политикой конфиденциальности персональных данных и даю свое согласие на их обработку
Ваши контактные данные в безопасности и не будут переданы третьим лицам