Способ экономии ресурсов поисковых ботов при работе с закрытыми от поиска страницами сайта

Речь пойдёт о простом способе, который позволяет предотвратить трату ресурсов поисковиками на обход тех ссылок, которые не надо обходить.

Какие ссылки

В основном применяю на ссылках, которые ведут на закрытые от поиска страницы (например, мета-тегом robots). И далее буду рассматривать только этот случай.

Но также применимо и в других случаях, когда нужно предотвратить переход ботов на какие-то страницы, и ссылки нельзя убрать по какой-то причине (например, они нужны для удобства юзера).

Суть

1. Определяем ссылки, по которым нужно отсечь ботов;
2. Настраиваем программную подстановку параметра к этим ссылкам (не JavaScript'ом!), например:

   
   <a href="/some-link?f=0" >ссылка, куда боту не надо</a>
   

3. Запрещаем в robots.txt переход по ссылкам с соответствующим параметром, например:

   
   Disallow: *?f=0
   Disallow: *&f=0
   

Результаты

Несмотря на очевидность и примитивность способа (кроме работы программиста), на больших сайтах это может хорошо работать. Характерный пример из практики:

• Сбивание «неработающих» ссылок по версии Яндекс.Вебмастера с 1+ ляма до ~30к;
• Увеличение числа обходимых Гуглом страниц в 2-3 раза.

Почему работает

Наверное потому, что поисковики ценят, когда экономятся их ресурсы (так называемый «краулинговый бюджет», если на креаклетическом наречии). Ведь если пускать бота на закрытые страницы, то:

1. Боту надо перейти на страницу, чтобы узнать, что она закрыта от поиска;
2. На переход и оценку страницы надо потратить какое-то количество вычислительных ресурсов;
3. И ресурсы тратятся впустую (потому что страница закрыта от поиска);
4. Чем больше таких страниц, тем больше ресурсов тратится впустую;

В противоположность такому сценарию на этапе обработки ссылок страницы бот по директивам robots.txt определяет, куда ему не надо идти, и экономит ресурсы поисковика, которому принадлежит бот.