Как я удалил правила роботс и увеличил посещаемость в два раза

Доброе время суток уважаемые читатели!

Сегодня расскажу, как я удалил роботс из корня своего блога и поднял посещаемость почти в два раза, благодаря этому удалению. А точнее, я расскажу, какие правила robots необходимо убрать, чтобы трафик увеличился.


Сегодня узнаете:

  1. Зачем и какие удалять правила роботс
  2. Как, это может повлиять на дубли страниц
  3. Как удалив правила robots.txt, увеличить посещаемость

Этот эксперимент, я провел месяц назад на своем блоге, и не просто, это придумал. Виновник торжества Андрей Назыров. Если кто не знает, то Андрей блоггер, именно, его статья подтолкнула меня удалить правила роботс.

Прочитав его пост, я решил проверить свой блог на мобильность, то есть узнать, как видят его посетили со своих телефонов. Я знал, что дизайн моего блога адаптивный (подстраивается под каждое разрешение экрана), но все же решил проверить, ну так, на всякий «пожарный» случай. Меня сильно удивило то, что я увидел!

Google сказал, что блог вообще не оптимизирован для мобильных устройств. Я думал, как? Ведь есть другие сервисы, проверяющие на мобильность, писал о них здесь. Не знаю, может быть тогда Гугл еще не доработал свой новый сервис, может еще что-то, но факты говорили, что мой «супер-блог» — «г*вно» для телефонов.

Мешающие robots.txt правила или недоработка Google

Мне даже пришло письмо счастья. Знаете, что это такое? Это письмо от веб-мастера Google, которое приходит на EMAIL (электронный ящик), где сказано: ваш блог не оптимизирован для мобильных устройств и в связи с этим, он будет понижен в поисковой выдаче. Получали такое письмо?

Я не знал, что делать! Почему мой блог плохо отображается в телефонах, куда делся функционал? Перерыл весь блог: отключал плагины, лазил в файл .htaccess, просмотрел все установленные скрипты, даже проверил на вирусы, и тут вспоминаю, что у меня есть тестовый блог с таким же шаблоном. Проверяю его на мобильность, а он оптимизирован для мобильных на 100%.

Мне сразу в голову пришла идея, а точнее вспомнил отличие между шаблонами, это отличие было в правилах robots.txt. На моем основном блоге были правила disallow, которые запрещали доступ к некоторым файлам, а на тестовом их не было. Тут, я решил посмотреть, прав я или нет: удалил запрещающие правила, и реально, блог стал снова оптимизирован.

Здесь оставалось принять решение: оставить все как есть и «упасть в поиске» или заработать дубли страниц и тоже «опуститься в поисковой выдаче». Решение не простое, но все же, я решил убрать все правила disallow, чтобы посмотреть на дальнейшие изменения.

26 февраля 2015 года, у меня в дополнительной выдаче поисковой системы Google было 602 дубля, а сегодня 28 марта 2015, этих дублей 532. То есть копий больше не появилось, а уменьшилось. Но, это не значит, что вам нужно бежать в корень своего сайта, и делать тоже самое.

Дело в том, что у меня в роботс были закрыты только технические файлы, типа wp-includes, wp-content и так далее. Рубрики, метки и т.п. у меня были закрыты отличным правилом: <meta name=robots content=»noindex, follow»/>. Этот тег прописывает мне СЕО плагин WordPress SEO. Так вот, если вы не используете СЕО плагины и у вас нет того инструмента, который может сделать подобный запрет поисковым роботом, то все запрещающие правила robots.txt не нужно удалять, а то ждите беды.

Наверное, кто-то скажет: «Леша, ты начал рассказывать о увеличении трафика, а тут за дубли рассказываешь, что за дела?» Не стоит нервничать! Сейчас все расскажу. Все дело в том, что многие думали, что robots.txt, а точнее его правила, делают сильную погоду в появлениях дублей и их удалении.

Сейчас мой роботс вообще не содержит запрещающих правил. В нем есть только: host, sitemap и правила allow для лучшей индексации моих картинок. Все, больше там ничего нет, смотрите на него:

Какие правила robots.txt удалять

Даже технические файлы не закрыты. Как оказалось, они никому не нужны! Может быть раньше, поисковики забирали все, что «плохо лежит», но сейчас они сильно поумнели, им нужны файлы, только те, которые содержат материал, необходимый пользователям интернета.

А теперь про посещаемость после удаления правил robots.txt

Тут много рассказывать не буду, просто покажу вам скрин статистики LiveInternet, на ней видно историю с 26 февраля по сегодняшний день:

Рост трафика после удаления правил robots

Как, я уже говорил: «не вдвое, а почти», но все же выросла. Результат виден, а это уже факты, в которых нельзя усомниться, как в предыдущих постах. Делайте изменения, но помните обо всем, что я написал выше, не подвергайтесь опасности, если забыли, то прочитайте статью еще раз.

На этом у меня все. Подписывайтесь на обновления блога, не пропускайте новые интересные статьи. Не бойтесь делать эксперименты на блоге, ведь в случае неудачи можно вернуть все обратно. До встречи!

С уважением, Алексей Кобзарев

44 комментария

Ваш комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *