Download - Ловец ботов, версия 2.0, Дмитрий Шахов
![Page 1: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/1.jpg)
Ловец ботов: рост индексации и поиск
плохих страниц
Дмитрий Шахов Директор ГК РЕМАРКАДокладчик на конференциях • AllInTop (Москва, 2012, 2014-2016гг.),• SeoConference (Казань, 2014-2015гг.), • Кибермаркетинг (Москва, 2015г.), • РИФ-Воронеж (2014-2015гг.), • Онлайн: SmartFox, Megaindex.Организатор конференции • BalticDigitalDays (2013-2016гг.)Курсы по поисковому продвижению• 200+ выпускников за три года
www.remarka.info www.seohowto.ru www.balticdigitaldays.ru
![Page 2: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/2.jpg)
Проблематика
• Очень много посадочных страниц• Постоянно мониторить факт
индексации ручками муторно и дорого• Непонятно, за что поперли страницу из
индексаАктуально для любых многостраничных сайтов!
![Page 3: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/3.jpg)
Ловец Шестаковых (Rush Agency)
![Page 4: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/4.jpg)
Стек: все посадочные страницы
Стек: не в индексе
Стек: посещен ботом
Стек: проблемыс индексом
Ждем текстового апдейта
Ловец ботов: показ боту ссылок на страницы
не в индексе
Ловец ботов: фиксация визита бота на странице
не в индексе
Какой раз проверяли?<N
NЧекинг страниц
на индексНетДа
Имеют траффик с поиска?
НетДа
Посадочная нужна?
Как давно не имеет?
>Х мес.
<Х мес.
Стек: проблемыс поиском
ДаНет
Ловец ботов, ver2.0
Схема отрабатывается длякаждой поисковой системыХ = 6N = 3
Позиции по ключамнормальные?
Да
Нет
Контент-план:переписать,
дооптимизировать
Trashbox:удаляем,disallow
Trash:Ботанет!
![Page 5: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/5.jpg)
Формируем стек страниц
• На самом деле непринципиально как это делать
• Можно карту сайта• Можно просто пул страница/анкор• С этим справится любой программер
![Page 6: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/6.jpg)
Проверка на индекс
• Срежем часть на проверке заходов с поиска пользователей – если траффик есть, то страница в индексе и в топе
• Оставшиеся чекаем– url:site.com/page.html в Яндексе– info:site.com/page.html в Google
![Page 7: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/7.jpg)
Чекинг: решения
• Пока не забанят, свои IP• Xml.yandex.com в рамках
предоставленных лимитов• API rushanalytics.ru• Antigate, Rucapcha• Или не чекать – гонять все подряд
![Page 8: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/8.jpg)
Ловец, шаг первый
• Инфоблок «Рейтинг», «Посмотрите еще», «Лучшие товары сегодня» или как-то так
• Смотрим по user-agent (или IP) бота• Подменяем для бота ссылки в
инфоблоке на страницы не в индексе• Когда не бот – показываем другие
ссылки• Число ссылок: от 1 до 100 (3-5 обычно)
![Page 9: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/9.jpg)
Это не клоака!
• Просто как бы так получается, что бот видит только страницы не в индексе, а пользователь – в индексе, но всегда рандом!
![Page 10: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/10.jpg)
Ловец, шаг второй
• Проверяем бота на странице не в индексе
• Если пришел – снимаем страницу из стека на показ, переносим в стек на проверку индекса
• Если не пришел – продолжаем показывать
![Page 11: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/11.jpg)
TRASHBOX #1
• На некоторые страницы бот не придет никогда (в обозримом будущем)
• Месяц не пришел после показов – переносим в трэшбокс и разбираемся что не так ручками
![Page 12: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/12.jpg)
Проверка индекса
• Текстовые апы могут идти непрерывно, могут – дискретно. Нам это неудобно.
• Ставим страницу на паузу после визита бота на две недели
• Проверяем на индекс. Если да – ОК! Если нет – отправляем на новые показы в ловца
![Page 13: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/13.jpg)
Цикл проверки
• Запускать страницы в ловца только после текстовых апов – неавтоматично
• Строим цикл: отправили-проверили• Если страница за Х циклов не попала в
индекс – это трэшбокс
Чекинг Чекинг Чекинг
АП!
2 недели 2 недели
![Page 14: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/14.jpg)
TRASHBOX #2
• Страницы, которые не заходят в индекс спустя 3-5 циклов
• Страницы, которые выпадают из индекса после вгона ловцом
![Page 15: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/15.jpg)
Тут как бы и все. Но!
![Page 16: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/16.jpg)
Идем дальше
• Страница в индексе без трафика – фуфел
• Надо выявить страницы в индексе но без трафика!
• Используем проверку на визит с поиска пользователями
![Page 17: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/17.jpg)
Нет трафика с поиска
• Нет трафика полгода или более• Есть в индексе• Это трэшбокс по качеству контента:
либо очень далеко от топа, либо нет оптимизации даже по НЧ
![Page 18: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/18.jpg)
TRASHBOX #3
• Список страниц без трафика с поиска• Интерфейс для работы редактору сайта
Обычно это- Страницы без контента: в 404 или 301- Сервисные страницы: в disallow- Неочевидные: работа с контентом
![Page 19: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/19.jpg)
Итого
• TRASHBOX #1 – баговые страницы• TRASHBOX #2 – низкое качество, битые• TRASHBOX #3 – проблемы с контентом• Полный автомат на выявление трэша• Индексация около 100% на автомате
![Page 20: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/20.jpg)
Ресурсы
• 2 месяца одного программиста• Авторский надзор со стороны сеошника• Дальше все на автомате, только
смотри, что валится в трэшбоксы
![Page 21: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/21.jpg)
Как выглядит, доска
![Page 22: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/22.jpg)
Как выглядит, доска
![Page 23: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/23.jpg)
Как выглядит, инфосайт
![Page 24: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/24.jpg)
Как выглядит, магазин
![Page 25: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/25.jpg)
Как выглядит, агрегатор
![Page 26: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/26.jpg)
Боты, агрегатор, Яндекс
![Page 27: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/27.jpg)
Боты, агрегатор, Google
![Page 28: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/28.jpg)
Боты, доска, Яндекс
![Page 29: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/29.jpg)
Боты, доска, Google
![Page 30: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/30.jpg)
Индексация, агрегатор
![Page 31: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/31.jpg)
Google, агрегаторнет проблем с индексом
![Page 32: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/32.jpg)
Индексация, доска
![Page 33: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/33.jpg)
Контрольная группа
![Page 34: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/34.jpg)
Посещаемость, агрегатор
Обвал индекса за копипаст
![Page 35: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/35.jpg)
Посещаемость, доска
Не сезонность, проверили
![Page 36: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/36.jpg)
Число точек входа, агрегатор
![Page 37: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/37.jpg)
Число точек входа, доска
![Page 38: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/38.jpg)
Число точек входа, доска
![Page 39: Ловец ботов, версия 2.0, Дмитрий Шахов](https://reader035.vdocuments.net/reader035/viewer/2022081421/586e8d631a28aba0038b88a1/html5/thumbnails/39.jpg)
Хотите узнать больше?
Заявки сюда• 8-800-333-06-80• [email protected]
Общение со мной• https://www.facebook.com/bablorub• skype: remarka.reklama