Кластеризация и текстовый анализ
TRANSCRIPT
Кластеризация и текстовый анализ
Сложные вопросы реализации и интерпретации
Алексей ЧекушинHead of search tech в Ostrovok
Основатель Just-Magic.org
Who is mr. clustering
True
False
А почему так?
Гипотеза 1: Если N урлов могли быть продвинуты по двум запросам – значит и мы можем.
Гипотеза 2: Качество выдачи за топ-10 быстро падает.
Проблема 1: как выбрать кластер?
Идем от задачи!
Ускорение разбора больших ядер Разделение запросов по типам
Проблема 2: малые группы
39 - Ростов 213 - Москва
© кластеризатор Just-Magic.org
Два вида ошибокОшибка 1го рода:В 1 кластер попалиНесовместимыезапросы.
Ошибка 2го рода:Совместимые запросы попали в разныекластеры.
Решение проблемы 1
Минимизируем ошибку 1го рода
Ошибка 2го рода – как получится
Проблема решена?
Опять идем от задачи!
Постраничное распределение
Маркерный запрос
Просто кластеризация
Метод наибольшей плотности
Проблема решена?
Маркер
Точность и полнота
Точность
Полнота
Подходящие Не подходящие
WTF? Опять этот слайд??!!!111
Маркер
Проблема 3: какой N правильный?
1 2 3 4 5 6 7 8 9 100%
20%
40%
60%
80%
100%
120%
22%
49%
92% 95% 98% 100% 100% 100% 100% 100%
9%
21%
61%
74%
89%97% 100% 100% 100% 100%
Точность кластеризации
Точность - hard Точность - soft
Неужели опять от задачи?
«Трафиковое» продвижение
Soft-метод, порог 4+
«Позиционное» продвижение
Hard-метод, пороги 3 или 4
Текстовый анализ?Гипотеза 1: Существуют «оптимальные» для попадания в топ значения.
Гипотеза 2: Сайты в топе соответствуют «оптимальным» значениям.
Гипотеза 3: Вычисления интервалов допустимо проводить независимо.
Что такое «оптимальное значение»?
1 2 3 4 5 6 7 8 9 1002468
10121416
[пластиковые окна] - вхождение "пластиковые окна"
Окей гугл, как вычислить оптимальные?1) Выбросить все ненужное.
2) Срезать выбросы.
3) Определить диапазон.
Диапазон?
1 2 3 4 5 6 7 8 9 100
5
10
15
20
25
30
35
[купить пластиковые окна] - вхождение [пластиковые окна]
Проблема 4: Сколько вхождений правильно?
© текстовый анализатор Just-Magic.org
А если запросов несколько?
Проблема 5: так сколько вхождений правильно?
1 2 3 4 5 6 7 8 9 1005
101520253035
Вхождения "пластиковые окна"
[пластиковые окна] [купить пластиковые окна]
1 2 3 4 5 6 7 8 9 1005
101520253035
Вхождения "пластиковые окна"
[пластиковые окна] [купить пластиковые окна]
Еще одно решение
Всегда ли это применимо?
Fin
Ваши вопросы?
Связаться со мной:[email protected]@just-magic.org
Попробовать самому (онлайн, бесплатно, без смс): Just-Magic.org