Александр Коваленко "Оценка черной магии"

53
Оценка черной магии Александр Коваленко Руководитель группы Я.Субботник, Санкт-Петербург, 26 февраля 2011 года

Upload: yandex

Post on 21-Dec-2014

427 views

Category:

Technology


3 download

DESCRIPTION

Александр Коваленко "Оценка черной магии" Первый Я.Субботник в Санкт-Петербурге О докладе: Сервисы Яндекса работают с огромными объемами данных, для обработки которых используются различные алгоритмы. Но объемы информации растут, ее содержимое меняется, а сами алгоритмы постоянно улучшаются. Поэтому очень важно постоянно контролировать качество их работы. В докладе речь пойдет об одном из наших инструментов оценки качества сложных алгоритмов.

TRANSCRIPT

Page 1: Александр Коваленко "Оценка черной магии"

Оценка черной магииАлександр КоваленкоРуководитель группы

Я.Субботник, Санкт-Петербург, 26 февраля 2011 года

Page 2: Александр Коваленко "Оценка черной магии"

Оглавление

2

●Задача оценки

●Прототип

●Универсальная система

●Эпилог

Page 3: Александр Коваленко "Оценка черной магии"

Задача оценки

3

Page 4: Александр Коваленко "Оценка черной магии"

4

Page 5: Александр Коваленко "Оценка черной магии"

5

Поиск по 17 150 160 предложениям от 5 536 магазинов

Поиск по 930 160 объявлениям с 324 сайтов

Поиск по 623 265 объявлениям c 62 сайтов

Поиск по 2 544 067 279 картинкам и фотографиям

Page 6: Александр Коваленко "Оценка черной магии"

Белая магия

public String left(String str, int len) { if (str == null) { return null; } if (len < 0) { return EMPTY; } if (str.length() <= len) { return str; } return str.substring(0, len); }

6

Page 7: Александр Коваленко "Оценка черной магии"

Черная магия

7

Было: Санкт-Петербург, Московский пр., 182а

Стало: индекс:страна:регион:город:улица:дом:литер:

196105РоссияСанкт-ПетербургСанкт-ПетербургМосковский проспект182А

Page 8: Александр Коваленко "Оценка черной магии"

8

Page 9: Александр Коваленко "Оценка черной магии"

Пример: до улучшения

9

Название: Ресторан ЧеремшаАдрес: Санкт-Петербург, поселок Солнечное, 2-я Боровая ул., 16, ...

Название: Солнечное небоАдрес: Москва, улица Земляной Вал, ...

Page 10: Александр Коваленко "Оценка черной магии"

Пример: после улучшения

10

Название: Ресторан ЧеремшаАдрес: Санкт-Петербург, поселок Солнечное, ...

Название: Солнечное небоАдрес: Москва, поселок Солнечное, Земляной Вал, ...

Page 11: Александр Коваленко "Оценка черной магии"

11

Page 12: Александр Коваленко "Оценка черной магии"

Но если...

12

Page 13: Александр Коваленко "Оценка черной магии"

Прототип

13

Page 14: Александр Коваленко "Оценка черной магии"

14

Page 15: Александр Коваленко "Оценка черной магии"

15

Page 16: Александр Коваленко "Оценка черной магии"

Что хотели

16

Простой инструмент для оценки одного из алгоритмов

Page 17: Александр Коваленко "Оценка черной магии"

Что получилось

17

Полноценная система оценки различных алгоритмов

Page 18: Александр Коваленко "Оценка черной магии"

18

Системы оценки нужны!

Page 19: Александр Коваленко "Оценка черной магии"

Универсальная система

19

Page 20: Александр Коваленко "Оценка черной магии"
Page 21: Александр Коваленко "Оценка черной магии"

21

Сервис 1

Сервис 2

Сервис 5

Сервис 3

Сервис 4

Page 22: Александр Коваленко "Оценка черной магии"

22

Сервис 1

Сервис 2

Сервис 5

Сервис 3

Сервис 4

Page 23: Александр Коваленко "Оценка черной магии"

23

Сервис 1

Сервис 2

Сервис 5

Сервис 3

Сервис 4

Page 24: Александр Коваленко "Оценка черной магии"

24

Системаоценки

Сервис 1Сервис 2

Сервис 5

Сервис 3

Сервис 4

Page 25: Александр Коваленко "Оценка черной магии"

25

Системаоценки

Сервис 1Сервис 2

Сервис 5

Сервис 3

Сервис 4

Page 26: Александр Коваленко "Оценка черной магии"

Универсальность по типам алгоритмов

26

Выделим наиболее общие классы алгоритмов:

● Унификация

● Кластеризация

● Классификация

● Экстракция

● ...

Page 27: Александр Коваленко "Оценка черной магии"

Унификация

27

страна:город:улица:дом:литер:

РоссияСпбМосковский пр-т.д.182а

страна:город:улица:дом:литер:

РоссияСанкт-ПетербургМосковский проспект182А

Page 28: Александр Коваленко "Оценка черной магии"

Кластеризация

28

Page 29: Александр Коваленко "Оценка черной магии"

29

Что нужно для оценки?

Page 30: Александр Коваленко "Оценка черной магии"

Данные для опытов

30

Page 31: Александр Коваленко "Оценка черной магии"

Эталон

31

Page 32: Александр Коваленко "Оценка черной магии"

Инструменты

32

Page 33: Александр Коваленко "Оценка черной магии"

33

Как это работает?

Page 34: Александр Коваленко "Оценка черной магии"

Запускаем алгоритм

34

Алгоритм

Page 35: Александр Коваленко "Оценка черной магии"

Сравниваем с эталоном

35

Page 36: Александр Коваленко "Оценка черной магии"

Показываем результаты

36

Page 37: Александр Коваленко "Оценка черной магии"

37

Алгоритм

Page 38: Александр Коваленко "Оценка черной магии"
Page 39: Александр Коваленко "Оценка черной магии"

39

Немного подробностей

Page 40: Александр Коваленко "Оценка черной магии"

Данные

40

Корпус

Page 41: Александр Коваленко "Оценка черной магии"

Данные

41

Сущность

индекс:страна:регион:город:улица:дом:литер:

196105РоссияСанкт-ПетербургСанкт-ПетербургМосковский проспект182А

Page 42: Александр Коваленко "Оценка черной магии"

Данные

42

ЭталонПроблема: где взять?

Варианты:

— «Псевдоэталон»

— Использовать готовый («а вдруг завалялся?..»)

— Взять и сделать

Page 43: Александр Коваленко "Оценка черной магии"

Данные

43

Результат

Page 44: Александр Коваленко "Оценка черной магии"

Метрики

44

Комплексные:

— Полнота по сущностям

— Точность

Единичные:

— Полнота по атрибутам

— Корректность значений

Унификация

Page 45: Александр Коваленко "Оценка черной магии"

Статистика

45

Алгоритм 1

Алгоритм 2

Алгоритм 3

...

Page 46: Александр Коваленко "Оценка черной магии"

Цифры

46

Page 47: Александр Коваленко "Оценка черной магии"

Цифры

47

Page 48: Александр Коваленко "Оценка черной магии"

Цифры

48

Page 49: Александр Коваленко "Оценка черной магии"

Графики

49

Page 50: Александр Коваленко "Оценка черной магии"

Эпилог

50

Page 51: Александр Коваленко "Оценка черной магии"

51

Сервис 1

Сервис 2

Сервис 5

Сервис 3

Сервис 4

Системаоценки

Сервис 1Сервис 2

Сервис 5

Сервис 3

Сервис 4

VS

Page 52: Александр Коваленко "Оценка черной магии"

Вопросы

52

Page 53: Александр Коваленко "Оценка черной магии"

Александр КоваленкоРуководитель группы

195027, Россия, Санкт-Петербург,Свердловская набережная, д. 44

[email protected]