От Статистики до Статистики. Эволюция архитектуры...

От Статистики до Статистики

Яндекс

Докладчик: Юхно Олег

руководитель группы администрированияemail: olegu@yandex-team.ru

11

О чем я хочу рассказать?

Развитии системы статистики

2

Проблемах и их решении

Зачем нужна система расчета статистики

3

Почему нужна система расчета статистики

4

Много проектовМного данныхПотребовалось считать статистику регулярно и единообразно

5

6

Сначала данных и проектов было мало

< 10Gb в сутки

8

9

Данных и проектов еще было мало

< 100Gb в сутки

11

Когда данных стало 200-300Гб в сутки

12

Вторая попытка масштабирования

14

Пределы экстенсивного роста

Финальное решение

16

17

18

Сейчас ежесуточно статистика обрабатывает 2-3Тб данных

19

А будет еще больше…

21Рост в 3-4 раза каждый год!

Итог:

25

Децентрализация системы

Специализация компонентов

Автономностькомпонентов

«Простота»компонентов

Отказоустойчивость Производительность

Простота в обслуживаниии высокая эффективность

Спасибо!

Юхно Олегруководитель группы администрированияemail: olegu@yandex-team.ru

26