Эксплуатация high-load системы adriver

1

Содержание:

Особенности эксплуатации высоконагруженных системЯнварь 2011

Обслуживание

Архитектура

Производительность

Отказоустойчивость

Мониторинг

Поддержка пользователей

Уровни

Чем поможем?

Особенности эксплуатации высоконагруженных систем

2

ОбслуживаниеАрхитектураПроизводительностьОтказоустойчивостьМониторинг

3

Особенности эксплуатации высоконагруженных системЯнварь 2011

О системе• Баннерная крутилка

• Гибкая платформа для построения коммерческих продуктов

• Высоконагруженная реалтаймовая система

• Универсальный инструмент для статистики- Неагрегированные данные доступны за 1 год- Real-time счетчики- Подробная статистика по всем объектам- 20Tb данных только для логов за год

4

Особенности эксплуатации высоконагруженных системЯнварь 2011

Компоненты real-time системы

• 15 взаимосвязанных компонентов, обеспечивающих работу кластера

• Real-time часть сервиса 45 серверов- Intel 5670, 12 ядер по 3Ghz, 48Gb RAM

5

Архитектура платформы

Выборка баннераОтгрузка контента

6

Особенности эксплуатации высоконагруженных системЯнварь 2011

Выборка баннера

ad.adriver.ru ad-serverad-serverad-serverad-serveralg_module

ad.adriver.rualg_modulealg_modulealg_modulealg_modulealgorithm

trait uu xp

dbserver

trait uu xp

dbserverdbserverdbserverdbserverdbserverhistoryhistoryhistoryhistoryhistoryhistoryhistory

statstatstatstatstatstatstatstatstatstat

browser

7

Особенности эксплуатации высоконагруженных системЯнварь 2011

1 запрос на показ это...

• Запрос к 20 внутренним базам

• Реалтаймовое обновление нескольких десятков счетчиков

• Строка ~400 символов в логах

8

Особенности эксплуатации высоконагруженных системЯнварь 2011

Отгрузка контента

ad.adriver.ru

banner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storagebanner storage

browser

9

Производительность

10

Особенности эксплуатации высоконагруженных системЯнварь 2011

Производительность

• Весь real-time софт написан в компании

• http сервер - до 20.000 запросов/сек

• algorithm module - до 10.000 запросов/сек

• Общая производительность- время ответа в среднем 50мкс (0.00005сек)- десятки тысяч запросов без предвыборки- обновление информации о событии на всех серверах выборки <0.5сек

11

Особенности эксплуатации высоконагруженных системЯнварь 2011

Живьем

6000 баннеров пока вы моргаете

12

Особенности эксплуатации высоконагруженных системЯнварь 2011

Масштабируемость

• Возможность установки региональных прокси-серверов

• Почти линейная масштабируемость кластера

• Гибкие возможности балансировки с обратной связью- Внешние компоненты- Вычислительные модули- Справочники

13

Отказоустойчивость

14

Особенности эксплуатации высоконагруженных системЯнварь 2011

Отказоустойчивость. Концепция.• Обратная связь в системах балансировки

- keepalived- load average based

• Схемы N+N, N+1

• Надёжные дата-центры

• uptime не меньше 99.9885%

• Резервирование каналов- х4 по входящему трафику- х5 выдача контента на Россию- х100 выдача контента на Белорусь

• Резервные копии- основная база - каждые 5 минут + по автоматически по сигналу- справочники - каждые 60 минут- время хранения логов показов 1 год

15

Особенности эксплуатации высоконагруженных системЯнварь 2011

Пример отказоустойчивого сервиса. history.• Данные за 2 недели - 6х

• Данные за 9 месяцев - 3х

• Данные за 9-12 месяцев - 1.5х

• Можем хранить и больше, если это будет востребовано

16

Особенности эксплуатации высоконагруженных системЯнварь 2011

Отказоустойчивость. Выдача контента.• Баннер показывается только после закачки на большую часть

зеркал

• Закачка на зеркала за 1-3 минуты

• Весь контент с зеркал кешируется благодаря правильным http header-ам

• Ограничения на размер баннера установлены с 3х запасом от типовых размеров

17

Особенности эксплуатации высоконагруженных системЯнварь 2011

Отказоустойчивость. Sostware.

• Использование linux платформы собственной сборки

• Тестирование всего софта

• Обкатка на резервном кластере

18

Особенности эксплуатации высоконагруженных системЯнварь 2011

Отказоустойчивость. Hardware.

• Все сервера с данными используют RAID массивы

• Все железо проходит проверку- память, диски, сетевые карты- сервер основной базы работает на тесте минимум 1 месяц

19

Мониторинг

20

Особенности эксплуатации высоконагруженных системЯнварь 2011

Мониторинг - оповещения

• 1255 точек мониторинга с SMS информированием

• Критичных около 30

• Проверка ответов системы с 4 серверов из других городов

21

Особенности эксплуатации высоконагруженных системЯнварь 2011

Мониторинг - визуализация

• >10 параметров на

каждый сервер в

кактусе

• Сводные графики

• Любые параметры

22

Особенности эксплуатации высоконагруженных системЯнварь 2011

Пример анализа нагрузки

23

Особенности эксплуатации высоконагруженных системЯнварь 2011

Мониторинг от А до Я

• Доступность сервисов

• Общесистемные параметры

• Очередь баннеров

• Наличие резервных копий

• Терпература в серверной

• Плазменная панель с критичными параметрами

• Баланс на sms-шлюзе :)

24

Особенности эксплуатации высоконагруженных системЯнварь 2011

Плановые операции

• Проверка производительности

• Проверка выдачи баннеров с мирроров

• Проверка доступности мирроров из регионов

• Проверка целостности резервных копий

25

Поддержка пользователей

УровниЧем поможем?

26

Особенности эксплуатации высоконагруженных системЯнварь 2011

Наша служба и опасна и трудна

27

Особенности эксплуатации высоконагруженных системЯнварь 2011

Уровни

1. Документация, демо-ролики2. Отдел технической поддержки3. Разработчики

28

Особенности эксплуатации высоконагруженных системЯнварь 2011

Документация

• Четкая структура

• Написана под задачи

• Поддерживается в актуальном состоянии

• Обратная связь

29

Особенности эксплуатации высоконагруженных системЯнварь 2011

Демо-ролики

• Объясняют работу с интерфейсом

• Показывают базовые возможности интерфейса

30

Особенности эксплуатации высоконагруженных системЯнварь 2011

Миссия отдела поддержки

• Мы стараемся дать вам то, что вам действительно нужно, а не только что, что вы просите.

31

Особенности эксплуатации высоконагруженных системЯнварь 2011

Постулаты

• Вопросы - это нормально. Плохо, если их нет.

• Мы терпеливо объясним вам как вы сможете достичь результата, но не всегда сможем сделать это за вас.

32

Особенности эксплуатации высоконагруженных системЯнварь 2011

Ещё о поддержке

• Сотрудники прошли профессиональные тренинги

• Им не всё равно

33

Особенности эксплуатации высоконагруженных системЯнварь 2011

Если даже нам нужна помощь...

• Близость разработчиков позволяет оперативно решать любые вопросы

• Клиент всегда получит ответ

34

Особенности эксплуатации высоконагруженных системЯнварь 2011

Типовой вопрос разработчикам

Jan 12 00:00:00 127.0.0.1 algorithm[0]: A0[0]: s*erle*0*123992*0*0*0*0*0*0*0*0*421249*16*20*14*79.111.80.140*0*'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.0 (KHTML, like Gecko) Chrome/3.0.197.11 Safari/532.0'*'http://www.interfax.ru/society/txt.asp?id=172678/'*7*38*1*0*0*1294779600*''*0.000470****0.000008*3048D95B48.4D12C16E.3063*1813388126*Почему в 18-м поле 0?

35

Особенности эксплуатации высоконагруженных системЯнварь 2011

Мы готовы помочь

Ждём вас на support@adriver.ru

36

Особенности эксплуатации высоконагруженных системЯнварь 2011

А тем временем...

За время рассказа AdRiver показал ~55млн баннеров

37

Система управления интернет-рекламойwww.adriver.ru

Владимир Мосинvmosin@adriver.ruДиректор департамента эксплуатации

38