Управление тысячами серверов в Одноклассниках....

Управление тысячами

серверов в

Знакомство с проектом

wwwmobile xmpp

api

Одноклассники

Немного статистики

200 M зарегистрированных пользователей40 M уникальных пользователей в день6 M одновременно на сайте240 Гбит/с трафикаболее 1 ПБ данных

Команда

100 разработчиков и тестировщиков25 системных администраторов и инженеров8 специалистов по мониторингудизайнеры, менеджеры, правление и др.

Инфраструктура

4 центра обработки данных150 км оптических линийболее 5000 серверов (95% Linux)

Эйфелева башня300 м

5000 серверов350 м

Управление

ЭтапыПланирование

Монтаж

Развертывание

Конфигурация

Ввод в работу

Планирование

Планирование

выбор центра обработки данныхпланирование размещения в стойкепланирование сетевой инфраструктурыназначение имени и IP-адресазанесение информации в CMDB

CMDBБаза данных управления конфигурацией(configuration management database, CMDB) — репозиторий всех компонентов информационной системы. CMDB помогает понять взаимосвязи между этими компонентами и отслеживать их конфигурации. CMDB — основной компонент процесса управления конфигурацией.

Развитие CMDB

+ + +

CMDB в Одноклассниках

автоматическое планированиеавтоматическая проверка оборудованиясвязи между объектамиинтеграция со всеми системамижурнализация измененийотчеты

Интеграция с CMDBDNSфинансовые системысистема развертываниясистемы мониторинга (Zabbix, Cacti)системы бизнес-анализа и статистикисистемы конфигурации и управления порталомсистема предоставления доступа

ЭтапыПланирование

Монтаж

Развертывание

Конфигурация

Ввод в работу

Развертывание

Развертывание

Clonezillaвыделенный VLANинтеграция с CMDBавтоматическое определение MAC адресаавтоматический перевод в рабочий VLAN

ЭтапыПланирование

Монтаж

Развертывание

Конфигурация

Ввод в работу

Конфигурация

Управление конфигурацией

локальное управлениеудаленное управлениеудаленное выполнение командцентрализованное управление

DSSH

Централизованноеуправление

Multi

SSH

Централизованное управление

Требования

интеграция с CMDBконтроль и журнализация изменениймасштабирование и резервированиемониторинг и отчетыразделение доступа

Почему ?

производительностьмасштабируемостьбезопасностьгибкостьпопулярность

Версии

Community edition (Core)open source (GPL3)

Enterprise edition (Nova)коммерческая поддержкавеб-интерфейс (отчеты, мониторинг и др.)

Компоненты

cf-agent выполняет политики

cf-execd запускает агента по расписанию

cf-monitord

собирает статистическую информацию

cf-serverd обслуживает сетевые соединения

cf-runagent

вызывает агента на удаленных хостах

Клиент – сервер

свой протокол 5308/tcp

аутентификацияавторизацияшифрованиепередача файлов

только pull

Политики

git репозиторий на HUBкаждые 5 минут:

git pullкопирование политик

splaytime = 4

Git mirror

Hub fail

Hub fail

Master fail

Master fail

Мониторинг

INSERT SELECT

MySQL на HUBкаждые 5 минут:

INSERT

каждую минуту:SELECT

раз в сутки чистка

ИтогиПланирование

Монтаж

Развертывание

Конфигурация

Ввод в работу

Планирование

Развертывание

Конфигурация

Дополнительная информация

Блог компании Одноклассникиhttp://habrahabr.ru/company/odnoklassniki/CFEnginehttp://cfengine.com/Chefhttp://www.opscode.com/chef/Puppet Labshttp://puppetlabs.com/

Спасибо за внимание!

Алексей Чудовв е д у щ и й с и с т е м н ы й а д м и н и с т р а т о р ,

О д н о к л а с с н и к и

a l e k s e y. c h u d o v @ o d n o k l a s s n i k i . r u