Фотострана, Дмитрий Смирнов

Интересно? Заходи на http://job.fotostrana.ru

Архитектура Фотостраны


Фотоcтрана? Не, не слышал.


— 31 500 000 зарегистрированных пользователей

— 1 400 000 уникальных посетителей в день.

— Больше 100 человек в команде

— Входим в ТОП-20 сайтов рунета


О чем расскажу?

• Обработка запроса и генерация HTML

• Как мы отдаем статику

• Хранение данных


Нет разбиения на группы

Питомцы, профили, поиск…


Есть разбиение на группы

Питомцы Профили Поиск


• 80 PHP серверов• 2.500 req/s• Среднее время

ответа 0.1 сек


Отдача статики

• Наша статика (css, js, swf, jpg…)

• Фотосхема (пользовательские фотки, аватарки, превьюшки)


Содержимое статики:• 800 css• 750 js• 3200 swf• 48000 image

• 5000 req/s• >1 Гбит/сек трафика в пике

} 3 Гигабайта


Фотосхема

• 11 Тб - объем пользовательских фотографий

• 250.000 - новых фоток в сутки• 4000 req/s


• Большие SATA диски• Полное дублирование файлов между серверами

• Кэш в RAM+ Кэш на SSD (для маленьких файлов)

• Кэш в RAM• Кэш на HDD

Фотосхема


Хранение данных

• MySQL• Memcached• Lemon – самописная NoSQL• Демоны на C++


картинка про alter таблички на 30кк записей (15Гбайт)

• 14 серверов• 110.000 / мин SELECT• 25.000 / мин UPDATE


• 5 серверов• 200 Гбайт RAM• 30.000 req/s


MySQL плохо делает 3 вещи:

• Удаление большого количества данных

• Очень частые изменения данных

• Частые выборки


Решение – NoSQL.

Lemon

Lemon:• Простое key-value хранилище• Все данные в памяти• Периодический сброс данных на диск


Демоны

Что сделали:• Модуль для PHP• Разработали протокол взаимодействия

Всего больше 30:• Гости, контакты, мессенджер, питомцы, поиск,

встречи, голосвание…


Пример: демон гостей<?$guests->call(‘add_guest’, array(

$toUserId,$guestId,$source,

));$list = $guests->call(‘get_guest_list’, array(

$forUserId, $limit,

$offset,)); // $list = array(array(guestId, time, source), …)


HTTP демоны

/chat/?userId=123/user/123


• Быстрее PHP, в 10 раз!• > 50% запросов на балансер попадают к

демонам• Всего 7 серверов

HTTP демоны


Подводя итоги

• Нет преждевременной оптимизации• Нет трендам, да цифрам• Не бойтесь экспериментировать• Проверяйте все сами


Вопросы

Спасибо за внимание!

Фотострана, Дмитрий Смирнов

Technology