Мониторинг веб приложений на PHP в режиме реального времени с помощью

Pinba. На примере Magento

Миняйло ИгорьCore Team

Киев15 сентября 2012

Agenda

• Профайлинг web приложений• Мониторинг web приложений• Pinba как система мониторинга• Использование Pinba для мониторинга

Magento

Зачем профилировать?

Медленный код - это зачастую только предположение, что медленный именно код. В большинстве случаев проблема медленной работы кроется вне кода системы. Профилирование помогает вычислить наиболее медленные места в системе (локализация проблемы) и, в случае необходимости, устранить их.

Утилиты для профайлинга web приложений

• xDebug• xhprof • Magento_Profiler

Профайлинг web приложений

Проблема• Профайлер как “ad hoc” решение, для

определенной проблемы (оптимизация отдельного участка программы).

• Профайлинг – ресурсоемкая задача и не применим на продакшене

• Большое кол-во данных для анализа• Мы не знаем какие части приложения

требуют оптимизации.

Почему не достаточно просто профайлить веб приложение на этапе тестирования?

Профайлинг не сможет выявить большинство проблем, которые проявляются в «реальных» условиях под нагрузкой (race condition, работа с внешними API и источниками данных)

Мониторинг web приложений

• Collectd (system statistics)• Nagios• Zabbix

Мониторинг web приложенийПроблема

• Большинство систем мониторинга собирают статистику по системе (CPU utilization, I/O, DB utilization, число запросов к веб серверу). Но не мониторят код самого приложения. Соответственно мы получаем поверхностную картину состояния системы.

• Сбор статистики в циклическую базу данных

Pinba comes to rescue!

“Pinba is a realtime monitoring/statistics server for PHP using MySQL as a read-only

interface. ”

Что умеет pinba?

• Мониторинг веб приложения в режиме реального времени на продакшене с минимальным оверхедом по времени.

• “Pinba is not a debugging tool in a common sense, since you're not supposed to do debugging on production servers, but its main goal is to help developers to monitor performance of PHP scripts, locate bottlenecks in realtime and direct developers' attention to the code that really needs it.“

Общая схема работы Pinba

Как это работает?

Pinba состоит из PHP расширения и сервера. Модуль Pinba автоматически шлёт данные обо всех обработанных запросах на сервер. Pinba-сервер — это сервис, написанный на С, который:• собирает по протоколу UDP данные об

обработанных запросах;• хранит все эти данные в памяти и строит по ним

отчёты;• предоставляет доступ к сырым данным и отчётам

по протоколу MySQL, то есть фактически является MySQL engine.

Данные

Каждый PHP скрипт посылает следующие данные в конце обработки каждого запроса:

• string hostname - gethostname() result • int request_count - number of requests served by this process • string server_name - $_SERVER["SERVER_NAME"] • string script_name - $_SERVER["SCRIPT_NAME"] • int document_size - size of the response body • int memory_peak - memory allocation peak • float request_time - time spent of processing the request • float ru_utime - resource usage (user) • float ru_stime - resource usage (system) • array timers - array of timers (optional)

Визуализация результатов

Raw data tables

Промежуточный итог:

Не настраивая практически ничего мы получили систему аналитики всего php в продакшене!

Таймеры и Теги

Таймеры и Теги

Соответствующие таблицы отчетов по этим тегам:• tag_info_group - статистика по тегу group • tag_info_group_server - статистика по тегам group+server

Mage_Core_Controller_Varien_Front

Magento_Profiler

Magento_Profiler

Отчеты

Самые медленные части приложения (общий отчет)

Самые медленные части приложения (с группировкой по script_name)

Overhead?

ab -n 500 magento.local/magento2/index.php/• Без PinbaTime taken for tests: 651.820 secondsTime per request: 1303.639 [ms] (mean)

• С включенной Pinba (без таймеров)Time taken for tests: 687.900 secondsTime per request: 1375.801 [ms] (mean)

• С включенной Pinba (с таймерами)Time taken for tests: 690.528 secondsTime per request: 1381.057 [ms] (mean)

Предложение по усовершенствованию

• Добавить функциональность тегов в Magento_Profiler, чтобы он не логировал все вызовы.

• Добавить настройку (в system configuration), чтобы пользователь мог указать какие именно теги он хочет логировать

• Собирать данные в Pinba

Nginx + Pinba

Что будет, если PHP-процесс не может принять и обработать запрос?

Вопросы, господа!