zolotarev 1 telco_future_keynote
TRANSCRIPT
![Page 1: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/1.jpg)
1 © Copyright 2012 EMC Corporation. All rights reserved.
Большие Данные Многие в них уже поверили,
но пока лишь немногие на них зарабатывают....
Сергей Золотарев Руководитель направления
Большие Данные ЕМС
![Page 2: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/2.jpg)
2 © Copyright 2012 EMC Corporation. All rights reserved.
Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.
В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ
ДВА ЭКЗАБАЙТА НОВЫХ ДАННЫХ
![Page 3: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/3.jpg)
3 © Copyright 2012 EMC Corporation. All rights reserved.
В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ
ДВА ЭКЗАБАЙТОВ
НОВЫХ ДАННЫХ В ДЕНЬ
Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.
![Page 4: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/4.jpg)
4 © Copyright 2012 EMC Corporation. All rights reserved.
Новый бизнес на Больших Данных
290,000,000 Обновлений / День
250,000,000 Новых фото / День
1,000,000,000 Запросов / День
4,000,000 Обращений / День
2,800,000,000 Сделок / День
31,000,000,000 Итерраций / День
![Page 5: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/5.jpg)
5 © Copyright 2012 EMC Corporation. All rights reserved.
Лидеры рынка первыми начинают и выигрывают….
![Page 6: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/6.jpg)
6 © Copyright 2012 EMC Corporation. All rights reserved.
Типовые бизнес-задачи в телекоме для решения которых используются Большие Данные
Клиентская аналитика Target marketing\churn\campaign management\loyalty programs etc.
Отчетность и статистика
Противодействие мошенничеству
Оптимизация настроек оборудования
![Page 7: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/7.jpg)
7 © Copyright 2012 EMC Corporation. All rights reserved.
Телеком: Снижение оттока абонентов
Моделирование поведения
абонентов осуществляется на
основе математической теории
и практики анализа социальных
сетей
![Page 8: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/8.jpg)
8 © Copyright 2012 EMC Corporation. All rights reserved.
American Express выбирает Hadoop
• Формирование профиля клиента на базе информации о платежах • Повышение лояльности клиентов за программ поощрения • Расширение методов борьбы с мошенничеством
Бизнесс-задачи:
Выбор : После 6 месяцев тестирования открытых и коммерческих релизов
в финал вышли Cloudera и Greenplum MR
Причины:
Поддержка корпоративного уровня Отказоустойчивость платформы Скорость обработки в 2 раза выше
2PB
![Page 9: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/9.jpg)
9 © Copyright 2012 EMC Corporation. All rights reserved.
Банк «Тинькофф Кредитные Системы»
Проект: Онлайн Банк (Аналитика в реальном времени на растущих объёмах данных)
Производительность задач повысилась в среднем в 11 раз
Экономичное по стоимости линейное масштабирование серверных мощностей
Создание инфраструктуры, работоспособность которой не зависит от типов данных, их объема и темпов роста
Переход к обновлению данных в режиме онлайн в хранилище и аналитических витринах
Полный спектр аналитических решений для работы со сверхбольшими объемами данных, как структурированных, так и неструктурированных
![Page 10: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/10.jpg)
10 © Copyright 2012 EMC Corporation. All rights reserved.
Медицина:распространение диабета в США
![Page 11: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/11.jpg)
11 © Copyright 2012 EMC Corporation. All rights reserved.
Энергетика: «Умные электросети»
Предотвращение веерных отключений электроэнергии
Нужно знать, каким будет потребление электроэнергии завтра… и на следующей неделе… и в следующем месяце.
![Page 12: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/12.jpg)
12 © Copyright 2012 EMC Corporation. All rights reserved.
«Умные сети» и EMC Greenplum
Сетевое межсоединение
... ...
... ... Мастер - серверы
Планирование запросов и координация
Сегментные серверы
Обработка запросов и хранение данных
Массово-параллельная архитектура без разделения ресурсов
![Page 13: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/13.jpg)
13 © Copyright 2012 EMC Corporation. All rights reserved.
Обслуживание на основе контроля состояния Причинно-следственный анализ происшествий
Причинно-следственный анализ происшествий позволяет «перемотать
назад» время и восстановить контекст на момент события
«Перемотка назад» позволяет визуализировать удары молний, явившиеся причиной деградации
оборудования.
![Page 14: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/14.jpg)
14 © Copyright 2012 EMC Corporation. All rights reserved.
Визуализация c наложением на обслуживаемую
территорию
50 датчиков показывают напряжение
ниже минимального
уровня. Найдено
исключительно через
Greenplum
![Page 15: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/15.jpg)
15 © Copyright 2012 EMC Corporation. All rights reserved.
Фильтрация
Анонимизация
обогащение
Преобразование
Проверка
Загрузка
Прогноз
Клиентская аналитика
Анализ рисков
Обнаружение мошенничества
Клиентские впечатления
CHURN
Бизнес-правила
Сложные события
(CEP)
Триггеры
Актуальные данные
Сохранение
Предикативная
аналитика
Исторические
данные
Внутренние источники
•CRM
• ABS
• Billing •…
Внешние источники
•Weather
•Google •…
Сеть оператора
IT системы
(1) Загрузка в реальном времени
(2) Аналитика реального времени
(3) Действия в реальном времени
Платформа
EMC G²
Аналитические приложения
Универсальная Аналитическая Платформа Pivotal
![Page 16: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/16.jpg)
16 © Copyright 2012 EMC Corporation. All rights reserved.
Как работает Pivotal
1
Внешние таблицы
Внешние таблицы
В реальном времени
Глубокая аналитика
В реальном времени
Загрузка данных
Пакетная
Неструктурированные данные, архив
По архиву
Аналитика
![Page 17: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/17.jpg)
17 © Copyright 2012 EMC Corporation. All rights reserved.
Архитектура shared-nothing на которой построена Greenplum линейно масштабируема
• Т.е. мы можем вдвое увеличить количество узлов, и вдвое же увеличить скорость работы запросов
• Так же мы можем вдвое увеличить емкость системы, просто удвоив количество узлов, при этом оставляя скорость обработки все такой же быстрой…
• Все это благодаря тому что мы масштабируем одновременно вычислительную мощность, объем и скорость вввода-вывода
• При этом система работает на недорогом X86 оборудовании
Segment Segment Segment Segment Segment
…
МПП архитектура
![Page 18: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/18.jpg)
18 © Copyright 2012 EMC Corporation. All rights reserved.
Почему нас выбирают клиенты
Высочайшая скорость загрузки и выполнения запросов
Линейная многократная масштабируемость
Интеграция c инструментами ETL,BI и аналитики
Наличие отработанных методик и инструментов миграции с традиционных платформ и СУБД
Универсальная платформа обработки всех
типов данных и запросов
Адекватные и предсказуемые затраты на
построение и развитие системы
![Page 19: Zolotarev 1 telco_future_keynote](https://reader033.vdocuments.net/reader033/viewer/2022060116/55832cafd8b42a752f8b46d1/html5/thumbnails/19.jpg)