sap hana: big run for big data - cnews.ru · pdf filesap hana: big run for big data от...

SAP HANA: Big Run for Big Data от операционных вопросов ИТ к реальным преимуществам в бизнесе

Вадим Табаков

SAP

© 2013 SAP AG or an SAP affiliate company. All rights reserved. 2

IT still matters

Инновации

Текущие задачи

А

80%

20%


Эпоха Big Data

Стоимость Tb 2012

Disk

Memory

$60

$4,900

Стоимость Tb 1990

Disk

Memory

$9,000,000

$106,000,000

1750

1500

1250

1000

750

500

250

0 2006 2007 2008 2009 2010 2011 2012

Объем созданной информации

Объем доступной памяти

Млрд. Гб

Wal-Mart об обрабатывает 1 млн. клиентских транзакций в час

Объем данных Wal-Mart – около 2,5 петабайт (1 петабайт = 1 млн. Гб).

Google обрабатывает 1 петабайт поисковых данных каждый час

В Facebook загружается 1,2 млн. фотографий в секунду


SAP HANA – это

программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных in-memory.

В НАСТОЯЩЕЕ ВРЕМЯ ПЕРЕД БОЛЬШИНСТВОМ КРУПНЫХ ФИНАНСОВЫХ УЧРЕЖДЕНИЙ ОСТРО ВСТАЛА ЗАДАЧА ЭФФЕКТИВНОЙ ОБРАБОТКИ И АНАЛИЗА БОЛЬШИХ ОБЪЕМОВ ДАННЫХ. ОРГАНИЗАЦИИ СТРЕМЯТСЯ СВОЕВРЕМЕННО ПОЛУЧАТЬ НУЖНУЮ ИНФОРМАЦИЮ, ЧТОБЫ ОПЕРАТИВНО РЕАГИРОВАТЬ НА ИЗМЕНЕНИЯ

ФИНАНСОВОГО РЫНКА, ПРЕДУПРЕЖДАТЬ РИСКИ И АНАЛИЗИРОВАТЬ ТРЕНДЫ. ОДНАКО ОБЪЕМ ДАННЫХ БЫВАЕТ НАСТОЛЬКО ВЕЛИК, ЧТО ТРАДИЦИОННЫЕ СИСТЕМЫ НЕ СПРАВЛЯЮТСЯ С ОБРАБОТКОЙ В НУЖНЫЕ СРОКИ И НЕ МОГУТ УДОВЛЕТВОРЯТЬ ПОТРЕБНОСТЬ ПОЛЬЗОВАТЕЛЕЙ В ПОЛУЧЕНИИ НЕОБХОДИМОЙ

ИНФОРМАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ.

КОМПАНИЯ SAP ПРЕДЛАГАЕТ РЕВОЛЮЦИОННОЕ РЕШЕНИЕ ПРОБЛЕМЫ АНАЛИЗА И ОБРАБОТКИ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ - ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС SAP HANA. ОН ПОСТРОЕН НА ОСНОВЕ ИННОВАЦИОННЫХ РАЗРАБОТОК КОМПАНИИ SAP В СФЕРЕ ХРАНЕНИЯ ДАННЫХ В ОПЕРАТИВНОЙ ПАМЯТИ И

ПОСЛЕДНИХ ДОСТИЖЕНИЙ В ОБЛАСТИ АППАРАТНОГО ОБЕСПЕЧЕНИЯ. SAP HANA СНИМАЕТ ОГРАНИЧЕНИЯ ТРАДИЦИОННОЙ АРХИТЕКТУРЫ БАЗ ДАННЫХ, КОТОРЫЕ СУЩЕСТВЕННО СУЖАЛИ ВОЗМОЖНОСТИ РАЗРАБОТКИ ПРИЛОЖЕНИЙ ДЛЯ ПОДДЕРЖКИ ДЕЯТЕЛЬНОСТИ ОРГАНИЗАЦИЙ В РЕАЛЬНОМ ВРЕМЕНИ. НИЖЕ

ПЕРЕЧИСЛЕНЫ КЛЮЧЕВЫЕ ОСОБЕННОСТИ SAP HANA, СОВОКУПНОСТЬ КОТОРЫХ ПОЗВОЛЯЕТ СЧИТАТЬ ПЛАТФОРМУ БЕСПРЕЦЕДЕНТНЫМ РЕШЕНИЕМ НА РЫНКЕ ТЕХНОЛОГИЙ ДЛЯ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ:

ПОЛНОЦЕННАЯ БАЗА ДАННЫХ IN-MEMORY В ОСНОВЕ ПЛАТФОРМЫ SAP HANA. ВСЕ ДАННЫЕ, ХРАНЯЩИЕСЯ В АНАЛИТИЧЕСКОЙ ПЛАТФОРМЕ SAP HANA, ПОСТОЯННО НАХОДЯТСЯ В ОПЕРАТИВНОЙ ПАМЯТИ СЕРВЕРОВ, ЗА СЧЕТ ЧЕГО УСТРАНЯЕТСЯ УЗКОЕ МЕСТО, СНИЖАВШЕЕ ПРОИЗВОДИТЕЛЬНОСТЬ ПРИЛОЖЕНИЙ НА

ПРОТЯЖЕНИИ МНОГИХ ЛЕТ – ОЖИДАНИЕ ПРОЦЕССОРОМ ДАННЫХ С ЖЕСТКОГО ДИСКА.

Поколоночное хранение – новая скорость обработки данных и эффективные алгоритмы компрессии. Данный способ хранения позволяет извлекать из памяти только необходимые колонки таблиц данных и производить вычисления над ними, что значительно ускоряет выполнение аналитических запросов. Также поколоночная

организация хранения позволяет использовать ряд эффективных алгоритмов компрессии данных, не влияющих на производительность.

Построение комплексных моделей данных и реализация вычислительных алгоритмов на уровне базы данных с возможностью использования встроенных библиотек функций прогнозирования и бизнес-функций. SAP HANA позволяет создавать приложения нового поколения, изначально спроектированные для использования

преимуществ вычислений в оперативной памяти, а также переносить логику существующих приложений на уровень базы данных In-Memory.

Эффективное использование массово-параллельной архитектуры аппаратного обеспечения для распараллеливания вычислений на больших объемах данных.

Построение аналитики на транзакционных данных без предварительной агрегации, индексирования и материализованных представлений.

Бесшовная интеграция с существующими решениями SAP с целью увеличения производительности и создания новых возможностей для пользователей. Такие приложения, как SAP Netweaver BW, SAP CRM и в скором времени SAP ERP оптимизированы для работы в оперативной памяти и для использования вычислительных

ресурсов, предоставляемых платформой SAP HANA.

SAP HANA И IBM NETEZZA – ВОЗМОЖНА ЛИ АНАЛОГИЯ?

Программно-аппаратный комплекс PureData System for Analytics N1001 (новое название продукта Netezza 1000 Data Warehousing machine) в основе своей имеет СУБД, оптимизированную, согласно информации от производителя, для работы с аналитическими приложениями и хранилищами данных. При этом он не является многоцелевой

платформой для обработки и хранения как аналитических, так и транзакционных данных (для транзакционных систем IBM предлагает другой продукт семейства PureData – PureData for Transactions T1500). Единственной общей особенностью SAP HANA и PureData System for Analytics N1001 является эффективное использование массово-

параллельной архитектуры при выполнении запросов. Явными преимуществами SAP HANA, не позволяющими называть продукт компании IBM конкурентом и аналогом, являются:

База данных In-Memory, в то время как PureData System for Analytics Т1001 работает на основе дисков. Дисковые технологии накладывают ограничения на производительность, тем самым не позволяя выполнять комплексные вычисления на больших объемах данных в режиме реального времени и создавать приложения нового поколения.

Гибридное хранение данных (поколоночное и построчное с возможностью выбора) в отличие от решения IBM, позволяющего хранить данные только построчно. Как было сказано выше, поколоночное хранение имеет массу преимуществ и позволяет добиться высочайшей скорости выполнения аналитических запросов, а также степени

компрессии данных.

OLAP + OLTP. SAP HANA оптимизирована для обработки данных обоих типов, в то время как PureData System for Analytics T1001 непроизводительна в работе с транзакционными приложениями.

Многофункциональная платформа для разработки новых приложений с возможностями использования библиотек функций планирования, прогнозирования и бизнес-функций. SAP HANA позволяет создавать новые решения, используя платформу stand-alone, а также оптимизировать существующие приложения, перенося логику

на уровень базы данных in-memory. Решение от IBM не предоставляет подобных возможностей.

Репликация данных из любых источников в режиме реального времени. В зависимости от поставленных задач и источников данных, компания SAP предлагает несколько зарекомендовавших себя инструментов для репликации – SAP SLT, Sybase Replication Server, SAP BusinessObjects Data Services. Загрузка данных в PureData System

for Analytics T1001 не является real-time, поэтому решение не может поддерживать функционирование организаций в реальном времени.

СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ SAP HANA ДЛЯ ФИНАНСОВЫХ УЧРЕЖДЕНИЙ

Являясь универсальной многоцелевой платформой, SAP HANA позволяет реализовывать различные

сценарии для ускорения и оптимизации существующих приложений, а также создавать решения нового поколения, изначально проектируемые с использованием преимуществ вычислений в оперативной памяти. Основные группы сценариев представлены ниже:

SAP HANA для аналитики в режиме реального времени

Основной проблемой существующих аналитических приложений является сложность получения данных из источников в режиме реального времени, отсутствие гибкости моделей, а также необходимость предварительной агрегации данных для последующего анализа. По этим причинам пользователи не получают информацию для принятия

решений своевременно, а также не имеют возможности формировать ad-hoc запросы с требуемым уровнем детализации для анализа причин возникновения тех или иных событий и рисков. SAP HANA является идеальным решением описанной проблемы, позволяя реплицировать большие объемы данных из различных транзакционных

систем в режиме реального времени, создавать комплексные модели и витрины данных, вычисляемые «на лету», и предоставляя интерфейс для решений SAP BusinessObjects BI, MS Excel, а также любых других клиентских приложений, поддерживающих SQL или MDX.

В рамках данного сценария компания SAP предлагает большой спектр преднастроенных моделей, разработанных на основе многолетней экспертизы компании в области бизнес-процессов. Примером такого решения является аналитическая отчетность для банков, позволяющая менеджменту анализировать различные КПЭ в режиме

реального времени и тем самым быстро адаптироваться к меняющимся условиям финансового рынка и минимизировать риски.

Приложения нового поколения

Платформа SAP HANA позволяет создавать приложения, которые были нереализуемы ранее с применением традиционных технологий. Логика подобных приложений изначально реализуется на уровне базы данных SAP HANA с целью эффективного использования технологии вычислений в оперативной памяти, а также оптимизированных

алгоритмов прогнозирования, бизнес-функций и т.п. Примером такого приложения для банков является SAP Liquidity Risk Management (Управление рисками ликвидности). Оно позволяет банкам проводить анализ ликвидности и управление рисками и дает возможность анализировать большие объемы операционных, симулированных и

«стресс» данных о денежных потоках всех типов в режиме реального времени, от агрегированных данных группы вплоть до отдельных денежных потоков.

Существующие решения SAP powered by HANA

Приложения SAP Business Suite и SAP NetWeaver Business Warehouse являются ключевыми элементами системного ландшафта многих организаций, при этом традиционные базы данных, используемые этими приложениями, не позволяют им эффективно обрабатывать большие объемы данных и отвечать современным требованиям

организаций. Миграция этих решений на SAP HANA не только решает проблемы производительности, но и позволяет оптимизировать их архитектуру, расширить функциональность и упростить администрирование, сохраняя пользовательские интерфейсы неизменными. К примеру, миграция хранилища данных SAP Netweaver BW позволяет

не только решить проблемы с отчетностью, работающей недопустимо медленно, но и значительно ускоряет такие процессы, как бюджетирование на SAP BW-IP и SAP BPC, за счет выполнения объемных расчетов на уровне базы данных в оперативной памяти.

Технология In-Memory реализована в перспективном решении SAP HANA (High-Performance Analytics Appliance). Это гибкий, многоцелевой программно-аппаратный комплекс, который размещает все данные для аналитической обработки в оперативной памяти. Решение SAP HANA построено на программных компонентах SAP,

оптимизированных для работы на оборудовании, поставляемом ведущими мировыми производителями – партнерами SAP. SAP HANA представляет инновационную парадигму вычислений в реальном времени и помогает бизнесу переосмыслить существующие пути решения деловых задач, используя революционный инструментарий бизнес-

аналитики, не имеющие аналогов приложения и обновленные существующие решения SAP.

Основные возможности SAP HANA

Непосредственный доступ к оперативным данным без ущерба для производительности операционных систем. Возможность синхронизировать ключевые таблицы с информацией о транзакциях непосредственно в оперативной памяти в режиме, близком к реальному времени, что делает эти таблицы легкодоступными для анализа и поиска без

ущерба для производительности операционных систем. Усовершенствованный процесс моделирования поддерживает модели для прямого доступа к детализированной информации, а также аналитические модели для более сложного анализа.

Оптимальный процесс построения отчетности, который охватывает весь спектр задач – от выявления важных оперативных сведений до генерации семантически сгруппированных данных в рамках модели и публикации итоговых моделей для общего использования. Ключевое отличие решения SAP HANA от традиционных аналитических

инструментов – отсутствие всякой материализации, что значительно упрощает внесение изменений в модели. В качестве основных источников данных используются только виртуальные модели, которые рассчитыва ются на основе неагрегированных оперативных данных.

Поддержка любых источников данных, позволяющая использовать оперативную информацию из приложений сторонних разработчиков, а также в случаях, когда организации хотят расширить существующие аналитические модели.

Простые в использовании инструменты моделирования с целью дальнейшего расширения автономии бизнес-пользователей. Богатые с семантической точки зрения представления превращают необработанные оперативные данные в понятную и значимую информацию. Бизнес-пользователи могут самостоятельно создавать новые

аналитические модели при помощи веб-инструментов, встроенных в решение SAP HANA.

Различные решения для бизнес-аналитики, как входящие в состав SAP Business Objects, так и не входящие (типа Excel) инструменты и приложения для анализа данных, которые могут подключиться к SAP HANA через стандартные интерфейсы, например MDX или SQL.

Стандартные интерфейсы для существующих решений, операционных систем или других бизнес-приложений. SAP HANA подключается к существующим источникам данных без ущерба для существующих ландшафтов, а организации смогут эффективнее использовать инвестиции в клиентские приложения для систем бизнес-аналитики.

Текущие сценарии применения SAP HANA

Получение отчетов в режиме, приближенном к реальному времени

Для обеспечения анализа в режиме реального времени перенос данных из транзакционной системы в HANA осуществляется с помощью технологии репликации данных. Репликация позволяет переносить в HANA все изменения, происходящие в БД учетной системы, в режиме, приближенном к «real time». Ранее для переноса данных в

аналитическую систему использовался процесс экстракции, трансформации и загрузки (т.н. ETL), который требовал длительного времени на извлечение и обработку больших массивов данных, прежде чем с этими данными начнут работать пользователи. Теперь же пользователям не нужно ожидать очередного срабатывания ETL-процесса

или работать с устаревшими данными.

Использование в качестве акселератора (ускорителя) для существующего ХД

Такой режим уже не подразумевает работу в режиме реального времени, однако, на этом этапе пользователи могут анализировать большие объемы данных из любого источника с высокой скоростью обработки

запросов.

Использование в качестве БД и СУБД для построения хранилища данных

При данном подходе возможно получить максимальную выгоду, используя всю функциональность SAP HANA, и пользоваться всеми преимуществами первых двух вариантов. В данном варианте «совмещаются» механизмы хранения и обработки, что значительно сокращает время обмена данными между БД и уровнем приложения. К тому же

данное решение наиболее открыто для дальнейших перспектив развития – в ближайшем будущем SAP HANA рассматривается как универсальная платформа для разработки приложений нового поколения – «in-memory»-приложений.

Технические характеристики SAP HANA

Высокопроизводительные развертывания SAP HANA работают на системах на базе микросхем Intel, сертифицированных SAP как HANA-совместимые, т.к. обычно такие внедрения требуют большого количества оперативной памяти и использования быстрых многоядерных процессоров. SAP HANA использует технологию вычислений «in-

memory», удерживая необходимую информацию непосредственно в оперативной памяти для ускорения ее обработки. При этом устраняется необходимость выполнения основных низко производительных операций чтения/записи с жестких дисков.

Компания SAP реализовала в своем ядре вычислений «in-memory» ряд технических прорывов, обеспечив, например, оптимальную загрузку процессора и возможность параллельной обработки данных на нескольких узлах. В процессе совместной работы с клиентами на экспериментальном этапе проекта SAP HANA удалось

продемонстрировать ряд глобальных инноваций в трех ключевых областях:

Скорость: модуль вычислений в оперативной памяти от SAP позволяет каждому ядру процессора сканировать 2 миллиона записей в миллисекунду и производить «на лету» более 10 миллионов операций по агрегированию данных в секунду. Эти результаты достигнуты с использованием реальных данных клиентов, работающих на

стандартных процессорах Intel.

Масштабируемость: программное ядро SAP HANA разработано на основе многоядерной архитектуры; в нем реализованы адаптивные алгоритмы, позволяющие оптимально использовать кэш. В результате производительность линейно растет при увеличении количества задействованных ядер, процессоров и серверов.

Сжатие: ядро SAP для вычислений в памяти использует передовые алгоритмы сжатия и структуры данных, позволяющие минимизировать объем памяти, необходимый для нормальной работы системы.













































организаций. Миграция этих решений на SAP HANA не только решает проблемы производительности, но и позволяет оптимизировать их архитектуру, расширить функциональность и упростить администрирование, сохраняя пользовательские интерфейсы неизменными. К примеру, миграция хранилища данных SAP Netweaver BW позволяет

не только решить проблемы с отчетностью, работающей недопустимо медленно, но и значительно ускоряет такие процессы, как бюджетирование на SAP BW-IP и SAP BPC, за счет выполнения объемных расчетов на уровне базы данных в оперативной памяти.

Технология In-Memory реализована в перспективном решении SAP HANA (High-Performance Analytics Appliance). Это гибкий, многоцелевой программно-аппаратный комплекс, который размещает все данные для аналитической обработки в оперативной памяти. Решение SAP HANA построено на программных компонентах SAP,

оптимизированных для работы на оборудовании, поставляемом ведущими мировыми производителями – партнерами SAP. SAP HANA представляет инновационную парадигму вычислений в реальном времени и помогает бизнесу переосмыслить существующие пути решения деловых задач, используя революционный инструментарий бизнес-

аналитики, не имеющие аналогов приложения и обновленные существующие решения SAP.

Основные возможности SAP HANA

Непосредственный доступ к оперативным данным без ущерба для производительности операционных систем. Возможность синхронизировать ключевые таблицы с информацией о транзакциях непосредственно в оперативной памяти в режиме, близком к реальному времени, что делает эти таблицы легкодоступными для анализа и поиска без

ущерба для производительности операционных систем. Усовершенствованный процесс моделирования поддерживает модели для прямого доступа к детализированной информации, а также аналитические модели для более сложного анализа.

Оптимальный процесс построения отчетности, который охватывает весь спектр задач – от выявления важных оперативных сведений до генерации семантически сгруппированных данных в рамках модели и публикации итоговых моделей для общего использования. Ключевое отличие решения SAP HANA от традиционных аналитических

инструментов – отсутствие всякой материализации, что значительно упрощает внесение изменений в модели. В качестве основных источников данных используются только виртуальные модели, которые рассчитыва ются на основе неагрегированных оперативных данных.













запросов.





































































запросов.













программно-аппаратный комплекс, в основе которого лежит технология

хранения и обработки данных in-memory.

HANA – это

Что такое HANA

SAP HANA

BI (OLAP) OLTP


Что такое HANA

HANA


100+ “go-live“ клиентов

1000+ потенциальных

клиентов в Европе

к концу 2012 года!

400+ клиентов HANA

через 12 месяцев

после Ramp-up!

SAP HANA выбирают

McLaren – HANA


PhD в гаражном боксе


Считанные секунды

Bayer – CRM on HANA


Системный ландшафт

CRM

Application Server BMP

CRM eCommerce

+

BPM Process

+

3 custom J2EE

Applications

SAP Netweaver

Java 7.3

ERP

BW Internal User

DMZ

DB

DB

External User – eCommerce

Real time Middleware

Regular data load

DB


План проекта

Май 2012 Начало: масштаб и ожидания

Июнь 2012 Подготовка исходных данных

Июль 2012 NDA, передача данных в Вальдорф

Август 2012 Инсталляция исходной системы, апгрейд до EhP2,

Smoke tests

Сентябрь 2012 Копирование системы, апгрейд, миграция CRM на

HANA, Smoke tests

Октябрь 2012 Основное тестирование: производительность,

консолидация результатов, оптимизация (SAP AGS)

Ноябрь 2012 Презентация CRM on HANA на инфодне в Вальдорфе

Декабрь 2012 Технический семинар в Вальдорфе

Подтверждение результатов, номинация на Ramp Up

Январь 2013 Финальное тестирование; тестирование интернет

магазина


Системный ландшафт

Disk DB

Application & Database Server:

CRM 7.00 EHP2

Linux Red Hat Linux 2.6.32.54

4 AMD Opteron CPU

2,6 GHz

32 GB RAM

RDBMS

SAP HANA DB

Application Server:

CRM 7.00 EHP2

SUSE Linux 2.6.32.59

4 CPUs 2,6 GHZ

32 GB RAM

Database Server:

SUSE Linux

8 Intel Xeon CPU

2,4 GHz (10 cores each)

1 TB RAM

HANA DB


Измерение времени отклика


Финальные результаты

Comparison of server response times between SCC (Oracle) and SCH (HANA)

after optimization for sales order searches.

Response Times – HANA vs Disk DB

Response Time on Disk DB

Response Time on HANA


Финальные результаты (оптимизация)

Disk DB


Innovating our business with real-time information

AT A GLANCE

Objective

Proof of Concept

Solution

SAP CRM powered by SAP HANA

Benefits

Innovate the business and empower users with

real-time information

After a successful proof of concept, we have quickly made the decision to

implement SAP CRM powered by SAP HANA. We believe this is the right move

for Bayer as it will allow us to innovate the way products are being developed by

focusing more on the individuals requirements rather than generic markets. We

will also create a better user experience by providing our users with real-time

information while reducing our overall operating cost in IT. The next logical step

for Bayer will be to move the whole SAP Business Suite to SAP HANA. Kurt De Ruwe, CIO, Bayer MaterialScience

http://www.stockholders-newsletter.bayer.com/


SAP Forum Москва 11 апреля 2013, «Крокус Экспо»

Крупнейшая бизнес-конференция SAP в

России, которая состоится 11 апреля

2013 года в Москве, в выставочном

центре "Крокус Экспо".

Девиз предстоящего SAP Форума -

"Лидерство через инновации".

Регистрация открыта!

© 2013 SAP AG or an SAP affiliate company. All rights reserved.

SAP is a Database Company

Вадим Табаков

к.э.н.

САП СНГ

Менеджер по развитию направления «Базы данных и технологии»

+7 495 755 9800

+7 967 132 5871

[email protected]

mailto:[email protected]

sap hana: big run for big data - cnews.ru · pdf filesap hana: big run for big data от...

Documents