sap sybase iq - citia.co.uk · sap sybase iq Инновации в инфраструктурных...
TRANSCRIPT
SAP Sybase IQ
Инновации в инфраструктурных компонентах систем бизнес- анализа и хранилищ данных
Юрий Белоус Технический директор Sybase CIS 05.12.2012
Архитектура BI Отчётность
ETL / Репликация
Universe
Хранилище данных Витрина данных
NLS для HANA
Оперативные системы
Sybase Replication Server RTL
Sybase Power Designer
Sybase IQ
Sybase Replication Server RTL
Sybase Power Designer
Mobile BI
Afaria Afaria
SUP SUP
SAP Sybase IQ
Sybase IQ – это специализированная аналитическая СУБД, которая изначально спроектирована для задач быстрого анализа больших объёмов данных и построения любой отчетности с использованием стандартного аппаратного обеспечения и операционных систем.
• С самого начала создавалась как СУБД для аналитики, а не для OLTP, как большинство СУБД на сегодня
• Очень высокая скорость выполнения запросов
• Максимальное использование возможностей аппаратных платформ
• Уникальная структура хранения данных по колонкам и набор патентованных индексов делают IQ лидером по показателю цена/производительность среди решений для аналитики
SAP Sybase IQ
Sybase IQ – это … Обычная база данных (почти ), с обычными таблицами Таблицы имеют колонки Для ускорения запросов к данным используются «индексы»
Нет привязки к какой-то схеме базы данных Звезда/Снежинка Реляционная a-la 3НФ Плоская (Очень Широкие таблицы без потери производительности)
Стандартные элементы как в любой СУБД Хранимые процедуры, представления (Views), стандартный SQL Управление пользователями, группами Резервное копирование базы, восстановление Многопользовательский режим работы с данными
SAP Sybase IQ – “Снаружи”
• Данные хранятся по КОЛОНКАМ, а не по СТРОКАМ (как партиции по колонкам)
• Каждая КОЛОНКА так же и ИНДЕКС
• Плюс отдельные специализированные индексы (9 ТИПОВ индексов), 6 типов JOIN
• Индексируется ДО запросов (полная поддержка ad-hoc)
• Используются ВСЕ возможные индексы в запросе
• Очень ПРОДВИНУТЫЙ оптимизатор
• Компрессия ДАННЫХ И ИНДЕКСОВ
Col 1 Col 2 Col 5 Col 6 Col 8 Col 7 Col 3 Col 4
Базовые таб.: 0.3 - 0.5 TB
Индексы: 0.1 - 0.3 TB
Агрег./Сумм: 0 - 0.2 TB
0.4 – 1 TB
Исходные данные:
1 TB
“Сырые” данные
• Читаются ТОЛЬКО необходимые данные
• Получение максимальной отдачи от “железа”
• Отсутствие необходимости оптимизации под конкретный запрос (ad-hoc)
• Высокая скорость выполнения запросов
• Невысокие затраты на поддержку
• Практически линейное масштабирование
Преимущества
SAP Sybase IQ – “Внутри”
Row 1
Row 2
Row 3
Row 5
Row 4
Row 6
Row 8
Row 7
• “Shared Disk” кластер
• Обеспечение отказоустойчивости
• Возможность добавлять узлы в кластер по мере необходимости без остановки
• Масштабирование по пользователям
• Масштабирование по запросам (распределённое выполнение запроса).
• Множество «читателей» и «писателей»
• Простота администрирования
Sybase IQ Multiplex
SAP Sybase IQ – Grid кластер
v15.0
2009
15.0 - Новая VLDB платформа, инженерная основа
v15.4
2011
15.4 - MapReduce API
v15.3
2011
15.3 - MPP кластер PlexQ™
v15.2
2010
15.2 - Текстовый поиск, Web 2.0 API
v15.1
2009
15.1 - Аналитика, встраиваемая в базу, API
SAP Sybase IQ – Развитие платформы 15.x
• «В самом расцвете сил» (на рынке с 1994 г.) Возраст
• Более 2000 клиентов, более 4000 инсталляций Широкое использование
во всем мире
• Более 200 новых клиентов за год Устойчивый рост
Примеры клиентов
SAP Sybase IQ – положение на рынке
По сравнению с другими специализированными системами для аналитики Sybase IQ имеет больше клиентов, чем все другие вместе взятые
Teradata
Oracle Exadata
IBM Netezza
EMC Greenplum
-
500
1 000
1 500
2 000
Others Sybase
* На основе публичных данных и отчетов аналитиков о количестве клиентов
* Вендоры категории ‘Others’ отбирались на основе i) занимает позицию ‘лидер’ в квадранте Gartner, ii) имеет специализированное решение для Хранилищ Данных
SAP Sybase IQ – количество клиентов
SAP Sybase IQ – Пример 1. Компрессия данных
Примеры клиентов SYBASE IQ
Размер
исходных
текстовых
данных
Размер
в базе
Sybase IQ
Ожидаемый размер в
других СУБД после
«взрыва данных»
Референсная архитектура VLDW
(InfoSizing – июнь 2004)
155 TB 55 TB От 500 TB до 1,000 TB
Telefonica 70TB 15TB От 210TB до 490TB
comScore Networks 40 TB 16 TB От 120 TB до 280 TB
Health Insurance Review Agency 27 TB 12 TB От 81 TB до 189 TB
Samsung Card 15 TB 7 TB От 45 TB до 105 TB
Nielsen Media Research 12 TB 12 TB От 36 TB до 84 TB
Крупный оператор пластиковых карт 10 TB 4 TB От 30 TB до 70 TB
Sybase IQ экономично использует дисковое пространство
“Большие” данные некоторых клиентов
Hardware Database Raw Data Total Disk Ratio
Digital 8400 Oracle 100 GB 361GB 3.61
HP 9000 Oracle 100 GB 643 GB 6.43
IBM SP2 DB2/6000 PE 100 GB 377 GB 3.77
NCR 5100 Teradata 100 GB 880 GB 8.80
Sun UE Oracle 100 GB 594 GB 5.94
Tandem K1K Non-stop SQL 100 GB 286 GB 2.86
IBM SP2 Oracle 300 GB 1,977 GB 6.59
Pyramid Oracle 300 GB 1,535 GB 5.12
NCR 5100 Teradata 300 GB 880 GB 2.93
NCR 5100 Teradata 1,000 GB 3,280 GB 3.28
HP EPS Informix XPS 300 GB 3,532 GB 11.6
HP 9000 Sybase IQ 100 GB 70 GB 0.70
По данным тестов TPC-D
Название запроса Oracle
(секунды)
Sybase IQ
(секунды)
Выигрыш в скорости
Asset_balance_range_summary 17927 146 122X
Common_cpgn_query 38 1,6 24X
Duplicate_address 71 14 5X
Balance_query 2589 253 10X
First_query 318 11 28X
Fund_bal_query 9452 168 56X
Long_cpgn_query 723 5 142X
Long_GA_query 78 2 39X
ИТОГО 31196 сек (8.6 часов)
603 сек (10 мин.)
в 52 раза
В Sybase IQ скорость выполнения запросов в 10-100 раз выше
Клиент - финансовая компания
SAP Sybase IQ – Пример 2. Скорость запросов
Запрос Комментарии Результат SYBASE IQ ORACLE Ускорение
№/№ строк сек. сек. разы
запрос №1 сальдо по Счету на Дату, по Субсчетам 166 1,4 262 187
запрос №2 обороты по Счету, за 1 мес., по Субсчетам 132 1,5 267 178
запрос №3 сальдо по Счету на Дату, по Субсчетам, по Валюте 83 0,8 78 98
запрос №4 обороты по Счету, за 1 мес., по Субсчетам, по Валюте 52 0,7 111 159
запрос №5 сальдо по Счету на Дату, по Субсчетам 26 3,7 26 7
запрос №6 обороты по счету за 1 год, по Субсчетам 75 9,3 906 97
запрос №2 - 1 обороты по Счету, за 4 года, по Годам, Кварталам, Субсчетам 1288 18,8 никогда не выполнялись
запрос №2 - 2 обороты по Счету, за 1 года, по Годам 151 6,7 никогда не выполнялись
запрос №2 - 3 обороты по Счету, за 8 лет, по Годам, Кварталам, Субсчетам 490 60,7 никогда не выполнялись
ПРОИЗВОЛЬНЫЕ ЗАПРОСЫ (Ad-Hoc)
СТАНДАРТНЫЕ "РАБОЧИЕ" ЗАПРОСЫ
Клиент - страховая компания
SAP Sybase IQ – Пример 3. Рост “аппетита” бизнеса
* 550 пользователей
Клиент - розница
По месяцам В течении дня
Количество запускаемых отчётов
“Форсированная” отчетность
Надёжность системы
Свобода анализа Меньшие затраты на администрирование
Лёгкость выполнения ad-hoc запросов
Быстрота внедрения
Параллельная обработка:
Каждый пользователь получает то, что ему нужно
Низкая стоимость владения
SAP Sybase IQ – Преимущества
“Если раньше многие важные для бизнеса отчеты запускали раз в неделю или раз в месяц, то теперь стало возможным обращаться к ним по мере необходимости — говорит Алексей Лукьянов. Это резко увеличило скорость принятия решений и дало возможность моделировать ситуации”.
“Никакое другое решение *кроме Sybase IQ+ не
способно обеспечить такую скорость и стоимость
получения новых отчетов”.
Жорж Корреа
“Создание хранилища на базе Sybase IQ разгрузило наших специалистов по подготовке статистической отчетности, — комментирует Михаил Бриф. Теперь многие бизнес-пользователи могут получать доступ к информации самостоятельно”.
“Высочайшая производительность Sybase IQ позволяет банку агрегировать весьма большие объемы данных и строить сложнейшие отчеты при крайне умеренных затратах на обслуживание”.
Валерий Лазарук
“Благодаря системе трансфертного ценообразо-вания *на Sybase IQ+ каждое отделение банковской группы может подсчитать свой финансовый результат и принимать решения по своим бизнес-операциям исходя из четкого понимания экономической эффективности сделок”.
“Мы получили гибкую , легко масштабируемую систему управления предприятием, надежную поддержку, очень быстрый сервер архивной информации”.
Евгения Зотина
“Когда возникли проблемы с производитель-ностью хранилища данных, Sybase предложила IQ. Сначала провели внутреннее тестирование. Выигрыш по сравнению с OLTP СУБД был впечатляющим, результатами остались довольны и 5 лет назад начали промышленную эксплуатацию”.
“Создана система предоставления отчетов на базе информации, хранимой в Хранилище, которая позволяет очень быстро удовлетворять вновь возникающие потребности бизнеса”.
Андрей Лесковой
SAP Sybase IQ – Отзывы
SAP Sybase Replication Server
SAP Sybase Replication Server
• Sybase является пионером в технологии репликации. Sybase имеет более чем 18 лет опыта поставок своим клиентам решений для Интеграции Данных и Распределенной обработки данных
• Более 2600 корпоративных заказчиков во всем мире используют Replication Server, у многих в репликации задействованы тысячи серверов
• Высокая надежность и гарантированная доставка многократно проверена и подтверждается успешной работой в самых сложных и жестких условиях (компании Wall Street всегда требовали безостановочной работы 24х7)
Почему именно Sybase Replication Server ?
SAP Sybase Replication Server
Гетерогенная репликация
• Извлечение транзакций из Лога, не нагружая СУБД-источник
• Эффективная маршрутизация по сети
• Синхронизация в реальном времени между множеством гетерогенных СУБД
ASE ASA Sybase IQ HANA
Replication Agent
Получатели
Источники
Replication Server
Oracle Microsoft DB2 AS/400 ODBC Informix
TIBCO JMS MQSeries
СУБД-Источники
ASE
ASA
Oracle
Microsoft SQL Server
IBM DB2
Direct Connect
SAP Sybase Replication Server
• Real Time Loading Edition for IQ – это высоко оптимизированное решение для тех клиентов, кому нужна аналитика в реальном времени по практически текущим оперативным данным
• RTL for IQ использует технологию репликации для непрерывного процесса извлечения новых данных из систем-источников и последующей оптимизированной их загрузки в Sybase IQ
Загрузка в режиме реального времени в IQ
SAP Sybase Power Designer
SAP Sybase Power Designer
№1 в мире среди средств моделирования как по доле рынка (35%) так и по технологии
SAP Sybase Power Designer – общий вид
SAP Sybase Power Designer - модели
31 различные модели 10 типов
• Use case
• Activity
• Object
• Package
• Deployment
• Statechart
• Component
и так далее …
Pоwer Designer - поддерживаемые базы данных
SAP Sybase Power Designer
• Все аспекты моделирования – от анализа требований и построения бизнес-процессов – до модели системы и схемы данных. Возможность создания взаимосвязей между моделями разных типов.
• Уникальная функциональность Link&Sync и Impact Analysis
• Функции автоматического документирования – генерация отчетов
• Командная работа всех отделов в единой среде, за счет работы с единым, общим для всех, репозиторием: авторизованный доступ, версионность моделей
• Лучшая функциональность для работы с данными (наиболее полный список СУБД, работа с SQL скриптами и через ODBC, генерация скриптов создания новой базы и модификации существующей, reverse engineering)
• Легко интегрируется для работы с другими инструментами и настраивается для конкретной компании
Преимущества
SAP Sybase Afaria
Afaria – это программный комплекс, который позволяет централизованно УПРАВЛЯТЬ МОБИЛЬНЫМИ УСТРОЙСТВАМИ, разворачивать мобильные приложения, комплексно управлять службами и сервисами мобильного
устройства, обеспечивать безопасность данных и приложений.
SAP Sybase Afaria
Безопасность устройств
Развертывание приложений
Автоматизация процессов
Синхронизация
Help Desk Конфигурирование
устройств Резервное
копирование
Отслеживание устройств
AFARIA CONSOLE
SAP Sybase Afaria – Комплексное управление.
Управление
Создание групп и политик
Первоначальная конфигурация
устройств
Работа по поздуху
Разворачивание приложений
Безопасность
Настройка политик безопасности
Настройка защиты паролем
Настройка шифрования данных
Установка и конфигурирование
файерволов и антивирусов
Управление
Отслеживание работы
Отслеживание местоположения
Обновление приложений
Настройка конфигурации
Отслеживание лицензий приложений
Планирование действий
Удаленное управление устройством
Безопасность
Back-up данных
Шифрование данных
Установка патчей
Поддержание политик безопасности
Логирование событий
Личные / корпоративные данные
Безопасность
Разворачивание свежего образа на
устройства
Перепрофилирование устройства
Переустановка приложений
Восстановление данных (после утери)
Управление
Удаленная блокировка
потерянных / украденных
устройств
Удаленное форматирование
данных
Ограничение доступа к
приложениям и данным
SAP Sybase Afaria – Управление и Безопасность.
Devices Supported
Устройства рабочих бригад
Устройства офисных
сотрудников
Личные устройства
Корпоративные устройства
Windows Windows Mobile iOS Android BlackBerry Symbian Palm
SAP Sybase Afaria – Поддерживаемые устройства.
PepsiCo в СНГ использует SAP Sybase Afaria для централизованного управления распределенным от Калининграда до Камчатки парком устройств Motorola под управлением Win Mobile – система автоматизации торговых представителей. Подключено свыше 2000 устройств.
ТНК-ВР использует SAP Sybase Afaria для администрирования автоматизированных рабочих мест операторов АЗС под управлением Windows. Около 1000 рабочих мест.
Централизованное администрирование нескольких сотен устройств под iOs.
SAP Sybase Afaria – Примеры внедрения.
• Контроль и комплексное управление всеми мобильными устройствами
• … в следующей главе
Преимущества
SAP Sybase Afaria
SAP Sybase Unwired Platform
SAP Sybase Unwired Platform
Создание мобильного приложения
Подключение Разные источники данных
Потребление Разные мобильные устройства
Базы данных
Веб-сервисы
Прикладные программы
Контроль и управление
Консоль управления
BlackBerry
iPhone
iPad
Android
Windows Mobile
Mobile Business Objects
Workflows
Native Applications
Eclipse
SAP Sybase Unwired Platform
Различные типы подключений к :
• SAP
• Базам данных
• WebServices
• Неструктурированным данным (HTML, XML …)
Графическое
моделирование
данных
СОЗДАНИЕ
ПОТРЕБЛЕНИЕ
ПОДКЛЮЧЕНИЕ
УПРАВЛЕНИЕ
SAP Sybase Unwired Platform
СОЗДАНИЕ
ПОТРЕБЛЕНИЕ
ПОДКЛЮЧЕНИЕ
УПРАВЛЕНИЕ
Создание кода мобильного
приложения для любого
устройства
с помощью модуля Eclipse
Генерация графического
интерфейса для
устройства
по умолчанию
Создание графического
интерфейса с помощью
встроенных средств
разработки
SAP Sybase Unwired Platform
Подключение различных
типов мобильных
устройств с помощью
безопасной и надежной
беспроводной платформы
Sybase Unwired Platform
СОЗДАНИЕ
ПОТРЕБЛЕНИЕ
ПОДКЛЮЧЕНИЕ
УПРАВЛЕНИЕ
SAP Sybase Unwired Platform
• Любые мобильные устройства
• Любое мобильное приложение
• В любом месте
• Надёжно и безопасно
• Быстро
Преимущества
SAP Sybase Unwired Platform
www.sybase.ru
Киев, ул. Большая Васильковская (бывшая Красноармейская), 9/2, офис 9. Тел./факс: +380 (44) 490-3498 Москва, Дербеневская набережная, д.7, стр.16. Тел./факс: +7(495) 797-4774