datawarehouse - rbtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/dwh-concept.pdf ·...

25
Data Warehouse Подходы к реализации

Upload: others

Post on 25-Jun-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

DataWarehouseПодходы к реализации

Page 2: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Цель

Месяцев на внедрение значимых для бизнеса задач

Минимизация ошибок в управленческой и операционной отчетности

Сокращение времени подготовки управленческой информации

3-5

MIN

Page 3: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Структура решения

Page 4: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Технологии решения

Oracle, DB/2, MS SQL, PostgreSQL, SAP Hana, HP Vertica

Oracle BI, SAS BI, SAP BO, QilckView, IBM Cognos

Oracle DI, SAS DI + SAS MDS, SAP DS, IBM Datastage, CloverETL

Oracle OFSAA, SAS DDS, Sybase DDS, IBM BDW

Page 5: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наш подход

Page 6: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Структура Хранилища данных

Загрузка из источников, очистка, трансформация

DDSODSSAВитрины Отчеты

Page 7: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Подход к реализации

Бизнес требования

Функциональная спецификация

Реализация

Тестирование и внедрение

Page 8: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Бизнес требования

Бизнес требования

Формализация верхне-уровневых требований от всех заинтересованныхбизнес-подразделений

Формализация и согласование процедуры приоритезации требований,проведение процедуры приоритезации и составление дорожной картывнедрения витрин данных

Формализация и согласование детализированных бизнес-требований квитринам данных и к отчетности в соответствии с дорожной картой

Формализация и согласование планов миграции данных в соответствии сдорожной картой

Требуется глубокое вовлечение бизнес подразделений Банка

Page 9: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Функциональная спецификация

Функциональные требования

• Формализация и согласование Функциональной Спецификации(Functional Specification, FSD) на разработку витрин данных иотчетов

• Формализация и согласование Функциональной Спецификации(Functional Specification, FSD) на разработку или кастомизацию инастройку модели данных хранилища

• Формализация и согласование FSD на процедуры и алгоритмызагрузки (гармонизации, обогащения и трансформации) данных вобласть операционного хранения (Staging Area, SA)

• Формализация и согласование FSD на процедуры очистки данных(Data Cleansing, DC)

• Формализация и согласование FSD на контроль качества данных(Data Quality, DQ)

• Формализация и согласование FSD на контроль измененийисточников (Change Data Structure Capture)

• Формализация и согласование FSD на процедуры и алгоритмызагрузки данных в область операционного хранения данных(Operational Data Storage, DDS)

• Формализация и согласование FSD на процедуры и алгоритмызагрузки данных в область детального хранения данных (DetailedData Storage, DDS)

Требуется глубокое вовлечение ИТ подразделений Банка

Page 10: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Реализация

Реализация

Подготовка и конфигурирование HW/SW инфраструктуры в ИТландшафте Заказчика

Конфигурирование и кастомизация модели детального храненияданных

Конфигурирование и кастомизация моделей витрин данных (Data Marts,DM) для систем-потребителей данных

Разработки и настройка процедур и алгоритмов загрузки(гармонизации, обогащения и трансформации) данных в областьоперационного хранения данных (Staging Area)

Разработка и настройка процедур очистки данных

Разработка и настройка процедур контроля качества данных

Разработки и настройка процедур наполнения структуры детальногохранения данных

Разработки и настройка процедур наполнения структур витрин данных

Настройка инструментария отчетности и аналитики, разработка инастройка отчетов BI

Page 11: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Внедрение

Внедрение

Миграция данных

Тестирование на пилотной области

Тестирование и выверка данных. Очистка, обогащение,корректировка первичных источников

Ввод в опытную эксплуатацию

Формализация обратной связи, согласования доработок и настроек,стабилизация решения

Обучение персонала

Внедрение в эксплуатацию и поддержка

Требуется глубокое вовлечение бизнес подразделений и ИТ подразделений Банка

Page 12: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наши проекты

Page 13: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

СУБД – Oracle, ETL – Oracle DI, BI – Oracle BI

Разработка (включая разработку бизнес-требований) внедрение и сопровождениесистемы бюджетирования и аналитической отчетности. Oracle Hyperion.

СУБД – Oracle, ETL – Oracle DI, BI – Tableau

Аудит организации работ по использованию корпоративных данных

СУБД – DB2, ETL – SAS DDS, BI – Business Objects

Разработка и внедрение корпоративного хранилища данных, включая разработкубизнес-требований, интеграцию и миграцию данных, разработка единогоглоссария данных

СУБД – Oracle, ETL – JAVA/SQL, BI – RB Dashboards

Разработка и внедрение системы риск-отчетности

56 проектов «под ключ» объемом более 700 ч.д.

Примеры проектов:

Page 14: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Пример подхода к проекту DWH

Создание единого хранилища данных в ЮниКредит Банке на базе решения SAS2012 – 2013гг. 2016 – переключение на новую банковскую систему

Высокая стоимость сопровождения нескольких разрозненных хранилищ данных

Несоответствие показателей разных подразделений, отсутствие единого взгляда на бизнес

Низкая оперативность подготовки управленческой информации

ПОСТРОЕНИЕ ЕДИНОГО АНАЛИТИЧЕСКОГО ХРАНИЛИЩА ДАННЫХ БАНКА

Page 15: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Пример проекта

СТРУКТУРА ДАННЫХ ДО ВНЕДРЕНИЯ ЕДИНОГО ХРАНИЛИЩА

Источники данных

DWH функции

Аналитика и отчетность

Page 16: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Пример проекта

СТРУКТУРА ДАННЫХ ПОСЛЕ ВНЕДРЕНИЯ ЕДИНОГО ХРАНИЛИЩА

Источники данных

DWH функции

Аналитика и отчетность

Page 17: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Пример проекта

ПОДХОД К РЕАЛИЗАЦИИ ПРОЕКТА

Phase 1Factoring, Derivatives, CRM

DM

FCCHS is

switched off

RSS is

switched off

Phase 2

Focus on Retail CRM

Phase 3

Focus on MIS

Phase 4

Focus on Credit Risks

Phase 5

Focus on Balance sheet in

transactions

Phase 6

Focus on AML

Phase 7

Operational MIS

DWH Data Model is filled for

Corporate

FCCHS using Applications

are moved to DWH Data

Model

RSS using Applications are

moved to DWH Data Model

DWH Data Model is filled for

Retail

Классический подход реализации проекта DWH

Agile подход в реализации витрин

Page 18: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Пример проекта

ПРОЕКТ В ЧИСЛАХ

разработанных ETL-процессов

собранных бизнес-требований

формализованных бизнес-задач

разработанных отчетов и форм

подключенных операционных систем

месяца до первых бизнес-результатов

9853100+20+

1500+

3

Page 19: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Об RbTechПочему мы?

Page 20: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наше преимущество

Эксперты в области управления бизнес данными

Эксперты в области ИТ

Платформо-независимые

Возьмем на себя функциональное тестирование

Наши бизнес аналитики проведут интервью, подготовят бизнес требования и согласуют их с Вами

Ваша ИТ служба, совместно с нашими

системными аналитиками и архитекторами найдут оптимальное решение для Вашего Банка

Наши эксперты по основным современным

платформам и системам, совместно с Вами

подберут наилучшее решение для Вашего Банка

Наши специалисты протестируют разработанное решение на соответствие как функциональным, так и бизнес требованиям.

RBtechnologies – проекты под «Ключ»

Page 21: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

О нас

Более 10 специалистов по Рискам с 15-20 летним опытом работы в GE Capital, Газпромбанке, Группе ЮниКредит (в том числе на позиции руководителей глобальных подразделений)

8 методологов ранее занимали позиции главного бухгалтера, директоров ключевых департаментов ВТБ, ОТП Банка, Росбанка, Альфа-Банка.

Руководители проектов по автоматизации с опытом работы ИТ-директорами международных и российских банков

ИТ-архитекторы, внедрявшие банковские ИТ-решения в качестве сотрудников ВТБ, Альфа-Банка, ЮниКредит Банка

на рынке. Учредители - бывшие топ-менеджеры ВТБ, Альфа-Банк, Группы Интеррос

Крупнейшие российские Банки - наши Клиенты

Специалистов-практиков с опытом работы в крупных Банках

RBtechnologies: бизнес-интегратор

Page 22: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наши компетенции

Page 23: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наши партнеры

Методология

Page 24: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наши клиенты

Page 25: DataWarehouse - RBtecnologiesrbtechnologies.ru/wp-content/uploads/2017/10/DWH-Concept.pdf · Подходы к реализации ... • Формализация и согласование

Наши контакты

Центральный офисМосква, проспект Андропова, дом 18 к5

+7(495) 726-59-17

[email protected]