Технический обзор Microsoft BI

Иван КосяковАрхитектор программных систем, MTCivank@microsoft.com, http://microsoftbi.ru

Компоненты SQL Server «Denali»Конечные бизнес-пользователи

Бизнес-приложения

Приложения MS Office

Интренет -браузер

КПК

Платформа для Управления Данными и Бизнес-анализа

Reporting Services

AnalysisServices

СУБД

Data Quality ServicesStreamInsight

BI Semantic Model

Master Data Services

Alerts

Excel

Integration Services

CrescentAzure

LOB ФайлыСУБД

Column Store Indexes

HA

BI Semantic Model

Пользовательские инструментыAnalytics, Reports, Scorecards,

Dashboards, Custom Apps

Источники данныхDatabases, LOB Applications, OData Feeds,

Spreadsheets, Text Files

BI Semantic ModelМодель данных

Бизнес-логика и запросы

Доступ к данным

КомандныйPowerPivot for SharePoint

ПерсональныйPowerPivot for Excel

ОрганизационныйAnalysis Services

Одна модель для всех инструментов визуализации

Гибкость Широтавозможностей

Масштабируемость

BI Semantic Model

Модель данных

Бизнес-логика и запросы

Доступ к данным ROLAP MOLAP VertiPaqПрямойзапрос

MDX DAX

Многомерная Табличная

Сторонниеприложения

ReportingServices Excel PowerPivot

Базы данных LOB Applications Файлы OData Feeds Облачные сервисы

SharePointInsights

Архитектура BISM

BI Semantic Model

Богатые возможности моделирования данных

Сложная бизнес-логика с помощью MDX и DAX

Детальная безопасность на уровне строк и ячеек

«Многоязыковая поддержка» и «перспективы»

Многомерное и табличное моделирование

MDX и DAX для бизнес-логики и запросов

Кэшированная и сквозная модели хранения

Выбор пользовательских аналитических инструментов

VertiPaq для высокой производительности, MOLAP для масштабируемости важных приложений

DirectQuery и ROLAP для доступа к данным источников в реальном времени

Алгоритмы сжатия

Масштабирования до наиболее крупных серверов

Гибкость Широта возможностей

Масштабируемость

Демонстрация

BISM

Отчетность и предупреждения (Alerting) в «Denali»

Доступен как Сервис общего доступа в SharePoint

“Scale-out” встроен для сервисного приложения RS

SharePoint Cross-farm reporting

Интегрированные резервное копирование и восстановление, ULS-журналирование, PowerShell

Предупреждения (Alerting)

Задается из операционных и ad-hoc отчетов

Интуитивные правила предупреждений

Управление предупреждениями через SharePoint

XLS/Word 2007/2010

Проект “Crescent”

Высокая наглядность при создании отчетов

Интерактивность, основанная на мета-данных

Отчеты работают в презентациях

Увеличение эффективностиПроактивная аналитика

Управляемый самостоятельный BI – Корпоративный BI

Все для пользователей

Архитектура «Crescent»

RS Shared Service

SharePoint Farm

Crescent-клиент

App Server

Источники данных

Analysis Services SP Integrated

PowerPivotSystem Service

AS-сервер

Web Front End

SSRS Addin for SharePoint

PowerPivotWeb Service

МодельExcel PowerPivot

SQL Server BIDSBISM Model

Демонстрация

Crescent

Нотификации – Преимущества пользователей

• На основании непосредственно видимых данных• Определение данных, по которым доступны

нотификации• Поддержка отчетов Report Builder или BI Development

Studio (BIDS)

Создание нотификаций из отчета

• Интуитивные правила нотификации (greater than, before/after)

• Простые расписания (weekly, daily, monthly)• Соответствующие данные включены в сообщение

нотификации

Обнаружение изменений данных

Source: Data.gov - Data.gov and the Federal Government cannot vouch for the data or analyses derived from these data after the data have been retrieved from Data.gov.

Нотификации – преимущества ИТ

• Администрирование на уровне сайта• Детальная авторизация• Управляются через SharePoint• Отслеживание и контроль созданных пользователями

нотификаций

Управляются через SharePoint

Reporting Services “Denali” SharePoint Architecture

SSRS in Web Application

RS Add-in

SharePoint Web Front End

SharePoint App Server

SSRS Shared Service Application

SSRS Shared Service Application

SharePoint Config / Content DB Report Server Shared Service DB

Alert Designer

Alert Manager

Web Role

SQL Azure Reporting CTPВозможности:

Основан на SQL Server Reporting Services Интерактивная и табличная отчетность

Визуализация данных: charts, graphs, mapping, gauges

Источники баз данных SQL Azure Использует BI Developer Studio

(бесплатно) для создания отчетов Экспорт в форматы Excel, PDF, CSV

Сценарии: Операционная отчетность на базе данных

SQL Azure Встраивание отчетов в приложения

Windows Azure или в пределах организации

Reporting

Сложная среда

разработки

Повторное

использование

Report Designer Project “Crescent”Report Builder

Элементы управления

Report Viewer

Богатые возможности

разработки

Быстрая

разработка

Гибкий

вид

Высокая

интерактивность

Богатые

возможности

представления

Разработчики

Визуальное

представление данных

Конечные пользователи

Продвинутые пользователиИТ-специалисты

Внедренные Операционные Бизнес

Управление НСИи качеством данных

SQL Server Master Data Services в «Denali»

Хранение

Идентификаторы, атрибуты, иерархии

Роли в системе безопасности

Управление транзакциями –

аннотирование и просмотр

Интеграция

WCF API

Таблицы и представления

Процессы

Веб-интерфейс управления

Нотификации и рабочие процессы

Интерфейс Excel

Качество данных

Проверки и версии

Веб-интерфейс – для моделирования, администрирования, задания правил, управления интеграцией

Архитектура MDS в Denali

Сервис IIS

Сервис MDS

WCF

Веб-интерфейс Надстройка Excel

Процессы/нотификации

Системы-подписчики MDS Database

Представления для подписки

Промежуточные таблицы

DQS (Очистка и соответствия)

Внешние системы

BizTalk/.NET

SSIS SSIS

SSIS

Новое в MDS в Denali Улучшен веб-интерфейс Надстройка над Excel

Улучшено обновление и управление данными Упрощено создание модели данных Интеграция с DQS

Новый промежуточный интерфейс (Entity Based Staging)

Улучшено качество (использование, безопасность, масштабируемость, производительность)

Data Quality ServicesПроцесс работы

Построение

Использование

DQ-проекты

Управление знаниями

Сопоставление и

де-дубликация Корректи

ровка

и ста

ндарти

зация

Управление

знаниями

Обнаружение знаний

Исследование данных

Подсоединение справочников

Данные организации

Справочные данные

Облачные сервисы

Встроенное профилиро-вание НотифиацииУлучшениеСостояние

База знаний

Демонстрация DQS

Сопоставление

Справочные данные

Архитектура DQSDQ-клиенты

DQS UI

DQ Server

DQ Projects Store Common Knowledge Store Knowledge Base Store

DQ Engine

3rd Party

Склад доментов MS DQ

Сервисы справочных

данных

Справочные наборы данныхSSIS DQ -компонент

Активные DQ-проекты

Домены данных MS

Локальные домены данных

Опубликованые базы

знаний

Обнаружение знаний

Профилирование и исследование

данных

Очистка

Обнаружение знаний и

управление

Интерактивные DQ-проекты

Исследование данных

Будущие клиенты (Excel,

SharePoint…)

Azure Market Place

Категоризованные справочные данные

Категоризованные сервисы справочных данных

Reference Data API(Browse, Get, Update…)

RD Services API(Browse, Set, Validate…)

Column Store Indexes

Структура хранения колонок (columnstore indexes)

Использует сжатие VertiPaq

C1 C2 C3 C5 C6C4

…

Страницы

Хранение строк:

Хранение колонок:

Особенности columnstore indexes

Уменьшение ввода-вывода Захватывает только нужные

колонки с диска Сжатие колонок Уменьшен ввод-вывод Чаще используется буфер

Пакетный режим операций Пакетная обработка строк Группировка пакетных

операций в плане выполнения

Эффективное представление данных и алгоритм

Лучший параллелизм

C1

C2

C4 C5 C6

C3

SELECT region, sum (sales) …

Создание индекса columnstore Создать таблицу Загрузить данные в таблицу Создать «non-clustered columnstore index» на всех или

некоторых колонкахCREATE NONCLUSTERED COLUMNSTORE INDEX ncci ON myTable(OrderDate, ProductID, SaleAmount)

Ссылки на ресурсы SQL Server “Denali” CTP3

https://www.microsoft.com/betaexperience/pd/SQLDCTP3CTA/enus/default.aspx

http://microsoftbi.ru

Questions?