etu data lake
TRANSCRIPT
1
Etu Data Lake整合資料孤島,還原商業全貌
2
企業面臨的資料處理困境
資料擷取的及時性 Timeliness
資料運用的彈性 Flexibility
資料發現的便捷性 Agility
3
6
聲音檔案影片檔案圖形檔案文件檔案文字資料XML 檔案Web Logs點擊事件社交網路關聯圖譜新聞 Feeds
感應器嵌入設備RFID Tags
地理資訊GPS 點位
事件其他
Big Data精煉處理場NewSQLNoSQLSQL
NewSQLMPPEDW
商業智慧與線上分析
Web, Mobile, CRM, ERP, SCM
Dashboard, Report, Visualization, …
商務交易與行為互動
Original source: http://hortonworks.com/blog/big-data-refinery-fuels-next-generation-data-architecture
傳統 ETL
預處理
回饋 / 歷史資料
回饋 / 歷史資料
多結構資料儲存 / 彙整 / 轉換 / 運算
OLTP
OLAP
從 Big Data 到 Total Data
4
Etu Data Lake 以 Etu Manager 巨量資料平台為基礎,為企業建構可彈性擴充和應用的單一資料樞紐
5
Etu Data Lake 主要特性擴展現有資料分析系統,支援多樣資料格式成為企業內所有資料集散中心資料分析和探勘不再受限於資料容量或格式
彈性的企業資料探勘和再利用硬體成本低,易擴展 可無縫接軌前端應用系統
6
Stru
ctur
ed D
ata
Uns
truct
ured
D
ata
ERP
CRM
LOB
Apps
3rd Party
RDB/EDWBusinessAnalytics
既有資料分析系統對於非結構化資料和商業模型探勘,
較不靈活且擴充成本高
7
Stru
ctur
ed D
ata
Uns
truct
ured
D
ata
ERP
CRM
LOB
Apps
3rd Party
RDB/EDW BusinessAnalytics
Etu Data Lake 支援多種分析工具,快速處理大量資料集,無需建立廣泛的資料模型
8
從 Database 到 Data Lake
Data Lake 資料湖泊Data Warehouse 資料倉儲
Database 資料庫
9
Etu Data Lake 讓應用開發、資料探勘和架構設計更容易毋需經過特殊資料整理,資料先蒐集進來,讓應用層的資料轉換和取用,和使用自來水一樣容易
10
企業 Big Data 五大組成要件數據
平台
方法數據科學家
組織文化
11
Etu Data Lake建構企業大數據工廠
一個可擴展、易取用的資料平台,支援多結構化資料的儲存與處理,擁有多樣的資料導入方式 , 讓資料存入更簡單