the infinite benefits of microsoft azure ~ scality connect for azure blob storage x...
TRANSCRIPT
The Infinite Benefits of Microsoft Azure ~ Scality Connect for Azure Blob Storage x Azureで広がるデータ分析・活用~
Yoichi KawasakiAzure Technology Solution Professional
Asia Intelligent Cloud Global Black Belt
Microsoft Corporation
Slides for Presentation at Scality SDS Day 2017
Scality Connect for Azure Blob Storageとは?
アプリケーション
S3API
• Amazon S3 APIコールからAzure Blob Storage APIへのコール変換を行うトランスレーションレイヤ
• Azureネイティブフォーマットでデータを保存
36の地域でサービス中、42の地域まで拡大予定
(2017年 10月 18日現在)
世界最大のインフラストラクチャー
Platform Services
Infrastructure Services
WebApps
MobileApps
API Apps
Notification Hubs
HybridCloud
Backup
StorSimple
Azure SiteRecovery
Import/Export
SQL Database CosmosDB
Redis Cache
AzureSearch
StorageTables
SQL DataWarehouse
Azure AD Health Monitoring
AD PrivilegedIdentity Management
OperationalAnalytics
Cloud Services
BatchRemoteApp
ServiceFabric
Visual Studio
ApplicationInsights
VS Team Services
Domain Services
HDInsight MachineLearning Stream Analytics
Data Factory
EventHubs
Data LakeAnalytics Service
IoT Hub
Data Catalog
Security & Management
Azure ActiveDirectory
Multi-FactorAuthentication
Automation
Portal
Key Vault
Store/Marketplace
VM Image Gallery& VM Depot
Azure ADB2C
Scheduler
Xamarin
HockeyApp
Power BI Embedded
SQL Server Stretch Database
MobileEngagement
FunctionsCognitive Services Bot Framework Cortana
Security Center
Container Service
VM Scale Sets
Data Lake Store
BizTalkServices
Service Bus
Logic Apps
API Management
Content DeliveryNetwork
Media Services
Media Analytics
Azure Blob Storageとは?• 単一障害点の無い、高度に分散化、冗長化されたスケーラブルなオブジェクトストレージ
• メディアデータ(画像、動画)、文書、ログ、バックアップやアーカイブのためのデータを格納
• Blobサービスの概念
簡易ウェブサーバー機能で静的データ配信
https://<Account>.blob.core.windows.net/photos/IMG001.jpg1. Storage Resource URI
2. Storage Resource URI + Shared Access Signature(SAS) Token
https://<Account>.blob.core.windows.net/photos/IMG001.jpg?sv=2015-07-08&sr=b&sig=39Up9JzHaxhUIhFEjEH9594DJxe7w6cIRCg0Vo%3D&se=2017-10-18T21%3A51%3A37Z&sp=rcw
Azure CDNを活用した大規模・高速配信
Azure
Blob Storage
Blobファイル作成をトリガーにカスタム処理実行
S3API
• トリガーベースで小規模コードを実行するServerlessソリューション• 複数言語サポート: C#, F#, Node.js, Python, PHP, Java, Batch, Bash)• トリガーの種類:Webhook, HTTP, Timer, Azureサービスイベント
(Blob, Queue, EventHub, Cosmos DB, etc)• 複数Azureサービス/3rd Partyサービスとの統合
Azure Functions
Blobファイルアップロード CSVファイルを元に
Azureテーブルへの変換
Power BIでグラフ化(可視化)
Azure Searchによる非構造化データの全文検索
S3API
Azure
Blob
Storage
Azure Search
• オフィス、PDF, HTMLからのAzure Searchインデックス作成が可能 ( PDF, Microsoft Office formats, Outlook emails, HTML, XML, ZIP, EML, RTF etc)
• 定期的実行による更新(最小5分)が基本、データソースのフルクロールも可能
Azure Search Blob Indexer
Title=“Azure Search Deep Dive”
Description = Many applications use
search as the primary interaction
…Microsoft …
LastUpdate= 2017-10-18
Rating = 5
Blobストレージを基盤としたAzureのBig Data&分析サービス群
Hadoop
(HDInsight)Azure Machine Learning
Azure SQL
Data warehouse
Azure
Data Factory
S3API
Blobデータを取り込み機械学習の実行
Azure SQL DB
データ クライアント
構築されたモデル
はAPI経由で利用可能
API
ML STUDIO
Business problem Modeling Deployment Business value
Devices Applications Dashboards
データ→モデル→Webサービス
Microsoft Azure Machine Learning
GUIでモデル作成・
トレーニング・評価
Hadoop
(HDInsight)
Blobs
Tables
Blobストレージを基盤としたHadoop分散ファイルシステム上のデータに対してMapReduceやSpark処理の実行
HDInsightクラスタ
Hadoop 分散ファイルシステム(HDFS) API
Azure Blobs
Windows Azure Storage Blobs (WASB)
MapReduce/Tez
HBase Storm
. . .Mahout
SparkHive/Pig
構造化・非構造化データ等
あるゆるデータの加工と分析
をサポート
HDInsightエンタープライズクラスの
Hadoop PaaS型サービス
まとめ• Scality Connect for Azure Blob Storageによりアプリ開発者はコストを軽減しつつクラウドストレージの柔軟性を享受することが可能となる
• Azure Blob ストレージに保存されたデータは、バックアップやアーカイブ以外に、Azureサービスとの連携によりデータ分析・活用の幅を広げることができる