ai技術...odulation-classification-with-deep-learning.html 7 agenda...
TRANSCRIPT
![Page 1: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/1.jpg)
1© 2015 The MathWorks, Inc.
アプリケーションエンジニアリング部竹本佳充
信号処理アプリケーションのためのAI技術
![Page 2: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/2.jpg)
3
通信デバイス、セキュリティ
航空宇宙、防衛、通信 民生品、デジタルヘルス
環境モニタリング
マルチスタンダード受信機、ドローンによる認識
自動車
インフォテイメントを可能とする音声制御
音声アシスタント
センサー処理、自動運転
デジタルヘルス
工業オートメーション
予知保全
多様な産業においてディープラーニングの活用がすすんでいます
![Page 3: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/3.jpg)
4
MATLABによるアプリケーション例 – オーディオ、音声処理
スピーチコマンド認識(a.k.a. "Keyword Spotting")
https://www.mathworks.com/help/deeplearning/examples/deep-learning-speech-recognition.html
音楽ジャンル分類
https://www.mathworks.com/help/audio/examples/music-genre-classification-using-wavelet-time-scattering.html
![Page 4: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/4.jpg)
5
MATLABによるアプリケーション例 – センサー(産業用、生体用)
人の行動認識
https://www.mathworks.com/help/deeplearning/examples/sequence-to-sequence-classification-using-deep-learning.html
ECG(心拍)信号分類
https://www.mathworks.com/help/signal/examples/classify-ecg-signals-using-long-short-term-memory-networks.html
![Page 5: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/5.jpg)
6
MATLABによるアプリケーション例 – レーダー、通信
変調方式分類
http://www.mathworks.com/help/comm/examples/modulation-classification-with-deep-learning.html
![Page 6: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/6.jpg)
7
Agenda
▪ ディープラーニング– 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
▪ まとめ
![Page 7: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/7.jpg)
8
ディープラーニングは機械学習の一種で、モデルが直接画像や時系列データ、テキストデータ等を学習します
ディープラーニングとは?
![Page 8: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/8.jpg)
9
一般的なネットワーク構造 – 信号処理
特徴量抽出
時間-周波数変換
畳み込みニューラルネットワーク (CNN)
Long Short Term Memory (LSTM)ネットワーク
![Page 9: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/9.jpg)
10
ディープラーニングワークフロー
◼ データソース
◼ データラベリング
データセットの作成とアクセス
予測モデルの開発前処理と変換
◼ 特徴抽出
実システムへの展開
◼ エッジ(組み込み)デバイス
◼ シミュレーション◼ オーグメンテーション
◼ ハイパーパラメータの解析とチューニング
◼ リファレンスモデルの流用◼ オリジナルモデルの作成
◼ 変換 ◼ GPUによる高速な学習
◼ 前処理 ◼ デスクトップアプリ
◼ エンタープライズシステム
![Page 10: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/10.jpg)
11
ディープラーニングワークフロー信号、時系列データへの適用時の課題
限られたデータ量、ラベリング作業の手間
ドメイン特有の知見、限られた情報
多様なプラットフォームへのシステム展開
![Page 11: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/11.jpg)
12
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 12: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/12.jpg)
13
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 13: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/13.jpg)
14
消費される技術リソース –アルゴリズム vs. データセット
参照: "Troubleshooting deep neural networks" (Josh Tobin et al., Jan 2019)
研究機関
Models andAlgorithms
Datasets
一般企業
データセットのハンドリング効率化が鍵
![Page 14: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/14.jpg)
15
大規模データとはどの様なものか?
どの様に獲得し、整理し、そして読み込むのか?
どのように...
▪ 全データのリストとラベルを作成するか?
▪ データの基本的な統計値を俯瞰するか?
▪ 多重 のfor ループや dir、ls、what、等を多用せずに、データのサブセットを選択する?
▪ 「データ読み込み」と「ラベル付け」環境を統合する?
▪ 分散処理を自動化する?
![Page 15: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/15.jpg)
16
データの質や量と同様、ラベルの"質"はモデルの性能を左右する
![Page 16: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/16.jpg)
17
信号へのラベリング:二つのアプローチ
▪ プログラミングベースの例題 ▪ アプリによるラベリング
>>audioLabeler
>>signalAnalyzer
Link
![Page 17: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/17.jpg)
18
データは十分ありますか?
Original
オリジナルデータセット
水増しされたデータセット
データ量N倍
データのオーグメンテーションにより、複雑でロバストなモデルに対応
Pitch shift
![Page 18: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/18.jpg)
19
実データの獲得が困難な場合は、シミュレーションが鍵通信信号の場合
![Page 19: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/19.jpg)
21
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 20: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/20.jpg)
22
信号処理とテキスト解析に使用される一般的なネットワーク構造
特徴量抽出
時間-周波数変換
畳み込みニューラルネットワーク(CNN)
Long Short Term Memory (LSTM) ネットワーク
![Page 21: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/21.jpg)
23
時間-周波数変換
時間 (samples) 時間 (frame #)
周波数
(bin
#)
時間
(sa
mp
les
)
時間 (frame #)
フレーム化(e.g. Buffer)
周波数変換(e.g. FFT)
ウェーブレットスカログラム
定Q変換スペクトログラム 知覚を加味したスペクトログラム
(e.g. Mel, Bark)
従来法
音声・音響のアプリケーションに
最適
非周期信号に対して良い分解能
低周波数帯で良い分解能
![Page 22: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/22.jpg)
24
信号からの特徴抽出: アプリケーションに依存しない各種特徴量
周波数帯域 スペクトル統計量(中心周波数他)
高調波解析 オクターブスペクトル
周波数領域
時間領域
ピーク解析 波形類似度の定量化変化点抽出 包絡線
![Page 23: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/23.jpg)
25
アプリケーションに特化した特徴量と変換処理例
▪ MFCC
▪ GTCC
▪ MDCT
▪ Pitch, harmonicity
▪ Spectral shape
descriptors
▪ ...
音声・オーディオナビゲーションとセンサーフュージョン
▪ Micro-Doppler analysis
▪ Range-Doppler processing
▪ Synthetic aperture imaging
▪ Spectral analysis
▪ Waveform ambiguity
▪ ...
レーダー
▪ Orientation
▪ Height
▪ Position
▪ Multi-object tracking
▪ …
▪ Acceleration, angular velocity
▪ Magnetic field
▪ GPS readingfrom
▪ Train Word Embeddings
▪ Word2Vec
▪ Topic Modeling
▪ ...
テキスト解析
![Page 24: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/24.jpg)
26
特徴獲得の自動化: ウェーブレットスキャッタリング
▪ ウェーブレットスキャッタリング– データ量の低減・モデルの簡略化が可能
– 既知の固定重みを使用
– 多くのコンペティションで実績
– "Framework for extracting features" [1]
Wavele
t C
on
vo
luti
on
No
nli
neari
ty
Avera
gin
g
Wavele
t C
on
vo
luti
on
No
nli
neari
ty
Avera
gin
g
Wavele
t C
on
vo
luti
on
No
nli
neari
ty
Avera
gin
g
Fixed Fixed Fixed
[1] Joan Bruna, and Stephane Mallat, P. 2013. Invariant Scattering Convolution Networks. IEEE Transactions on Pattern Analysis
and Machine Intelligence, Vol. 35, No. 8, pp. 1872-1886.
Cla
ss
ifie
r
Deep Feature Extraction
![Page 25: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/25.jpg)
27
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 26: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/26.jpg)
28
ディープラーニングの二つのアプローチ
データ 特徴抽出 ネットワーク設計
経験・知見 学習時間・労力データ量
データ量 経験・知見 学習時間・労力
新規作成
転移学習
学習
Import reference model and tune last few layers
テスト・評価
データ 学習 テスト・評価
公開ネットワーク
![Page 27: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/27.jpg)
29
多様な学習環境・GPUによる高速化
Multiple GPUs On-prem server with GPUs Cloud GPUs
![Page 28: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/28.jpg)
31
ディープラーニングフレームワークとの協調
ONNX
PyTorch
MATLABMXNet
TensorFlow
ChainerCore ML
ONNX = Open Neural Network Exchange Format
TensorFlow-
Keras
Caffe
![Page 29: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/29.jpg)
32
ONNX
PyTorch
MATLABMXNet
TensorFlow
ChainerCore ML
ONNX = Open Neural Network Exchange Format
TensorFlow-
Keras
Caffe
Keras
importer
Caffe
importer
Deployment
Augmentation
and
Optimization
Visualization
and
Debugging
ディープラーニングフレームワークとの協調
![Page 30: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/30.jpg)
33
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 31: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/31.jpg)
34
学習済みモデルのGPUへの展開により、推論のリアルタイム性を劇的に向上
Running in MATLAB Generated Code from GPU Coder
![Page 32: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/32.jpg)
35
A.I.のシステム展開
Embedded Devices Enterprise Systems
MATLAB
![Page 33: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/33.jpg)
36
ディープラーニングモデル推論部のデプロイ
Code
Generation
NVIDIA
TensorRT &
cuDNN
Libraries
ARM
Compute
Library
Intel
MKL-DNN
Library
Application
logic
自動コード生成(C/C++/CUDA)
![Page 34: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/34.jpg)
38
MATLAB Production Server
エンタープライズへの展開
• MATLAB解析をWebアプリケーション(HTTP/HTTPS)へ展開• 様々なプログラム言語、RESTful APIとのインタフェースをサポート• クライアント側のMATLAB Runtimeのインストール不要。サーバー側で一元管理• MATLAB解析をすぐにデプロイ可能• アプリケーション毎に利用するMATLAB Runtimeのバージョンを設定可能• 同時アクセスの処理/複数のワーカーを利用した低遅延での処理
HTTP/HTTPS
.ctf
HTML/JavaScript
PC
スマートフォン・タブレットHTTP/HTTPS
![Page 35: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/35.jpg)
39
Agenda
▪ ディープラーニング – 基本的な考え方
▪ 信号や時系列データのためのディープラーニングモデル開発
– データ
– 処理・変換
– モデル設計と最適化
– 高速化、プロトタイピング、展開
▪ まとめ
![Page 36: AI技術...odulation-classification-with-deep-learning.html 7 Agenda ディープラーニング–基本的な考え方 信号や時系列データのためのディープラーニングモデル開発](https://reader033.vdocuments.net/reader033/viewer/2022042204/5ea530c60a2c6709a941154e/html5/thumbnails/36.jpg)
40
ディープラーニングワークフロー
限られたデータ量、ラベリング作業の手間
ドメイン特有の知見、限られた情報
多様なプラットフォームへのシステム展開
信号、時系列データへの適用時の課題