画像認識プロセッサ viscontitm - ev-tech ·...
TRANSCRIPT
T5BG3XBG
TMPV7506XBG
TMPV7504XBG
TMPV7502XBG
TMPV7608XBG
TMPV7528XBG
TMPV770シリーズ
Grayscale cameraCamera input: x3
Color / Grayscale camera1.3 mega-pixel
Visconti2 シリーズ
Visconti4 シリーズ
Visconti5 シリーズ
Next Generation
画像認識AIプロセッサ
Camera input: x8**4 ch Selection in 8 ch Input(CMOS + MIPI®)
ディープニューラルネットワークオプティカルフローステレオマッチング
Camera input: x4
Camera input: x4
Camera input: x2
Camera input: x1
CMOSイメージセンサ
CMOS I/F(RGB888 (最大2 ch), YCbCr422,
BT.656, 8・10・12 bit Bayer, または Y8・Y10・Y12)
CVBS(NTSC/PAL)
BT.656
or
CAN
CANMCU
CANMCU
DDR2SDRAM
NORFlash
LPDDRSDRAM
NORFlash
ビデオデコーダIC
ディスプレイ表示部
ナビ・センターパネル/インスルメントパネル
駐車支援/周辺監視 画像認識システム
画像認識プロセッサVisconti2Visconti3
ディスプレイコントローラ
カメラ
※ Visconti2シリーズ TMPV7506XBG およびVisconti3シリーズ TMPV7528XBG を用いた一般的なシステムブロック図例です。他の製品を用いたシステムブロック図例につきましては、当社Webサイトをご覧ください。
Visconti3 シリーズArm Cortex-A9 MPCore
センターディスプレイ/インストルメントパネル
Color / Grayscale camera2.0 mega-pixel
Small package（11 mm x 11 mm）
New
CAN
カメラ
駐車支援/周辺監視画像認識システム
カメラ
カメラ
カメラ
▼ 概要Visconti™ファミリーは、カメラからの入力映像を画像処理した後に人・顔・手・車両などの対象物とその動きを検出して、検出結果を出力する画像認識プロセッサLSIです。検出結果は、対象物をマーキングしてLCDパネルに表示する、音声で警告する、通信I/F経由で外部ユニットと通信するなどの方法で出力します。自車周辺の車線境界線・車両・歩行者・標識などを認識することで、車線逸脱警報、前方・後方衝突警報、前方・後方歩行者検出衝突警報、標識認識、鳥瞰表示駐車支援など様々な運転支援のためのアプリケーションを実現します。開発中の車載向け画像認識AIプロセッサVisconti5シリーズは、｠先進運転支援システムや自動運転機能に適したディープニューラル｠ネットワーク（DNN: Deep Neural Network）ハードウェアIPを搭載しています。
▼ 画像認識プロセッサ Visconti ロードマップ
先進運転支援システム(ADAS)に求められる各種画像認識アルゴリズムを高速かつ低消費電力で実現画像認識プロセッサVisconti™の画像認識を応用し、車載カメラの映像から駐車スペースの白線（区画線）の認識、車周辺の歩行者・車両・移動体の検出を行い、安全に駐車を行う駐車支援システムのソリューションをご提案します。車載ディスプレイコントローラやディスプレイ用映像処理ICとの組み合わせにより、駐車中の鳥瞰表示やライン表示をインストルメントパネルやセンターディスプレイに表示することができます。
画像認識プロセッサ
品 番 掲載ページシリーズ
TMPV7608XBGTMPV7528XBGTMPV7506XBGTMPV7504XBGTMPV7502XBG
Visconti4
Visconti3
33,34,35,36
Visconti2
▼ 認識機能を有した 鳥瞰表示と後方表示
▼ ライン描画による 駐車支援
▼ 製品ラインアップ
▼ ラインアップ
PLFBGA324
PBGA516
PBGA516
PBGA516
PFBGA796
266.7
266.7
266.7
266.7(300)
266.7
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
−
1
2
4
4
8
1
1
1
1
1
−
−
1
1
−
5
5
5
5
5
1
4
4
4
4
4
4
4
4
8
2
3
3
3
3
2
2
2
2
2
−
Visconti4
・ TMPV7608XBG のビデオ入力インタフェースは、8入力4選択のビデオスイッチ付きです。・ TMPV7528XBG の最大動作周波数の括弧内の数値は、Armコアを示します。・ ご購入の前に、お客様が希望される当社製品のRoHS 適合情報を担当営業に必ずご確認ください。
最大
動作
周波
数 (M
Hz)
(MeP
, MPE
)
メデ
ィア
プロ
セッ
シン
グエ
ンジ
ン
アフ
ィン変
換
ピラ
ミッド
フィ
ルタ
ヒスト
グラ
ム
輝度
勾配
方向
ヒスト
グラ
ム [H
OG
]
Enha
nced
CoH
OG
マッ
チン
グ
SfM
Image Processing Accelerator CPUコア
ビデ
オ入
力イ
ンタ
フェ
ース
ビデ
オ出
力イ
ンタ
フェ
ース
PCI E
xpre
ss®
UAR
T
SPI
I2 C CAN
PCM メモリコントローラ
シリーズ
東芝
オリ
ジナ
ル32
ビット
RIS
C M
eP
32ビ
ット R
ISC
Arm
® C
orte
x ®-A
9 M
PCor
e
パッケージ品 番
TMPV7608XBG
TMPV7502XBG
TMPV7504XBG
TMPV7506XBG
TMPV7528XBG
Visconti2
Visconti3
DDR2-SDRAM,SRAM, ROM, NOR Flash
DDR2-SDRAM,SRAM, ROM, NOR Flash
DDR2-SDRAM,SRAM, ROM, NOR Flash
DDR2-SDRAM,SRAM, ROM, NOR Flash
LPDDR2-SDRAM,SRAM, ROM, NOR Flash
※ MIPIは、MIPI Alliance, Inc. の商標または登録商標です。※ MediaLBおよびMOSTはMicrochip Technology Inc.の米国およびその他の国における登録商標です。※ PCI ExpressまたはPCIeは、PCI-SIG社の商標または登録商標です。※ ArmおよびCortexは、Arm Limited（またはその子会社）のUSまたはその他の国における登録商標です。
● 車線逸脱警報● 前方衝突警報● 標識認識● 信号機認識● ナイトビジョン● 交差点支援● 前方歩行者検出衝突警報
● 鳥瞰表示駐車支援● 周辺車両検出・歩行者検出
● 運転者認証● 運転者監視● 乗員監視
● 車線変更支援● 後方衝突警報● 後方歩行者衝突警報
● 右・左折巻き込み警報● 死角検出● 車線変更支援
▼ 運転支援のためのアプリケーション
38
39
ディスプレイ用映像処理IC
品 番 掲載ページシリーズ
TC90195AXBGTC90175XBG
2画面/単画面映像処理IC
TC90105FGTC90107FG
ビデオデコーダIC
画像認識プロセッサ ViscontiTM
33
32-bitRISC CPU
MePw/FPU
MPE 0
Multi-core Subsystem
L2-Cache
CoprocessorIVC2F
32-bitRISC CPU
MeP
I-Cache
D-Cache
D-RAM
I-RAM
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 1
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 2
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 3
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 4
L2-Cache
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 5
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 6
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 7
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
LPDDR2-800SDRAM
Control CPU
32-bitRISC CPU
MeP
I-Cache
D-Cache
D-RAM
I-RAM
Control CPU
SerialNOR Flash MCU
Vid
eo S
Witc
h Video Input I/F 0
Video Input I/F 1
Video Input I/F 2
Video Input I/F 3
Camera
CMOSI/F
Camera
Camera
Camera
Camera
MIPI CSI-2I/F
Camera
Camera
Camera LCD
Mod
ule
RAM
ROM
Timer/CounterPCM I/F
DMAController
VideoOutput I/F
DDR SDRAM Controller
AffineTransform
0
AffineTransform
1
AffineTransform
2
I2C I/F SPI I/FUART I/F
SRAM/NOR Flash Controller MCU I/F
GPIO
CAN I/F
Filter 0 Filter 1 HistogramPyramid 0 Pyramid 1
EnhancedCoHOG 0
EnhancedCoHOG 1
SfM
Histogramsof
OrientedGradients
Matching1
Matching0
Image Processing Accelerator
TMPV7608XBG
ROI
ViscontiTMソリューション Be Careful!
● 画像入力● 色空間変換● デマルチプレクス● 画像縮小● クロッピング● ガンマ補正
● レンズ歪補正● ノイズ低減● 視差計算● 探索候補領域特定
● 画像解析● 特徴量抽出
● 照合● 識別● 追跡
● 認識結果出力● 警告・注意喚起● 画像合成
入力 前処理 特徴量抽出 識別 出力
template
マルチグレイン並列アーキテクチャのメディアプロセッシングエンジン （Multi-core，VLIW，SIMD）
ビデオ入力I/F ビデオ出力I/F
PCM I/F
MCU I/F
UART
CAN
アフィン変換アクセラレータ
ピラミッドアクセラレータ
フィルタ・アクセラレータ
マッチングアクセラレータ
Enhanced CoHOGアクセラレータHOGアクセラレータ
ヒストグラムアクセラレータ
画像処理エンジンMPE
画像処理アクセラレータ
路面文字・記号認識車線逸脱警報
車両衝突警報
ハイビーム支援
規制標識認識
赤信号認識一般物体検知
歩行者衝突警報（昼夜）
SRAM/NORメモリコントローラ
シリアルNORメモリコントローラ
DDR SDRAMコントローラ
内蔵RAM 内蔵ROM
アフィン変換
Visconti4 TMPV7608XBG
ビデ
オス
イッ
チ
ビデ
オ入
力I/F
(注)
ヒストグラム
内蔵周辺
マッチング
フィルタピラミッド
SfM
EnhancedCoHOG
画像処理アクセラレータ
32ビットRISC MeP
32ビットRISC MeP
CANトランシーバ
SerialNOR Flash
720pLCD Panel
CAN MCU
LED
LPDDR2-800SDRAM
or
BT.656CVBS
(NTSC/PAL)ビデオ
デコーダ(TC90105FG
など)
カメラ入力ポート 最大8 ch使用可能
HOG
L2キャッシュ
メディアプロセッシングエンジン
MPE0 MPE1 MPE2 MPE3
L2キャッシュ
MPE4 MPE5 MPE6 MPE7 MCUインタフェース
CANインタフェース
PCMインタフェース
パラレル入出力
シリアル入出力
タイマ/カウンタ
ビデオ出力I/F
CMOS I/F(RGB888, YCbCr422,BT.656, 8.10.12.14.16 bit RAW,または Y8.Y10.Y12) CMOS I/F
CMOS I/F
CMOS I/F
CMOS I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
Camera
Camera
Camera
Camera
Camera
Camera
Camera
Camera
MediaLB®/MOST®
（注）TMPV7608XBGのビデオ入力インタフェースは、8入力4選択のビデオスイッチ付きです。
Visconti4シリーズ
車両衝突警報
歩行者衝突警報
MPE 0
MPE 1
Pyramid 0
Pyramid 1
Filter 0
Enhanced CoHOG 0
50 ms
100 ms
Enhanced CoHOG 1
Filter 1
Media Processing Engine
Image Processing Accelerators
車両衝突警報
歩行者衝突警報
MPE 0
MPE 1
Affine transform
Filter 0
Filter 1
HOG
Media Processing Engine
Image Processing Accelerators
Visconti2 & 3シリーズ
ピラミッド画像生成
ピラミッド画像生成ピラミッド画像生成
ピラミッド画像生成
輝度勾配方向算出
輝度勾配方向算出
ピラミッド画像生成
車両検知 歩行者検知
車両検知
輝度勾配方向算出
輝度勾配方向算出
歩行者検知
車両検知
輝度勾配方向算出
輝度勾配方向算出
歩行者検知
TMPV7608XBG 夜間歩行者の認識性能を向上、最大８つの画像認識アプリケーションを同時実行
Visconti4シリーズ
Viscontiの特長
▼ パッケージ写真 ▼ システム構成図
TMPV7608XBGは、先進運転支援システム（ADAS)において夜間歩行者認識を従来機種での昼間歩行者認識と同等レベルに性能を向上しました。従来方式の輝度情報を用いた当社独自の画像特徴量CoHOG（Co-occurrence Histograms of Oriented Gradients）に加え、色情報を用いた4種類の特徴量を加えた複合 特 徴 量での 識 別 が 可 能なE n h a n c e d CoHOGアクセラレータを搭載しました。夜間シーンや背景と対象物の輝度差が少ないシーンでの歩行者認識性能が大幅にあがり、アクセラレータの優れた計算能力により認識時間も大幅に短縮できました。
パッケージサイズ 27 mm × 27 mmP-FBGA 796ボール 0.8 mm ボールピッチ
（注1） 各製品の詳細仕様をご確認ください。（注2） 画像処理能力比較は、当社比です。
▼ 特長１. 画像認識処理能力を従来製品比10倍 [Visconti4]倍精度浮動小数点演算に対応した8個の画像処理エンジンMPE（Media Processing Engine）と14個の各種画像処理アクセラレータ（注1）を搭載し、機能強化することにより画像処理能力を従来製品の10倍（注2）に高めました。画像処理エンジン、アクセラレータは、最大266.7 MHzの動作周波数で歩行者、車両などの同時認識を50 ms以内で実行することができます。
▼ 特長3. 当社独自のカラー特徴量パターン 認識処理 [Visconti4]Visconti4に搭載している画像認識用アクセラレータは、従来製品で対応していた当社独自の画像特徴量である輝度勾配方向共起ヒストグラムCoHOGだけではなく、色情報に関する色勾配方向共起ヒストグラムColor-CoHOG、エッジ直交方向色差分共起ヒストグラムCoHED、直線方向色差分共起ヒストグラムCoHD、二次カラーヒストグラムといった4種類の特徴量の処理を追加しています。これらの特徴量を組み合わせて画像認識することにより、夜間など背景と対象物の輝度差が少ない画像に対しても高い認識性能を実現します。
▼ Visconti4 ブロック図
メディア プロセッシング エンジンMPE（Media Processing Engine）は、東芝オリジナルの低消費電力32ビットRISCコアのMeP（Media embedded Processor）に画像処理などマルチメディア処理に適したコプロセッサ(*1)を実装し、1命令で複数のデータを同時に演算するSIMD(*2)技術と複数の命令を同時に発行できるVLIW(*3)技術を実現しています。第2世代のコプロセッサは、倍精度浮動小数点演算を効率よく実施することが可能です。Viscontiファミリーは、MPEを複数個搭載したマルチコア構成のため、複数アプリケーションの同時実行(*4)を実現します。*１ IVC2または第2世代のIVC2F （Image recognition VLIW
Coprocessor with FPU）*２ Single Instruction stream、Multiple Data stream*３ Very Long Instruction Word *４ 各製品の詳細仕様をご確認ください。
▼ 特長4. 画像処理ソリューション画像認識処理の各ステップで多用される画像処理を、極めて高速にかつ低消費電力で実行する画像処理アクセラレータを搭載しました。Viscontiファミリーは、魚眼・広角レンズの歪を補正したり、視点変換を行うアフィン変換アクセラレータに加え、ノイズ低減・エッジ検出・色空間変換などの画像処理を行うフィルタ・アクセラレータ、ヒストグラム作成を行うヒストグラム・アクセラレータおよびステレオカメラ視差計算や動き検知を行うマッチング・アクセラレータを搭載しています。Viscont i2
（TMPV7504XBGは除く）とVisconti3シリーズは、人物認識に適した輝度勾配方向ヒストグラム
（HOG／CoHOG）特徴量を扱うHOGアクセラレータを搭載し、静止した歩行者もリアルタイムに検知が可能です。また、Visconti4シリーズは、従来製品で対応していた輝度勾配方向ヒストグラムだけではなく新方式の色情報を用いた特徴量を加えた複合特徴量を扱うEnhanced CoHOGアクセラレータを搭載し、夜間の歩行者認識を更に向上しています。
▼ 特長２. 最大8つの画像認識アプリケーションを同時実行
画像認識プロセッサ ViscontiTM
34
32-bitRISC CPU
MePw/FPU
MPE 0
Multi-core Subsystem
L2-Cache
CoprocessorIVC2F
32-bitRISC CPU
MeP
I-Cache
D-Cache
D-RAM
I-RAM
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 1
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 2
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 3
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 4
L2-Cache
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 5
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 6
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
32-bitRISC CPU
MePw/FPU
MPE 7
CoprocessorIVC2F
I-Cache
D-Cache
D-RAM
LPDDR2-800SDRAM
Control CPU
32-bitRISC CPU
MeP
I-Cache
D-Cache
D-RAM
I-RAM
Control CPU
SerialNOR Flash MCU
Vid
eo S
Witc
h Video Input I/F 0
Video Input I/F 1
Video Input I/F 2
Video Input I/F 3
Camera
CMOSI/F
Camera
Camera
Camera
Camera
MIPI CSI-2I/F
Camera
Camera
Camera LCD
Mod
ule
RAM
ROM
Timer/CounterPCM I/F
DMAController
VideoOutput I/F
DDR SDRAM Controller
AffineTransform
0
AffineTransform
1
AffineTransform
2
I2C I/F SPI I/FUART I/F
SRAM/NOR Flash Controller MCU I/F
GPIO
CAN I/F
Filter 0 Filter 1 HistogramPyramid 0 Pyramid 1
EnhancedCoHOG 0
EnhancedCoHOG 1
SfM
Histogramsof
OrientedGradients
Matching1
Matching0
Image Processing Accelerator
TMPV7608XBG
ROI
ViscontiTMソリューション Be Careful!
● 画像入力● 色空間変換● デマルチプレクス● 画像縮小● クロッピング● ガンマ補正
● レンズ歪補正● ノイズ低減● 視差計算● 探索候補領域特定
● 画像解析● 特徴量抽出
● 照合● 識別● 追跡
● 認識結果出力● 警告・注意喚起● 画像合成
入力 前処理 特徴量抽出 識別 出力
template
マルチグレイン並列アーキテクチャのメディアプロセッシングエンジン （Multi-core，VLIW，SIMD）
ビデオ入力I/F ビデオ出力I/F
PCM I/F
MCU I/F
UART
CAN
アフィン変換アクセラレータ
ピラミッドアクセラレータ
フィルタ・アクセラレータ
マッチングアクセラレータ
Enhanced CoHOGアクセラレータHOGアクセラレータ
ヒストグラムアクセラレータ
画像処理エンジンMPE
画像処理アクセラレータ
路面文字・記号認識車線逸脱警報
車両衝突警報
ハイビーム支援
規制標識認識
赤信号認識一般物体検知
歩行者衝突警報（昼夜）
SRAM/NORメモリコントローラ
シリアルNORメモリコントローラ
DDR SDRAMコントローラ
内蔵RAM 内蔵ROM
アフィン変換
Visconti4 TMPV7608XBG
ビデ
オス
イッ
チ
ビデ
オ入
力I/F
(注)
ヒストグラム
内蔵周辺
マッチング
フィルタピラミッド
SfM
EnhancedCoHOG
画像処理アクセラレータ
32ビットRISC MeP
32ビットRISC MeP
CANトランシーバ
SerialNOR Flash
720pLCD Panel
CAN MCU
LED
LPDDR2-800SDRAM
or
BT.656CVBS
(NTSC/PAL)ビデオ
デコーダ(TC90105FG
など)
カメラ入力ポート 最大8 ch使用可能
HOG
L2キャッシュ
メディアプロセッシングエンジン
MPE0 MPE1 MPE2 MPE3
L2キャッシュ
MPE4 MPE5 MPE6 MPE7 MCUインタフェース
CANインタフェース
PCMインタフェース
パラレル入出力
シリアル入出力
タイマ/カウンタ
ビデオ出力I/F
CMOS I/F(RGB888, YCbCr422,BT.656, 8.10.12.14.16 bit RAW,または Y8.Y10.Y12) CMOS I/F
CMOS I/F
CMOS I/F
CMOS I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
MIPI® CSI-2 I/F
Camera
Camera
Camera
Camera
Camera
Camera
Camera
Camera
MediaLB®/MOST®
（注）TMPV7608XBGのビデオ入力インタフェースは、8入力4選択のビデオスイッチ付きです。
Visconti4シリーズ
車両衝突警報
歩行者衝突警報
MPE 0
MPE 1
Pyramid 0
Pyramid 1
Filter 0
Enhanced CoHOG 0
50 ms
100 ms
Enhanced CoHOG 1
Filter 1
Media Processing Engine
Image Processing Accelerators
車両衝突警報
歩行者衝突警報
MPE 0
MPE 1
Affine transform
Filter 0
Filter 1
HOG
Media Processing Engine
Image Processing Accelerators
Visconti2 & 3シリーズ
ピラミッド画像生成
ピラミッド画像生成ピラミッド画像生成
ピラミッド画像生成
輝度勾配方向算出
輝度勾配方向算出
ピラミッド画像生成
車両検知 歩行者検知
車両検知
輝度勾配方向算出
輝度勾配方向算出
歩行者検知
車両検知
輝度勾配方向算出
輝度勾配方向算出
歩行者検知
TMPV7608XBG 夜間歩行者の認識性能を向上、最大８つの画像認識アプリケーションを同時実行
Visconti4シリーズ
Viscontiの特長
▼ パッケージ写真 ▼ システム構成図
TMPV7608XBGは、先進運転支援システム（ADAS)において夜間歩行者認識を従来機種での昼間歩行者認識と同等レベルに性能を向上しました。従来方式の輝度情報を用いた当社独自の画像特徴量CoHOG（Co-occurrence Histograms of Oriented Gradients）に加え、色情報を用いた4種類の特徴量を加えた複合 特 徴 量での 識 別 が 可 能なE n h a n c e d CoHOGアクセラレータを搭載しました。夜間シーンや背景と対象物の輝度差が少ないシーンでの歩行者認識性能が大幅にあがり、アクセラレータの優れた計算能力により認識時間も大幅に短縮できました。
パッケージサイズ 27 mm × 27 mmP-FBGA 796ボール 0.8 mm ボールピッチ
（注1） 各製品の詳細仕様をご確認ください。（注2） 画像処理能力比較は、当社比です。
▼ 特長１. 画像認識処理能力を従来製品比10倍 [Visconti4]倍精度浮動小数点演算に対応した8個の画像処理エンジンMPE（Media Processing Engine）と14個の各種画像処理アクセラレータ（注1）を搭載し、機能強化することにより画像処理能力を従来製品の10倍（注2）に高めました。画像処理エンジン、アクセラレータは、最大266.7 MHzの動作周波数で歩行者、車両などの同時認識を50 ms以内で実行することができます。
▼ 特長3. 当社独自のカラー特徴量パターン 認識処理 [Visconti4]Visconti4に搭載している画像認識用アクセラレータは、従来製品で対応していた当社独自の画像特徴量である輝度勾配方向共起ヒストグラムCoHOGだけではなく、色情報に関する色勾配方向共起ヒストグラムColor-CoHOG、エッジ直交方向色差分共起ヒストグラムCoHED、直線方向色差分共起ヒストグラムCoHD、二次カラーヒストグラムといった4種類の特徴量の処理を追加しています。これらの特徴量を組み合わせて画像認識することにより、夜間など背景と対象物の輝度差が少ない画像に対しても高い認識性能を実現します。
▼ Visconti4 ブロック図
メディア プロセッシング エンジンMPE（Media Processing Engine）は、東芝オリジナルの低消費電力32ビットRISCコアのMeP（Media embedded Processor）に画像処理などマルチメディア処理に適したコプロセッサ(*1)を実装し、1命令で複数のデータを同時に演算するSIMD(*2)技術と複数の命令を同時に発行できるVLIW(*3)技術を実現しています。第2世代のコプロセッサは、倍精度浮動小数点演算を効率よく実施することが可能です。Viscontiファミリーは、MPEを複数個搭載したマルチコア構成のため、複数アプリケーションの同時実行(*4)を実現します。*１ IVC2または第2世代のIVC2F （Image recognition VLIW
Coprocessor with FPU）*２ Single Instruction stream、Multiple Data stream*３ Very Long Instruction Word *４ 各製品の詳細仕様をご確認ください。
▼ 特長4. 画像処理ソリューション画像認識処理の各ステップで多用される画像処理を、極めて高速にかつ低消費電力で実行する画像処理アクセラレータを搭載しました。Viscontiファミリーは、魚眼・広角レンズの歪を補正したり、視点変換を行うアフィン変換アクセラレータに加え、ノイズ低減・エッジ検出・色空間変換などの画像処理を行うフィルタ・アクセラレータ、ヒストグラム作成を行うヒストグラム・アクセラレータおよびステレオカメラ視差計算や動き検知を行うマッチング・アクセラレータを搭載しています。Viscont i2
（TMPV7504XBGは除く）とVisconti3シリーズは、人物認識に適した輝度勾配方向ヒストグラム
（HOG／CoHOG）特徴量を扱うHOGアクセラレータを搭載し、静止した歩行者もリアルタイムに検知が可能です。また、Visconti4シリーズは、従来製品で対応していた輝度勾配方向ヒストグラムだけではなく新方式の色情報を用いた特徴量を加えた複合特徴量を扱うEnhanced CoHOGアクセラレータを搭載し、夜間の歩行者認識を更に向上しています。
▼ 特長２. 最大8つの画像認識アプリケーションを同時実行
35
車両
Stereo/SfM
歩行者
一般障害物
三次元再構成のイメージ
パターン認識あるいは
移動体検知技術
・落下物・倒木、落石、土砂崩れ・転倒した歩行者・道路損傷（隆起）・ガードレール
・パイロン・スピードバンプ・踏切遮断機・看板・支柱、電柱
不特定障害物の例
複数の画像から対応点探索
カメラの位置・姿勢の推定
三次元再構成（三角測量）
画像入力
予期せぬ不特定の障害物（静止障害物）の検知
奥行き
特徴点XY
W
時刻Tの画像 時刻T+1の画像
時刻T+Nの画像
W’
時刻Tのカメラ位置
単眼カメラの動き
W’’
三次元構成技術を用いた路上障害物の検出結果近 遠
TC9590
ApP based In Vehicle Infotainment
TC9593
MIPI®
HDMI®
RGB
（Parallel）
MIPI®
LVDS
Full_HD “Panel”
LVDS
HD “Panel”TC9591
MIPI®
TC9592
MIPI®
A-CPLB
A-CPLB TC9591XBG
A-H2C TC9590XBG
A-D2L-LP TC9592/93XBG
CSI-2
HDMI®
SoC
A-H2C
A-D2L-LP
A-H2C
Serializer
De-Serializer
A-CPLB
CSI-2
DSI
HDMI®
LVDS
WXGAPanel
LVDS
Rearseat
Monitor
安価なHDMI®ケーブルを使用することで、ケーブルのコストダウンを期待できます。
学習データセット作成ツールキット / 辞書作成ツール
◆パートナー様より販売中
◆弊社より販売中
インサーキットエミュレータ（ICE）/
デバッガ
デバッガ
評価ボード
ソフトウエア開発キット（SDK）
マルチコア・ソフトウエア開発環境
CriticalBlue Ltd.
（株）Sohwa & SophiaTechnologies 東芝情報システム（株） 東芝デジタル
ソリューションズ（株）
Universal Probe BlueMePシリーズ
WATCHPOINT
認識対象教示ツール
学習データセット生成ツール
学習データセットビューア
辞書作成ツール
Prism [V-Prism]（株）Sohwa & SophiaTechnologies
Arm® コア開発ツールチェーン
画像認識辞書作成ツールチェーン アプリケーションソフトウエア開発ツールチェーン
コアシミュレータ 画像処理ライブラリ Armコア用リファレンスソフトウエア言語ツール デバイスドライバ
※SDKは、（株）Sohwa & Sophia Technologies 様からも販売しております。
画像認識サンプルアルゴリズム
Microsoft®
Windows®7/8.1/10OS Red Hat®
Enterprise Linux®OS
Visconti2 / Visconti3 / Visconti4
ICE
サンプル辞書歩行者検出プログラム
標識認識プログラム車両検出プログラム
車線検出プログラム
※一部の製品は、東芝情報システム（株）からも販売しております。
SfM（Structure from Motion）アクセラレータの搭載により、単眼カメラの時系列画像情報をもとに三次元（距離・高さ・幅）形状を再構成し、落下物・落石・土砂崩れなどの予期せぬ不特定の障害物（静止障害物）の検知を実現します。
▼ 特長5. 三次元再構成技術 [Visconti4 TMPV7608XBG]
Viscontiソフトウエア開発環境
進化する次世代車載情報システム（In-Vehicle Infortainment system: IVIシステム）におけるディスプレイやカメラとのインタフェースギャップ・機能ギャップ問題を解消いたします。
※ MIPIはMIPI Alliance, Inc.の登録商標です。※ HDMIは米国および/またはその他の国々におけるHDMI Licensing, LLCの商標または登録商標です。
※Microsoft, および Windows は、米国 Microsoft Corporation の、米国およびその他の国における登録商標または商標です。※Red Hat および Enterprise Linux は、米国 Red Hat, Inc. の、米国およびその他の国における登録商標です。
Visconti2/Visconti3/Visconti4シリーズのソフトウエア開発環境については、以下をご覧ください。
接続性の拡張 表示パネルとの整合
▼ ラインアップパッケージ入 力
・ MIPI® CSI2 RX 4 Lanes x 1 ch ・ Parallel input 24 bit@154 MHz
HDMI 1.4a
MIPI® DSI 4 Lanes x 1 ch
MIPI® DSI 4 Lanes x 1 ch
出 力 解像度
・ Parallel output 24 bit@100 MHz ・ MIPI® CSI2-TX 4 Lanes x 1 ch
MIPI® CSI2-TX 4 Lanes x 1 ch
LVDS Single Link （5 pairs/ link）
LVDS Dual Link （5 pairs/ link）
–40～85˚C
–40～85˚C
–40～85˚C
UXGA 1600 x 1200 @24 bit
WUXGA 1920 x 1200 @24 bit
–
–
–40～105˚C
LFBGA647 mm x 7 mm 0.8 mm pitch
VFBGA495 mm x 5 mm 0.65 mm pitch
VFBGA646 mm x 6 mm 0.65 mm pitch
VFBGA807 mm x 7 mm 0.65 mm pitch
Ta
A-CPLB
記 号
A-H2C
A-D2L-LP
TC9591XBG
品 番
TC9590XBG
TC9592XBG
TC9593XBG
自動運転の実現には、クルマが、交通情報や信号情報のような社会インフラとつながり、前後のクルマと相互に通信して、周囲の環境変化を判断できるようになることが必要です。コネクテッドカーでは、クルマとドライバーが相互にコミュニケーションを行うため、進化したインフォテインメント・システムが必要となります。東芝デバイス＆ストレージの技術で「つながる」「伝える」に貢献します。
現在のカーナビゲーション向け地図データや音楽などの個人データの保存に加え、自動運転用に大容量のストレージが必要となってきます。当社は車載向けに最適なハードディスクを提供しています。
車載用ハードディスク
ボイストリガーミドルウエアは、あらかじめ指定したトリガーワードの音声を検出するソフトウエアIPです。機器ローカルのプロセッサとメモリ上で動作します。
音声ミドルウェア（ボイストリガー）
▼ 特長車載用ハードディスクは、自動車が凹凸のある道を走行することなど、過酷な環境で使用されることを前提に設計されています。耐振動性においては、稼働部品の軽量化や筐体の高剛性化を図るとともにハードディスクに加わる加速度を検知しヘッド位置への影響を推定、リアルタイムで補正する制御技術を採用することで、高い耐振動性を実現しています。また、動作温度範囲も-30～+85と通常品より広い温度範囲に対応しています。
▼ 車載用ハードディスクラインアップ
320 GB
200 GB
100 GB
記憶容量
・記憶容量： 1テラバイト（1 TB） = 1,000ギガバイト（GB）、1 GB = 1,000,000,000（10の9乗）バイトによる算出値です。しかし、1 GB = 1,073,741,824（2の30乗）バイトによる算出値をハードディスク容量として用いるコンピューターオペレーティングシステムでは、記載よりも少ない容量がハードディスク容量として表示されます。ハードディスク容量は、ファイルサイズ、フォーマット、セッティング、ソフトウエア、オペレーティングシステムおよびその他の要因で変わります。
● スイッチレスで音声認識発話前のスイッチ操作が不要な、真のハンズフリー操作を実現できます。
● 高速レスポンストリガーワード発声終了とほぼ同時に検出結果を通知するため、ユーザを待たせない軽快な音声インタフェースが実現できます。
● ノイズに強いトリガーワードのみを単独発声しなくても、連続発声中に含まれたトリガーワードの検出も可能です。ノイズや言い淀みなどがあった場合でも高い検出性能を実現できます。
● 計算量、メモリサイズが小さい組込環境で動作 計算量、メモリサイズが小さく、機器ローカルのプロセッサとメモリ上で単独で動作します。
▼ 特長
計算量
メモリサイズ
サンプリング周波数
言語
概略仕様
コネクテッドカー普及のながれ
コネクテッドカー実現のための注力製品
生活（製品）と車がつながる 人と車がつながる 車外と車がつながる携帯オーディオなどの個人が所有している機器を、車とストレスなくつながる
携帯電話等の機器を経由せず、より自然に人が車と直接コミュニケーションがおこなえる
IoEが進む現在、車が様々な情報を直接収集し、活用する
Ethernet AVBDisplay Processor Display Processor
Connectivity ICVoice TriggerCar Audio Power AmpEthernet AVBHDD for Automotive
Ethernet AVBRemote Keyless Entry IC
ETC IC
Remote Keyless Entry IC
画像認識プロセッサ ViscontiTM
36