複雑システムの安全設計へのパラダイムシフトet/iot2017 booth presentation 5...

Booth PresentationET/IoT2017

2017年11月16日

会津大学名誉教授

IPA/SEC IoTシステム安全性向上技術WG主査

兼本茂

複雑システムの安全設計へのパラダイムシフト

～システム理論に基づく新しい安全解析法STAMP/STPAの実践～

2Booth PresentationET/IoT2017

これからの複雑システムとは？

人と複雑ソフトウェアを含む組込みシステム


これからの複雑システムとは？

人→人間・機械協調制御システムがますます高度化し、さらに、日常生活にも入り込む

→ 想定外の使い方をされうるし、複雑なソフトウェア制御を使わざるを得ない

複雑ソフトウェア→・・・いま出現しつつある従来経験のない新たなソフトウェア・・・・(1)動作条件（環境）が多様過ぎて、事前に完全な検証ができない

ソフトウェア(2)動作アルゴリズムが暗黙的で説明できないソフトウェア～AI(3)長期の運用期間中に動作環境の変化や新規参入者が入り

メンテナンスが必要なソフトウェア～IoT

自動運転車、生活支援ロボット、列車、航空機、船舶・・


複雑システムの安全設計とは？

従来の安全設計法（FTA、FMEA、HAZOPなど）は、故障の明示化と故障率の最小化をめざして、安全目標を要素に分解して設計する信頼性工学的手法に基づいている

しかし、複雑システムの事故は、要素間の連係ミス（コミュニケーションエラー）により起こされることがほとんどであり、還元論に基づく従来の信頼性工学的手法だけでは対応できない

複雑システムの事故を防ぐ安全設計のパラダイムシフトが必要（N.G.Leveson)


複雑システムの安全設計のパラダイムシフトとは?～還元主義から創発主義へ～

人間の心は、抽象化と階層化によって複雑さを理解(Manage)する（N.G.Leveson）複雑システムのSafetyやSecurityは創発的特性を持っている・・で

も、具体的にどう対処する？

システムズエンジニアリング：システム開発を抽象化した全体像から具体化する考え方だが、簡単ではない。（片山東工大名誉教授Sec journal対談）

一方で、設計は具象化である・・・神は細部に宿る（還元主義）モノを作り始めるとそこに貼りついてしまって全体が見えなくなる（

片山名誉教授）


複雑システムの安全設計のパラダイムシフトとは?～還元主義と創発主義の調和～

人間の心は、抽象化と階層化によって複雑さを理解(Manage)する・・N.G.Leveson

概念設計段階で、抽象化・階層化したモデルに基づいた安全設計法の提案（STAMP/STPA)

相補的・調和した概念にすべき

一方で、設計は具象化である・・「神は細部に宿る」、しかし、同時に「悪魔も細部に宿る」

安全目標を要素に分解して設計する信頼性工学・還元主義的手法だけでは、これからの複雑システムには対応できない


背景安全設計の進化

Safety 0.0 （人の注意力で安全を確保）

Safety 1.0~1.X （機械技術、コンピュータで安全を確保）人に危害が及ぶのを防ぐために、人を危険源から遠ざける(隔離の

原則)

人が危険源に近づく際に動作を止める（停止の原則／制御安全・機能安全）

Safety 2.0 （人・モノ・環境が協調しながら安全を確保） IoT、AI制御の時代で、止める安全から止めない安全へ（人と機械の関

係を、従来の画一的なものから、人の能力・周囲の状況に応じた柔軟な安全手段にする）


背景安全設計の進化

Safety 0.0 （人の注意力で安全を確保）

Safety 1.0~1.X （機械技術、コンピュータで安全を確保）人に危害が及ぶのを防ぐために、人を危険源から遠ざける（隔離

の原則）

人が危険源に近づく際に動作を止める（停止の原則／制御安全・機能安全）

Safety 2.0 （人・モノ・環境が協調しながら安全を確保） IoT、AI制御の時代で、止める安全から止めない安全へ

IEC61508/ISO26262→厳密なコーディングガイド、 AIの排除→人間・機械協調制御は対象外

緩和制御（危険な状況になる前に状態を緩和する）運転支援（自動ブレーキなどの支援で最後の責任は運転員）→いずれも、従来の安全系の範疇からはずれる。では、どのような安全設計が必要になるのか？


IPA/SEC 製品・制御システム高信頼化部会 2017年体制

「重要インフラ分野のシステム障害への対策」事業

重要インフラITサービス高信頼化部会

製品・制御システム高信頼化部会

未然防止知識WG

IoTシステム安全性向上技術WG

主査兼本茂

主査久住憲嗣

高信頼性定量化部会

主査内平直志

製品・制御システム定量データ収

集・分析WG

・・

(連携)

主査三原幸博

「定量管理データ活用による高信頼化」事業

≪組込みシステム分野の活動（太枠）≫


旧来のコンポーネント故障の解析を越えて、

複雑なソフトウェアや人間の役割まで扱える

新しいハザード解析とリスク評価法を提供する

ヒューマンエラーを事故の直接原因として責任追及をするのではなく、ヒューマンエラーを作り出すメカニズム（行動形成要因）に焦点を当てる

運転員、管理者、規制などの様々な視点から、事故に至るプロセスの欠陥を分析する。

事故に至る直接的なイベント（事象）や条件だけでなく、時間の経過とともに起こる変化や適応の履歴に着目して、事故原因を追求する

Engineering a safer world by Nancy Leveson(MIT)～次世代の安全工学の目指すもの～


Sec-Seminar(2015.6.18) Lecture by Nancy Leveson

IoT時代の環境変化と新しい安全解析法 STAMP

現状の安全分析ツールは、40-65年も昔に開発されたものであり、現代の新しい技術の入った複雑な工学システムの安全分析には限界があるー>ＳＴＡＭＰの登場

1940 1950 1960 1970 1980 1990 2000 2010 2020

FMEA FTA ETA

HAZOPCCA

FTA+ETA

コンピュータ制御の導入複雑さの指数的増大インターネットの普及システムの複合化・オープン化人との共存・協調制御

IoT・AIの導入

コンポーネント故障が事故を引き起こす

コンポーネント間のコミュニケーション・ミスマッチが事故を引き起こす





1940 1950 1960 1970 1980 1990 2000 2010 2020

FMEA FTA ETA

HAZOPCCA

FTA+ETA


IoT・AIの導入



コンピュータ制御の導入





1940 1950 1960 1970 1980 1990 2000 2010 2020

FMEA FTA ETA

HAZOPCCA

FTA+ETA


IoT・AIの導入



人との共存・協調制御

IoT・AIの導入


従来の事故モデル

ハインリッヒのドミノ事故モデル

スイスチーズ事故モデル

事故の一方向の連鎖進行モデル


複雑システムの事故モデル（STAMP)～動的システムのフィードバック構造のなかで事故モデルを考える～～

Emergency Valves(EV1)

Computer(Controller)

Human operator

Plant

CA-1.Override the process

CA-2.Open valvesCA-3.Close valves

Water levels at Tanks #1 and #2

Alert & Alarm(FB)

Valve Positon(close/open)(FB)

Pressure from upper organization安全制御行動の乱れN:Not providingP: ProvidingT:Wrong timingD:Wrong duration

不適切な外乱

不適切なフィードバッ

ク


Emergent properties(arise from complex interactions)

Process

Process components interact in

direct and indirect ways

Safety and security are emergent properties

複雑な相互作用に起因する創発的特性

人サブシステム

サブシステム

組織

サブシステム

外部環境

Emergent Property:“The whole is greater than the sum of the parts”

複雑システムの安全とセキュリティ：創発特性~還元主義から創発主義へ~



システム全体の安全制約


コンポーネントの安全制約

想定外事象による安全制約の乱れ

創発的特性コンポーネントの安全制約の和≠ システム全体の安全制約

STAMPモデルに

よる多様な発想力で想定外のハザードを低減できないか？

複雑システムの安全性とセキュリティ：創発特性~還元主義から創発主義へ~


複雑システムの安全設計の難しさ

具体的事例の紹介

小田急電車の火災事故→状況により変化する安全制御行動が必要になる

自動車のプッシュボタン式起動装置→ソフトウェアの要求仕様の欠陥の気づきの難しさ


状況により変わる安全制御行動～小田急・火災事故～

2017年9月10日 16:00過ぎ、乗客約300人

プラットフォーム外で停車の際はドアを開けると危険しかし、火災時は、ドアを開けて退避させないと危険→状況（Context)依存で矛盾する安全制御行動→人やソフトウェアによる複雑な安全制御行動は副作用を伴う可能性もある、

従来の分析法（FTA等）の限界次世代の安全解析法としてのSTAMP/STPAの可能性


要求仕様の欠陥が事故を起こす第1回 STAMPワークショップ in Japan：J.Thomas Tutorialより

要求仕様の欠陥により引き起こされる問題は、全てのコンポーネントやサブシステムのテスト、全てのシミュレーション、全ての検証努力をすり抜けてしまう

ソフトウェアが関連する事故のほとんどは、要求仕様の欠陥に起因する


トヨタ：電子制御アクセルの訴訟で損失1200億円

第1回 STAMPワークショップ in Japan：J.Thomas Tutorialより


プッシュボタン式エンジン起動装置～意図しない加速による事故～

ブレーキペダル＋点火ボタンで起動するよう改善

プッシュボタンは健全、起動ソフトも健全、全てのコンポーネントの要求仕様は満足している。それでも、システム全体は、安全ではなく想定外の事故が起こった！


点火ボタン方式の採用


プッシュボタン式エンジン起動装置～意図しない加速による事故～

要求仕様の妥当性をどうやって検証するか？人間と機械の協調制御をどうやって実現するか？



システム開発における手戻り作業のコスト

潜在要因への対処対

処の

コス

ト

早期の発見ほど、大きなコスト・インパクトがある

システム思考

システム要求仕様

システム設計

追加設計

後追い変更


コンセプトフェーズから設計、運用フェーズへ


STAMPによる複雑さの克服

システム理論や認知科学からの教訓

人間の心は、抽象化と階層化によって複雑さを理解(manage)する

トップダウンプロセスによる方法

高いレベルの抽象度から始める

詳細モデルへの掘り下げ

階層化したシステムモデルの構築

STAMP/STPA


安全工学へのシステムズアプローチSTAMP：System Theoretic Accident Model and Process

事故を「故障・エラーから起こる」のではなく、「安全制御の欠陥から起こる」と捉える

事故は、単純な事象の連鎖で起こるのではなく、複雑な動的プロセスの中で起こる

コンポーネントの挙動や相互作用への安全制約を強いることで、事故を防ぐ

事故原因を多様な視点で捉える

コンポーネント故障による事故

コンポーネント間の非安全な相互作用による事故

複雑な人間やソフトウェアの挙動による事故

設計ミスによる事故

要求仕様の欠陥による事故（特にソフトウェア）

主張：複雑システムではトップレベルの抽象度からの安全分析が大切！


STAMP/STPAの手順

Step-0：制御構造図とアクシデント・ハザード・安全制約の定義。抽象的な機能に着目してトップダウンで階層的な安全制御モデル、プロセスモデルを作成

Step-1：四つのガイドワードを用いて非安全制御行為（UCA：Unsafe Control Action)を抽出（N)Not providing、（P)Providing causes hazard、

(T) Inadequate timing、（D)Inadequate duration

Step-2：Control Loopのガイドワードを用いて、UCAごとに、ハザード誘発要因（HCF:Hazard Causal Factor)を分析し、ハザードシナリオを導出

Step-2b（Safety Guided Design)：安全制約の識別：HCFを制御・除去するためのコンポーネント安全制約（安全設計要求）を明示化する


Basic STAMP

コントローラは、コントロールアクション(CA)を決めるのにプロセスモデルを用いる

このプロセスモデルが正しくないときに想定外の挙動が起こる

四つの不適切なコントロールアクション

(N) Not providing

(P) Providing causes hazard

(T) Inadequate timing, too early or too late

(D) Inadequate duration, stop too soon or applying too long

ソフトウェアと人間の挙動の適切なモデルによって、ソフトウェアエラー、ヒューマンエラー、相互作用による事故などを説明する


Basic STAMP

コントローラ

物理プロセス

アクチュエータセンサー

運転員運転プロセス

運転管理

国レベルの管理

企業レベルの管理

更新運転手順ソフトウェアハードウェア

運転レポートインシデント報告更新要求性能監査

作業指示

運転レポート監査レポート更新要求

安全ポリシー規格リソース

運転レポート

規制・規格・認証ペナルティ

事故・インシデントレポート運転レポート保守・変更レポート

コンピュータｖｓ機械


Basic STAMP

コントローラ

物理プロセス



運転管理





作業指示



運転レポート



人ｖｓコンピュータ


Basic STAMP

コントローラ

物理プロセス



運転管理





作業指示



運転レポート



組織ｖｓ人


Basic STAMP

コントローラ

物理プロセス



運転管理





作業指示



運転レポート



組織ｖｓ組織


はじめてのSTAMP/STPA（実践編）～三つの事例から何がわかるか～

事例１ ‘とりこ’検知事例のSTAMP・STPA分析

事例2 踏切工事（人と組織が絡む事例）

事例3 ｴﾝﾀｰﾌﾟﾗｲｽﾞ系/ネット通販システムへの適用事例


事例１ ‘とりこ’検知事例のSTAMP・STPA分析

分析対象

アクシデント：人・車と列車の衝突

ハザード：‘とりこ’検知装置・発光機が作動しない、運転士が発光機を目視確認できない状態

安全制約：‘とりこ’発生時に発光機は常に作動すること、運転士の目視確認が可能なこと


Step0 コントロールストラクチャの構築

障害物検知装置

踏切

列車

運転士

赤は制御

特殊信号発光機

外部との作用

【役割】・踏切道上の通行車・人を検知・特殊信号発光機の発光指示

（５）ブレーキ作動指示

【役割】・列車の進入を検知・踏切の開閉・踏切の状態通知

通行車・人

【役割】・信号の発光

（２）発光指示（３）消灯指示

（１）検知開始（６）停止指示（踏切の動作開始終了通知）

【役割】・特殊信号発光状態の目視識別・マニュアルブレーキ作動

（４）停止指示（特殊信号の発光）

“とりこ”検知の流れに沿ったコントロールストラクチャー


# コントロールアクション

Not Providing Providing causes hazard Too early / Too Late Stop too soon / Applying too long

1 （踏切→検知装置）検知開始指示（踏切の動作開始通知）

(UCA1-N)検知開始指示が出ないので検知できないので発光せず

踏切開状態で特殊信号発光機を発光する

(UCA1-T)Too Lateで検知開始が遅れ、特殊信号発光機の発光が遅れるので検知できない時間があるToo earlyで“とりこ”でない車を検知し発光指示する可能性あるがハザードにはならない

ー

2 （検知装置→特殊信号発光機）発光指示

(UCA2-N)とりこがあっても発光せず列車を停止させない

“とりこ”がないのに発光して列車を停止させる

（UCA2-T)Too lateで発光開始が遅れ、列車が停止できない（ブレーキをかけるのが遅れる）

ー

3 （検知装置→特殊信号発光機）消灯指示

“とりこ”解消しても特殊信号発光機消灯せず

(UCA3-P)“とりこ”中に特殊信号発光機消灯

(UCA3-T)Too early 同左

4 （特殊信号発光機→運転士）停止指示（特殊信号の発光）

(UCA4-N)“とりこ”があっても発光せず列車を停止しない

“とりこ”がないのに発光し列車を停止させる

（UCA4-T)Too lateで発光開始が遅れ、列車が停止できない（ブレーキをかけるのが遅い）

ー

5 （運転士→列車）ブレーキ作動指示

(UCA5-N)運転士が特殊信号発光機の発光を認識できず列車を停止しない

“とりこ”がないのに停止する (UCA)Too lateで列車停止が間に合わない（ブレーキをかけるのが遅い） →今回対象外とする

(UCA)ブレーキを途中で解除） →今回対象外とする

6 （踏切→検知装置）検知停止指示（踏切の動作停止通知）

“とりこ”がないのに発光し列車を停止させる

(UCA6-P)列車が在線中に検知停止指示が出ると“とりこ”があっても発光せず列車を停止させない

(UCA6-T)Too earlyで“とりこ”があっても発光せず列車を停止させない

ー

Step1 UCAの識別


CA-1（踏切制御装置からとりこ検知装置）

(UCA1-N)検知開始指示が出ないので、とりこ検知できずに発光もせずハザード

踏切制御装置故障でとりこ検知装置への指示が出ない

踏切制御装置を保守モードで無効にしていて指示が出ない

とりこ検知装置が信号受け取りに失敗して装置が作動しない

（CA1-P)踏切開状態で特殊信号発光機を発光（不要な停止だが安全側）

(UCA1-T)検知開始が遅れ、特殊信号発光機の発光も遅れるので、停止が間に合わずハザード（早すぎるのは安全側）

踏切制御装置の欠陥で指示が遅れてでる

（踏切遮断までの時間を大きく見積もりすぎる、

踏切制御装置の故障など）

とりこ検知装置故障で検知開始が遅れる


踏切

列車

運転士

特殊信号発光機【役割】・踏切道上の通行車・人を検知・特殊信号発光機の発光指示



通行車・人






検知開始指示（CA-1)失敗のシステムへの影響と要因


CA-2（とりこ検知装置から発光機へ）

(UCA2-N)とりこがあっても発光せず列車を停止させないのでハザード

とりこ検知装置故障でとりこを検知できず発光指示が出ない

とりこ認識アルゴリズムが不良で検知できない

天候など外部環境が不良でとりこ検知ができない

カメラレンズのよごれでとりこ検知が出来ない

（CA2-P)とりこがないのに発光して列車を停止させる（安全側）

（UCA2-T)発光開始が遅れ、列車の停止が遅れてハザード（ブレーキ遅れ）

とりこ発見から発光指示までの遅延時間が不適切で発光が遅れる

とりこ検知装置の故障で発光指示

が遅れる（2か所に出てくるのは、コンポーネント

が主体になる場合と、被主体になる場合の両方

があるため。フィードバック系の着目点を

変えるため起こる）


踏切

列車

運転士

特殊信号発光機【役割】・踏切道上の通行車・人を検知・特殊信号発光機の発光指示



通行車・人






発光指示（CA-2)失敗のシステムへの影響と要因


CA2:作動開始指示CA3: 作動停止指示

通行車・人

特殊信号発光機（Display）

運転士（Human Controller）

列車

Controller

Controlled Process

アクチュエーターセンサー

CA1:ブレーキ操作

FB:特殊信号発光機へ発光指示

FB:特殊信号発光機の発光

別の視点からのコントロールストラクチャ～多様な視点での安全設計の検討～

運転士を中心にしたコントロールストラクチャー

新たなFB（新しい通信手段）

新たなFB（目視以外の手段が可能）運転操作を高度な制御装置とみる（3階層の制御構造図）↓次世代のより安全な制御手段の発想につながる。

踏切＋障害物検知システム

検知センサー

Controlled Process

Controller

検知センサー

アクチュエーターセンサー


CA-1（運転士から列車へ）

(UCA１-N)運転士がブレーキ操作をしない体調不良やよそみで認識・判断が遅れて停止できない（認識エラー）外部環境不良のため発光が視認できず停止が間に合わない体調不良でブレーキが遅れる（行動エラー）誤操作でブレーキ操作を失敗（以下は、次階層のハード主体の制御構造図でないと思いつきにくい）発光機が故障で消灯しているのに、普段消灯しているので故障に気がつか

ない発光装置故障で発光しないとりこ検知装置故障でとりこ検知ができず発光もしない

（CA1-P)不必要なブレーキ操作は安全側 (UCA1-T)ブレーキ操作の遅れ

UCA1-Nと同様

(UCA1-D)ブレーキを途中で解除）今回対象外とする

ブレーキ作動指示（CA-1)失敗のシステムへの影響と要因


コントロールアクションの比較コントロールアクション

（踏切→検知装置）検知開始指示

（検知装置→特殊信号発光機）発光指示

（検知装置→特殊信号発光機）消灯指示

（特殊信号発光機→乗務員）停止指示（特殊信号の発光）

（乗務士→列車）ブレーキ作動指示

（踏切→検知装置）検知停止指示

コントロールアクション

検知装置作動開始

ブレーキ作動指示

検知装置停止指示

とりこ検知装置主体の制御構造図（六つのUCA)

運転士主体の制御構造図（三つのUCA)

ハザードの可能性評価（前向き推論）

ハザード要因の評価（後向き推論）


事例１とりこ検知事例のSTAMP・STPA分析

従来の一方向の事故進展モデルに基づくハザード分析で難しい複雑システムのハザード分析が可能になる。特に、機械やコンピュータなどの技術要因に加えて、人や組織などの非技術要因を含めた、包括的な事故防止アプローチを可能にする

安全制約と制御構造図により、安全をどのような仕組み・体制で制御しようとしているかを可視化できる。これにより、多様な視点からのレビューができる（次世代の安全制御のあり方など）



システム全体の安全制約


コンポーネントの安全制約

想定外事象による安全制約の乱れ

創発的特性コンポーネントの安全制約の和≠ システム全体の安全制約

STAMPモデルに

よる多様な発想力で想定外のハザードを低減できないか？

まとめ：これからの複雑システムの安全設計で考慮すべきこと

トップレベルの抽象化・階層化したモデルで安全制約を考える（複雑さに惑わ

されない）

トップレベル安全制約からトレーサビリティを持ってコンポーネント安全制約を導く（運用後の更新

に備える）

多様な環境・コンテクストのもとで、想定外のハザードも発想して安全制約を立てる

抽象化した制御構造図でビジネスモデル、ワークフローを俯瞰し

改善する


STPAと従来法の特徴比較

手法名分析方法特徴

従来手法(FTA 、FMEA)

FTAは望ましくない事象をゴールとして、その要因をツリー状に展開・分析して故障要因を分析する

FMEAは、構成要素に起こりうる故障モードを予測し、考えられる原因やシステム全体への影響を解析・評価する方法

システムの構成要素と故障モードが決まるアーキテクチャ設計の段階から適用できる

構成要素の故障が事故を引き起こすと考え、その故障を最小化する信頼性工学的手法。

ドミノモデルやスイスチーズモデルといった故障の一方向への伝搬モデルに基づいて、故障の因果関係を分析する

故障要因に故障確率を割り当てることで定量的な故障分析ができる

人や複雑なソフトウェアの相互作用を伴う複雑システムの故障分析では、全ての故障モードを拾い出すことが難しい

STAMP/STPA

アクシデント、ハザード、安全制約に基づき、安全制御構造図を明示化(Step-0 )

四つの非安全制御行動（UCA)に分類してハザードへの影響を分析し、安全制約を詳細化(Step-1)

非安全制御行動を引き起こすハザードシナリオを、制御構造図と経験に基づくヒントワードを用いて分析(Step-2)

故障を低減するという信頼性工学的手法ではなく、事故を回避するための制御行動の乱れを分析する安全制御工学的手法。

安全を確保するための制御行動とそのフィードバックという動的システムの中で事故が起こるというモデルに基づく。

抽象化・階層化したモデルで複雑さを理解するトップダウンのシステム工学的手法で、人・組織や複雑なソフトウェアの相互作用の不具合に伴うハザードを分析する

安全制御構造が可視化でき、第三者を含む複数の専門家によるレビューがしやすい。抽象化・階層化したモデルなのでドメイン知識の少ない人でもレビューに参加できる

解析する人の能力への依存度が大きい


ご清聴ありがとうございました

複雑システムの安全設計への パラダイムシフトet/iot2017 booth presentation 5...

Documents

複雑システムの安全設計へのパラダイムシフトet/iot2017 booth presentation 5...