fumitot ver.2.3

高橋史（たかはしふみと）

信州大学教育学系

一事例実験研究の質の評価～RoBiNT Scale に学ぶ事例研究の読み方

～

2014年11月2日（土）16:00～18:00 於：富山国際会議場日本認知・行動療法学会第40回大会自主企画シンポジウム

「失敗しない研究計画入門：エビデンスの『質』を評価するための国際基準の理解」

① 事例研究の質のお話

② 「RoBiNT Scale」による一事例実験の評価ポイント９選

③ 行動療法研究の事例論文を「RoBiNT Scale」で評価してみよう

発表内容

① 治療経過の疑似体験「△△性障害と××性障害を併発した人の治療って、こんな経過をたどるのか」

② 対応のハウツーを学ぶ「○○訓練法って、こんなふうに使うのか。こんなホームワークがあったか！」

③ 治療効果の確認「△△性障害の人には○○法が効果的なんだな」

事例報告の読者は何を得ているのか？

「事例」研究の質・・・？

事例「研究」の質

丹野（2004）を参考に高橋史が一部改訂

治療効果の根拠の階層性

質的事例研究、権威者の意見 etc…

量的事例研究（一事例実験）

対照試験（Controlled Trial）

無作為割付対照試験（Randomized Controlled

Trial: RCT）

メタ分析


量的事例研究（一事例実験）質的事例研究

• The 15-item Risk of Bias in N-of-1 Trials (RoBiNT) Scale（第一著者：Robyn L Tate）

• 一事例実験研究の質を評価する、15項目の評価尺度。

事例報告に「研究」としての価値を付加できるか？


Internal validity

1. Design2. Randomisation3. Sampling behaviour4. Blinding

patient/therapist5. Blinding assessors6. Inter-rater reliability7. Treatment adherence

→交絡要因を排除して治療技法の効果を抽出するための研究デザインの質

RoBiNT Scale の構造

External validity and

interpretation

8. Baseline characteristics

9. Therapeutic setting

10.Dependent variable

11.Independent variables

12.Raw data record

13.Data analysis

14.Replicatoin

15.Generalisation

→事例報告としての明確さ

ベースライン時点の特徴（第8項目）標的行動の維持要因や維持条件が、実験（介入）実施前に評価されていること。機能分析もその方法の一つである。

– Baseline characteristics (item 8)Recommended practice is that these conditions and variables (which serve to maintain the target behaviour) should be considered and evaluated prior to commencing the experiment. /// A functional analysis is one way of achieving this end, and ///

治療効果エビデンスとして事例研究を読むときのポイント

External validity and interpretation

記載例をみてみましょう


住田・杉山（2013）



岡島・谷・鈴木（2014）

標的行動（第10項目）標的行動の操作的定義を行った上で（評価点１点）、標的行動の測定が精確かつ再検証可能な方法で行われており、何が適切な反応で何が不適切な反応なのかが特定されていること（すべて満たすと評価点２点）。

– Target behavior (item 10)Many reports provide an operational definition of the target behavior (score 1 point), but fail to describe and/or to use a precise and repeatable measure of the target behavior, nor specify what constitutes a correct/incorrect response. All three elements are required to score 2 points.





住田・杉山（2013）

ローデータでの記録（第12項目）各セッション単位で収集された全てのローデータと、圧縮されたデータ（例：平均値）が、区別されていること。

– Raw data record (item 12)A natural division occurs between those reports which provide a complete record of the raw data at a session-by-session level, versus those which provide incomplete data (e.g. aggregated data).





佐藤（2002）

追試（第14項目）ここでいう追試とは、実験全体の再現のことであり、研究参加者間／体系的な追試のことである。第1項目がカバーしている治療効果の再現（e.g. ABAB法）のことではない。

– Replication (item 14)In the context of this item, replication refers to the repetition of the entire experiment, which may be direct intersubject and/or systematic replication.





奥田・井上・山本（1999）

般化（第15項目）反応般化および刺激般化を引き起こすための介入が組み込まれていること。すべてのフェイズで評価されることが望ましく、介入前後のみの評価でも許容される。

– Generalisation (item 15)Genaralisation measures, whether response generalisation to other behaviours or stimulus response to other settings, need to be intentionally programmed into the design of the study, rather than a passive expectation of a “train and hope” approach.





半田（2014）



小林・五十嵐（2013）

研究デザイン（第１項目）３つ以上のフェイズを用いて治療効果が示されていること（例：ABAB法、６フェイズ多層ベースライン法）。

– Design (item 1)At least three demonstrations of the treatment effect (e.g. A-B-A-B; 6-phase multiple-baseline).

行動の測定（第３項目）各フェイズで、５つ以上のデータポイントがあること。

– Sampling of behaviour (item 3)At least 5 data points in every phase.


Internal validity


Internal validity

佐藤（2002）

評価者の盲検化（第5項目）治療者と独立した評価者が設けられる単一事例研究（評価点は１点）は増えてきているものの、評価点が２点与えられるためには、評価者は治療フェイズについても知らされずに評価を行う必要がある。

– Blinding of assessor (item 5)Increasingly, single-case reports use an assessor who is independent of the therapist (score 1 point), however, to score 2 points the assessor needs to be blind to the phase of intervention.


Internal validity

研究例を観てみましょう

Internal validity

ない

評価者間信頼性（第6項目）人間の判断が関与せず機械的に収集されたデータであれば２点、「十分に客観的な測定方法」（RoBiNTscaleのマニュアルを参照）で収集されたデータであれば１点が加算される。

– Inter-rater reliability (item 6)Use of machine-generated data, free from human judgement, or “reasonably objective measures” (as defined in the manual) are awarded 2 and 1 points, respectively.


Internal validity


Internal validity

住田・杉山（2013）

で、RoBiNT Scale で評価してみた結果

Tate et al. (2013). を参考に高橋史が作成

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0点

1点

2点


Internal validity

内山記念賞受賞の事例研究その１

行動療法研究の事例研究の質

行動療法研究, 25(1), 7-22. 1999年

内山記念賞受賞の事例研究その２


行動療法研究, 38(1), 23-33. 2012年

RoBiNT Scale での部分的評価結果


No. 項目内容奥田ら(1999)

高橋ら(2012)

% scoring 1 or 2

8 ベースライン時点の特徴 2 2 85

10 標的行動 2 2 85

12 ローデータでの記録 1 1 65

14 追試 1 0 65

15 般化 0 1 50

External Validity 6 6 M=8.70 (SD=2.64)

1 研究デザイン 1 0 40

3 行動の測定 1 0 35

5 評価者の盲検化 0 0 0

6 評価者間信頼性 1 0 35

Internal validity 3 0 M=1.90 (SD=2.27)

左記

５項目

の小計

全

８項目

の合計

全

７項目

の合計

左記

４項目

の小計

① 治療経過の疑似体験「△△性障害と××性障害を併発した人の治療って、こんな経過をたどるのか」

② 対応のハウツーを学ぶ「○○訓練法って、こんなふうに使うのか。こんなホームワークがあったか！」

③ 治療効果の確認「△△性障害の人には○○法が効果的なんだな」

ガイドラインがわかると付加価値がわかる


• 事例報告を、①「治療経過の疑似体験」や②「対応のハウツーを学ぶ」ための教材として読むことに加えて、③「治療効果の確認」をする一事例実験研究として読んでみよう。

• 研究デザインや従属変数の評価方法など、RCTの論文を読むつもりで事例報告を読んでみよう。

• 困ったら竹林先生に聞いてみよう。

Take Home Message

例）子どものSST研究なんてもういっぱいあるし・・・

– でも、評価者の盲検化をした研究はないな。

• じゃ、評価者の盲検化をしてみよう！＊その他の内容は今までのSST研究と全く同じ

– でも、介入結果のグラフについて視覚的データ分析をしている研究はないな・・・。

• じゃ、視覚的分析をやってみよう！＊その他の内容は今までのSST研究と全く同じ

おまけ

「Internal validityを満たす事例研究なんてなかなかない」という現状を逆手にとって、それを事例研究のオリジナリティにできないものでしょうか・・・？

一事例実験研究の質の評価高橋史（信州大学教育学系）

fumitot ver.2.3

Documents