20170223 srws第八回 sof、grade、prospero登録

系統的レビュー研究計画書作成ワークショップ第八回

GRADE / PROSPERO / PRISMA京都大学大学院　辻本康

尼崎総合医療センター　Hospital Care Research Unit片岡裕貴　辻本啓

滋賀医科大学　岡見雪子　平大樹　山本晴香精治寮病院　阪野正大

亀田総合病院　総合内科　佐田竜一

2

このコースの目標

• 各参加者が興味を持つ臨床疑問を洗練した

上で、実施に足るレベルの系統的レビュー

の研究計画書を完成させる

→系統的レビューの大まかな理解

　（希望者は）系統的レビューの実施

3

前回の復習

• メタ・アナリシスしない結果のまとめ方について説明できる

• 層別解析について説明できる• 感度分析について説明できる• 欠測への対処法について説明できる

4

メタ・アナリシスしない場合 (=質的な統合 )

Cochrane Database Syst Rev. 2013 Dec 9;12:CD004127

5

層別解析（臨床的異質性の検討）

対象を分ける

6

感度分析

7

感度分析

(通常は )対象を「限定」

8

欠測への対処

9

第八回GRADE / PROSPERO / PRISMA

10

SR＆MAの全体像

構造化された疑問

系統的な検索・データベースの選択・検索式の作成・文献の選択基準・事前登録

漠然とした疑問

選択文献を対象とした批判的吟味

・事前に規定した評価基準 (Risk of bias)

発表 結果の統合とまとめ(=meta-analysis)

第一回 第二ー四回

第五回第六－八回第九回

11

本日の目標

• 系統的レビューにおける GRADEの基本を説明できる

• PROSPERO登録のやり方を説明できる• PRISMA-Pについて説明できる

12

今回のエフォート目安

動画 30分

プロトコル作成 1－ 2時間

13

QUIZ：以下のうち正しい記載はどれでしょうか？

・結果を提示する時には、絶対評価よりも相対評価を載せるべき・メタアナリシスはアウトカム毎に結果を統合したが、最終的には研究毎に結果を提示する・GRADEを用いた評価では再現性のある合意を形成することが目的ではない

14

アウトカムごとにまとめる

素朴な疑問

15

結果のことは結果が出てからでいいんじゃない？こちとらまだプロトコルも書けてないんよ。

16

例えば、糖尿病の治療のための減量手術

重要なアウトカム・糖尿病の治癒・周術期合併症・死亡・糖尿病合併症の治癒・患者さんの QOL

重要なアウトカムはレビュー計画段階で想定が必須

17

18

いくらなんでも全部は無理？

朗報：重要なアウトカムがレビューしている最中に見つかった際はそれを評価項目に入れてよい。

Evidence table19

Evidence table20

質

効果の方向性＝メタアナリ

シスの結果

21

実際の GRADEアプローチ

CQの設定

SR&MA

推奨の決定

Evidence table23

質

効果の方向性＝メタアナリ

シスの結果

Evidence table24

Evidence table25

アウトカム

Evidence table26

エビデンスの質

Evidence table27

絶対・相対の効果

GRADEによる結果のまとめ方の重要な点

• 再現可能性がある合意を形成することが目的ではない

• ある効果サイズの推定の質　（＝エビデンスの質）を評価• 評価の根拠を明示することが重要

28

エビデンスの質とは？

29

エビデンスの質とは？

＝エビデンスの確実性

効果サイズ（＝数字）がどれくらい確からしいか！

次の研究結果が出たとしても、その効果サイズが変わりそうにないか

30

高 High 真の効果が効果推定値に近いという確信がある

中 Moderate 効果推定値に対し、中等度の確信がある。真の効果が効果推定値に近いと考えられるが、大幅に異なる可能性もある

低 Low 効果推定値に対する確信には限界がある。真の効果は効果推定値とは大きく異なるかもしれない

非常に低 Very Low 効果推定値に対しほとんど確信がもてない。真の効果は、効果推定値とは大きく異なるものと考えられる

エビデンスの質は 4 段階

31

J Clin Epidemiol. 2011 Apr;64(4):401-6.

エビデンスの質は 4 段階

32

←RCTはここから

← 観察研究はここから

治療効果のエビデンスの質の場合

GRADEのエビデンスの質の評価項目

GRADEを下げる要因• 研究の限界 (risk of bias)• データの非一貫性 (inconsistency)• エビデンスの非直接性 (indirectness)• データの不精確さ (imprecision)• 出版バイアス (publication bias)

GRADEを上げる要因• 効果の程度が大きい• 用量反応勾配• 交絡因子の影響

33

研究の限界 (risk of bias)

• アウトカムごとに評価する• 質の高い研究と低い研究が混在する場合は全体のエビデンスに与える影響を考慮して評価する

ex) 脊髄損傷に対する介入 Aの効果をみた研究で、評価者の盲検化がされていなくても、死亡というアウトカムはその影響が少ない。一方、身体診察による運動機能評価では影響が深刻

34

データの非一貫性

• 結果に対する説明のつかない異質性をさす• 集団 / 介入 /アウトカム評価 /研究方法の違いが要因と考えられる

• 要因ごとに異なる推定値を提示することが望ましい

ex) 研究 Aは新薬は標準治療より効果あり。似たデザインの研究 Bは同じ新薬より標準治療の方が効果ありと結論→非一貫性

35

非一貫性の例

あるメタアナリシスの結果

I^2=35%

36

※数字のみで解釈する場合0－ 40％ 重要でない異質性30－ 60％ 中等度の異質性50－ 90％ 大きな異質性75－ 100％高度の異質性

37

それではこんな場合は？

非一貫性 あり /なし？I^2 65%

38

答え

効果は同じ方向ほぼ重なっている→downgradeの必要なし

あくまで「効果サイズがどれくらい確からしいか」の評価が目的でした

非一貫性の例　含まれた研究が 1つだけだったら？

39

Only one study (Study 2; 825 participants) provided a report of the impact of treatment Z on quality of life in people with syndrome Y. This study found that Quality of Life scores at follow-up were higher in the treatment Z group than in the placebo group (MD 2.17 on the scale from 1 (very dissatisfied) to 10 (very satisfied), 95% CI 1.20 to 3.91, p=0.01). As this outcome was measured in only a single trial, we couldn't assess the heterogeneity, so we downgraded the quality of evidence by one level (to moderate).

答え

間違いです

研究が一つだけ、を理由にダウングレードはしません

40

エビデンスの非直接性

外的妥当性 /適用可能性と同様

→対象 /介入 /アウトカムが関心のあるものとちょっと違う　or 間接比較

ex) • BMI 30以上を対象とした糖尿病治療のための減量手術の効果を

BMI 28の糖尿病予備軍の患者に適用する (対象の差異 )

• 減量手術の知りたいアウトカムが長期予後なのに対し、研究AはHbA1cの低下を代理アウトカムとしている

• A>BとB＞Cという研究結果があり、それらからA>Cという比較を行っている場合 (間接比較 )

41

42

こんな場合は？

研究目的The aim of the review was to explore the effectiveness of treatment Z in adult community-dwelling patients with syndrome Y.研究結果Seven studies recruiting 1450 participants met the review

inclusion criteria. The studies recruited community-dwelling people with severe syndrome Y who had a mean age of 70 years. In five of the included studies (Study 1, Study 3, Study 4, Study 5, Study 7) participants were 65 years or older.

43

Pが違うので、下げたほうが良さそう（※状況によっては下げない、という価値判断もありうる）

データの不精確さ（ imprecision）

一番、誤解が多いパートです！！

44

解析苦手な場合はスライド 59へスキップ

エビデンスの質の定義

45

システマティック・レビュー：「効果量推定値が正しいという確信の程度」

診療ガイドライン：「効果量推定値に対する確信が，ある特定の推奨を支持する上でどの程度十分か」

GRADEシステムでは SRと診療ガイドラインとでエビデンスの質の定義が異なる

46

考えるべきポイント

理想の単一のRCTを仮定→必要なサンプルサイズとイベント数を計算　必要なサンプル数を超えればグレードダウンなし　不足していればグレードダウン

→次に信頼区間について判断　（以下 2 値アウトカムの場合で解説）

47

別の言い方をすると

• OIS(optimal information size)• トータルサンプルサイズ• イベント数

• 信頼区間の幅が広い　（= 効果の方向性が不明）

※二段階でグレードダウンするか判断

48

RCTで必要なサンプルサイズを決めるのは？

• 介入群のイベントリスク• コントロールのイベントリスク• あわてんぼうの αエラー（通常は 0.05)• ぼんやりさんの βエラー（通常は 0.2)

この差が介入効果

49

効果の大きさ

介入群のリスク vs. コントロール群のリスク

例えば介入群の 1 年死亡割合　 30 ％コントロール群の一年死亡割合　 60 ％

→相対リスク減少 (relative risk reduction)= %

50

効果の大きさ

＝介入群のリスク -コントロール群のリスク

例えば介入群の 1 年死亡割合　 30 ％コントロール群の一年死亡割合　 60 ％

→相対リスク減少 (relative risk reduction)= 1-0.3/0.6 = 50%

51

サンプルサイズ

・コントロール群のイベント発生率・相対リスクの差→縦に線を引いて、トータルで必要なサンプルサイズを求める

https://www.ncbi.nlm.nih.gov/pubmed/21839614

コントロール群のイベント発生割合

必要な

サンプル

サイ

ズ

52

イベント数

・コントロール群のイベント発生率・相対リスクの差（RRR）→縦に線を引いて、トータルで必要なイベント数を求める

コントロール群のイベント発生割合

必要な

イベント

数

メタアナリシスに含まれたサンプル数とイベント数はどうか？

53

54

OISを満たしていない

Downgrade!

55

つづいて 95 ％信頼区間

95 ％信頼区間の意味は？

A. 真の値が 95 ％の確率で含まれる区間B. 同じ実験を繰り返したときに、真の値が

95 ％の実験で含まれる区間

56

正解は

B. 同じ実験を繰り返したときに、真の値が95 ％の実験で含まれる区間

こちらから見て95 ％

57

OISを満たしていた場合

95 ％信頼区間が“ 効果なし” を含まない（ RRの信頼区間が 1を含まない）ならば、preciseと判断

1

58

OISを満たしていた場合

95 ％信頼区間が“ 効果なし” を含むimpreciseと判断して downgrade

1

出版バイアス

• おなじみ• 詳しくは第六回に• 肯定的研究は否定的研究より３倍多く発表されているとの報告も

59

60

該当論文が 10 個以下の場合は？

検索は十分？企業が情報を隠し持っている可能性は？出版に至っていないデータと出版されたデータとの解離は？

といったことを踏まえて判断

これらを GRADEを下げる要因をくぐり抜けたとき

61

GRADEを上げる３つの要因

62

GRADEを上げる

• 前述の GRADEを下げる要因に深刻な点がない場合に限る

• 主に観察研究に対して検討される

63

GRADEを上げる要因 効果の程度が大きい用量反応勾配 交絡因子の影響

大きな効果

ex)• 乳児突然死症候群 (SIDS)と睡眠時の姿勢を調べた観察研究のメタアナリシスの結果

→うつ伏せでは仰向けに対してオッズ比が4.1(95%CI: 3.1~5.1)であった

• 観察研究のメタアナリシスの結果、ワルファリンが弁置換術後の血栓塞栓症リスクを減らす (RR: 0.17, 95%CI: 0.13~0.24)

64

用量反応勾配？

• ワルファリンの出血リスクが INRの高値との間に用量反応勾配がある

• 敗血症性ショックの患者に抗菌薬投与が１時間遅れるごとに死亡率に大きな絶対的増加がみられる

65

交絡によって効果が高められ、それでも効果無しの所見の場合

ex) • 血糖降下薬フェンフォルミンは乳酸アシ

ドーシスを引き起こすことが知られる• 関連製剤のメトフォルミンにも同じ毒性が疑われる

• 大規模の複数の観察研究をメタアナリシスした結果ではメトフォルミンと乳酸アシドーシスの関連は実証されなかった

66

Evidence table67

Evidence table68

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table69

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table70

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table71

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table72

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table73

質の評価（下げる 5 要因）組入研究 エビデンスの質

Evidence table74

エビデンスの質

Evidence table75

エビデンスの質 効果の程度

Evidence table76

エビデンスの質 効果の程度

Evidence table77

エビデンスの質 効果の程度

Evidence table78

エビデンスの質 効果の程度

エビデンスを適用したい集団のリスク毎

79

エビデンスを適用したい集団のリスク毎

80

エビデンスを適用したい集団のリスク毎

81

82

PROSPERO登録

83

PROSPERO登録の意義

• 今からこんな研究をやると宣言する多重検定による αエラーを避ける系統的レビューの重複をさけて効率よく

• 計画書と論文が違わないか読者が確認できるアウトカム報告バイアスを防ぐ

• 研究の進捗をチェックできる出版バイアスをさける（系統的レビューもポジティブな結果の方が発表されやすい！？）

やり方： PROSPEROで検索してください

84

IDを作成85

IDを作成したら Resister a reviewから登録できます

86

ここまでの学びを元に

系統的レビューの研究計画書が完成したら

87

報告のためのガイドラインでチェックしよう

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC4320440/

88

Section and topic Item No Checklist itemADMINISTRATIVE INFORMATIONTitle:    

 Identification 1a Identify the report as a protocol of a systematic review Update 1b If the protocol is for an update of a previous systematic review, identify as

suchRegistration 2 If registered, provide the name of the registry (such as PROSPERO) and

registration numberAuthors:    

 Contact 3a Provide name, institutional affiliation, e-mail address of all protocol authors; provide physical mailing address of corresponding author

 Contributions 3b Describe contributions of protocol authors and identify the guarantor of the review

第 8回

89

Amendments 4 If the protocol represents an amendment of a previously completed or published protocol, identify as such and list changes; otherwise, state plan for documenting important protocol amendments

Support:     Sources 5a Indicate sources of financial or other support for the review Sponsor 5b Provide name for the review funder and/or sponsor Role of sponsor or funder

5c Describe roles of funder(s), sponsor(s), and/or institution(s), if any, in developing the protocol

第 8回

90

INTRODUCTIONRationale 6 Describe the rationale for the review in the context of what is already

knownObjectives 7 Provide an explicit statement of the question(s) the review will address with

reference to participants, interventions, comparators, and outcomes (PICO)第 1回

METHODSEligibility criteria 8 Specify the study characteristics (such as PICO, study design, setting, time

frame) and report characteristics (such as years considered, language, publication status) to be used as criteria for eligibility for the review

Information sources 9 Describe all intended information sources (such as electronic databases, contact with study authors, trial registers or other grey literature sources) with planned dates of coverage

Search strategy 10 Present draft of search strategy to be used for at least one electronic database, including planned limits, such that it could be repeated

Study records:     Data management

11a Describe the mechanism(s) that will be used to manage records and data throughout the review

 Selection process

11b State the process that will be used for selecting studies (such as two independent reviewers) through each phase of the review (that is, screening, eligibility and inclusion in meta-analysis)

 Data collection process

11c Describe planned method of extracting data from reports (such as piloting forms, done independently, in duplicate), any processes for obtaining and confirming data from investigators

91

第 2-3回

第 2-3回第 2-3回

第 4回

第 4回

第 4回

Data items 12 List and define all variables for which data will be sought (such as PICO items, funding sources), any pre-planned data assumptions and simplifications

Outcomes and prioritization 13 List and define all outcomes for which data will be sought, including prioritization of main and additional outcomes, with rationale

Risk of bias in individual studies 14 Describe anticipated methods for assessing risk of bias of individual studies, including whether this will be done at the outcome or study level, or both; state how this information will be used in data synthesis

Data synthesis 15a Describe criteria under which study data will be quantitatively synthesised

15b If data are appropriate for quantitative synthesis, describe planned summary measures, methods of handling data and methods of combining data from studies, including any planned exploration of consistency (such as I2, Kendall’s τ)

15c Describe any proposed additional analyses (such as sensitivity or subgroup analyses, meta-regression)

15d If quantitative synthesis is not appropriate, describe the type of summary planned

Meta-bias(es) 16 Specify any planned assessment of meta-bias(es) (such as publication bias across studies, selective reporting within studies)

Confidence in cumulative evidence

17 Describe how the strength of the body of evidence will be assessed (such as GRADE)

92

第 6回

第 8回

第 5回

第 6回

第 6回

第 7回第 7回第 6回第 8回

93

QUIZ：以下のうち正しい記載はどれでしょうか？

・結果を提示する時には、絶対評価よりも相対評価を載せるべき・メタアナリシスはアウトカム毎に結果を統合したが、最終的には研究毎に結果を提示する・GRADEを用いた評価では再現性のある合意を形成することが目的ではない

94

QUIZ：以下のうち正しい記載はどれでしょうか？

・結果を提示する時には、絶対評価よりも相対評価を載せるべき・メタアナリシスはアウトカム毎に結果を統合したが、最終的には研究毎に結果を提示する・GRADEを用いた評価では再現性のある合意を形成することが目的ではない

95

本日の目標

• 系統的レビューにおける GRADEの基本を説明できる

• PROSPERO登録のやり方を説明できる• PRISMA-Pについて説明できる

参考文献

Cochrane handbook for Systematic Reviews of Interventionsavailable fromhttp://community.cochrane.org/handbook相原守夫　『診療ガイドラインのためのGRADEシステム 第 2 版』