johta mlcomm2$11.서혜선.pdf계적 문헌고찰 관련 매뉴얼, 공식문건, 소개 등이...

http://www.kahta.or.kr 75

J Health Tech Assess 2013;1:75-85 ISSN 2288-5811 Copyright © 2013 The Korean Association for Health Technology Assessment

서 론

보건의료분야에서 근거의 필요성은 계속 증가하고 있다.

그리고 체계적 문헌고찰(systematic review, 이하 SR)은 가

용한 모든 연구결과를 체계적이고 과학적인 방법으로 종합

및 분석하여 최상의 근거를 제공함으로써, 의료기술평가

(health technology assessment, 이하 HTA)에서 해당 치료

법의 효과 및 안전성을 평가하는 데 중심이 되는 방법 중 하

나이다. 국내에서는 신의료기술을 평가하고 도입의 적절성

을 검토하는 정책적 근거자료를 생성하는 데 활발하게 이용

되고 있으며, 임상현장 및 학문분야에서도 필요에 따라 다양

하게 시행하고 있다.

체계적 문헌고찰을 통해 생성하는 근거는 질적인 측면에

서 근거의 계층 피라미드(evidence hierarchy)의 가장 상위

단계에 위치하고 있지만, 수행함에 있어 통상적으로 8개월

에서 12개월의 시간이 소요되기 때문에 정책적으로 필요한

시기에 근거를 시의적절하게 제공하는 데 한계를 가지고 있

다. 그리고 이로 인하여 일각에서는 보건의료현장에 명백한

Rapid Systematic Reviews

Heejeong Son1,2, Soo Young Kim1,3, and Hae Sun Suh1,4

1Center of Health Technology Assessment, National Evidence-Based Healthcare Collaborating Agency, Seoul, Korea 2Department of Public Health Science, Graduate School of Public Health, Seoul National University, Seoul, Korea 3Department of Family Medicine, Hanllym University College of Medicine, Kangdong Sacred Heart Hospital, Seoul, Korea 4Research and Development Center, Health Insurance Review & Assessment Service, Seoul, Korea

신속 체계적 문헌고찰

한국보건의료연구원 보건의료기술분석실1, 서울대학교 보건대학원 보건학과2,

한림대학교 의과대학 강동성심병원 가정의학과학교실3, 건강보험심사평가원 심사평가연구소4

손희정1,2·김수영1,3·서혜선1,4

Address for Correspondence: Hae Sun Suh Department of Pharmaceutical Policy & Health Technology Assessment Research, Research & Development Center, Health Insurance Review & Assessment Service, Peace Building 11F, 22 Banpo-daero, Seocho-gu, Seoul 137-927, KoreaTel: +82-2-2182-2562Fax: +82-2-6710-5836E-mail: [email protected]

Objectives: In the public health research field, a systematic review (SR) is a reliable method to syn-thesize results of homogeneous individual studies and to produce the best available evidence in order to support decision making. As the request of evidence in a timely manner increases, a rapid systematic review (rapid SR) has been introduced recently and the needs are increasing in Korea as well. We aim to introduce the definition, methodology, and characteristics of rapid systematic reviews. Methods: Manuals, official documents, introducing materials of rapid SR were searched and reviewed in the web-sites of forty three institutions of health technology assessment listed in the Health Technology Assess-ment International webpage. Results: The findings of key materials reported by health technology as-sessment institutions showed the definition and methodology of rapid systematic reviews were not consented and were being adapted in various ways. Generally, a rapid systematic review was being conducted in relatively short time duration, one to six months, generating evidence with timeliness but also pursuing the systematic process as well. To meet the timeliness, three strategies were being adopt-ed: restricted literature searches, omission of quality assessments, and narrowly focused research ques-tions. Omission of quality assessments was found definitely produce bias with significance. Narrowly focused research questions had the advantage of keeping the systematic process without any restric-tion, which has potential to achieve both timeliness and quality at the same time. Conclusion: Rapid systematic reviews are accepted as a limited systematic report which focuses on providing the evi-dence timely and mandatorily followed by full systematic reviews. However, in order to enhance the credibility and applicability of the results produced by rapid reviews, finding the balance between the timeliness and quality of the evidence needs to be explored further.

Key Words Rapid systematic review (rapid SR) · Timeliness · Quality of evidence.

Review ArticleJoHTA online © ML Comm


76 J Health Tech Assess 2013;1:75-85

편익을 가져올 수 있는 기술의 도입 및 적용이 지연될 가능

성이 있다는 우려가 있어왔다. 신속 체계적 문헌고찰(rapid

systematic review, 이하 rapid SR)은 이와 같은 문제를 보완

하고자 소개된 방법론으로, 체계적 문헌고찰과 동일하게 문

헌검토를 기본 방법으로 하되 체계적 문헌고찰보다 신속하

게 수행하여 근거를 보다 시의적절하게 제공하는 것을 목표

로 한다.

European Network for Health Technology Assessment1)

에서 제공하는 용어집에서는 신속 체계적 문헌고찰과 그 유

의어들에 대하여 의료기술평가 보고서 형식을 취하고 있으

나 통상적인 의료기술평가보다 짧은 시간 내에 수행되며, 이

를 위하여 임상적 질문을 구체화하거나 방법론을 제한하는

등의 방법이 사용된다고 언급하고 있다. 권위 있는 기관의

용어집에서 연구소요시간에 대해 상대적인 표현으로만 기술

된 것에서 알 수 있듯이, 신속 체계적 문헌고찰은 아직까지

는 명확한 특성을 바탕으로 정의되어 있지 않으며 각 의료

기술평가기관별로 용어와 방법론이 혼재되어 있다.

본 연구에서는 기관현황과 주요 관련연구 검토를 통해 신

속 체계적 문헌고찰과 관련된 용어를 정리하고, 시행 현황과

방법론에 있어서의 주요이슈와 의사결정에의 영향력을 파

악하여 이를 기반으로 신속 체계적 문헌고찰의 방법론 향상

및 적절한 활용방안 모색에 대한 추후 연구를 제안하고자

한다.

방 법

기관 현황 검토

각국 주요 의료기술평가기관의 신속 체계적 문헌고찰 시

행여부를 파악하기 위해 두 연구자가 Health Technology As-sessment International(이하 HTAi) 웹사이트2)에 등재되어

있는 43개 의료기술평가기관 홈페이지를 방문하여 신속 체

계적 문헌고찰 관련 매뉴얼, 공식문건, 소개 등이 제시되어

있는지 수기 검토하였다. 이 때, 신속 체계적 문헌고찰에 대

한 명확한 정의가 아직 합의되지 않았고 다양한 용어가 혼재

되어 있는 상황을 고려하여, 간소화된 형태의 문헌고찰 방법

론에 대한 모든 자료를 수집하고 이를 신속 검토(rapid re-view)로 임시 정의하였다. 그리고 사전에 설정된 선정기준-

문헌고찰을 주요 방법으로 채택하였는지, 신속한 수행을 위

하여 방법론을 수정하였는지-에 따라 연구자 간 합의를 통

하여 신속 체계적 문헌고찰에 부합하는 자료를 선정하였다.

용어 정리

신속 체계적 문헌고찰의 동의어 및 유의어 등 다양한 용어

를 정리하고 신속 체계적 문헌고찰에 대한 의미를 명확히 제

시하기 위하여, 기관 현황 검토와 유사한 방법으로 두 연구

자가 의료기술평가기관 홈페이지를 수기검토 하였다. 수기

검토를 용이하게 하기 위하여 홈페이지에서 제공하는 검색

기능을 활용하였는데 신속 체계적 문헌고찰이라는 용어에

대한 합의가 이루어지지 않은 상황을 고려해 검색어를 ‘rap-id’, ‘mini’로 하여 간소화된 형태의 문헌고찰을 가리키는 모

든 용어를 포괄적으로 수집하였으며, 이들을 포괄하는 범주

를 신속 검토로 임시 정의하였다. 그리고 신속 검토와 신속

체계적 문헌고찰의 관계를 규정함으로써 신속 체계적 문헌

고찰의 의미를 제시하였다.

신속 체계적 문헌고찰 주요 관련연구 검토

기관 현황 수기검토를 통해 확보한 매뉴얼 및 공식문건의

참고문헌을 기관현황 검토 및 용어정리에서 사용하였던 기

준에 따라 검토하여 신속 체계적 문헌고찰 관련 연구를 선

정하였다. 일인의 연구자가 주요 연구를 사전에 설정된 기준

에 따라 문헌을 선정하였으며, 선정된 연구들을 통해서는 신

속 체계적 문헌고찰 시행현황, 방법론에서의 주요이슈, 의사

결정에의 영향력에 대한 정보를 수집하였다. 다른 일인의 연

구자는 별도로 문헌선정 과정을 검토하여 최종 선정된 주요

연구에 대하여 합의를 이루었으며, 수집된 정보의 정확성을

재확인하였다.

결 과

기관 현황 검토

43개 의료기술평가기관의 간소화된 문헌고찰(신속 검토

등) 시행여부에 대한 현황을 검토하였으며 그 결과는 부록

표 1에 정리하였다.

총 43개의 기관 중 7개(16%)의 기관의 홈페이지에서 신속

검토에 대한 공식문건·매뉴얼·소개글을 찾을 수 있었으

며, 5개(12%)의 기관에서 신속 검토에 대하여 간략하게 언

급은 하고 있으되 구체적인 시행방법에 대해서는 언급이 없

었다. 나머지 12개(72%)의 기관은 신속 검토에 대한 내용이

없었다.

신속 검토에 대한 공식문건·매뉴얼·소개글을 홈페이지

에 제시한 7개의 기관 중 비영어 매뉴얼인 Ludwig Boltz-mann Institution 매뉴얼을 제외한 6개에 대하여, 신속 체계

적 문헌고찰 여부를 판단하기 위하여 사용하고 있는 용어,

시행목적, 시행기간에 대한 내용을 추가로 검토하였다(표 1).

검토 결과, 각 기관마다 다양한 목적과 시행기간을 가지고

신속 검토를 시행하고 있었으며 그 분류와 지칭 용어에 대

H Son, et al.


해서 합의가 이루어지지 않은 상태임을 확인할 수 있었다.

미국의 Agency for Healthcare Research and Quality(AH-RQ)3)는 기존의 의료기술평가보고서에 대하여 각각 업데이트

여부를 판단하는 것이 목적이고 영국의 National Institute for

Health and Clinical Excellence(이하 NICE)4)의 경우는 제

조사가 제출한 근거를 평가하여 해당 중재법의 사용에 대한

권장사항을 마련하는 것을 목적으로 하기 때문에 기본적으

로 새롭게 근거를 요약 혹은 합성하는 신속 체계적 문헌고찰

과는 다르다. 또한, Danish Centre for Health Technology

Assessment(이하 DACEHTA)5)의 mini-Health Technology

Assessment(이하 mini-HTA)는 단일 의료기관 등이 특정

보건의료환경에서 새로운 의료기술도입에 대한 결정을 하

기 위해 시행하는 것이기 때문에, 특정 보건의료환경의 현재

재정 상황검토 및 의료기술도입에 따른 변화를 예측하는 것

이 큰 부분을 차지한다. 특히, DACEHTA에서는 2007년에서

발간된 HTA handbook6)에서, rapid Health Technology As-sessment(이하 rapid HTA)를 시행한 바 있으나 시의적절성

을 보장할 수 없으면서 근거의 질 또한 저해되기 때문에 더

이상 시행하지 않는다고 명시하였다.

결국 HTAi 웹페이지에 등재된 43개 의료기술평가기관

중 본 연구 대상인 신속 체계적 문헌고찰에 대한 공식문건·

매뉴얼·소개글을 제시한 기관은 Australian Safety and Ef-

Table 1. Main findings from six institutions

Institution NationTerm to indicate rapid systematic review (rapid SR)

Purpose of conducting rapid systematic reviews (rapid SR)

Time taken for conducting

DACEHTA Denmark Mini-HTA Mini-HTA is conducted in medical institutions to evaluate the need of adopting new medical technology. A five-page-checklist are completed based on the consultations from medical and economic professionals, and utilized as the evidence of the final decision making

Not explicitly mentioned, presumed as 1-3 months

AHRQ The U.S. Rapid assessment Rapid assessment is conducted to evaluate whether the existing health technology assessments need updates or not


ASERNIP-S Australia Rapid review Rapid review is conducted to provide evidence-based recommendations to medical professionals, policy makers, and consumers for their timely decision makings related to public health


NICE The U.K. Single HTA Single HTA is conducted to perform appraisal of the evidences presented by manufacturing companies or sponsors and to provide recommendations and guidelines of new and/or existing medical interventions

29 weeks (approximately 6 months), changeable under appraisal requirements

CADTH Canada Health Technology Inquiry Service (HTIS)

HTIS is conducted to provide evidence timely and efficiently to support public health related decision makings. When the needs for evidence are requested, they are assigned to various timeframes based on necessity, timeliness, complexity of the evaluation. HTIS reports are to complemented by technical reports usually conducted in 9 months

Varies from within 24 hours to 30 days*

GSR The U.K. Rapid evidence assessment

Rapid evidence assessment is conducted for specific research questions. It is to review existing studies rapidly, to synthesis evidences from the studies, and to draw appropriate answer for the questions

2-6 months

*Contents are based on the materials provided from Canadian Agency for Drugs and Technologies in Health (CADTH). DACEHTA : Danish Centre for Health Technology Assessment, AHRQ: Agency for Healthcare Research and Quality, ASERNIP-S: Australian Safety and Efficacy Register of New Interventional Procedure-Surgical, NICE: National Institute for Health and Clinical Excellence, CADTH: Canadian Agency for Drugs and Technologies in Health, GSR: Government Social Research Service, HTA: Health Tech-nology Assessment



ficacy Register of New Interventional Procedure-Sur-gical(이하 ASERNIP-S),7) Canadian Agency for Drugs and

Technologies in Health(이하 CADTH),8,9) Government

Social Research Service(이하 GSR)10) 세 곳이었다.

그리고 이 중, CADTH는 Health Technology Inquiry Ser-vice(이하 HTIS)라는 독립된 체계를 가지고 있고, GSR의

방법론 분류체계는 사회학 분야에서 도출되었기 때문에, 이

후 신속 체계적 문헌고찰 주요연구 검토에서는 ASERNIP-

S의 보고서가 중점적으로 다루어질 예정이다.

용어 정리

간소화된 문헌고찰 방법에 대한 용어와 이들에 대한 정의

는 다양하게 혼재되어 있었으며(부록 표 1) 이들을 의미 있

게 분류 및 정리하기는 어려웠다. 이에 따라 본 논문에서는

신속 체계적 문헌고찰(rapid SR)을 새로운 용어로서 제안하

고 다른 용어들과 구분함으로써 그 의미를 제시하고자 한다.

또한, 신속 의료기술평가(rapid HTA)는 신속 체계적 문헌고

찰의 유의어로 사용하고자 한다.

신속 체계적 문헌고찰과 혼용 가능성이 큰 용어로 신속

검토(rapid review)가 있는데, 신속 검토는 평소보다 신속하

게 진행하는 모든 방법을 포괄하는 개념으로, 신속 체계적

문헌고찰은 신속 검토의 한 부분으로 볼 수 있다(그림 1). 신

속 검토 내 어떤 검토 방법이 있는지는 현재 지나치게 다양

한 방법들이 행해지고 있어 체계적으로 분류를 할 수 없어

신속 체계적 문헌고찰(rapid SR)과 신속하게 행해지되 체계

적 문헌고찰이 아닌 것(rapid non-systematic review)으로만

구분하였다.

신속 검토 내 분류의 모호함을 보완하고 신속 체계적 문

헌고찰의 방법론상에서의 위치를 좀 더 명확하게 파악하기

위해 보건의료에서부터 보건사회 영역까지 각 의료기술평

가 기관의 방법론 분류체계를 폭넓게 검색하였고, 가장 참고

할 수 있다고 판단되는 분류는 표 2와 같았다.

GSR 문헌검토 분류체계는 연구 시행기간과 체계적으로

수행되었는지 여부를 동시에 고려하였다. 본 연구 주제인 신

속 체계적 문헌고찰은 위 분류에 있어서 신속 근거평가에

해당되는 것으로 판단하며, 신속 근거평가의 방법과 특성을

파악함으로써 신속 체계적 문헌고찰의 방법과 특성을 파악

할 수 있겠다.

신속 근거평가는 제한된 주제에 대한 현존하는 연구들을

빠르게 개관하고 연구결과를 합성하여 핵심질문에 대하여

답하고자 하는 방법론으로, 신속성과 체계성을 동시에 가지

고 있다는 것이 핵심적인 특징이다. 그래서 간략검토와는 연

구결과 합성 여부(체계성)로 구별이 되고 완전한 체계적 문

헌고찰과는 현존하는 연구들을 검토하는 폭과 깊이와 시행

기간(신속성)에 의해 구분된다.

신속 체계적 문헌고찰 주요 관련연구 검토a)

신속 체계적 문헌고찰 시행 현황

신속 체계적 문헌고찰의 시행 현황을 가장 체계적이고 포

괄적으로 파악한 연구로 ASERNIP-S 기관이 2007년 설문

지를 개발하여 총 50개 의료기술평가 기관 및 보건의료기관

을 대상으로 시행한 설문조사가 있었다. 설문지를 받은 50개

의 기관 중 23개의 기관이 회신하였고, 그 중 신속 체계적 문

헌고찰을 수행하고 있다고 대답한 18개의 기관이 36개의 신

속 체계적 문헌고찰 보고서에 대하여 보고하였다.

시의적절성이 신속 체계적 문헌고찰의 핵심인 만큼 시행

기간은 가장 주요한 결과 중 하나였는데, ASERNIP-S의 설

문조사 결과에 따르면 36개의 신속 체계적 문헌고찰 중 1개

월에서 3개월 사이에 완료된 수가 17건으로 가장 많았고, 그

다음이 3개월에서 6개월인 16건이었다(표 3).

그리고 2006년에 수행된 International Network of Agen-cies for Health Technology Asessment(이하 INAHTA)에 가

입된 의료기술평가기관 대상 예비 설문조사11)에서, 7개의 기

관이 보고한 15개의 신속 체계적 문헌고찰 중 1개월에서 3

개월 사이에 완료된 수가 9개이고 3개월에서 6개월 사이에

완료된 수가 6개였다는 결과가 있어, 주요 의료기술평가기관

들이 어느 정도 일관된 시행 기간 내에 신속 체계적 문헌고찰

을 수행하고 있는 것으로 관찰되었다.

신속 체계적 문헌고찰을 수행하게 된 근거에 대해서는

2007년 ASERNIP-S 설문조사와 2006년 예비 설문조사 질

문의 초점이 약간 달랐다. 2007년 ASERNIP-S에서의 질문

의 의도는 체계적 문헌고찰이 아닌 신속 체계적 문헌고찰을

시행한 이유에 대한 것으로, 복수응답에 의해 44%(16건)가

‘정책적으로 시급한 의사결정을 지원하기 위하여’라고 답하

였고, ‘시간과 자원의 한계’가 33.3%(12건)로 두 번째로 많았

다. 그리고 그 외 ‘이전 HTA 보고서에서 제기된 구체적인 질

문에 대한 답을 도출하기 위하여’(11건, 30.6%), ‘임상적인

Rapid SR(rapid HTA)

Rapid non-SR

Rapid review

Fig. 1. Relationship of rapid review and rapid systematic review (rapid SR). Rapid HTA: rapid health technology assessment. a)최종 선정된 주요 관련 연구는 참고문헌에 정리되어 있음.

H Son, et al.


시급성’(6건, 16.7%), ‘의료기술 도입 여부 결정을 위해’(6건,

16.7%) 등이 제시되었다.

이와는 달리, 2006년 예비 설문조사에서는 신속 체계적

문헌고찰의 활용 목적에 초점을 맞추어 질문을 하였고, 복수

응답에 의해 9건이 ‘보험급여 범위를 정하기 위해서’로 월등

하게 많았다. 기타 제시된 목적으로는 통상적인 의료기술의

시행을 지지하기 위하여(routine practice, 2건), 치료를 위탁

하기 위하여(referral for treatment, 2건), 가이드라인 작성을

위하여(guideline formulation, 2건) 등이 있었다.

2006년 예비 설문조사에 따르면, 공공의료기관에서 의뢰

를 받아 작성된 1개를 제외한 14개의 신속 체계적 문헌고찰

이 모두 복지부와 국회의 요청에 따라 작성되었는데, 이는

좀 더 확장된 ASERNIP-S 설문조사에서도 유사한 결과를

보였다. 신속 체계적 문헌고찰을 토대로 의사결정을 내릴 주

체가 누구인지에 대하여 복수 응답을 허용한 결과, 전체 인

구에게 효과적이고 접근 가능한 보건의료시스템 제공의 의무

가 있는 국가 단위의 의사 결정자(macro level)가 69.4%(25

건)로 가장 많았고, 지역 특성화된 보건의료 프로그램을 구

성하는 지역 단위(meso level)와 개별 병원 및 전문가 단위

(micro level)는 각각 47.2%(17건), 38.9%(14건)의 결과를 보

였다. 연구(Hailey 등, 2000)에 따라 지역단위 보건의료기관

(regional health authority)과 개별 병원의 요청 빈도가 조금

높게 나오기도 했지만 대부분 국가단위에서 많이 요청을 하

는 것이 일관된 결과였다.

신속 체계적 문헌고찰 시행 방법의 주요 이슈

기관 현황 수기검토 및 시행현황에서 알 수 있듯이 신속 체

계적 문헌고찰은 그 용어와 정의, 시행기간, 방법론 등 모든

요소에 대하여 아직 일치된 결론이 없는 상태이며, 통상적으

로 수행되는 다수의 연구질문을 가진 체계적 문헌고찰보다

는 좀 더 구체적인 하나의 핵심질문을 가지고 비교적 짧은 시

간 내 이루어진 체계적 문헌고찰 보고서로 받아들여지고 있

었다. 그리고 여기서 핵심은 기본적으로는 체계적 문헌고찰

의 방법론을 차용하지만 이를 보다 신속하게 수행해야 한다

는 데 있다.

다시 말해, 시의적절하게 근거를 제공하는 것과 근거의 질

간의 균형을 맞추는 것이 가장 큰 이슈인데, 현재로서는 어

떻게 신속하게 수행할 것인지에 대한 방법론에 대한 합의가

이루어지지 않아 각 기관마다 각기 다른 전략을 사용하고 있

었다. 이 중 가장 빈번하게 사용되고 거론되는 전략으로는 제

한적인 문헌검색, 질평가 생략, 연구질문의 구체화가 있었다.

제한된 문헌검색

ASERNIP-S 설문조사에서 신속 체계적 문헌고찰의 검색

전략에 대한 결과에 따르면, 복수응답에 의해 ‘포괄적 전자

Table 2. Typology of literature (provided by Government Social Research, GSR)

TermsReviews with

systematic methods Definition and methods

Timeframe for conducting

Literature review X Quick overview of research undertaken on a (constrained) topic

1 week-2 months

Quick scoping review X Quick overview of research undertaken on a (constrained) topic

1 week-2 months

Rapid evidence assessment

O Quick overview of existing research on a (constrained) topic and a synthesis of the evidence provided by these studies to answer the question

2-6 months

Full systematic review O A broad review of existing research on a topic and synthesis of the evidence provided by these studies to answer the review question

8-12 months minimum

Multi-arm systematic review

O Full map and synthesis of different types of evidence to answer the review question

12 months minimum

Review of reviews O Same as any of the other methods but only includes reviews of other reviews

Often quicker than other types of full systematic review

http://www.civilservice.gov.uk

Table 3. Timeframe of rapid systematic review (rapid SR)

Timeframe Frequency, n (%)

Less than 1 month 2 (5.6)

1-3 months 17 (47.2)

3-6 months 16 (44.4)

1-3 months & 3-6 months 1 (2.8)

Total 36 (100)

Adapted Table. Copyright © 2007 Australian Safety and Effica-cy Register of New Interventional Procedure-Surgical pub-lished by The Royal Australasian College of Surgeons



검색 데이터베이스 검색’이 50%(18건), ‘제한된 전자검색 데

이터베이스 검색’이 55.5%(20건)로 반반의 비율을 보였다

(표 4). 반면, 체계적 문헌고찰에서는 ‘포괄적 전자검색 데이

터베이스 검색’이 100%(13건)에서 시행되었고 수기 검색 및

회색문헌 검색 또한 신속 체계적 문헌고찰보다 현저히 높은

빈도로 이루어지고 있는 것으로 나타나, 다수의 기관에서 신

속 체계적 문헌고찰시 제한된 문헌검색을 시의적절성을 달

성하기 위한 전략으로 사용함을 알 수 있었다.

신속 체계적 문헌고찰과 같이 현존하고 있는 개별 연구를

기반으로 하는 연구방법에서는 개별 연구 확보 과정에서의

제한된 문헌 검색은 비뚤림(bias)을 양산하고 근거의 질을 떨

어뜨릴 수 있다. 신속 체계적 문헌고찰에서 문헌 검색 과정

을 축소하는 것이 연구결과에 미치는 영향력에 대하여, Eg-ger 등12)의 연구는 Medline에 인덱스가 되어 있는 연구와 인

덱스 되어있지 않은 연구, 영어로 출판된 연구와 비영어 출

판 연구 간에 효과추정치가 달라지는지 각각 메타분석을 시

행하였다. 그리고 그 결과, 두 가지 경우에서 모두 효과추정

치는 크게 달라지지 않은 것으로 나타났다(5% 미만). 또한,

주요 전자검색 데이터베이스에서 쉽게 검색 가능한 영어 출

판 연구만 포함한 메타분석과 회색문헌 검색 및 수기검색을

거쳐 언어제한 없이 포괄적으로 검색을 시행한 메타분석의

효과추정치는 많은 경우 유사한 것으로 드러났다.

그러나 주제별로 하위그룹 분석을 시행하였을 때 그룹 간

편차가 심하였으며, 대체의학분야의 경우 주요 전자검색 데

이터베이스에서 뿐만 아니라 회색문헌까지 검색하고 비영

어 출판 연구도 포함할 때의 결과가 그렇지 않을 때의 결과

와 차이를 드러냈다. 심장학과, 산과, 부인과 같은 경우 주요

데이터베이스의 영어 출판 연구만 포함해도 포괄적인 문헌

검색을 했을 때와 효과추정치가 크게 달라지지는 않았지만,

제한된 문헌 검색으로 인하여 효과추정치에 영향을 미칠만

한 개별연구가 누락될 가능성은 항상 존재함을 염두에 두어

야 한다고 결론을 내리고 있었다. 또한, 이에 따라 제한된 문

헌 검색을 한 경우에는 그로 인해 근거의 질과 연구 결과에

미치는 영향에 대하여 임상전문가 및 방법론 전문가와의 논

의가 반드시 필요하다고 덧붙이고 있었다.

문헌 검색과 연구 선별 및 선정 작업을 최소 자원으로 효율

적으로 할 수 있는지에 대해 다른 연구에서도 Egger 등(2003)

의 연구와 마찬가지로 명확한 결론을 내리지는 못하였다.

Royle와 Milne13)은 무작위배정 비교임상시험연구 검색을 효

율적으로 하는 방법을 제시하기 위하여 주요 전자검색 데이

터베이스 순으로 검색을 시행하며 최종 포함되는 연구가 어

떤 데이터베이스에서 검색된 것인지 출처를 밝혔다. 연구 결

과, Cochrane Controlled Trials Register 검색만으로도 최종

포함된 연구의 78.5%가 검색되었고, Medline과 EMBASE 검

색을 추가하면 각각 3.3%와 0.8%가 추가되었다. 다시 말해,

세 개의 주요 전자검색 데이터베이스 검색에 의해 82.6%의

개별연구가 확보되었고 이 외 데이터베이스 등의 검색을 통

해서 추가되는 연구는 매우 적어서, 무작위배정 비교임상연

구 검색시에는 Cochrane Controlled Trials Register, Med-line, EMBASE 검색만으로도 괜찮은 것으로 결론지어졌다.

그러나 이는 순전히 연구 수에 대한 것으로, 세 개의 전자검

색 데이터베이스 외 추가 검색으로 포함되는 연구로 인해

최종 연구결과가 어떤 영향을 받을지에 대해서는 검토하지

않았으며 추후 체계적인 연구가 필요한 부분임을 밝히고 있

었다.

질평가 생략

신속 체계적 문헌고찰에서 시의적절성 달성을 위해 문헌

검색을 간소화하는 것 외에 질평가를 생략하는 경우도 빈번

하다. Egger 등(2003)의 연구 결과에 따르면, 배정은폐(alloc-ation concealment)와 맹검법(blinding)이 제대로 시행되지

않은 질이 낮은 연구를 포함한 경우 효과추정치가 유의하게

높아져 질이 낮은 연구에 의해 중재법의 효과가 과대 추정

되는 비뚤림의 가능성이 제기되었다. 그리고 이에 따라, 개

별 연구에 대한 질평가를 시행하여 일정 수준 이하의 연구

의 포함여부에 대하여 민감도 분석을 시행하는 것이 매우

중요하며, 신속 체계적 문헌고찰에서와 같이 자원이 한정되

어 방법론을 간소화해야 하는 경우 문헌 검색을 포괄적으로

하는 것보다 개별 연구의 질평가를 제대로 시행하는 것이

잘못된 연구 결과를 제시하게 될 위험성을 더 줄일 수 있다

Table 4. Strategies of literature search, rapid systematic review (rapid SR) versus full systematic review (SR)

StrategyType of review

Rapid SR (n=36) Full SR (n=13)

Systematic search of many databases, n (%) 18 (50.0) 13 (100)

Systematic search of restricted databases, n (%) 20 (55.5) 4 (30.8)

Hand-searching, n (%) 9 (25.0) 9 (69.2)

Grey literature, n (%) 15 (41.7) 10 (76.9)

Adapted Table. Copyright © 2007 Australian Safety and Efficacy Register of New Interventional Procedure-Surgical published by The Royal Australasian College of Surgeons

H Son, et al.


고 제안하였다.

다시 말해, 제한된 문헌검색과는 달리 질평가 생략에 대해

서는 비뚤림 발생이 유의하게 나타나는 것으로 확인되었고,

Egger 등(2003) 뿐만 아니라 Oxman 등14) 또한 신속 체계적

문헌고찰 시행시 질평가는 생략하지 않는 것으로 권고하고

있었다.

연구질문의 구체화

제한된 문헌검색과 질평가 생략은 방법론을 간소화함으

로써 시의적절성을 달성하는 방법으로, 잘못된 연구결과가

도출될 가능성이 높아지고 근거의 질이 저해되는 위험이 항

상 존재한다. 반면, 연구질문의 구체화는 그 위험을 감수하

지 않고 방법론은 체계적으로 고수하되, 임상 전문가와 이해

집단과의 논의를 통해 현 시점에서 가장 필요한 근거에 선

택 집중하여 구체적인 연구질문에 대하여 답을 하는 것으로

시의적절성을 달성할 수 있다. NICE에서 근거 평가(apprai-sal) 하고 있는 단일 중재법의 단일 적응증에서 효과성 및 안

전성에 대한 근거 평가 연구(single Health Technology As-sessment)가 여기에 해당한다고 할 수 있겠다.

ASERNIP-S 보고서에서는 연구 질문을 구체화하여 신속

체계적 문헌고찰을 시행하는 경우 시의적절성과 근거의 질

이라는 상충된 가치를 동시에 달성하는 데 용이해 보이며,

신속 체계적 문헌고찰이 완전한 체계적 문헌고찰의 축소판

격이 아니라 단일 중재법의 의료기술평가 방법론으로서 독

립적인 역할을 갖게 된다는 장점에 주목하였다.

그러나 기본적으로 신속 체계적 문헌고찰을 시행하는 가

장 빈번한 이유는 정책 결정자가 시급하게 근거를 요구하기

때문이며, 연구질문의 범위와 시행기간은 요구에 따라 미리

정해져 조정의 여지가 없는 경우가 적지 않을 것으로 사료

된다. 또한, 실제로 구체화된 연구질문으로 신속성을 달성하

면서도 근거의 질을 보장하고자 하는 기관은 소수에 불과하

여 현실적으로 실행 가능한지에 대하여 확신할 수 없다.

신속 체계적 문헌고찰의 역할

근거의 시의적절한 제공과 근거의 질은 서로 역방향의 관

계에 있으며, 시의적절성을 위해 방법론을 제한하는 것에 따

르는 위험성과 연구 결과에의 영향은 아직 명확하게 밝혀진

바가 없다. 그리고 연구질문을 구체화하여 신속 체계적 문헌

고찰을 시행하는 것은 좀 더 논의가 필요한 것으로 보인다.

이 같은 상황에서 신속 체계적 문헌고찰은, CADTH의

HTIS와 같이 제한점을 가지고 있되 시의적절하게 근거를

제공하고 추후 완전한 체계적 문헌고찰에 의해 후행되는 초

기 보고서의 역할을 할 수 있다. 그리고 이 때, 다수 연구14-16)

들에서 권고하는 바와 같이 시의적절성을 달성하기 위해 사

용한 방법론과 제한점, 그리고 그 제한점으로 인한 비뚤림이

연구결과와 근거의 질에 미치는 영향에 대하여 최대한 객관

적이고 자세하게 보고하는 것이 반드시 수반되어야 한다.

Hailey 등(2000)의 연구에서 보고하는 신속 의료기술평가

(rapid Health Technology Assessment) 보고서 또한 주요 전

자검색 데이터베이스에서 검색된 무작위배정 비교임상시험

연구 위주의 연구가 포함되는 제한적인 방법론에 의해 시행

된다. 그렇기 때문에 연구의 결과물은 INAHTA에 의해 근거

평가(appraisal) 과정을 거치고 있으며, 차후 완전한 의료기

술평가 보고서로 연구 결과를 보완할 것을 권장하고 있다.

Best 등(1997)의 연구에서 보고하고 있는 신속 체계적 문

헌고찰은 방법론적으로 보았을 때 Hailey 등(2000)의 연구에

서 보고하는 신속 의료기술평가보다 훨씬 덜 제한적이지만,

그럼에도 불구하고 시의적절성과 자료 검색에 드는 시간과

노력 간에는 상충점이 있다는 것을 이해하고, 보고하고 있는

신속 체계적 문헌고찰이 항상 정확한 과학적 사실을 전달하

는 것은 아님을 인지할 것을 당부하고 있다.

Burls 등(2004)과 Oxman 등(2006b) 연구는 시의적절성과

근거의 질 간의 균형을 맞추기 위해 사용한 방법론을 명시

하는 데 있어서 투명성이 보장되어야 한다는 것을 강조하고

있다.

신속 체계적 문헌고찰의 영향력

신속 체계적 문헌고찰 시행이 필요한 이유가 시급하게 정

책결정이 필요한 사안에 근거를 제공하기 위함인 만큼 실제

그 영향력을 알아보는 것은 중요하다. Hailey 등(2000)의 연

구에서는 20개의 신속 체계적 문헌고찰에 대하여 대면 논의

및 서면 질의를 시행하였는데, 20개 중 14개의 신속 체계적

문헌고찰이 실제 의사결정에 직접적인 도움을 주었고, 4건은

배경 정보를 제공한 것으로 나타나 신속 체계적 문헌고찰이

의사결정에 영향력을 가지는 것으로 나타났다.

2006년 INAHTA 설문결과에서도 거의 유사한 결론을 내

리고 있었다. 총 15개 신속 의료기술평가 중 복수 응답에 의

해 각각 10개가 의사결정과정에 충분히 고려되었거나 참고

문헌으로 사용되었고 8개는 권고사항이나 결론이 그대로 받

아들여져, 신속 의료기술평가는 시간적인 촉박함이 따르는

의사 결정에 있어서 유용한 의료기술평가의 한 형태라고 판

단하고 있었다.

또한, Hailey 등(2000)의 연구에서 20개의 신속 체계적 문

헌고찰이 정책 과정에 영향을 주는 영역이 네 가지-거주지

밖에서 받은 치료의 적합성 평가, 의료기술도입 및 보험급여

결정, 의료기기 구입여부 결정, 현존하는 의료기술의 임상적



시행에 대한 평가-로 분류되었는데, 이는 신의료기술에서부

터 현존하는 의료기술까지 넓은 범위에 신속 체계적 문헌고

찰이 영향을 끼침을 알 수 있다.

고찰 및 결론

신속 체계적 문헌고찰은 통상적인 의료기술평가 보고서보

다 구체적이고 좁은 연구질문을 가지고 비교적 짧은 시간 내

에 이루어진 의료기술평가 형태의 보고서로 정의되며, 2007

년 ASERNIP-S의 설문조사에 따르면 50개의 의료기술평가

기관 중 18곳에서 대부분 1~3개월 혹은 3~6개월의 연구기간

을 가지고 시행 중이다. 방법론에 있어서는, 현재는 각 기관

별로 나름의 논리를 가지고 시행해보는 초기단계이지, 합의

된 방법론을 제시할 수준은 아닌 것으로 판단된다. 특히, 주

요 이슈인 시의적절성과 근거의 질의 균형을 맞추는 문제에

있어서 각 기관별로 다양한 방법을 사용하고 있었으며 공통

된 방법론을 찾을 수 없었다.

그러나 주요 관련 연구 검토결과에 따르면, 시의적절성을

달성하기 위해 문헌검색을 제한적으로 시행하는 것이 연구

결과에 비뚤림을 발생시키는지에 대하여 결론내리지 못하

였으며, 특정 분야의 경우 비뚤림 발생 가능성이 높은 것으

로 관찰되었다. 그 연구 결과들에 의하면 질평가 생략은 비뚤

림을 유의하게 발생시키는 것으로 관찰되었으며, 다수의 연

구들에서 질평가를 생략할지 제한된 문헌검색을 할지 둘 중

에 하나를 선택할 상황이라고 한다면 질평가를 포괄적 문헌

검색보다 우선적으로 행할 것을 제안하고 있었다. 방법론을

간소화하지 않고 연구질문의 폭을 제한하여 시의적절성을

달성하는 방법도 제기되고 있으나 이는 현실적으로 시행하

기 용이하지 않은 것으로 판단된다.

따라서, 현재 신속 체계적 문헌고찰은 방법론 간소화로 인

한 제한점을 가지고 있되 시의적절하게 근거를 제공하는 초

기 보고서 역할을 할 수 있으며, 추후 완전한 체계적 문헌고

찰에 의해 보완되어야 한다. 또한, 신속 체계적 문헌고찰 작성

시에는 방법론 상의 제한점과 그로 인해 발생이 예상되는 비

뚤림에 대하여 최대한 객관적이고 자세하게 보고되어야 한다.

ASERNIP-S 보고서에서는 신속 체계적 문헌고찰의 유연

한 특성과 포괄하는 중재법의 다양성(신의료기술에서부터

누적된 근거의 양이 많은 현존하는 의료기술까지)으로 인해

단일 방법론의 도출이 불가능할 수도 있겠다고 언급하고 있

는데, 추후 연구에서는, 첫째, 이를 토대로 신속 체계적 문헌

고찰을 시행함에 있어 일치된 방법론이 도출될 수 있는지의

가능성에 대하여 면밀히 검토해 보아야 하겠다. ASERNIP-

S 보고서에 신속 체계적 문헌고찰과 완전한 체계적 문헌고

찰 간 비교를 통해, 안전성과 중재의 위험요소까지 고려해야

하는 중재법, 복잡하고 윤리적인 관점이 필요한 중재법, 논

란이 되는 중재법, 비용효과분석이 필요한 중재법에는 완전

한 체계적 문헌고찰이 신속 체계적 문헌고찰보다 적합하다

고 보고한 바 있으니, 하나의 합의된 방법론의 도출이 불가

능하다고 판단되면 주제별로 혹은 중재법별로 하나 이상의

방법론에 대하여 생각해 볼 수도 있겠다.

둘째, 신속검토는 시의적절성과 근거의 질이라는 두 가지

상충하는 가치 사이의 균형을 맞추어야 하는 큰 숙제를 가

지고 있다. 이에 대하여, 방법론을 간소화하여 시의적절성을

달성하는 것은 방법론의 간소화가 연구결과 및 질에 미치는

영향이 연구되지 않은 상태에서 사용되면 위험이 크기 때문

에 현 시점에서 가장 필요한 근거에 선택 집중하여 깊이가

아닌 범위를 조정하는 것이 나을 수도 있다. 이 경우, 우선순

위를 정하고 연구의 범위를 조절하는 데 있어서 전문가 패널

의 역할이 중대해지는데, 현재까지 신속 체계적 문헌고찰에

서 전문가 패널의 활용에 대하여 논의된 바가 없어 향후 논

의가 필요하다.

셋째, 주제의 시급함 혹은 정책 결정자의 요구로 인해 연

구 질문이 구체화되지 못한 상태에서 신속 체계적 문헌고찰

이 필요할 수 있으므로 근거의 질과 연구 결과에 한계를 지닌

보고서로서의 역할도 필요하다. 그리고 이 때 시의적절성을

위해 방법론을 간소화하는 경우 발생하는 위험을 파악하고

이를 최소화하는 방안에 대한 논의가 필수적이다. 또한, 한

계를 지닌 보고서이기 때문에 일정 기간 내 완전한 체계적 문

헌고찰에 의하여 보완되어야 하는데 이에 대한 원칙 및 필

요한 경우 제도적 장치 마련도 논의되어야 하겠다.

요약하자면, 신속 체계적 문헌고찰은 현재로서는 근거를

시의적절하게 제공하는데 초점이 맞추어져 있으며, 과정에

있어서의 체계성과 근거의 질적 측면에서는 한계를 지니고

있기 때문에 이후 반드시 완전한 체계적 문헌고찰에 의하여

보완되어야 하는 연구방법으로 받아들여지고 있다. 그러나

신속 체계적 문헌고찰에서 도출하고 있는 결과는 정책 결정

의 근거자료로 쓰이기 때문에 그 신뢰성과 적용성을 향상시

킬 필요가 있으며 이를 위하여 앞으로 근거의 시의적절성과

근거의 질 간에 균형을 찾기 위한 노력이 더 필요하다.

Acknowledgments한국보건의료연구원, 과제번호: NB2010-004.

본 논문 내용의 일부는 2010년 한국보건의료기술평가학회 후기

학술대회 [주제토론 2] 신속검토를 통한 보건의료기술평가에서 “신

속검토의 개요 및 활용 현황발표” 제목으로 발표되었음.

REFERENCES1) European Network for Health Technology Assessment. EUnetHTA

H Son, et al.


Adaptation Glossary. http://eunetone.dimdi.de/_glossary/.2) Health Technology Assessment International. Membership Directory.

http://www.htai.org/index.php?id=458.3) Agency for Healthcare Research and Quality. Assessment of the

Need to Update Comparative Effectiveness Reviews. Report of an Initial Rapid Program Assessment;2009.

4) National Institute for Health and Clinical Excellence. Guide to The Single Technology Appraisal Process;2009.

5) Danish Centre for Evaluation and Health Technology Assessment. Introduction to Mini-HTA: A Management and Decision Support Tool for The Hospital Service;2005.

6) Kristensen FB, Sigmund H, editors. Health Technology Assessment Handbook. Copenhagen: Danish Centre for Evaluation and Health Technology Assessment, National Board of Health;2007.

7) Cameron A (other authors not reported). Rapid versus Full Systemat-ic Reviews: An Inventory of Current Methods and Practice in Health Technology Assessment. ASERNIP-S Report No. 60. Adelaide, South Australia: ASERNIP-S:July 2007.

8) Canadian Agency for Drugs and Technologies in Health. CCOHTA’s Health Techonolgy Inquiry Service (HITS). Available from: http://www.cadth.ca/en/products/environmental-scanning/health-technolo-gy-update/issue1/healthtechnologyinquiryservice.

9) Canadian Agency for Drugs and Technologies in Health. 기관 제공

자료. 10) Government Social Research Service. Methods for Reviewing Evi-

dence. Available from: http://www.civilservice.gov.uk/networks/gsr/resources-and-guidance/rapid-evidence-assessment/what-is.

11) Hailey D. A preliminary survey on the influence of rapid health tech-nology assessments. Int J Technol Assess Health Care 2009;25:415-418.

12) Egger M, Juni P, Bartlett C, Holenstein F, Sterne J. How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study. Health Technol As-sess 2003;7:1-76.

13) Royle P, Milne R. Literature searching for randomized controlled tri-als used in Cochrane reviews: rapid versus exhaustive searches. Int J Technol Assess Health Care 2003;19:591-603.

14) Ganann R, Ciliska D, Thomas H. Expediting Systematic Reviews: Methods and Implications of Rapid Reviews. Available from: http://www.implementationscience.com/content/5/1/56.

15) Best L, Stevens A, Colin-Jones D. Rapid and Responsive Health Technology Assessment. Journal of Clinical Effect 1997;2:51-56.

16) Hailey D, Corabian P, Harstall C, Schneider W. The use and impact of rapid health technology assessments. Int J Technol Assess Health Care 2000;16:651-656.



Supplement Table 1. Use of rapid systematic review (rapid-SR) in each institution of health technology assessment

InstitutionsWhether manuals, official documents,

introducing materials exist

Term to indicate rapid-SR

Adelaide Health Technology Assessment (AHTA) XAetna XAgency for Healthcare Research and Quality O Rapid program

assessmentAlberta Heritage Foundation for Medical Research (AHFMR) XAustralian Safety and Efficacy Register of New Interventional Procedures-Surgical (ASERNIP-S)

O Rapid review

Bazian: Evidence-Based Support for Healthcare Commissioning XBlue Cross and Blue Shield Association, Technology Evaluation Center

X

California Technology Assessment Forum XCanadian Agency for Drugs and Technologies in Health (CADTH)

O Health Technology Inquiry Service (HTIS)

Canadian Health Services Research Foundation XCenters for Medicare and Medicaid Services (CMS) XCentre for Clinical Effectiveness (CCE)-Monash University XCentre for Evidence-Based Medicine (UK) XCentre for Review and Dissemination (CRD) York XDanish Centre for Health Technology Assessment (DACE) O Mini-HTAHayes Health Technology Assessment & Consulting XHealth Evidence Network (HEN)-WHO XHealth Information Research Unit (HIRU) XHealth Technology Assessment Information Service XInstitute for Clinical Systems Improvement (ICSI) XJohns Hopkins Evidence-Based Practice Center XLudwig Boltzmann Institut (LBI-HTA) O Rapid assessmentsMedical Advisory Secretariat (MAS) X Rapid reviewMedical Services Advisory Committee (MSAC) X Horizon scanningAustralia and New Zealand Horizon Scanning Network (ANZHSN) X Horizon scanningNational Horizon Scanning Center (NHSC) (UK) X Horizon scanning and

assessmentNational Information Center on Health Services Research and Health Care Technology (NICHSR)

X

National Institute for Health and Clinical Excellence (UK) O Single technology appraisal (STA)

National Institute of Clinical Studies (NICS) (AU) XNew Zealand Guidelines Group (NZGG) (New Zealand) XNew Zealand Health Technology Assessment (NZHTA) XNHS Quality Improvement Scotland (NHS QIS) XOffice of Science Policy, Analysis and Communication (OSPAC) XOregon Evidence Based Practice Center XRAND Health: The Southern California Evidence-Based Practice Center

X

Society for Medical Decision Making (SMDM) X

- 부 록 -

H Son, et al.


Supplement Table 1. Continued

InstitutionsWhether manuals, official documents,

introducing materials exist

Term to indicate rapid-SR

Technology Evaluation Center: Office of Clinical Affairs Blue Cross and Blue Shield Association

X

The Hastings Center: Bioethics and Public Policy XU.S. Food and Drug Administration (FDA) XUK Civil Service-GSR (Government Social Research) O Rapid Evidence

Assessment (REA)

UK NHS National Coordinating Centre for Health Technology Assessment (NCCHTA)

X Rapid review panel (RRP), rapid assessment

UNC Evidence-Based Practice Center: RTI International XUniversity HealthSystem Consortium XVA Technology Assessment Program (VATAP) O Brief overview, short

report (5-20 pages)

johta mlcomm2$11.서혜선.pdf계적 문헌고찰 관련 매뉴얼, 공식문건, 소개 등이...

Documents