대개 근거중심의학(EBM, Evidence-Based Medicine)에 기반한 정보를 찾는다고 한다면, 가장 먼저 살펴보는 것은 체계적 문헌 고찰(SR, Systematic Review)입니다. EBM에서 SR은 가장 높은 수준의 근거로 분류되며, 각종 치료법의 안전성 및 유효성 관련 근거를 종합하는 가장 유용한 도구이기 때문입니다. 그러나 문헌 검색이나 통계 검정 등 세부 과정이 제대로 수행되지 않은 SR은 편향되거나 그릇된 결론으로 이어질 가능성이 높기 때문에 정보를 받아들이는 데에 있어 주의를 기울여야 합니다.
단순히 '주의를 기울인다'고만 하면, 무엇을 어떻게 체크하여야 할지 오히려 막연하게 느껴지기도 합니다. 정형화된 틀에 맞게 문헌의 내적타당도를 하나씩 체크해나갈 수 있도록 도와주는 도구가 있으니, 바로 PRISMA(Prefered Reporting Items for Systematic reviews and Meta-analyses statement)와 AMSTAR 2(Assessment of Multiple Systematic Reviews)입니다.
PRISMA
PRISMA 공식 홈페이지의 설명에 따르면, PRISMA는 체계적 문헌 고찰 및 메타 분석 보고를 위한 근거 기반 최소 항목의 집합입니다. 주로 중재(Intervention)의 효과를 평가하기 위해 사용되나, 이외의 목적(유병률, 진단·예후 평가 등)을 위해서도 사용될 수 있습니다. 공식 한국어 번역본을 제공하고 있습니다.
PRISMA는 총 27개 항목으로 구성된 체크리스트 및 흐름도(Flow Chart)로 구성됩니다. 흐름도의 경우 정형화된 모양이기 때문에 빠르게 익숙해집니다. 흐름도는 figure 설명에 PRISMA flow chart라고 명시하는 경우가 많습니다.1
일부 저널에서는 SR 투고 시, 연구자가 의무적으로 PRISMA 체크리스트를 첨부하여야 하며, 누락된 경우 게재 거절(Rejection)로 이어지는 방식으로 게재되는 논문의 질을 관리하기도 합니다. 그만큼 체계적 문헌 고찰에 있어 PRISMA는 중요한 역할을 하고, 이미 게재된 논문들의 방법론과 질을 평가하기 위한 도구로 활용되기도 합니다.
AMSTAR 2
AMSTAR 2는 신뢰도와 구성타당도가 검증된 도구로, 총 16개 항목으로 구성되어 있습니다. PRISMA 체크리스트와 다른 큰 특징은 일부 항목이 중요 항목(Critical Domains)으로 구분되어 있다는 점인데, 입문자라면 이를 통해 큰 도움을 받을 수 있습니다.2
| Item | Critical Domains |
| 2 | Protocol registered before commencement of the review |
| 4 | Adequacy of the literature search |
| 7 | Justification for excluding individual studies |
| 9 | Risk of bias from individual studies being included in the review |
| 11 | Appropriateness of meta-analytical methods |
| 13 | Consideration of risk of bias when interpreting the results of the review |
| 15 | Assessment of presence and likely impact of publication bias |
다만, 연구자들이 따로 적어두었듯 AMSTAR 2는 총점 산출에 사용되는 도구가 아니라는 점을 기억해두어야 합니다.(AMSTAR 2 is not intended to generate an overall score.) 총 16개 항목에 대해 Y/N 평가를 거쳐 Y 갯수가 많을수록 양질의 연구라고 생각해서는 안 된다는 것입니다. 연구자들은 AMSTAR 2를 이용해 문헌을 평가할 때의 등급을 총 4가지(High, Moderate, Low, Critically Low) 분류로 나누었고, 그 기준을 명확히 제시하여두었으니 이를 참고하면 됩니다.
| Grade | Scheme for interpreting weaknesses detected in critical and non-critical items. |
| High | No or one non-critical weakness: the systematic review provides an accurate and comprehensive summary of the results of the available studies that address the question of interest |
| Moderate | More than one non-critical weakness: the systematic review has more than one weakness but no critical flaws. It may provide an accurate summary of the results of the available studies that were included in the review |
| Low | One critical flaw with or without non-critical weaknesses: the review has a critical flaw and may not provide an accurate and comprehensive summary of the available studies that address the question of interest |
| Critically Low | More than one critical flaw with or without non-critical weaknesses: the review has more than one critical flaw and should not be relied on to provide an accurate and comprehensive summary of the available studies |
AMSTAR 2로 SR의 질을 평가하는 경우, 다음과 같이 참고 자료로 문항에 대한 개별 평가를 제시하는 경우가 많습니다. 모든 문항에 대한 평가 결과를 표기하는 경우도 있고, 중요 항목에 대한 평가만 제시하는 경우도 있습니다.
 |
 |
| Domnich, Alexander & Manini, Ilaria & Calabrò, Giovanna & Waure, Chiara & Montomoli, Emanuele. (2019). Mapping Host-Related Correlates of Influenza Vaccine-Induced Immune Response: An Umbrella Review of the Available Systematic Reviews and Meta-Analyses. Vaccines. 7. 10.3390/vaccines7040215. | Halter, M., Pelone, F., Boiko, O., Beighton, C., Harris, R., Gale, J., Gourlay, S., & Drennan, V. (2017). Interventions to Reduce Adult Nursing Turnover: A Systematic Review of Systematic Reviews. The open nursing journal, 11, 108–123. 10.2174/1874434601711010108 |
ROBIS
이외에 사용되는 도구로는 ROBIS(Risk of Bias in Systematic Reviews)가 있습니다. ROBIS는 총 3단계를 거쳐 진행되는데, 1단계는 관련성 평가(선택), 2단계는 고찰 프로세스 점검, 3단계는 비뚤림 평가입니다. 이 중 2단계는 4개의 영역(Study eligibility criteria, Identification and selection of studies, Data collection and study appraisal, Dynthesis and findings)으로 분류되고, 3단계에서는 위 4개 영역에서의 비뚤림 및 연구 결과 해석의 편향 여부를 검토합니다. ROBIS에 대한 자세한 설명은 브리스틀 대학교 홈페이지에 나와있으며, 점검표 다운로드도 가능합니다.
- 이미지 출처 : Yu, Caberry & Alavinia, S. & Alter, David. (2020). Impact of socioeconomic status on end-of-life costs: a systematic review and meta-analysis. BMC Palliative Care. 19. 10.1186/s12904-020-0538-y.) [본문으로]
- Shea B J, Reeves B C, Wells G, Thuku M, Hamel C, Moran J et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both BMJ 2017; 358:j4008 doi:10.1136/bmj.j4008 [본문으로]
