GRADE 에의한근거, 권고, 정책적우선순위결정 2014. 10. 24 2014 대한예방의학회추계학술대회 임현우가톨릭의대
SIGN: 근거수준 SIGN(Scottish Intercollegiate Guidelines Network, SIGN): 영국스코틀랜드의임상진료지침개발기구 근거수준과권고등급이있어권고의신뢰도가어느정도인지파악가능 근거에대한효과의크기나안전성은평가하지않으며근거의강도만고려한다는단점이있음 수준 설명 1++ 높은수준의메타분석, RCTs의체계적문헌고찰, 비뚤림위험이매우낮은 RCTs 1+ 잘수행된메타분석, 체계적문헌고찰및비뚤림위험이낮은 RCTs 1- 메타분석, 체계적문헌고찰, 비뚤림위험이높은 RCTs 환자대조군연구및코호트연구로수행된 2++ 높은질의체계적문헌고찰혼란변수및비뚤림위험이매우낮거나 높은수준의환자대조군연구및코호트 2+ 혼란변수및비뚤림위험이낮거나잘수행된환자대조군연구및코호트연구 2- 혼란변수및비뚤림위험이높거나환자대조군연구및코호트연구 3 비분석적연구 ( 사례보고, 사례연구 ) 4 전문가의견
USPSTF 근거수준 근거수준설명 USPSTF 는미국 HHS(U.S. Department of Health and Human Services) 로부터지원받고있음 자체에서개발한방법론을기반으로체계적문헌고찰을수행하고있음 일반적인선별검사 (screening tests), 상담, 면역및화학예방요법제를포함한예방서비스효과의근거에대하여권고안을제시하고있음 높음 적정 낮음 잘설계되고잘수행된연구로부터얻은일관된결과를포함한근거서비스의효과를평가하고이효과에대한결론이이후연구결과에의해영향을받을확률이매우낮다. 서비스의효과를결정하는데충분한근거가있지만추정의신뢰도가아래요인으로제한된다. - 개별연구의질, 규모, 개수 - 개별연구결과의비일관성 - 결과의제한된일반화 - 근거의일관성부재더많은정보로인해식별된효과의방향과규모가변할수있고이러한변화가결론을다르게만들충분한가능성이있다. 효과를평가하기에불충분한근거 - 연구의제한적인규모및개수 - 연구디자인및방법의중요한결점 - 개별연구결과의비일관성 - 근거의일관성부재 - 일반화할수없음 - 중요한결과에대한정보부족
GRADE 근거의수준 근거의수준 정의 : 현재까지의근거로해당중재의효과에대해확신하는정도 수준구분 : High: 추정된효과가실제효과와비슷할것이라고매우확신한다. Moderate: 추정된효과가실제효과와근접할것이라고확인한다. 하지만상당히다를수있는가능성도있다. Low: 추정된효과는실제효과와아마도상당히다를지모른다. Very low: 추정된효과는실제효과에상당히다를가능성이있다.
SIGN: 권고등급 등급 A B C D 권고유형목표대상에바로적용가능한하나이상의메타분석, 체계적문헌고찰, 1++ 등급의 RCT 목표대상에바로적용가능하며결과가전체적으로일관적인 1+ 수준의연구로구성된근거목표대상에바로적용가능하며결과가전체적으로일관적인 2++ 수준의연구가포함된근거 1++ 또는 1+ 수준의연구에서추론한근거목표대상에바로적용가능하며결과가전체적으로일관적인 2+ 수준의연구가포함된근거 2++ 수준의연구에서추론한근거 level 3, 4 수준의근거 2+ 수준의연구에서추론한근거
USPSTF: 권고등급 등급 A B C D I 등급정의 USPSTF는서비스를권고한다. 총이익 (benefit) 이상당한수준이라는것에높은확신이있다. USPSTF는서비스를권고한다. 총이익 (benefit) 이적정-상당하다는것에적정-높은확신이있다. USPSTF는서비스를관례적으로제공하는것에대한제재권고를한다 USPSTF는서비스를제공하지않을것을권고한다. 이익 (benefit) 이없거나위해가이익 (benefit) 을넘어선다는것에적정-높은수준의확신이있다. USPSTF는현재근거가이익 (benefit)-위해수준을판단하기에는불충분하다고결론을내린다. 근거가부족하거나근거의질이낮다. 이익 (benefit)-위해가서로상충해결론을내릴수없다.
GRADE: 권고등급 Balance 좋은효과 >> 나쁜효과좋은효과 > 나쁜효과좋은효과 < 나쁜효과좋은효과 << 나쁜효과 좋은효과 나쁜효과 권고의강도 FOR AGAINST STRONG (A) WEAK (B) WEAK (C) STRONG (D) 사용을권고함. 사용할것을약하게권고함. 사용하지않음을약하게권고함. 사용하지않을것을권고함.
Randomization increases initial quality P I C O Outcome Outcome Outcome Outcome Systematic review Critical Critical Important Not Summary of findings & estimate of effect for each outcome High Moderate Low Very low Grade down Grade up 1. Risk of bias 2. Inconsistency 3. Indirectness 4. Imprecision 5. Publication bias 1. Large effect 2. Dose response 3. Confounders Guideline development Formulate recommendations: For or against (direction) Strong or conditional/weak (strength) By considering: Quality of evidence Balance benefits/harms Values and preferences Revise if necessary by considering: Resource use (cost) Grade overall quality of evidence across outcomes based on lowest quality of critical outcomes We recommend using We suggest using We recommend against using We suggest against using
EP: evidence profile
SoF: Summary of finding G. Guyatt et al. / Journal of Clinical Epidemiology 64 (2011) 383e394
질평가에서고려사항 몇개의연구가 pool 되었나? 몇명의환자가참여? CI 는? RCT 인가? 편의는없는가? 눈가림, 차별적탈락? 자료가모두모아졌나? 결과가같은값을가지는가? 아니면다양한값을가지는가? 적절한시기에측정되었나 너무짧은시기에측정된것은아닌가?
질평가에서고려사항 몇개의연구가 pool 되었나? 몇명의환자가참여? CI 는? RCT 인가? 편의는없는가? 눈가림, 차별적탈락? 자료가모두모아졌나? Imprecision ROB Publication bias 결과가같은값을가지는가? 아니면다양한값을가지는가? 적절한시기에측정되었나 너무짧은시기에측정된것은아닌가? inconsistency Indirectness
근거수준의결정 출발점 : 연구디자인 RCT: High 관찰연구 : Low 환자군연구 : Very low DOWNGRADE 1 비뚤림의위험 2 비일관성 3 비직접성 4 비정밀성 5 출판삐뚤림 1 효과의크기 2 교란변수 3 양 - 반응관계 UPGRADE
비뚤림의위험 (RoB) No serious: 등급을낮추지않음 Serious: 한등급을낮춤 Very serious: 두등급낮춤 RCT 연구에서비뚤림의위험 1. allocation concealment 가이루어지지않음 2. 맹검 (blinding) 유지가안됨 3. 중도탈락으로모든환자에서 outcome 측정이이루어지지않음 4. 선택적인결과보고 5. 기타고려사항 연구조기중단 표준화되지않은도구를이용하여결과변수측정 교차설계에서이월효과 (carryover effect) 군집무작위설계에서피험자모집에서생기는편향
비일관성 (inconsistency) No serious: 등급을낮추지않음 Serious: 한등급을낮춤 Very serious: 두등급낮춤 이질성 (heterogeneity) 판단기준 -I 2 의크기, p 값의판단 -Forest plot 에서 CI 가서로겹치지않음 이질성이있지만연구자가이에대해잘설명하지못하고있다면근거의질을한등급혹은두등급낮춘다. 메타분석이있는경우 - 메타분석결과 : I 2 =50-75% 이면 -1 등급낮춘다. - 메타분석결과 : I 2 =75 이상이면 -2 등급낮춘다.
Example: 비일관성 Non-steroidal drug use and risk of pancreatic cancer Very serious!! Downgrade for inconsistency Capurso G, Schünemann HJ, Terrenato I, Moretti A, Koch M, Muti P, Capurso L, Delle Fave G. Meta-analysis: the use of non-steroidal anti-inflammatory drugs and pancreatic cancer risk for different exposure categories. Aliment Pharmacol Ther. 2007 Oct 15;26(8):1089-99.
No serious: 등급을낮추지않음비정밀성 (imprecision) Serious: 한등급을낮춤 Very serious: 두등급낮춤 정밀한것은신뢰구간의폭이좁은것을말한다 연구대상자수가적거나사건이드물면추정치의신뢰구간이넓어지는데이를 비정밀성 이라고함 OIS(optimal information size) 보다연구대상자수가많아야됨 [ 주 ] OIS: 표본크기계산방식으로알파오류, 베타오류, 상대위험도감소, 기저사건비율등으로계산. 임상적으로의미있는차이를고려한연구대상자수산정 정밀성판단 -OIS 를만족하지않으면한등급또는두등급낮춘다. 사건수가 300 건미만이면근거등급을낮춘다. 그러나각군당샘플사이즈가 2,000 명이상이면낮추지않는다. -OIS 를만족하지만, 음성의결과일때 95% 신뢰구간이 0.75 혹은 1.25 를통과하면등급을낮춘다.
Rating down for imprecision in guidelines: thresholds are key
Serious!! Example: 비정밀성
No serious: 등급을낮추지않음비직접성 (indirectness) Serious: 한등급을낮춤 Very serious: 두등급낮춤 Patient: 간접비교나비직접적인인구집단을대상으로한연구 Intervention: 간접적인중재및비교중재를적용한경우 Outcome: Patient-important outcome 대신대리결과 (surrogate maker) 를사용한경우 비직접성에의한근거는불확실성의정도에따라근거수준의등급을한등급혹은두등급낮춘다.
Patient-important outcome 과 surrogate outcomes 의예 Condition Patient-important outcome(s) Surrogate outcome(s) Diabetes mellitus Hypertension Diabetic symptoms, hospital admission, complications (cardiovascular, eye, renal, neuropathic) Cardiovascular death, myocardial infarction, stroke Blood glucose, A1C Blood pressure
출판비뚤림 (Publication Bias) undetected: 등급을낮추지않음 strongly suspected: 한등급을낮춤 연구의선택적출판으로인해이득혹은위해에대해과소혹은과대평가를하는것 출판비뚤림의심이되는경우에한등급낮춘다. 판단도구 -funnel plot: 출판비뚤림이있을경우, 비대칭성이관찰됨 - 통계적검증방법
Example: 출판비뚤림 undetected!! Strongly suspected!!
UPGRADE: 효과의크기 효과의크기에따라 upgrade: RR>2 또는 RR<0.5: 한등급높이고, RR>5 또는 RR<0.2 이면두등급높인다.
UPGRADE: 교란변수의효과 잘설계된관찰연구에서교란변수의효과가실제결과를낮추는효과로작용했을때한등급높일수있다. 정보편견이유리하게발생했는데도불구하고차이가없는결과가나왔을때차이가없다는증거에대해서근거수준을한등급높일수있다. [ 예 ] 면역접종과자폐증과의관련성을알아보는연구. 환자대조군연구로서결과가연관성이없는것으로나온경우 자폐증자녀를둔부모는면역접종력을더정확히언급하는회상바이어스 (recall bias) 발생하여결과가과대추정되었을가능성이있음에도불구하고, 결과가연관성이없다 이경우연관성이없다는근거로한등급높임.
UPGRADE: 양반응관계 양 - 반응관계에의한 upgrade: 양반응관계가존재할때등급을높인다.
근거의질에따라근거수준조정 Study design Randomised trials Observational studies Initial quality of a body of evidence High Low Lower if Higher if Quality of a body of evidence Risk of Bias Inconsistency Indirectness Imprecision Publication bias Large effect Dose response All plausible residual confounding & bias -Would reduce a demonstrated effect -Would suggest a spurious effect if no effect was observed A/High ( ) B/Moderate ( ) C/Low ( ) D/Very low ( )
중재에대한전체근거 (overall evidence) 수준판단 여러개의핵심결과값 ( 좋은효과 ) 이같은방향 : 가장낮은근거수준을선택 (Am J Respir Crit Care Med 174: 605-214, 2006) 핵심결과값이좋은효과와나쁜효과가동일한방향일때 : 가장높은근거수준을선택한다. 핵심결과값이좋은효과와나쁜효과가반대방향일때 : 가장낮은수준의핵심결과의근거수준을선택한다. 이득과불리한점의저울질이불확실한경우에는가장낮은질을가진핵심결과의근거수준을선택한다. (2009 년 Grade manual)
근거의전반적인질평가예 (critical) Threshold of acceptable harm for strong recommendation based on sure benefit in mortality and stroke High MI (critical) Moderate Due to imprecision (important) Low Due to imprecision and risk of bias (critical) High 0.5 0.75 1 1.25 1.5 Better Relative Risk Worse Moderate based on critical outcomes
권고의방향과강도 권고의방향 (direction): 하나의중재방안에대해기대한결과와기대하지않은결과사이의상대적중요성을평가 ( 저울질, balancing) 하여기대한결과가기대하지않은결과보다상대적중요성이클때는긍정적인 (for) 권고를, 그반대일때는부정적인 (against) 권고를생성 권고의강도 (strength): 권고의방향을결정한근거의신뢰도가높을때강한 (strong) 권고를, 권고의방향을결정한근거의신뢰도가낮을때약한 (weak) 권고를생성
이득과효과의크기비교 (1) 강한권고등급 Conditional Strong For Against
이득과효과의크기비교 (2) 약한권고등급 Conditional Strong For Against
권고의강도를결정 하는요인 용어 : 근거수준 GRADE 는근거의질 (quality of evidence), USPSTF 는확신수준 (level of certainty), AHRQ 는근거의강도 (strength of evidence) 1. 근거의질 (GRADE) 2. Benefit 와 downsides 의저울질 1 outcome의중요도결정 2 기저시점의위험도결정 3 효과의크기 : 상대적 / 절대적효과 4 효과추정치의신뢰구간 5 경제성평가 3. 환자의가치와환자의선호도 4. 비용 ( 자원 )
정책우선순위결정 질병의유병율 적용의용이성 불평등해소에기여하는정도 전체소요비용 의료의질개선가능성