인공지능 (AI) 기반의료기기의 임상유효성평가가이드라인 ( 민원인안내서 ) 의료기기심사부첨단의료기기과

인공지능 (AI) 기반의료기기의 임상유효성평가가이드라인 ( 민원인안내서 ) 의료기기심사부첨단의료기기과

지침서 안내서제 개정점검표 명칭인공지능 (AI) 기반의료기기의임상유효성평가가이드라인 ( 민원인안내서 ) 아래에해당하는사항에체크하여주시기바랍니다. 등록대상여부지침서ㆍ안내서구분기타확인사항 이미등록된지침서ㆍ안내서중동일ㆍ유사한내용의지침서ㆍ안내서가있습니까? 예 아니오 상기질문에 예 라고답하신경우기존의지침서ㆍ안내서의개정을우선적으로고려하시기바랍니다. 그럼에도불구하고동지침서ㆍ안내서의제정이필요한경우그사유를아래에기재해주시기바랍니다. ( 사유 : ) 법령 ( 법ㆍ시행령ㆍ시행규칙 ) 또는행정규칙 ( 고시ㆍ훈령ㆍ예규 ) 의내용을단순편집또는나열한것입니까? 단순한사실을대외적으로알리는공고의내용입니까? 1 년이내한시적적용또는일회성지시ㆍ명령에해당하는내용입니까? 외국규정을번역하거나설명하는내용입니까? 신규직원교육을위해법령또는행정규칙을알기쉽게정리한자료입니까? 예 아니오 예 아니오 예 아니오 예 아니오 예 아니오 상기사항중어느하나라도 예 에해당되는경우에지침서ㆍ안내서등록대상이아닙니다. 지침서ㆍ안내서제ㆍ개정절차를적용하실필요는없습니다. 내부적으로행정사무의통일을기하기위하여반복적으로행정사무의세부기준이나절차를제시하는것입니까? ( 공무원용 ) 대내외적으로법령또는고시ㆍ훈령ㆍ예규등을알기쉽게풀어서설명하거나특정한사안에대하여식품의약품안전처의입장을기술하는것입니까? ( 민원인용 ) 상위법령을일탈하여새로운규제를신설ㆍ강화하거나민원인을구속하는내용이있습니까? 예 ( 지침서 ) 아니오 예 ( 안내서 ) 아니오 예 아니오 상기질문에 예 라고답하신경우상위법령일탈내용을삭제하시고지침서ㆍ안내서제ㆍ개정절차를진행하시기바랍니다. 상기사항에대하여확인하였음. 2017 년 12 월 21 일 담당자 확인 ( 부서장 ) 손승호 조양하

제 개정이력서

ㆍ ㆍ ㆍ 1. 2.

일반사항 1. 배경및목적 - 1 -

. 적용범위 - 2 -

. 용어의정의 - 3 -

- 4 -

- 5 -

임상유효성평가고려사항. 임상시험피험자데이터선정 - 6 -

- 7 -

. 임상시험방법 1) 질병에대한명시적인판정기준 - ( 예 1) 생체신호를분석하여고혈압의정도를진단보조하는의료기기 ( 소프트웨어 ) 인경우고혈압판정수치를참조표준으로설정 - ( 예 2) 다양한의료정보를분석하여전신성홍반성낭창 (Systemic lupus erythematosus, SLE) 을진단보조하는의료기기 ( 소프트웨어 ) 인경우명시적으로정의된진단기준을참조표준으로설정 2) 참조표준의료기기를이용한검사결과또는질병의표준검사방법에의한확진데이터 - ( 예 1) 흉부 X-ray 영상을이용하여폐암을검출하는의료기기 ( 소프트웨어 ) 인경우 CT 또는 MR 영상의검사결과를통해확진된환자의의료영상을참조표준으로설정 - ( 예 2) X-ray 영상을이용하여유방암을진단보조하는의료기기 ( 소프트웨어 ) 인경우조직검사를통해확진된환자의의료영상을참조표준으로설정 - 8 -

3) 임상의전문가그룹에의해확진된데이터 - ( 예 ) MR 영상을이용하여뇌질환을진단보조하는의료기기 ( 소프트웨어 ) 로질병의명확한판정기준또는기타검사방법이없는경우임상의전문가그룹에의해확진된데이터를참조표준으로설정 의료기기임상시험계획서작성시기재사항 - 9 -

1) 의료기기의진단유효성평가를위한임상시험디자인 - ( 예 1) 임상시험피험자데이터를단일군으로구성하여참조표준과의료기기의판독결과값을비교 - ( 예 2) 동일한임상시험피험자데이터를시험군과대조군으로각각배정하고시험군인의료기기의판독결과값과대조군인임상의의판독결과값을비교 2) 의료기기사용으로임상의의진단율향상을평가하기위한임상시험디자인 - ( 예 ) 임상시험피험자데이터를단일군으로구성하여해당제품사용전 후의임상의의판독결과정확도등을비교 - 10 -

의료기기임상시험계획서작성시기재사항 - 11 -

의료기기임상시험계획서작성시기재사항 의료기기임상시험계획서작성시기재사항 - 12 -

. 유효성평가기준및평가방법 1) 민감도 (Sensitivity) - 실제로특정한질병에걸린사람들중에서그질병이있다고분류해내는확률 2) 특이도 (Specificity) - 실제로특정한질병이없는사람들중에서그질병이없다고분류해내는확률 3) 양성예측도 (Positive Predictive Value) - 특정한특성을가지고있는것으로분류된사람들가운데실제로그특성을가지고있는사람이차지하는분률 4) 음성예측도 (Negative Predictive Value) - 특정한특성을가지고있지않는것으로분류된사람들가운데실제로그특성을가지고있지않는사람이차지하는분률 5) ROC (Receiver Operating Characteristic) Curve - 진단검사결과를근거로민감도와위양성률 (1-특이도) 을이용하여그린그래프로, 양성과음성을구분하는진단의성능을평가할수있음 6) AUC (Area Under the Curve) - ROC(Receiver Operating Characteristic) Curve의아래면적으로진단 - 13 -

정확도를의미하고 0.5~1.0 사이의값에서 1에근접할수록이상적인성능이라고할수있음 7) 양성일치율 (Positive Percent Agreement) - 양성결과를보이는진단법이대조진단법과양성진단결과가일치하는비율 8) 음성일치율 (Negative Percent Agreement) - 음성결과를보이는진단법이대조진단법과음성진단결과가일치하는비율 1) 소프트웨어단일군의민감도, 특이도, AUC 산출 2) 소프트웨어판독결과의민감도, 특이도, AUC와임상의판독결과의민감도, 특이도, AUC를산출하여각각비교 3) 임상의의소프트웨어사용전 후의민감도, 특이도, AUC 변화비교 4) 참조표준이없는경우소프트웨어판독결과와임상의와의전체일치율, 양성일치율, 음성일치율, Kappa 통계량산출 민감도 (Sensitivity) = 100 진양성 (TP)/[ 진양성 (TP) + 위음성 (FN)] 특이도 (Specificity) = 100 진음성 (TN)/[ 위양성 (FP) + 진음성 (TN)] - 14 -

양성예측도 (Positive Predictive Value) = 100 진양성 (TP)/[ 진양성 (TP) + 위양성 (FP)] 음성예측도 (Negative Predictive Value) = 100 진음성 (TN)/[ 진음성 (TN) + 위음성 (FN)] 양성일치율 (Positive Percent Agreement) = 100 a/(a+c) (%) 음성일치율 (Negative Percent Agreement) = 100 d/(b+d) (%) 전체일치율 (Overall Percent Agreement) = 100 (a+d)/n (%) Kappa 통계량 = 2(ad-bc)/[(a+b)(b+d)(a+c)(c+d)] Kappa 통계량 : 평가자사이의의견이일치하는지를평가하는통계량 - 15 -

- 16 -

참고문헌 - 17 -

[ 전문가협의체위원 ]

발행처식품의약품안전처식품의약품안전평가원 발행일 2017 년 12 월 발행인이선희 편집위원장조양하 편집위원 강영규, 정진백, 손승호, 양원선, 한영민, 우대곤, 김건소, 박세일, 권영미, 김미선, 배은경, 곽수영, 구윤정, 김윤영, 유현옥, 김명옥, 권윤혜, 김민정, 김봄 28159 충북청주시흥덕구오송읍오송생명 2 로 187 문의처 식품의약품안전평가원첨단의료기기과 전화 : 043-719-3903~3928 팩스 : 043-719-3900

( 우28159) 충북청주시흥덕구오송읍오송생명 2로 187 식품의약품안전평가원의료기기심사부첨단의료기기과 TEL : 043) 719-3903~3928 FAX : 043) 719-3900 http://www.mfds.go.kr/medicaldevice