의학석사학위논문 Development of high coverage reference standard for adverse drug reaction signals 2016 년 8 월 서울대학교대학원 의과학과 한종수

Transcription

1 저작자표시 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 이차적저작물을작성할수있습니다. 이저작물을영리목적으로이용할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 의학석사학위논문 Development of high coverage reference standard for adverse drug reaction signals 2016 년 8 월 서울대학교대학원 의과학과 한종수

3 Developmentofhighcoveragereferencestandardforadversedrugreactionsignals2016년한종수

4 Development of high coverage reference standard for adverse drug reaction signals 지도교수김주한 이논문을의학석사학위논문으로제출함 2016 년 4 월 서울대학교대학원의과학과한종수 한종수의석사학위논문을인준함 2016 년 6 월 위원장 ( 인 ) 부위원장 ( 인 ) 위원 ( 인 )

5 요약 본연구에서는임상연구자들이질병분류데이터, 실험실검사데이터, 서술형임상기록데이터를활용할수있도록하는통제용어기반부작용연결모델 ( 연결모델 ) 을제시한다. 또한본연결모델을두의료기관의위세가지데이터종류에적용하였다. 전자의무기록이활성화되면서, 이를이용하여약물부작용신호를감지하려는시도가이루어지고있다. 그러나, 신호감지알고리즘의결과를검증하고이러한결과들을하나의소스로통합하기위한도구가존재하지않는다. 이러한문제를해결하기위한참조표준은광범위한약물-부작용쌍을포함해야하고, 통제용어로구성되어야하며, 다양한데이터종류를포괄할수있어야한다. 본연결모델은전자의무기록의다양한약물부작용데이터종류를포괄하는참조표준의개발을위해필요하다. 본연결모델에서는 SIDER 2의 MedDRA가표준부작용용어로차용되었으며, 질병분류데이터, 실험실검사데이터, 서술형임상기록데이터의종류별통제용어를사용하여표준부작용용어를전자의무기록내각데이터종류에연결하였다. ICD-10 (10th revision of the International Statistical Classification of Diseases and Related Health Problems), LOINC(Logical Observation Identifiers Names and Codes), WHO-ART(WHO Adverse Reactions Terminology) 는각각질병분류데이터, 실험실검사데이터, 서술형임상기록데이터를표준부작용용어에연결하였다. 서술형임상기록데이터의경우, ICNP (International Classification for Nursing Practice) 를기반으로한 SNS (Standard Nursing Statement) 가사용되어간호기록을본연결모델에적용할수있 1

6 도록하였다. 서울대학교병원과아주대학교병원두기관의세가지데이터종류별용어체계가통제용어를기반으로표준부작용용어에연결되었다. 질병분류데이터의경우, UMLS CUI를이용하여 MedDRA와 ICD-10을매핑하였고, 한국의의료기관에서사용되는 KCD-7은 ICD-10을기반으로만들어졌기때문에쉽게 ICD-10에매핑되었다. 실험실검사데이터의경우, 표준부작용용어는 LOINC와두의료기관의실험실검사코드에수작업을통해매핑되었다. 세명의의사가실험실검사데이터의매핑작업에참여하였다. 서술형임상기록데이터의경우, 서울대학교병원의간호기록이 WHO-ART에매핑되었고, 매핑에사용된 WHO-ART가 MedDRA에연결되었다. 이작업은세명의의사와한명의약사가참여하여진행하였다. 3209개의표준부작용용어중 1505개용어가각통제용어에매핑되었다. 서술형임상기록, 실험실검사, 질병분류각각에 1,130개, 951개, 83개표준부작용용어가매핑되었다. 이에따라, 본연결모델은다양한종류의데이터타입을사용함으로써광범위한부작용을포괄하고있음을알수있다. 본연결모델은세가지이점을지니고있다. 첫번째로본모델은표준부작용용어를사용하여광범위한부작용을포괄하고있다. 두번째로본모델은널리쓰이는통제용어를기반으로개발되었다. 세번째로본모델은연구자들이다양한종류의데이터를이용할수있도록한다. 이러한특징들은약물부작용연구및다양한약물부작용데이터소스를통합할수있는기반을제공한다. 본연결모델의개발은약물부작용신호에대한광범위포괄참조표준개발로이어질수있다. 이러한참조표준을사용하여규제기관의자 2

7 료, 학술논문, 관찰형데이터베이스등다양한데이터소스로부터검증된약물-부작용쌍을축적할수있게된다. 궁극적으로, 이와같이약물부작용데이터소스를통합함으로써개별약물-부작용쌍의정확한근거를제공할수있을것이다 주요어 : 약물부작용, 참조표준, 관찰형데이터베이스, 전자의무기록, 통제용어, 연결모델, 질병분류, 실험실검사, 서술형임상기록학번 :

8 목차 요약.. 1 목차 표목차.. 6 그림목차. 7 본문 Ⅰ. 연구배경.. 8 Ⅱ. 연구목적 Ⅲ. 연구방법 기존약물부작용연구검토 연결모델개발 ⅰ. 기본모델 15 ⅱ. 모델에사용된표준부작용용어 ⅲ. 모델에사용된통제용어 전자의무기록데이터와표준부작용용어간매핑.. 17 Ⅳ. 연구결과 표준부작용용어를대상으로한다종데이터매핑통계 ICD-10 을활용한질병분류데이터와표준부작용용어간매 4

9 핑결과 LOINC를활용한실험실검사데이터와표준부작용용어간매핑결과 WHO-ART를활용한서술형임상기록데이터와표준부작용용어간매핑결과 다양한형태의약물부작용포괄 Ⅴ. 고찰 통제용어기반부작용연결모델의장점 매핑범위의한계 통제용어와표준부작용용어매핑시의고려사항 전자의무기록데이터와통제용어매핑시의고려사항 28 Ⅵ. 결론. 30 참고문헌.. 32 표 그림 영문초록 (Abstract)

10 표목차 표 1. 약물부작용연구에서사용한데이터및관련통제용어 표 1. 약물부작용데이터와관련통제용어 표 2. MedDRA- 실험실검사매핑선정 / 배제기준 표 4. SIDER-ICD-10- 질병분류매핑결과예시 표 5. SIDER-LOINC- 실험실검사매핑결과예시 표 6. MedDRA - WHO-ART 간매핑적절성여부판단결과 표 7. SIDER-WHO ART- 서술형임상기록매핑결과예시 표 8. 각데이터종류별로특수하게표현할수있는약물부작용예시 표 9. 실험실검사매핑에서배제된 MedDRA 에대한서술형임상기록의 포괄

11 그림목차 그림 1. 약물부작용데이터와표준부작용용어간의연결기본구조 그림 1. 표준부작용용어체계를대상으로한다종데이터매핑결과 그림 2 매핑대상 MedDRA 에대한실험실검사매핑결과

12 본문 Ⅰ. 연구배경 약물감시 (pharmacovigilance) 는 1961 년탈리도마이드에의한 선천성기형이다수나타났던사건이래로보건의료계에서중요한이슈로다루어져왔다.[1] 그러나약물감시의중요성이지속적으로제기되어왔음에도약물안전성과관련된문제는끊임없이발생하였다. 대표적인사례가약물안전성문제에의한시장에서의퇴출이다. 미국에서는 1989 년에서 2009 년사이 FDA 의해승인받고시장에도입된약물 740 개중 118 개가판매중단되었는데, 이중 26 개가약물안전성의문제로퇴출되었다.[2] 또한캐나다에서는 1963 년에서 2004 년에이르는기간동안 41 개의약물이약물안전성의문제로퇴출되었다.[3] 시장에서퇴출된약물의시장도입후안전성문제가발견되어해당약물이퇴출되기까지걸린기간은평균 3~4 년에이르러이기간동안많은사상자가발생할것을예상할수있다.[4] 실제로 Institue of Medicine 의보고에의하면미국에서연간약물유해반응으로인한 사망자는 4 만명에서 9 만 8 천명에이른다고보고된바있다.[5] 또한 약물이퇴출되기까지해당약물을복용하는환자의수는 60 년대 10 만명에서 2000 년대 1~2 억명에이르기까지그수가증가 [6] 한만큼앞으로도약물부작용 (Adverse Drug Reaction) 문제는더욱심각해질가능성이높다. 그래서신약이시장에도입된이후가능한빠른시일내에약물부작용의신호를잡아내어해당약물과부작용의인과관계및유해정도를판단하고자하는시도가이루어져왔다. 8

13 가장기본적이며널리사용되고있는약물유해반응의신호를감지하기위한방법은자가보고시스템 (Spontaneous reporting system) 이다. 자가보고사례는대개임상현장의의료인이나의무기록을검토하는연구자가직접의무기록을검토함 (Manual Review) 으로써밝혀낸다. 직접의무기록검토를통해밝혀진사례는가장정확한약물부작용사례로볼수있다. 그러나연구자의직접검토는인적, 물적자원의제약으로임상현장에서체계적인약물부작용감시시스템으로사용하기어렵고, 연구의목적으로사용하더라도소수약물과소수환자군에대해서만연구가가능하다. 따라서광범위한약물부작용감시를위하여전자의무기록 (Electronic Medical Record) 을이용한약물부작용신호감시수단이대두되고있다. 전자의무기록을이용한약물부작용신호감시를위하여주로사용되는접근방식은의무기록의자연어처리를통한방식, 규칙기반의 (rule-based) 신호감지방식, 다중소스를이용한통합적접근방식 (multiple integrative source) 등이다.[7] 일례로, Janet et al. 의연구 (2006)[8] 에서는중환자실기록에자연어처리방식을적용하여중심정맥관 (central venous catheter) 과관련된부작용신호를감지하고자시도하였으며, Benjamin et al. 의연구 (2001)[9] 에서는일차의료서비스를받은환자들의방문기록을대상으로진단명, 실험실검사데이터, 서술형기록등을통합한약물부작용검색도구를만들었다. 전자의무기록을이용한약물부작용감시수단들이더보편적으로사용되려면참조표준 (reference standard) 이필요하다. 참조표준은크게두가지이유로전자의무기록기반약물부작용감시에필수적이다. 9

14 첫번째로, 약물부작용감시알고리즘등새로운방법론의정확성을판단하기위해참조표준이필요하다. 많은전자의무기록기반약물부작용신호감지방법은넓은범위를대상으로활용할수있으나그만큼위양성 (False positive) 또는위음성 (False negative) 이높은비율로발생한다. 특정방법에의해감지된약물부작용신호의위양성또는위음성여부판단및이를통한약물부작용신호감지방법의정확성평가는약물-부작용쌍에대한황금표준 (Gold standard) 이있어야가능하다. 실제로는약물부작용의경우정확도가높은황금표준을알아내기가어려우므로최대한황금표준에가까운참조표준을만들어내어활용해야한다. 두번째로, 참조표준은다양한약물부작용신호감지방법들에의해생산된약물-부작용쌍에대한지식을축적하기위한플랫폼이되어야한다. 약물의시장진입후지속적으로업데이트되는약물부작용관련지식의특성상참조표준은외부로부터약물-부작용쌍에대한데이터를받아들여개선될수있어야한다. 특정의료기관의전자의무기록으로부터생성되는약물부작용데이터나 VigiFlow, FAERS 등의약물부작용자가보고시스템의데이터를통합하여기존에찾아낸약물-부작용쌍의관련성에대한근거수준을개선하거나새로이제시된약물-부작용쌍을포함하기위해서는광범위한약물-부작용쌍으로구성된참조표준이필요하다. 현재까지약물-부작용쌍에대한합의된황금표준 (Gold standard) 은존재하지않으나위와같은참조표준에대한요구에따라이를제안하려는연구들이있었다. 참조표준을구성하기위하여공개된연구논문을활용하거나, 10

15 규제기관의규제사항 ( 약물퇴출및약전변경등 ), 전문가의견반영 [10] 등의방법으로참조표준에가까운표준 (suitable surrogate) 을구성할수있다. EU-ADR 의경우에는공개된연구논문과전문가의견취합을통하여참조표준을구성하였다. 이표준을만들기위하여 MEDLINE 에서 MeSH term 을기준으로약물과부작용을검색하여함께나타나는경우를검색해낸후의료진이약물-부작용관계를검증하였다. 이를통해최종적으로 EU-ADR 의참조표준은최종적으로 94 개의약물-부작용쌍을포함하였으며이는 44 개의 positive control 과 50 개의 negative control 로구성되었다.[10] Rave et al. 의연구 (2014) 에서는 FDA 의 MedWatch 사이트에나타난 2013 년의약전변경 (drug label change) 정보를취합하여 62 개의 positive control 세트를만들고, 75 개의 negative control 을만들어 44 개약물과 38 개부작용을포함하였다.[11] Patrick et al. 의연구 (2013) 에서는네가지질병 AMI, AKI, ALI, UGIB 에대하여참조표준을구성하였다. FDA 의 DailyMed 사이트의 Structured Product Label 로부터자연어처리방식으로네가지질병과연관된약물을추출하고, MeSH term 을사용한 Pubmed 검색을통하여연관된약물을추출하였으며, Tisdale et al. 의저서 [12] 에나타난약물-부작용관계를포함하였다.[13] 그러나, 위에서제시된참조표준의필요성 약물부작용신호감지방법에대한검증및발견된약물-부작용쌍지식의축적 을고려하였을때, 기존의연구들로부터구성된참조표준에는한계가있다. 참조표준의필요성을고려한이상적인참조표준은다음의세가지조건을충족해야한다. 첫번째로모든발생가능한약물-부작용쌍을 11

16 포함할수있어야하고, 두번째로다양한데이터소스를통합할수있도록일반적으로사용되는통제용어 (controlled vocabulary) 로구성되어있어야하고, 세번째로전자의무기록기반의약물부작용신호감지에다양한종류의데이터가사용되는만큼해당데이터들을포괄할수있어야한다. 위에서언급된참조표준을만들기위한연구들은서로다른약물및임상데이터소스를기반으로진행되고있다. 또한만들어진참조표준들은범용적인통제어휘를사용하지않거나서로다른통제어휘를사용하고있어 ( 표 1) 여러참조표준을아우르는데이터통합이어렵다. 또한참조표준을구축한많은연구에서대상약물의개수를제한하거나대상약물부작용의범위를제한하여전체약물-부작용쌍을포함하지못하므로참조표준간통합을위한기준을제시하지못하고있다. 이는결과적으로각연구마다많은노력을들여완성한참조표준이개별연구에한정되어사용된이후재사용되지않는문제로이어진다. 따라서본연구진은궁극적으로광범위한약물-부작용쌍을기준으로다양한형태의약물부작용데이터를포함할수있는참조표준을구축하기위한기초작업으로통제용어기반부작용연결모델이필요함을인지하였다. Ⅱ. 연구목적 본연구에서는다양한형태의약물부작용데이터를포함할수있는통제용어로구성된참조표준을만들기위한기초작업을수행하였다. 먼저광범위한약물-부작용쌍에서사용된부작용용어를표준 12

17 부작용으로정하고, 표준부작용과다양한형태의약물부작용데이터간통제용어기반부작용연결모델을제시하였다. 이후실제현장에서사용되는두기관의약물부작용데이터를통제용어기반부작용연결모델의부작용에매핑함으로써임상현장에서사용중인데이터와통제용어간매핑에서의고려사항을제시하였다. Ⅲ. 연구방법 1. 기존약물부작용연구검토 여러데이터종류를포괄하는연결모델을만들기위하여, 기존약물부작용연구를검토하였다. ( 표 1) 약물부작용연구에서사용된데이터소스들은크게세가지가있었다. 첫번째는규제기관의관리대상이되는데이터로써, 대표적으로규제기관이운영하는자가보고시스템 (Spontaneous Reporting System) (e.g. FAERS) 과규제기관에서제공하는약품정보 (e.g. FDA SPL, EMA SmPC) 가있다. 두번째는학계에서출판된연구데이터로, 약물부작용사례를보고하거나기존데이터소스를활용하여약물과부작용간연관성을분석한결과를보여준다. 세번째는임상현장에서생산하는관찰형데이터로, EHR 내의개별환자의약물복용정보, 실험실검사, 서술형임상기록등을활용할수있으며, 행정적으로사용되는청구데이터또한데이터소스로사용할수있다. 각데이터소스들은다양한형태의데이터로구성되어있다. 자가보고시스템 (i.e. FAERS) 및약품라벨 (i.e. SPL, SmPC), 문헌연구결과등은개별부작용이각약물과의직접적인연관성이정리되어있기 13

18 때문에약물-부작용쌍으로정리하여활용하는것이용이하다. 따라서광범위한약물-부작용쌍을중심으로참조표준을구성하는경우위데이터소스들은비교적용이하게통합하는것이가능하다. 반면, EHR 과같은관찰형데이터베이스 (Observational database) 는일상적인임상진료및행정처리를위해사용되는데이터베이스로, 약물감시를위한목적이아닌만큼, 약물-부작용쌍을직접적으로추출하기는어렵다.[14] 기존약물부작용연구에서는관찰형데이터베이스로부터질병분류 (Disease classification), 실험실검사 (Laboratory tests), 서술형임상기록 (Clinical Narrative) 세가지를 추출하여사용하였다. 질병분류정보는 EHR 상의진단명이나청구 데이터베이스상의진단명으로, 임상데이터소스에서 ICD 와같은표준통제용어로코딩되어있는경우가많아활용이쉽다. 따라서많은약물감시연구에서진단코드를부작용의표현형으로사용하고있다.[15] 실험실검사는약물부작용의표현형을객관적으로나타낼수있다. 기존의많은약물역학적연구에서도실험실검사와약물간의관계를제시한사례가있다.[16] 서술형임상기록의경우, 대개비정형화되어있고, 오탈자및문법적오류, 약어, 줄임말등의문제로활용이어렵다. 이와같은서술형임상기록을다룬연구들은텍스트마이닝이나자연어처리방식등을통해서술형기록의의미를파악하고활용한다.[17] 그러나서술형임상기록이라도국제간호실무분류체계 (International Classification for Nursing Practice) 를기반으로한전자간호기록 [18] 과같이정형화된분석이가능한경우에는약물부작용표현범위가넓으면서도신호감지가쉬워강력한약물부작용신호감지수단으로사용할수있다. 14

19 2. 연결모델개발 ⅰ. 기본모델 검토내용에기초하여, 본연구진은광범위한약물-부작용쌍에서제시된부작용세트를표준부작용으로정하고표준부작용에다양한약물부작용데이터를연결하여활용할수있도록하는통제용어기반부작용연결모델을구성하였다. ( 그림 1) 본모델에서는표준부작용에여러데이터소스에서부작용신호로사용될수있는질병분류, 실험실검사, 서술형임상기록각각을통제용어를사용하여연결한다. ⅱ. 모델에사용된표준부작용용어본연구진은표준부작용용어로 SIDER2(released on March 16, 2012)[29] 에서사용된 MedDRA 를차용하였다. SIDER 는영국의 British Columbia Cancer Agency, 미국의 Facts@FDA, FDA Center for Drug Evalu ation and Research, FDA MedWatch, 캐나다의 Health Canada Drug Product Database 로부터약물과관련된부작용을추출하여광범위한약물-부작용쌍을포함하고있다 년초기개발당시 888 개약물과 1450 개부작용, 62,69 개의약물-부작용쌍을포함하고있었다 년공개된 SIDER 2 에서는 996 개약물, 4192 개부작용, 99,423 개의약물-부작용쌍을포함하고있고, 최근 SIDER4 까지공개되며국가기관의레지스트리및비영리단체의약물정보로부터지속적으로업데이트되고있다.[30] 15

20 ⅲ. 모델에사용된통제용어 SIDER 의부작용용어체계는널리사용되는통제용어인 MedDRA 로 기술되어있다. 표 1 에서볼수있는바와같이많은연구및 데이터소스에서부작용 Event 나 Condition 을서술하는데에있어 MedDRA 를널리사용하고있다. 따라서여러약물부작용데이터 소스에서나타나는증상및질병에관한질병분류, 실험실검사, 서술형임상기록을활용하기위하여각데이터종류별통제용어체계를표준부작용용어인 MedDRA 에매핑하였다. ( 표 2) 먼저, 질병분류를 MedDRA 에매핑하기위하여 ICD (International Classification of Disease) 를사용하였다. ICD 는진단명을코딩하기위해사용되는것으로, WHO (World Health Organization) 에의해관리되고있으며현재는 10 번째개정판인 ICD-10 까지발표되어전세계 117 개국에서 43 개언어로사용되고있다.[31] 각국가별로한국의표준질병사인분류 (KCD) 와같이 ICD 를기반으로질병분류체계를구축하고있어이는개별의료기관의데이터베이스에서진단명을표현하는데에사용될뿐만아니라, 의료기관에서보험료청구의목적으로사용하고, 국가의질병및사망률통계에도사용하고있다. 실험실검사항목을 MedDRA 에매핑하는데에는 LOINC (Logical Observation Identifiers Names and Codes) 를사용하였다. LOINC 는임상관찰및실험실검사를서술하는공통용어 (common language) 로, 실험실검사및다른임상데이터를기관간전송하는데에있어서코딩및용어체계가달라호환되지않는문제를해결하기위해만들어졌다. 따라서검사및관찰항목에대하여국제통용어가될수있도록보편적인코드및용어를제공하고있다.[32] LOINC 는이미실험실 16

21 검사데이터를이용하여약물부작용을찿아내거나약물부작용참조표준을구성하기위한연구들에서널리활용되고있다.[24, 26, 27] 서술형임상기록을 MedDRA 에연결하는데에는 WHO-ART (World Health Organization Adverse Reactions Terminology), SNS (Standard Nursing Statement), ICNP (International Classification for Nursing Practice) 를사용하였다. WHO-ART 는 Uppsala Monitoring Centre 에의해관리되고있으며전세계적으로규제기관및제약업계에서널리사용되고있다.[33] SNS 는 ICNP 를기반으로개발된것으로, ICNP 는국제간호협의회 (International Council of Nurses, ICN) 에서개발한간호관련조합형용어체계이다. ICNP 는간호실무를기술할수있는공통언어로전자의무기록에사용할수있도록체계화되어있으며, 임상실무과정을용이하게할수있도록개발되었다.[34] 부작용보고를위해사용되는 WHO-ART 와 SNS 를연결함으로써간호활동으로부터생산되는서술형임상기록을약물부작용연구에활용할수있고, ICNP 를활용하여생산된데이터의직접적인활용이가능하다. 서술형임상기록의활용을위하여간호기록과관련된통제용어를사용한것은약물부작용표현형을기술함에있어간호사에의한기록이의사및기타직종에의한기록에비하여효과적이기때문이다. 특히입원환자의경우간호사는 24 시간가깝게환자의호소를들을수있고증상의경과를관찰할수있으나, 의사의경우매일 1~2 회증상을확인하고짧은시간환자의호소를듣기때문에자세한표현형의관찰이 어렵다. 따라서본통제용어기반 부작용연결모델에서는간호기록을 서술형임상기록추출을위한데이터소스로상정하고통제용어를 정하였다. 17

22 3. 전자의무기록데이터와표준부작용용어간매핑 그림 1 의구조에따라, 표 2 에해당하는통제용어를활용하여한국의서울대학교병원과아주대학교병원에서사용중인 EHR 의용어체계를광범위한약물-부작용쌍인 SIDER 의부작용용어인 MedDRA 와연결하였다. 질병분류의경우, ICD 를활용하여 EHR 의진단명용어체계를 MedDRA 와연결하였다. 기존연구에서제시된약물부작용과관련된 ICD 개 [35] 를 MedDRA 와매핑하였다. 또다른기존연구에서이루어진 ICD-10 과 UMLS CUI 간의매핑을활용하여 ICD-10 과 MedDRA 를매칭하였다. MedDRA 는 SIDER2 에서 UMLS CUI 와매핑되어있었다. 서울대병원과아주대병원의 EHR 에서사용하는한국표준질병사인분류 (Korean Standard Classification of Diseases, KCD) 는 ICD 를 근간으로하여작성하는것으로, ICD 를그대로한글로번역하여 사용하되, 일부항목에대하여추가로상세한분류를하거나한의학적진단을추가하여사용한다 년 5 월현재두의료기관에서사용하는 KCD-7 은 ICD-10 을기반으로만들어졌다. 따라서 KCD-7 과 ICD-10 간에상호일치하는코드를기준으로매핑하였으며, 이후 MedDRA 와 ICD- 10 간의매핑을진행하였다. ICD-10 은 WHO Classification Download Area[36] 에서 ICD version 을다운로드하였으며, KCD-7 은건강보험심사평가원사이트 ( 의제도 정책 > 보험인정기준 > 급여기준별분류게시판 [37] 에서제공한제 7 차 한국표준질병사인분류정오표반영상병마스터파일을다운로드받아서 이용하였다. 18

23 LOINC 를기반으로서울대병원, 아주대병원의 EHR 의실험실검사와 SIDER 의 MedDRA 용어를연결하기위하여 3 명의의사가매핑작업을 진행하였다. MedDRA 용어중실험실검사를매핑할수있는대상을 걸러내고, 걸러진 MedDRA 용어에대하여 LOINC 와서울대병원, 아주대병원의실험실검사용어를매핑하였다. MedDRA 용어를실험실 검사와매핑시해당 MedDRA 용어의매핑여부를결정하는과정에서 선정 / 배제기준을활용하였다. ( 표 3) 실험실검사와의관련성이 명확하여매핑이필요한경우를선정기준으로하였고, 선정기준에해당하지않는용어의경우배제기준을적용하여해당하는경우배제하고배제기준에해당하지않는경우최대한실험실검사를매핑하였다. 매핑대상으로선정된 MedDRA 용어에대하여 LOINC, 서울대병원 실험실검사, 아주대병원실험실검사각각을매핑하였다. MedDRA 용어에 대하여최대 6 개까지 LOINC 용어와서울대실험실검사용어, 아주대 실험실검사용어를 1:N 매핑하였다. 작업에참여한 3 인의의사중 2 인이 직접검토를통해전체 MedDRA 용어를각실험실검사용어에 매핑하였고, 1 차매핑작업이후 3 인이최종직접검토를통해매핑결과를확정하였다. WHO-ART 를기반으로 SIDER 와서술형임상기록을연결하는작업은서울대학교병원 EHR 의간호기록을대상으로수행하였다. WHO-ART 와 MedDRA 간의연결은 Brown et al.(2002) 의연구에서 315 개의 WHO-ART Preferred Term 과 MedDRA Preferred term/hligh Level Term 을대상으로수행한바가있다.[38] 본연구에서는각통제용어의수를제한하지않고전체용어를대상으로매핑을진행하였다. 서울대학교병원의 19

24 간호기록은 Standard Nursing Statement (SNS) 라는통제용어체계에 기반하여작성되어있어 SNS 에 WHO-ART 를매핑하고 SNS 와매핑된 WHO- ART 를 MedDRA 에매핑함으로써 SIDER 와 SNS 를연결하였다. 총 4 인의 임상의학전문가가참여하여매핑작업을진행하였다. 1 인의의사가 SNS 용어각각에대하여 WHO-ART 용어를매핑하였다. WHO-ART 와 SNS 는 1:N 관계로매핑하였다. MedDRA 와 WHO-ART 간매핑은 2 차에걸쳐진행하였다. 1 차로 1 인의가정의학과전문의가 WHO-ART 를 MedDRA 에매핑하고, 2 차로 1 명의다른의사와 1 인의약사가해당매핑에대하여적절성여부를판단하였다. 적절성여부의판단은 2 단계로진행하였는데, 1 단계로두전문가가각각독립적으로 1 차매핑의적절성여부를판단하였고, 차로 2 차의두전문가가합의를통해 1 차 매핑의적절성을최종적으로정하여 MedDRA - WHO-ART 간매핑을 완료하였다. Ⅳ. 연구결과 1. 표준부작용용어를대상으로한다종데이터매핑통계 전체 3209 개 MedDRA 의 55% 에해당하는 1759 개가세가지종류의데이터에매핑되었다. 질병분류데이터로 83 개, 실험실검사데이터로 939 개, 서술형임상기록데이터로 1,130 개 MedDRA 가매핑되었다. 그림 2 에서보는바와같이세종류의데이터가동시에매핑된 MedDRA 는 9 개뿐이었으며, 매핑된 MedDRA 중질병분류에매핑된 MedDRA 의 40%, 실험실검사의 65%, 서술형임상기록의 70% 가독립적으로각각의데이터 20

25 종류에매핑되었다. 2. ICD-10 을활용한질병분류데이터와표준부작용용어간매핑결과 ICD-10 을 MedDRA 에 UMLS CUI 를이용하여매핑한결과, 608 개의 ICD- 10 용어중 83 개에 MedDRA 용어가매핑되었다. 표 4 에매핑사례를기재하였다. 3. LOINC 를활용한실험실검사데이터와표준부작용용어간매핑결과 표 3 의선정 / 배제기준에따라 SIDER2 에존재하는총 3209 개 MedDRA 용어중 963 개를매핑대상으로선정하였으며 2245 개를배제대상으로선정하였다. 서울대병원실험실검사용어와아주대병원실험실검사용어를검토한결과중복되는의미의용어들이다수있어중복되는의미의용어들을제거하는작업을진행하였다. 서울대병원검사 2262 개는최종 1859 개용어로정리되었고, 아주대병원검사 1802 개는최종 1356 개용어로정리되었다. 매핑결과, MedDRA 963 개에대하여 LOINC 용어는 277 개 (MedDRA 956 개 ), 서울대병원실험실검사는 182 개 (MedDRA 909 개 ), 아주대병원실험실검사는 183 개 (MedDRA 913 개 ) 매핑되었다. 표 5 에매핑사례를기재하였다. 앞서언급된선정 / 배제기준에따라매핑대상으로선정된 MedDRA 용어 21

26 전체가실험실검사데이터에매핑되지는않았다. 그림 3 에나타난바와같이 963 개매핑대상용어중 939 개가매핑되었으며각각 LOINC 는 932 개, 서울대실험실검사는 876 개, 아주대실험실검사는 879 개가 MedDRA 에대해매핑되었다. 24 개 MedDRA 에대해서는매핑가능한실험실검사가존재하지않았다. LOINC 는각기관의실험실검사용어를대부분포괄하고있어각기관의용어에해당하지않는 LOINC 는거의찾을수없었다. 4. WHO-ART 를활용한서술형임상기록데이터와표준부작용용어간매핑결과 3595 개 SNS 에 2161 개 WHO-ART 를매핑한결과, 2275 개의 SNS 에 395 개의 WHO-ART 가매핑되었다. SNS 가매핑된 WHO-ART 를이용하여 3209 개의 MedDRA 용어에매핑한결과 1 차로 1235 개의 MedDRA 용어에대하여 239 개 WHO-ART 용어가매핑되었고, 2 차에서 1 차매핑결과의적절성을판단하는방식으로매핑을진행한결과 267 개의 WHO-ART 에대하여 1130 개의 MedDRA 용어가매핑되었다. 매핑된 WHO-ART 267 개는 1934 개의 SNS 와대응하였다. 표 7 에매핑사례를기재하였다. MedDRA 에 WHO-ART 를매핑하는과정중 2 차에이루어진두임상전문가의단계별적절성여부판단결과는표 6 과같다. 2 단계에서두전문가간에적절한매핑으로합의된 1130 개 MedDRA 에대해서만매핑된것으로인정하였고, 나머지 MedDRA 는매핑되지않은것으로하였다. 22

27 5. 다양한형태의약물부작용포괄 위와같이질병분류, 실험실검사, 서술형임상기록을이용하여발생가능한부작용을커버함으로써각각의데이터종류는서로보완적으로광범위한약물부작용을포괄하게된다. 질병분류데이터는현재 단계에서많이 활용되고있으나주요한증상및질병만을표현하기 대문에약물부작용표현범위가좁다. 실험실검사데이터와서술형임상기록데이터는다른데이터종류에서감지할수없는약물부작용신호를감지할수있어더넓은부작용범위를포괄할수있다. 표 8에각데이터종류가상호보완적으로약물부작용을포괄하고있음을예시로들었다. 실험실검사데이터의예시로든 iron deficiency anemia와서술형임상기록의예시로든 Pruritis는각각서술형임상기록과실험실검사로는찾아내기어려운약물부작용이다. Ⅴ. 고찰 본연구진은참조표준구성을위한기초작업으로표준부작용 용어체계에통제용어를활용하여서로다른약물부작용데이터소스를 연결하는모델을제시하였다. 이를통해 다양한약물부작용데이터 소스를통합하여활용할수있는기반을만들고자하였다. 1. 통제용어기반부작용연결모델의장점 통제용어기반부작용연결모델에서사용한광범위한약물 - 부작용쌍인 SIDER 는다양한약물 - 부작용연구에활용되고있다. 본연구에서 23

28 사용한 SIDER2 는총 1058 개의 drug 과 3209 개의 MedDRA PT 으로구성되어있다. 이는규제기관에서구축한약물정보로부터약물과관련된부작용을추출하여약물-부작용쌍을정리한것이다. SIDER 는 2010 년공개된이후약물부작용연구에서 benchmarking set 으로사용되거나 [39, 40] 다른약물부작용관련데이터베이스에통합되는등 [41,42] 약물-부작용쌍의광범위한표준으로사용되어왔다. SIDER 를포함한약물부작용데이터소스들이수만개에이르는약물- 부작용쌍을포함하고있음을고려해볼때, 개별약물부작용쌍에대하여모두임상적으로높은수준의근거를기대하기는어려운상황이다. 그러나, 약물부작용데이터소스중가장잘관리되고있는 국가별약물정보를기반으로하였다는점에서 SIDER 는앞선 연구들에서표준으로사용하였던바와같이, 연결모델의근간으로가용한데이터소스이다. 통제용어기반부작용연결모델은 SIDER 와같이광범위한약물-부작용쌍의부작용용어로사용되는 MedDRA 를표준부작용으로삼아모델의근간으로함으로써수많은약물부작용데이터소스를통합할수있다. 약물부작용연구가다발적으로이루어지고있는상황에서, 개별적으로이루어진연구들을통합하여각약물-부작용쌍에대한검토를진행할필요가있다. 특히관찰형데이터베이스를이용한약물부작용신호감지시도가늘어나면서방대한데이터를체계적으로활용하여많은약물-부작용쌍에대하여통합적인연구를수행해야하는필요성이증대되었다. 또한기존에수행하였던많은약물부작용연구들에서특정약물의부작용에대해임상적으로연구하거나소수의약물부작용과연관된약물을찾았는데,[21, 43, 44] 이러한소수의약물-부작용쌍을 24

29 대상으로한연구결과까지포괄하여체계적인약물부작용연구의질을높여야한다. 서로다른종류의데이터를동시에고려할수있다는것도본모델의장점이다. 하나의데이터소스내의서로다른데이터종류를동시에고려함으로써포괄적인약물부작용연구를진행할수있다. 이러한연구는문헌연구나규제기관의공식적인자료또는한종류의데이터만추출하여진행한연구에비해약물부작용신호검출의민감도가높다. 즉, 어느한종류의데이터만이용하여약물부작용신호를감지하는연구를할때, 해당데이터로찾을수없는부작용이있어문제가되거나신호가약하여신호를감지하지못할수있는반면, 여러종류의데이터를동시에사용하면이와같은문제를데이터종류간의상호보완으로극복할수있다. 예컨대, 진단명을기재할때에는주로환자의여러가지질환및증상중가장주요한내용을기재하기때문에약물부작용신호에대한민감도가떨어질수있다. 이러한진단명을기반으로한방법의한계는실험실검사및임상기록을활용함으로써극복할수있다. 약물부작용중에서도두통, 복통등증상의호소나신체검사상이상과같이실험실검사만으로는인지할수없는것이있고, 간기능또는신기능이상과같이임상기록만으로인지할수없는것이있기때문에이들을서로보완적으로활용할수있다. 2. 매핑범위의한계 본통제용어기반부작용연결모델은표준부작용용어체계인 SIDER 내 MedDRA 3209 개용어중 55% 인 1759 개를포괄하였다. 본모델은임상에서사용하는관찰형데이터베이스에적용할것이므로, 25

30 매핑되지않은 1450 개의 MedDRA 용어들이본모델의활용에어떤 영향을미칠지고려해보아야한다. 전체매핑된 MedDRA 중질병분류용어에의해매핑된것은 83 개에불과하고대부분의매핑은서술형임상기록용어와실험실검사용어에의해이루어져있다. 앞서언급된각데이터종류별매핑방법론에따라, 실험실검사매핑에서배제된경우, 서술형임상기록용어에의해어느정도나커버가되었는지 배제사유별로검토해보았다. 검토결과, 표 9 와같이배제사유중 증상또는임상적관찰 항목과 실험실검사를제외한검사결과 항목, 그리고 실험실검사를고려하지않고진단가능한질병 항목순서로서술형임상기록에서포괄하는것이관찰되었다. 본연구에서사용한 WHO-ART 의경우, 간호기록을위한통제용어인 SNS 를사용하여매핑된것을 MedDRA 와의매핑에서사용하였기때문에, 간호기록에서많이언급되는증상및임상적관찰항목에서높은비율로포괄되었다. 표 9 의배제사유중, 앞에서언급되지않은 1,4,6,7 번사유에해당하는 MedDRA 용어는부작용신호에매핑하기어려운것들로, 다른데이터종류의보완을기대할필요가없다. 표 9 의 2,3,5 번사유에대해서, 각각의사유에해당하는 MedDRA 용어에대한서술형임상기록용어의비율을높일필요가있다. 실험실검사를제외한검사결과 항목의경우, 예시로든영상검사및신체검사는실험실검사용어와서술형임상기록양측에의해포괄되기어렵다. 특히본연구에서사용한간호기록에서는 x-ray 나초음파에의한영상검사결과나의사의신체검사에의한결과를기재하지않기때문에포괄하기가어렵다. 간호활동에의한기록의경우, 간단한신체검사내용은포괄할수있으나복잡한신경학적검사등은포괄하지 26

31 못하는한계가있다. 실험실검사를고려하지않고진단가능한질병 으로배제한경우에도낮은포괄비율을보이는데, 이는역시간호기록의한계로의사가활용하는수준의진단명을사용하지않기때문으로보인다. 따라서, 본통제용어기반부작용연결모델의약점을보완하기위해서는크게두가지방향을생각할수있다. 첫번째로, 현재 UMLS CUI 를기준으로표준부작용용어체계에연결한 ICD-10 을전문가리뷰를통해더욱광범위하게매핑을하는것이다. 임상현장에서사용되는관찰형데이터베이스내질병분류기록의특성상한정적인진단명만사용되는경우가많으나간호기록에서고도의진단명을포괄하는것에한계를보이므로상호보완적으로사용될수있을것이다. 두번째로, 간호기록을고도화하는것이다. 현재간호기록의경우현장의간호활동에집중되어비교적단순화된경향이있으나, 영상검사나신체검사등환자의경과에중요한내용까지간호활동시에숙지할수있도록정리하게된다면, 임상현장에서간호활동의질이높아질뿐만아니라, 간호기록의활용성도높아질것이다. 3. 통제용어와표준부작용용어매핑시의고려사항 통제용어가다루는데이터카테고리에따라표준부작용용어체계로정한 MedDRA 에매핑하는작업의난이도가크게달랐다. ICD-10 을 MedDRA 에연결하는작업은상대적으로용이하였다. ICD-10 과 MedDRA 는모두약물부작용연구에서꾸준히사용되어왔기때문에 UMLS CUI 를이용한매핑결과가존재하였고, 이를이용하여매핑을진행하였다. 반면 LOINC 를 SIDER 에연결하는작업에는많은노력이필요하였다. 27

32 MedDRA 는규제기관에서사용하기위한용어로진단명, 증상, 징후, 부작용, 치료지침, 검사명및정량적결과, 내 외과적술기, 의학적 사회적과거력을포함 [45] 하고있기때문에 MedDRA 용어전체를실험실검사와매핑할수있는지살펴보아야했다. 용어에따라실험실검사와의관련성을판단하기어려운경우가많이있어선정기준과배제기준을마련하여매핑을진행하였다. 본연구에서는매핑작업에 참여한 3 인의의사가합의하여기준을마련하였으나, 전문가 협의과정의한계상참여자에따라기준이달라질수있을것으로 보인다. 매핑대상으로지정한후에도어떤실험실검사를 MedDRA 용어에 매핑할지에대한고려가필요했다. 지나치게적은실험실검사를매핑하는경우실험실검사데이터를활용하는의미가없었고, 너무많은실험실검사를매핑하는경우본매핑결과를활용하는참조표준의민감도가높아문제가될수있었다. 매핑대상실험실검사를 6 개로제한하여관련성이낮은검사까지매핑되는것을방지하였고, 해당범위내에서매핑을진행한의사들이최대한실험실검사를매핑하여적정수준의매핑을진행하고자하였다. WHO-ART 를 MedDRA 에매핑하는작업에서는 2 차에걸쳐매핑을진행하고, 2 차매핑검증과정에서도 2 인의전문가가검증에참여하여 높은정확도를확보하고자하였다. 그러나서로다른용어체계간 매핑으로인한문제점은여전히존재하였다. 두용어가정확히같은개념을지칭하는경우외에, 한쪽용어의개념이다른쪽용어의개념보다추상적혹은상위에있는개념인경우가많아매핑에혼란이있었다. 예컨대, MedDRA 의 Bundle branch block left 라는용어의경우 28

33 WHO-ART 의 Arrhythmia 와매핑이되어있다. 매핑의대상이된 WHO- ART 용어의수자체가 395 개로 MedDRA 의 2275 개에비해적었기때문에 매핑시 WHO-ART 용어가상위개념이되는경우가많았다. 4. 전자의무기록데이터와통제용어매핑시의 고려사항 서울대실험실검사, 아주대실험실검사각각은별개의용어체계와 코드로이루어져있었다. 따라서 LOINC 와매핑하는과정에서특정 LOINC 용어에대응하는실험실검사용어가존재하지않기도하였고, LOINC 용어가 MedDRA 용어에매핑되지못한경우라도해당 MedDRA 용어에 매핑가능한서울대 / 아주대실험실검사가존재하기도했다. 예컨대 MedDRA 의 Chromaturia 에대하여 LOINC Reducing substances [Presence] in Urine 을매핑하였으나, 서울대실험실검사와아주대 실험실검사에는해당용어에대응하는용어가존재하지않았다. 또 MedDRA 의 Porphyria 에대하여 phorphobilinogen 검사를매핑해야 하였으나 LOINC 에는해당용어가존재하지않았고서울대병원과 아주대병원실험실검사용어각각에서 PBG(qual.), Porphobilinogen( 정성 ) 항목으로매핑할수있었다. SNS 와 WHO-ART 를매핑하는과정에서는각용어가의미하는개념의차이로매핑에어려움이있었다. SNS 는 ICNP 에기반하여만들어진문장형태로간호현상진술문과간호활동진술문으로구성되어있는반면, WHO-ART 는특정개념을지칭하는단어형태로여러가지개념을조합하여만드는 SNS 와매핑하는것에어려움이있었다. 예컨대 eye 29

34 pain 이라는 WHO-ART 용어에대하여 안구통증감소함, 안구통증없음, 안구통증있음, 안구통증증가함, 안구통증호소함 과같이안구통증의존재및양상변화에대한여러가지서술이존재하였다. 증상있음혹은증상증가를서술하는진술문만추려내기는하였으나이외에도여러가지서술이있을수있어매핑에혼란이있었다. Ⅵ. 결론 약물부작용참조표준의기초로제시된본연결모델은국제적으로널리사용되는통제용어를사용함으로써여러가지데이터를활용할수있도록하였다. 본연구에서수행한매핑중두기관의 KCD, 서울대병원간호기록의 SNS 와같이기관내에서국제적인표준을활용하고있는경우모델의사용이원활할것이나독립적인용어체계를사용하는기관의경우에는해당기관의데이터별용어체계와본모델의통제용어를매핑하는작업이필요하다. EHR 과관찰형데이터베이스의표준화는지속적으로진행되고있으므로앞으로더많은기관에서본모델을원활히사용할수있을것으로보인다. 본모델을기반으로참조표준을구성하는경우, 기존에존재하는약물부작용데이터소스들을통합하여특정약물-부작용쌍의근거수준을향상하는것이가능하다. 약물부작용의경우발생이드물고감지가어려운그특성상단발적인연구및케이스보고를통해서가능성이제기되어왔고, 수많은보고후에야실질적인조치가취해질수있었는데, 다양한관찰형데이터베이스로부터실시간으로약물과 30

35 관련된질병분류정보, 실험실검사, 서술형임상기록데이터를받아활용할수있다면효율적인약물감시및규제조치가가능할것이고, 궁극적으로약물부작용으로인한사회적손실을크게줄일수있을것이다. 31

36 참고문헌 1. World Health Organization. (2002). The importance of pharmacovigilance. p5 2. Qureshi, Z. P., Seoane Vazquez, E., Rodriguez Monguio, R., Stevenson, K. B., & Szeinbach, S. L. (2011). Market withdrawal of new molecular entities approved in the United States from 1980 to Pharmacoepidemiology and drug safety, 20(7), P Lexchin, J. (2005). Drug withdrawals from the Canadian market for safety reasons, Canadian Medical Association Journal, 172(6), p Lasser, K. E., Allen, P. D., Woolhandler, S. J., Himmelstein, D. U., Wolfe, S. M., & Bor, D. H. (2002). Timing of new black box warnings and withdrawals for prescription medications. Jama, 287(17), Kohn, L. T., Corrigan, J. M., & Donaldson, M. S. (Eds.). (2000). To err is human:: building a Safer Health System (Vol. 6). National Academies Press. 6. 고유상, 최진영, 이승철, 강찬구. (2012) 헬스케어 3.0 : 건강수명시대의도래, 삼성경제연구소.p54 7. Murff, H. J., Patel, V. L., Hripcsak, G., & Bates, D. W. (2003). Detecting adverse events for patient safety research: a review of current methodologies. Journal of biomedical informatics, 36(1), p141 32

37 8. Penz, J. F., Wilcox, A. B., & Hurdle, J. F. (2007). Automated identification of adverse events related to central venous catheters. Journal of biomedical informatics, 40(2), Honigman, B., Lee, J., Rothschild, J., Light, P., Pulling, R. M., Yu, T., & Bates, D. W. (2001). Using computerized data to identify adverse drug events in outpatients. Journal of the American Medical Informatics Association, 8(3), Coloma, P. M., Avillach, P., Salvo, F., Schuemie, M. J., Ferrajolo, C., Pariente, A.,... & Sturkenboom, M. (2013). A reference standard for evaluation of methods for drug safety signal detection using electronic healthcare record databases. Drug safety, 36(1), p Harpaz, R., Odgers, D., Gaskin, G., DuMouchel, W., Winnenburg, R., Bodenreider, O.,... & White, R. W. (2014). A timeindexed reference standard of adverse drug reactions. Scientific data, 1, Tisdale, J. E., & Miller, D. A. (2010). Drug-induced diseases: prevention, detection, and management. ASHP. 13. Ryan, P. B., Schuemie, M. J., Welebob, E., Duke, J., Valentine, S., & Hartzema, A. G. (2013). Defining a reference set to support methodological research in drug safety. Drug safety, 36(1), Yoon, D., Park, M. Y., Choi, N. K., Park, B. J., Kim, J. 33

38 H., & Park, R. W. (2012). Detection of adverse drug reaction signals using an electronic health records database: Comparison of the Laboratory Extreme Abnormality Ratio (CLEAR) algorithm. Clinical pharmacology and therapeutics, 91(3), Stausberg, J. (2014). International prevalence of adverse drug events in hospitals: an analysis of routine data from England, Germany, and the USA. BMC health services research, 14(1), Park, M. Y., Yoon, D., Lee, K., Kang, S. Y., Park, I., Lee, S. H.,... & Park, R. W. (2011). A novel algorithm for detection of adverse drug reaction signals using a hospital electronic medical record database. Pharmacoepidemiology and drug safety, 20(6), Eriksson, R., Jensen, P. B., Frankild, S., Jensen, L. J., & Brunak, S. (2013). Dictionary construction and identification of possible adverse drug events in Danish clinical narrative text. Journal of the American Medical Informatics Association, 20(5), 정주희, 명근희, 강경현, & 박은희. (2012). 간호정책및정보 : 전자간호기록에사용된표준간호진술문활용실태와시스템사용자만족도. Perspectives in Nursing Science, 9(2), iu, M., Hinz, E. R. M., Matheny, M. E., Denny, J. C., Schildcrout, J. S., Miller, R. A., & Xu, H. (2013). Comparative analysis of pharmacovigilance methods in the detection of adverse drug reactions using electronic medical records.journal of the 34

39 American Medical Informatics Association, 20(3), Ji, Y., Ying, H., Dews, P., Mansour, A., Tran, J., Miller, R. E., & Massanari, R. M. (2011). A potential causal association mining algorithm for screening adverse drug reactions in postmarketing surveillance. Information Technology in Biomedicine, IEEE Transactions on, 15(3), LePendu, P., Iyer, S. V., Bauer Mehren, A., Harpaz, R., Mortensen, J. M., Podchiyska, T.,... & Shah, N.H. (2013). Pharmacovigilance using clinical notes.clinical pharmacology & therapeutics, 93(6), Alvarez, Y., Hidalgo, A., Maignen, F., & Slattery, J. (2010). Validation of statistical signal detection procedures in EudraVigilance post-authorization data. Drug safety, 33(6), Hochberg, A. M., Hauben, M., Pearson, R. K., O Hara, D. J., Reisinger, S. J., Goldsmith, D. I.,... & Madigan, D. (2009). An evaluation of three signal-detection algorithms using a highly inclusive reference event database. Drug safety, 32(6), Overhage, J. M., Ryan, P. B., Reich, C. G., Hartzema, A. G., & Stang, P. E. (2012). Validation of a common data model for active safety surveillance research. Journal of the American Medical Informatics Association, 19(1), Coloma, P. M., Schuemie, M. J., Trifiro, G., Gini, R., Herings, R., Hippisley Cox, J.,... & van der Lei, J. (2011). 35

40 Combining electronic healthcare databases in Europe to allow for large scale drug safety monitoring: the EU ADR Project. Pharmacoepidemiology and drug safety, 20(1), Neubert, A., Dormann, H., Prokosch, H. U., Bürkle, T., Rascher, W., Sojer, R.,... & Criegee Rieck, M. (2013). E pharmacovigilance: development and implementation of a computable knowledge base to identify adverse drug reactions. British journal of clinical pharmacology, 76(S1), Patel, V. N., & Kaelber, D. C. (2014). Using aggregated, de-identified electronic health record data for multivariate pharmacosurveillance: a case study of azathioprine. Journal of biomedical informatics, 52, Park, K. S., & Kwon, O. (2010). The state of adverse event reporting and signal generation of dietary supplements in Korea. Regulatory Toxicology and Pharmacology, 57(1), Kuhn, M., Campillos, M., Letunic, I., Jensen, L. J., & Bork, P. (2010). A side effect resource to capture phenotypic effects of drugs. Molecular systems biology, 6(1). 30. Kuhn, M., Letunic, I., Jensen, L. J., & Bork, P. (2015). The SIDER database of drugs and side effects. Nucleic acids research, gkv accessed at accessed at

41 33. accessed at 김은만, 박인숙, 신현주, 안태사, 김영아, 오필주,... & 조은미. (2005). 전자간호기록에사용된표준간호진술문의활용실태. 임상간호연구, 11(1), Hohl, C. M., Karpov, A., Reddekopp, L., & Stausberg, J. (2014). ICD-10 codes used to identify adverse drug events in administrative data: a systematic review.journal of the American Medical Informatics Association, 21(3), Download/DLArea/Download.aspx, accessed at accessed at Brown, E. G. (2002). Effects of coding dictionary on signal generation. Drug safety, 25(6), Xu, R., & Wang, Q. (2014). Automatic construction of a large-scale and accurate drug-side-effect association knowledge base from biomedical literature. Journal of biomedical informatics, 51, Gurulingappa, H., Mateen-Rajput, A., & Toldo, L. (2012). Extraction of potential adverse drug events from medical case reports. J Biomed Semantics, 3(1),

42 41. Cai, M. C., Xu, Q., Pan, Y. J., Pan, W., Ji, N., Li, Y. B.,... & Ji, Z. L. (2015). ADReCS: an ontology database for aiding standardization and hierarchical classification of adverse drug reaction terms. Nucleic acids research, 43(D1), D907-D Juan-Blanco, T., Duran-Frigola, M., & Aloy, P. (2015). IntSide: a web server for the chemical and biological examination of drug side effects. Bioinformatics,31(4), Tassaneeyakul, W., Tiamkao, S., Jantararoungtong, T., Chen, P., Lin, S. Y., Chen, W. H.,... & Kulkantrakorn, K. (2010). Association between HLA B* 1502 and carbamazepine induced severe cutaneous adverse drug reactions in a Thai population. Epilepsia, 51(5), Mannesse, C. K., van Puijenbroek, E. P., Jansen, P. A., van Marum, R. J., Souverein, P. C., & Egberts, T. C. (2010). Hyponatraemia as an Adverse Drug Reaction of Antipsychotic Drugs. Drug safety, 33(7), Brown, E. G., Wood, L., & Wood, S. (1999). The medical dictionary for regulatory activities (MedDRA). Drug Safety, 20(2),

43 표 표 1. 약물부작용연구에서사용한데이터및관련통제용어 Author Used data source Used data Harpaz et al. (2014)[11] Park et al. (2011) [16] Liu et al. (2013) FDA MedWatch, Study product - Reference standard, FAERS, MEDLINE Inpatient EMR database of Ajou University Hospital, 2010 UpToDateâ Drug Information Database, 2010 UpToDate Drug Information Database Laboratory test laboratory abnormalities mapping table Synthetic Derivative Study product - Reference Labeling information, Event, Drug, Literature information Admission, Discharge, Drug prescription, Laboratory test, laboratory abnormalities, Event Laboratory tests, Drug ordering data Disease classifcat ion Observational ADR data Laboratory tests Clinical narrative x x x Controlled Vocabularies ATC, RxNorm, MedDRA PT, UMLS CUI o o o N/A x o x N/A 39

44 [19] standard Laboratory abnormalities Drug, Veterans Affairs Medical Center Disease in Detroit classification Ji et al. (2011) [20] Yoon et al. (2012) [14] LePendu et al. (2013) [21] Alvarez et al. (2010) [22] Hochberg et al. EHR database, National Library of Medicine Structured Product Labels database, Public online drug database Stanford Translational Research Integrated database Environment, Study product - Reference standard, Validation set from EU-ADR, Medi-Span Adverse Drug Effects Database, Medi-Span Drug Therapy Monitoring System, Drugs.com, Unified Medical Language System (UMLS), Side Effect Resource (SIDER) SPC in EMA database FAERS, Package insert from FDA website, British National Admission, Discharge, Laboratory test, Drug, Event Clinical notes, diseases, devices, procedures Drug, Event Drug, Event Drug, Event o x x ICD-9 x o x ICD-10 o x o RxNorm, ATC, UMLS, CUI, MedDRA, ICD-9 x x x MedDRA PT x x x MedDRA 40

45 (2009) [23] Overhage et al. (2012) [24] Coloma et al. (2011) [25] Eriksson et al. (2013) [17] Stausberg et al. (2014) [15] Neubert et al. (2013) Formulary, Label changes and regulatory actions from FDA website, Literatures obtained through MEDLINE Observational databases standardized into OMOP CDM Drug, Condition, Procedure o o x EHR databases Drug, Event o x x Danish summaries of product charcteristics, Danish psychiatric hospital EHR system Hospital Episode Statistics National Inpatient Sample Institute for the Hospital Remuneration System German Summary of Product Characteristics, Study product - ADR knowledgebase, University Drug, Event, Laboratory test, Clinical narrative SNOMED, HCPCS ICD-9, CPT-4, LOINC ATC, ICD-9CM, ICD-10, ICPC, RCD x o o N/A Diagnosis o x x Drug, Event, Laboratory test x o o ICD-10, national procedure classificatio n, ICD-9-CM, ICD-10-GM ATC, WHO-ART, LOINC 41

46 [26] Hospital Erlangen-Nuremberg Patel et al. Multiple EHRs (2014) [27] Park et al. (2010) [28] Center for AE Reporting of Dietary Supplements Diagnosis, Findings, Procedures, Drug, Laboratory test Spontaneous reporting system o o x x x x UMLS, SNOMED- CT, RxNorm, LOINC MedDRA, WHO- ART ATC, Anatomical Therapeutic Classification; BNF, British National Formulary; CPT-4, Current Procedural Terminology, 4 th edn; HCPCS, Healthcare Common Procedure Coding System; ICD-9, International Classification of Disease, Ninth Revision; ICD-9CM, International Classification of Disease-ninth revision Clinical Modification; ICD-10, International Classification of Disease-tenth revision; ICPC, International Classification of Primary Care; LOINC, Logical Observation Identifiers Names and Codes; MedDRA, Medical Dictionary for Regulatory Acitivities; MeSH, Medical Subhect Heading; NDC, National Drug Code; OMOP CDM, Observational Medical Outcomes Partnership Common Data Model; RCD, READ CODE Classification; SNOMED, Systemized Nomenclature of Medicine; SPC, Summary of Product Characteristics; SPL, Summary of Product Labels; UMLS, Unified Medical Language System; WHO-ART, WHO Adverse Reactions Terminology 42

47 표 3. 약물부작용데이터와관련통제용어 ADR data types Disease classification Laboratory tests Clinical Narrative Controlled Vocabulary International Classification of Diseases (ICD) Logical Observation Identifiers Names and Codes (LOINC) International Classification for Nursing Practice (ICNP) Standard Nursing Statement (SNS) WHO-Adverse Drug Reaction Terminology (WHO-ART) 43

48 표 4. MedDRA- 실험실검사매핑선정 / 배제기준 선정기준 배제기준 기준진단검사결과를기술한용어 ( 해당용어가질병명인경우 ) 질병의진단을위해실험실검사가필요 질병의임상적표현으로실험실검사이상이나타나는경우 실험실검사의결과를서술한것이아닌, 검사명만있는용어실험실검사를제외한검사결과 (i.e. 영상검사, 신체검사 ) 증상또는임상적관찰 내외과적술기 실험실검사를고려하지않고진단가능한질병 지나치게광범위한경우 예시 Hyperbilirubinemia, Hypokalemia, Agranulocytosis, proteinuria, etc. Rheumatoid arthritis, nephrotic syndrome, Hemolytic uremic syndrome, Tubulointerstitial nephritis, Endocarditis, Scleroderma, Spondylitis, etc. Dermatitis, Bone cancer metastatic, hepatic cancer metastatic, abdominal abscess, Virilism, Otitis media acute, Relapsing fever, etc. Haemoglobin, Electrocardiogram PR interval, Muscle mass, immunology test, Cardioactive drug level, etc. Weight increased, Joint range of motion decreased, Intraocular pressure increased, Electrocardiogram QT prolonged, etc. Rash, Pain, Nausea, Skin discolouration, Convulsion, Back pain, Dry mouth, Enuresis, Libido decreased, etc. Vasodilation procedure, Assisted fertilization, Muscle relaxant therapy, Surgery, Sensitisation, Hypoventilation Eyelid ptosis, Cerebral ischemia, Cardiac arrest, Erectile dysfunction, Hypotension, Dermatitis atopic, etc. Disability, Infarction, Acute abdomen, Obstruction, Foetal disorder, Hypertrophy, Angiopathy, etc. 44

49 표 4. SIDER-ICD-10- 질병분류매핑결과예시 ADR Controlled vocabulary Disease classification SIDER ICD-10 KCD-7 SIDER ID MedDRA ID Name ID Name 14 Hypersensitivity T78.4 Allergy, unspecified T784 상세불명의앨러지 305 Haematuria R31 Unspecified hematuria R31 상세불명의혈뇨 1302 Pharyngeal haemorrhage R04.1 Hemorrhage from throat R041 목구멍에서의출혈 45

50 표 5. SIDER-LOINC- 실험실검사매핑결과예시 SIDER ID 12 ADR Controlled vocabulary Laboratory test SIDER LOINC 서울대아주대 MedDRA LOINC ID Long common name Unit Cardiac failure 67 Hepatitis _07_ _8 Natriuretic peptide B [Mass/volume] in Serum or Plasma Troponin I.cardiac [Mass/volume] in Serum or Plasma Troponin T.cardiac [Mass/volume] in Serum or Plasma Alanine aminotransferase [Enzymatic activity/volume] in Serum or Plasma Aspartate aminotransferase [Enzymatic activity/volume] in Serum or Plasma 46 H/L/ Other pg/ml H L8191 검사코드검사명검사코드검사명 B-type Natriuretic Peptide(BNP) (em) ng/ml H L3546 Troponin I 215 ug/l H L3553 Troponin T POCT BNP Troponin I Troponin T hs U/L H L3015 GPT (ALT) 4 ALT (GPT) U/L H L3014 GOT (AST) 3 AST (GOT)

51 998 Rheumatoid arthritis 11572_ _ _8 8061_4 Rheumatoid factor [Units/volume] in Serum Erythrocyte sedimentation rate C reactive protein [Mass/volume] in Serum or Plasma Cyclic citrullinated peptide IgG Ab [Units/volume] in Serum Nuclear Ab [Presence] in Serum IU/mL H L5103 Rheumatoid factor 102 RF( 정량 ) mm/h H L7201 ESR 76 ESR mg/dl H L5102 CRP 74 CRP 없음 H L7348 O L5128 Anti cyclic citrullinated peptide (CCP) antibody Antinuclear Ab(FANA) Anti-CCP Ab IgG ANA Screening 47

52 표 6. MedDRA - WHO-ART 간매핑적절성여부판단결과 1 단계적절성여부판단 Evaluator A 2 단계적절성여부판단 Evaluator B Appropriate Inappropriate Appropriate Inappropriate Evaluator B Evaluator A Appropriate Inappropriate Appropriate Inappropriate Kappa score =

53 표 7. SIDER-WHO ART- 서술형임상기록매핑결과예시 SIDER ID ADR Controlled vocabulary Clinical narrative/ Controlled vocabulary Controlled vocabulary SIDER WHO-ART SNS ICNP MedDRA ID Name ID Statement Terms 289 Ascites 715 ASCITES 9232 복수있음 'Ascites' 'Yes' 9233 복수없음 'Ascites' 'No' 539 Abnormal faeces 1537 FAECAL ABNORMALITY NOS 322 대변양상변화됨 'stool characteristics' 'Bowel Elimination' 'Altered' 325 대변색깔변함 'stool characteristics' 'color' 'Bowel Elimination' 'Altered' 1608 정상대변봄 'stool characteristics' 'Yes' 'Bowel Elimination' 'defecation amont' 'defecation amount' 3455 점액성변없음 'Bowel Elimination' 'No' 3456 점액성변봄 'color' 'Yes' 'Bowel Elimination' 'defecation amount' 49

54 표 8. 각데이터종류별로특수하게표현할수있는약물부작용예시 Category ADR (MedDRA PT) Terms Example LOINC ID 2498_4 CV LOINC LOINC Common name Iron [Mass/volume] in Serum or Plasma Laboratory test Iron deficiency anemia OD Ajou lab H/L/Others L Code 193 Name Serum Iron OD Seoul lab Code Name L3051 Iron Clinical narrative Pruritus CV, Controlled Vocabulary; OD, Observational Database CV WHO-ART Name Pruritus OD SNS Name 가렵다고호소함 CV ICNP Preferred Term 'Discomfort' 'Detail' 'Chest' 'Yes' 50

55 표 9. 실험실검사매핑에서배제된 MedDRA 에대한서술형임상기록의포괄 실험실검사매핑배제사유 배제된 MedDRA 수 서술형임상기록이포괄하는 MedDRA 수 서술형임상기록이포괄하는비율 1 2 실험실검사의결과를서술한것이아닌, 검사명만있는용어 실험실검사를제외한검사결과 (i.e. 영상검사, 신체검사 ) % % 3 증상또는임상적관찰 % 4 내외과적술기 % 5 실험실검사를고려하지않고진단가능한질병 % 6 지나치게광범위한경우 % 7 선천성질병인경우 % 51

56 그림 그림 1. 약물부작용데이터와표준부작용용어간의연결기본구조 52

57 그림 3. 표준부작용용어체계를대상으로한다종데이터매핑결과 MedDRA 3209 Laboratory Tests (939) No-match (1450) Clinical Narrative (1,130) Disease Classification (83) 53

58 그림 4 매핑대상 MedDRA 에대한실험실검사매핑결과 54

59 Abstract Development of high coverage reference standard for adverse drug reaction signals Jongsoo Han Biomedical Science The Graduate School Seoul National University I proposed the Controlled Vocabulary-Based ADR Data Mapping Model (Mapping Model) which enable clinical researchers to utilize disease classification data, laboratory data and clinical narrative data in observational databases. The Mapping Model was applied to the two institution s terminologies of the three data types. Along the proliferation of Electronic Medical Record (EMR), many algorithms have been proposed for ADR signal detection based on EMR. However, there is no such tool to validate the result of the algorithm and integrate it into one available resource. A reference standard that would solve these problems has to include broad sets of drug-adr pairs, consist of controlled vocabularies and cover various data types. The Mapping Model is necessary to develop the reference standard which engage various ADR data types from EMR. In the Mapping Model, MedDRA from SIDER2 was invited as a standard ADR set and the controlled vocabularies of three data types - 55

60 disease classification data, laboratory test data, clinical narrative data connect the standard ADR set to each data types in EMR. ICD-10 (10th revision of the International Statistical Classification of Diseases and Related Health Problems), LOINC(Logical Observation Identifiers Names and Codes), and WHO- ART(WHO Adverse Reactions Terminology) connect disease classification data, laboratory test data, and clinical narrative data to the standard ADR set respectively. For the clinical narrative data, SNS (Standard Nursing Statement) based on ICNP (International Classification for Nursing Practice) were additionally used to utilize nursing record in the Mapping Model. The terminologies of three data types from two institutions Seoul National University Hospital and Ajou University Hospital) were mapped to the standard ADR set using controlled vocabularies. For the disease classification data, MedDRA and ICD-10 were mapped by using UMLS CUI. KCD-7, which is used in Korean hospitals, were easily mapped to ICD-10 because KCD-7 were developed based on ICD- 10. For the laboratory test data, the standard ADR set were mapped to LOINC and laboratory test codes from the two institutions manually. Three physicians participated in the mapping process of the laboratory tests data. For the clinical narrative data, the nursing record of the Seoul National University Hospital was mapped to WHO-ART and the mapped WHO-ART was mapped to MedDRA. The mapping work for the clinical narrative data involves three physicians and a pharmacist. 56

61 Among 3209 standard ADR terms, 1505 terms were mapped to the each controlled vocabularies. 1,130 terms, 951 terms, 83 terms were mapped to clinical narrative terms, laboratory test terms, and disease classification terms respectively. Accordingly, the Mapping Model covers a wide range of ADRs by using various data types. The Mapping Model has three advantages. First, the model covers a wide range of ADRs with the standard ADR set. Secondly, it was constructed based on widely accepted controlled vocabularies. Lastly, it allows researchers to take advantage of diverse data types. These features provide a basis to integrate ADR studies and various ADR data sources. The development of the Mapping Model will lead to the development of high coverage reference standard for adverse drug reaction signals. It will be possible to construct the reference standard and integrate validated drug-adr pairs from a variety of resources such as regulatory sources, academic papers and observational databases using the Mapping Model. Eventually, the integration of ADR data sources will provide accurate evidence of drug-adr pairs Keywords : adverse drug reaction, reference standard, observational databases, electronic medical record, controlled vocabularies, mapping model, disease classification, laboratory test, clinical narrative Student Number :