untitled

약물역학위해관리학회지 2011;4:15-21 ORIGINAL ARTICLE 약물유해반응실마리정보검색프로그램개발 서울대학교의과대학예방의학교실 1, 서울대학교의학연구원 2, 서울대학교병원의학연구협력센터 3 성종미 1 ㆍ최남경 2,3 ㆍ안소현 1 ㆍ박병주 1,2,3 Development of Signal Detection Program for Adverse Drug Reactions Jong-Mi Seong, MSc 1, Nam-Kyong Choi, PhD 2,3, So-Hyeon Ahn, MSc 1, and Byung-Joo Park, MD, MPH, PhD 1,2,3 1 Department of Preventive Medicine, Seoul National University College of Medicine, 2 Medical Research Center, Seoul National University, 3 Medical Research Collaborating Center, Seoul National University Hospital, Seoul National University College of Medicine, Seoul, Korea Objective: There is a growing need for detecting signals of adverse drug reaction (ADR) from large automated databases efficiently and effectively. We developed a data-mining program that performs signal detection of ADR automatically. Methods: This software was developed with Microsoft Studio 2008 and Microsoft SQL 2005 Express. Adverse events (AEs) database in Microsoft Excel included information on suspected drug names and AEs were imported to the software for data-mining analysis. The algorithms included proportional reporting ratio, reporting odds ratio and information component by Bayesian Confidence Propagation Neural Network. The results of signal detection were displayed as a tabular format. Its feasibility and capacity for signal detection was tested with ADR reports collected from 24 June 2009 to 28 February 2010 by PharmacoVigilance Research Network. Results: We developed the automated system that can carry out data import and analysis to detect drug-adr signals. User-friendly interfaces were developed, which allowed users to easily view and analyze AES database. Using this program 10,352 drug-ae pairs were detected as signals among total 17,482 reports and 59,397 drug-ae pairs. Conclusion: This automated data-mining system can be a promising tool for detecting drug-adr signals using AEs database, which can be useful to the healthcare policy makers for making decision on pharmacovigilance and also to the physicians and pharmacists for their patients care. (JPERM 2011;4:15-21) Key Words: Signal; Adverse drug reaction; Adverse event; Pharmacovigilance 접수 : 2010 년 11 월 26 일, 승인 : 2011 년 6 월 15 일연락처 : 박병주, 110-799, 서울시종로구대학로 103 서울대학교의과대학예방의학교실 Tel: (02) 740-8325, Fax: (02) 747-4830 E-mail: bjpark@snu.ac.kr * 본연구는식품의약품안전청약물감시연구사업단의연구비지원 (09182 약물감 857) 에의해수행되었음. 논문에서소개된약물유해반응실마리정보검색프로그램은 2011.5.13 자로특허출원 ( 출원번호 : 10-2011-0042049, 발명의명칭 : 약물유해반응실마리정보검색시스템및방법 ) 되었음. Correspondence to: Byung-Joo Park, MD, MPH, PhD Department of Preventive Medicine, Seoul National University College of Medicine, 103, Daehak-ro, Jongno-gu, Seoul 110-799, Korea Tel: +82-2-740-8325, Fax: +82-2-747-4830 E-mail: bjpark@snu.ac.kr

16 약물역학위해관리학회지제 4 권제 1 호, 2011 서론약물감시 (pharmacovigilance) 에서실마리정보 (signal) 란 인과관계가알려지지않았거나입증자료가불충분하지만그인과관계를배제할수없어계속적인관찰이요구되는정보 이다. 1) 전세계적으로약물감시에대한중요성이강조되면서약물부작용자료를분석하여실마리정보를검색하고, 알려지지않은중대한약물유해반응을조기에발견하기위한노력이활성화되고있다. 데이터마이닝 (data mining) 은대규모데이터베이스에서전산화된알고리즘을통하여숨겨진패턴이나예측하지못하였던관련성을찾아내는것으로자발적약물부작용보고자료에서약물유해반응실마리정보를검색하는방법으로널리활용되고있다. 2) 여러가지데이터마이닝지표들이개발되어사용되고있는데베이지안신뢰전달신경망 (Bayesian Confidence Propagation Neural Network, BCPNN) 의정보성분 (Information Component, IC), 다항목감마포아송쉬링커 (Multi-item Gamma Poisson shrinker, MGPS) 의경험적베이즈기하학적평균 (Empirical Bayes Geometric mean, EBGM), 보고분율비 (Proportional Reporting Ratio, PRR), 보고오즈비 (Reporting Odds Ratio, ROR) 등이있다. 보고오즈비, 보고분율비는비교적지표산출방법이간단하나, 베이지안분석방법을이용한정보성분과경험적베이즈기하학적평균등은지표산출과정에다소복잡한통계적개념이적용되어임상연구자들의접근이어렵다는단점이있다. 3) 이에따라외국에서는보다쉽고편리하게실마리정보를검색하기위하여자동화시스템을개발하여사용하고있다. 4-7) 세계보건기구 (World Health Organization) 의웁살라모니터링센터 (Uppsala Monitoring centre) 에서는전세계각회원국으로부터보고받은 470만건이상의약물부작용자료가축적되어있는 VigiBase 데이터베이스를분석하여자동으로보고분율비, 보고오즈비, 정보성분, 경험적베이즈기하학적평균등여려가지지표를산출하고실마리정보를확인할수있는프로그램 QScan R 을개발하여사용하고있다. 미국에서는일개제약회사에서주도하여데이터마이닝지표로경험적베이즈기하학적평균을이용하는 WebVDME R (web based visual data mining environment) 실마리정보검색시스템을개발하여사용하고있으며, 4) 프랑스에서는 Bousquet C 등에의해카이제곱테스트 (χ 2 -test), 보고분율비, 보고오즈비, Yule s Q와정보성분을데이터마이닝지표로사용하여자동으로실마리정보를검색하는 PharmaMiner 프로그램을개발하였다. 5) 중국에서도웹기반실마리정보검색시스템을구축하고있는데, 정보성분을데이터마이닝지표로사용하며실제광동지역자발적약물부작용보고자료를분석하고주기적으로실마리정보를확인하고있다. 6) 우리나라에서는 1988년부터자발적약물부작용보고제도 가운영되기시작하였으나, 이후십년동안에는연간총보고건수가 100건이되지않는수준으로약물유해반응실마리정보를검색할수있는기반이마련되어있지않았다. 그러나, 2000년이후제약회사와약사에게부작용을의무보고하도록제도를개선하고, 2006년부터지역약물감시센터를매년 3개씩지정하기시작하였으며 2009년에는약물감시연구사업단이발족하면서총 15개지역약물감시센터에서전국적인네트워크를구축하면서자발적약물부작용보고건수가기하급수적으로증가하였다. 지역약물감시센터를포함하여국내의료기관에서축적된약물부작용자료를분석하고자하는요구가증가하고있으며, 최근식품의약품안전청 ( 식약청 ) 에서는 1988년부터 2010년까지식약청으로보고된약물부작용자료를정비하여약 10만건의약물부작용데이터베이스를구축하였으며, 데이터마이닝기법을적용하여의미있는실마리정보를검색하기위한노력을기울이고있다. 따라서, 보다효율적이고신속하게약물부작용자료를이용하여데이터마이닝분석을수행할수있는소프트웨어개발등에대한인프라구축이시급하다. 본연구에서는약물부작용자료를이용하여자동으로데이터마이닝지표를산출하고실마리정보를검색할수있는소프트웨어프로그램을개발하고식약청약물감시연구사업단에서보고한약물부작용자료에적용하여그유용성을확인하였고, 향후새로개발한시스템을식약청을포함한관련기관들에서적극활용하여신속하며편리하게약물유해반응실마리정보를검색하여약물안전성확보에기여하고자하였다. 대상및방법약물유해반응실마리정보검색프로그램은마이크로소프트비주얼스튜디오 2008 (Microsoft Visual Studio 2008) 프로그램과비주얼 C# (Visual C#) 언어를이용하여개발하였다. 개인용컴퓨터에설치하여사용하는독립어플리케이션형태로개발하였으며, 마이크로소프트 SQL 2005 익스프레스 (Microsoft SQL 2005 Express) 를사용하여데이터저장및분석이이루어지도록하였다. 프로그램사용자의편의성을고려하여마이크로소프트오피스 2007의리본사용자인터페이스방식의디자인을적용하였으며, 프로그램기능은크게기초데이터등록모듈과실마리정보분석모듈으로구성하였다. 기초데이터등록모듈은분석하고자하는약물유해사례자료를개발프로그램으로불러들이고, 해당자료를프로그램내에서저장하도록하는기능을구현하며, 실마리정보분석모듈은저장된데이터베이스로부터실마리정보검색조건으로사용자가의심약물과유해사례에해당하는변수를지정한것에따라분석결과를생성하도록하였다.

성종미외. 약물유해반응실마리정보검색프로그램개발 17 1. 약물유해사례자료등록본프로그램에서는마이크로소프트엑셀형태의데이터를불러들일수있도록하였다. 엑셀파일에여러개의스프레드시트가있는경우분석하고자하는자료가입력되어있는스프레드시트를선택할수있으며, 불러들인자료에대하여프로그램내에서사용할데이터베이스이름을설정할수있도록하였다. 자료가등록되면해당데이터베이스에포함된변수의갯수와총건수가표시되며, 여러개의열과행으로입력된정보중에서첫행에입력된정보를각열의변수명으로인식하도록하였다. 프로그램에등록된자료는한줄의행에서두개의특정변수값을확인하여약물-유해사례조합을생성하므로사용자가불러들이는자료는한행당하나의약물과하나의유해사례가입력된형태로구성하도록하였다. 예를들어, 한환자가두개의약물 A, B를복용하고두가지의유해사례로두드러기, 어지러움이발생한경우에는두개의변수에각각 ' 약물A-두드러기 ', ' 약물 A-어지러움 ', ' 약물B-두드러기 ', ' 약물B-어지러움 ' 이네줄의행에입력된자료를불러들이도록하였다. 2. 데이터마이닝지표산출을위한약물-유해사례빈도표구성프로그램에등록된기초데이터베이스에서데이터마이닝지표를산출하고자하는의심약물과유해사례정보에해당하는변수를선택할수있도록하였다. 선택된변수에대하여자료의한행당입력된정보를하나의약물-유해사례조합으로인식하고, 데이터마이닝지표를산출하기위하여약 Table 1. Drug-adverse event cross table 물과유해사례의빈도표를작성하도록하였다 ( 표 1). 사용자가분석대상으로선택한변수에결측값이있는경우는결측값이포함된약물-유해사례조합을실마리정보검색을위한약물-유해사례빈도표구성에서제외되도록하였다. 약물- 유해사례빈도표를이용하여모든약물-유해사례조합에대하여특정약물과다른모든약물을열으로구분하고, 특정유해사례와다른모든유해사례를행으로구분한분할표를작성하도록하였다 ( 표 2). 3. 데이터마이닝지표산출및실마리정보여부판정약물유해반응실마리정보검색을위한데이터마이닝지표로보고분율비, 보고오즈비, 정보성분세가지지표가자동으로산출되도록하였다. 각지표의산출식및실마리정보판정기준은표 3에나타내었다. 모든약물-유해사례조합에대하여데이터마이닝지표를산출하고, 각지표의판정기준에따라실마리정보로확인된경우는 1, 실마리정보가아닌것으로판정된경우는 0 으로출력되도록하였다. 전체분석대상약물-유해사례조합건수와분석결과 1개이상의지표에서실마리정보로판정한약물-유해사례조합의건수가표시되도록하였다. 4. 검색된실마리정보확인및저장실마리정보검색결과를각지표의판정결과에따라정렬하여확인할수있도록하였다. 전체자료중관심있는약물또는유해사례에대한실마리정보검색결과만을선택하여출력할수있도록하였다. 또한, 실마리정보로검색결과를저장할수있는기능을개발하였다. 프로그램내에서생성된분석결과를자동으로엑셀파일로변환해주며, 개별파일의형태로저장할수있도록하였다. AE 1 AE 2 AE 3.. AE j Drug 1 N 11 N 12 N 13 N 1j Drug 2 N 21 N 22 N 23 N 2j Drug 3 N 31 N 32 N 33 N 3j Drug 4 N 41 N 42 N 43 N 4j.. Drug i N i1 N i2 N i3 N ij AE: adverse event. Table 2. Two-by-two contingency table for combining the drugs and adverse events No. of reports Specific AE All other AE Specific drug A B All other drugs C D AE: adverse event. Table 3. Definition and signal detection criteria of implemented data mining indices Indices Definition Criteria of signal detection PRR {A/(A+B)}/{C/(C+D)} PRR 2, chi-squared 4 and A 3 ROR (A/B)/(C/D) ROR 2, chi-squared 4 and A 3 IC Log 2P(AE,drug)/P(AE)P(drug) Under limit of 95% confidence interval 0 PRR: proportional reporting ratio, ROR: reporting odds ratio, IC: information component, AE: adverse event.

18 약물역학위해관리학회지제 4 권제 1 호, 2011 5. 사용자화면인터페이스개발사용자가프로그램의데이터마이닝분석알고리즘을이용하여약물유해반응실마리정보를검색하기위한화면인터페이스를개발하였다. 프로그램메뉴는 데이터등록, 기초데이터, 실마리정보 세가지로구성하였다. 데이터등록 메뉴에서는분석하고자하는데이터를프로그램으로불러들이고, 기초데이터 메뉴에서는프로그램에서생성된기초데이터베이스의자료를조회할수있도록하였다. 실마리정보 메뉴에서는분석대상변수선택버튼과분석실행버튼을개발하였으며, 실마리정보분석결과가출력되고결과저장버튼을포함하도록하였다. 6. 개발프로그램을이용한약물유해반응실마리정보분석약물감시연구사업단에서 2009년 6월 24일부터 2010년 2 월 28일까지식약청에보고한약물부작용자료를이용하여개발프로그램의약물유해반응실마리정보검색가능성과유용성을확인하였다. 약물감시연구사업단약물부작용자료에는의약품이아닌것이의심약물로보고된 1건을제외하고총 17,482개의보고건과 59,397개의약물-유해반응조합이있었다. 부작용보고날짜, 보고자및환자정보, 의심약물과병용약물의제품명및성분명, WHO-ART (World Health Organization Adverse Reaction Terminology) 로코딩된유해사례정보등이포함되어있었는데, 의심약물과유해사례의실마리정보검색조건으로각각약물성분명과 WHO-ART의 Preferred Term (PT) 을설정하여분석을수행하였다. 동일자 Data file (*.xls) Import ADR reporting data Data Analysis Basic database generation Displays information on basic dataset Data-mining indices Calculation : PRR, ROR, IC Drug-AE table generation Variable selection : Drug, AE Classification of drug-ae combination by signal detection criteria of implemented data mining indices Data file (*.xls) Export Results of ADR signal detection Figure 1. Flowchart of automated data mining system for signal detection. ADR: adverse drug reaction, AE: adverse event, PRR: proportional reporting ratio, ROR: reporting odds ratio, IC: information component. Figure 2. Selecting variables for use in data mining analysis.

성종미외. 약물유해반응실마리정보검색프로그램개발 19 료에서표 3의수식에따라일부의심약물-유해사례조합에대하여데이터마이닝지표값을직접계산하고실마리정보판정기준을적용하여개발프로그램을통해출력된해당의심약물-유해사례분석결과와비교하였다. 결과약물유해반응실마리정보검색프로그램은데이터를프로그램으로불러들여기초데이터베이스를생성하고, 사용자가지정한변수에따라약물-유해사례빈도표를생성하며자동으로데이터마이닝지표를산출하고실마리정보여부를판정한다 ( 그림 1). 개발된사용자인터페이스는 실마리정보 메뉴에서 약물 과 유해사례 로표시된박스옆을클릭하면기초데이터베이스에있는변수명목록을확인할수있고, 그중에서실마리정보를검색하고자하는분석대상변수를선택할수있다 ( 그림 2). 실마리정보분석결과출력창은모든약물-유해사례조합에대하여약물명, 유해사례명과약물-유해사례조합의건수, 데이터마이닝지표값과각지표값에의한실마리정보판정결과와함께프로그램화면의하단에는전체분석대상약물-유해사례조합건수와실마리정보검색건수가표시되었다 ( 그림 3). 약물감시연구사업단약물부작용자료를분석하였을때 16,954가지의약물-유해사례조합에대하여 10,352개의실마리정보가검색되었다. 다빈도로보고된약물-유해사례조합순으로검색된실마리정보를확인하였을때 오셀타미비어 (oseltamivir)-구토(vomiting)', 오셀타미비어-욕지기 (nausea)', 트라마돌 (tramadol)- 욕지기 ', 오셀타미비어-설사 (diarrhoea)', 이오프로마이드 (iopromide)- 두드러기 (urticaria)', 트라마돌- 구토 ', 이오프로마이드-가려움증 (pruritus)', 오셀타미비어- 어지러움 (dizziness)', 오셀타미비어-두통 (headache)', 트라마돌-어지러움 ', 파라세타몰 (paracetamol)-욕지기', 오셀타미비어-복통 (abdominal pain)', 파라세타몰-구토 ', 이오헥솔 (iohexol)-두드러기', 반코마이신 (vancomycin)- 발진 (rash)', 메토클로프라마이드 (metoclopramide)-욕지기', 이오파미돌 (iopamidol)-가려움증 ', 세프트리악손 (ceftriaxone)-발진', 펜타닐 (fentanyl)-욕지기', 파라세타몰-설사 ' 가상위 20개실마리정보이었다 ( 표 4). 프로그램을통하여산출된데이터마이닝지표값과실마리정보판정결과가직접수식을이용하여지표값을계산하고실마리정보판정기준을적용하여확인한결과와동일하였다. 고찰본연구에서는약물부작용자료를이용하여자동으로데이터마이닝지표를산출하고실마리정보를검색할수있는프로그램을개발하였다. 개인용컴퓨터에설치하여사용하는독립어플리케이션형태로약물유해사례자료를프로그램으로불러들여데이터마이닝지표로써보고분율비, 보고오즈비, 정보성분을산출하고각지표의기준에따라검색된실마리정보를확인할수있도록하였다. 또한, 약물감시연구사업단약물부작용보고자료를분석하여본연구에서개발한프로그램이약물유해반응실마리정보검색하는데 Figure 3. Tabular display of signal detection results.

20 약물역학위해관리학회지제 4 권제 1 호, 2011 Table 4. Frequently reported drug-adverse events pair among the detected signals by data mining indices Drug Adverse events A PRR ROR IC 95% LCI Oseltamivir Vomiting 1,077 2.91* 3.46* 1.23* Oseltamivir Nausea 969 1.73 1.91 0.60* Tramadol Nausea 646 3.22* 4.52* 1.46* Oseltamivir Diarrhoea 584 3.09* 3.38* 1.27* Iopromide Urticaria 498 7.72* 11.23* 2.57* Tramadol Vomiting 372 2.52* 2.94* 1.11* Iopromide Pruritus 351 3.95* 4.89* 1.71* Oseltamivir Dizziness 289 1.36 1.38 0.22* Oseltamivir Headache 269 2.88* 2.99* 1.13* Tramadol Dizziness 202 2.68* 2.90* 1.14* Paracetamol Nausea 202 1.25 1.29 0.10* Oseltamivir Abdominal pain 183 1.95 1.98 0.63* Paracetamol Vomiting 181 1.57 1.65 0.40* Iohexol Urticaria 171 6.85* 9.82* 2.45* Vancomycin Rash 166 2.72* 3.38* 1.17* Metoclopramide Nausea 161 1.94 2.23* 0.69* Iopamidol Pruritus 151 5.45* 7.81* 2.13* Ceftriaxone Rash 144 2.02* 2.28* 0.74* Fentanyl Nausea 141 2.41* 3.00* 0.98* Paracetamol Diarrhoea 138 2.34* 2.50* 0.93* A: the number of drug-adverse event pairs, PRR: proportional reporting ratio, ROR: reporting odds ratio, IC 95% LCI: information component lower limit of 95% confidence interval. *Detected signal by each indices, PRR, ROR or IC. 유용하게사용될수있음을확인하였다. 본연구에서개발한프로그램은독립어플리케이션형태로미국, 프랑스, 중국등에서개발하여사용하고있는웹기반프로그램과는개발형태에차이가있다. 본프로그램은네트워크환경에영향을받지않으며실행이안정적이라는장점이있다. 웹기반프로그램은분석대상데이터베이스를웹서버에업로드해야만하므로정보보안문제가있을수있으나, 본연구에서적용한독립어플리케이션방식은분석대상데이터베이스가개인의컴퓨터에만저장되므로상대적으로정보보안문제가발생할가능성이적다. 약물유해반응실마리정보를검색하기위한데이터마이닝지표로써보고분율비, 보고오즈비와정보성분을자동으로산출하도록프로그램을개발하였다. 세계보건기구웁살라모니터링센터에서사용하고있는 QScan R 프로그램은보고분율비, 보고오즈비, 정보성분, 경험적베이즈기하학적평균등여러가지데이터마이닝기법을이용한실마리정보분석이가능하다. 미국에서개발한 WebVDME R 프로그램에서는데이터마이닝지표로다항목감마포아송쉬링커를사용하며, 프랑스 PharmaMiner 프로그램에서는카이제곱테스트 (χ 2 - test), 보고분율비, 보고오즈비, Yule s Q와정보성분을적용하고, 중국웹기반실마리정보검색시스템에서는정보성분을사용하고있어각프로그램에서사용하고있는지표가 다른것으로나타났다. 4-7) 한가지의지표를사용하는프로그램도있었으나, 아직까지여러가지데이터마이닝지표중어떤지표가실마리정보검색에가장적절한것으로밝혀진바는없으며각지표의실마리정보검색능력이다른것으로알려져있어 8) 본연구에서와같이한가지이상의지표를적용하여실마리정보를검색하도록개발한프로그램도있었다. 추후우리나라실정에맞는데이터마이닝지표가개발된다면본프로그램도이를반영하여업데이트할필요가있다. 본연구에서는우리나라약물유해사례자료를이용하여실마리정보를검색하기위한도구로써복잡한데이터마이닝지표산출식및판정기준을컴퓨터알고리즘으로변환하고, 사용자편의성을고려한화면인터페이스를설계한실마리정보검색자동화프로그램을처음으로개발하였다. 통계분야의전문적인지식이없는경우에도쉽고편리하게약물유해사례자료를이용하여데이터마이닝분석을수행하고결과를확인할수있다는장점이있다. 또한, 개인컴퓨터사양에따라차이가있을수있으나분석결과가수초내에출력되어신속하게실마리정보를확인할수있다. 그러나, 약물-유해사례조합이행으로입력되어있는정해진형태의자료를구축하여프로그램에등록하여야한다는단점이있다. 자동분석프로그램을사용하기이전에분석하고자하는

성종미외. 약물유해반응실마리정보검색프로그램개발 21 자료가의심약물과유해사례정보가각각통일된형태로입력되어있는지를확인하는작업이선행되어야프로그램에서설정되어있는알고리즘을적용하여정확한실마리정보분석결과를확인할수있다. 또한이와같은전산프로그램으로데이터마이닝을수행하여검색된실마리정보는인과성을확정적으로판정하기어려운경우가많아서임상적및보건학적으로중대하다고판단되는경우는반드시인과성을밝히기위한체계적인약물역학연구의수행이필요하다는점을간과하지말아야한다. 우리나라자발적부작용보고건수가최근에급증하면서식약청에접수된정보량이양적으로성장하고있어본연구에서개발한실마리정보검색프로그램을이용하여수집된자료를분석하고의미있는실마리정보를검색하는데필요한여건이개선되고있으나보다충실한실마리정보검색을위하여보고의질향상이반드시수반되어야한다. 또한, 표준화된형태로의심약물과유해사례자료를수집하고데이터베이스화하려는노력이필요하다. 참고문헌 1. Meyboom RH, Lindquist M, Egberts AC, Edwards IR. Signal selection and follow-up in pharmacovigilance. Drug Saf 2002; 25:459-65. 2. Waller PC, Coulson RA, Wood SM. Regulatory pharmacovigilance in the United Kingdom: current principles and practice. Pharmacoepidemiol Drug Saf 1996;5:363-75. 3. Hartzema AG, Tilson HH, Chan KA. Pharmacoepidemiology and Therapeutic Risk Management, 1st ed. Chapter 10. Data mining techniques in pharmacovigilance. Cincinnati, OH 45242 USA: Harvey Whitney Books; 2008. p. 250. 4. Fram D, Almenoff JS, DuMouchel W. Empirical Bayesian data mining for discovering patterns in post-marketing drug safety. Washingtone, DC, USA: Proc SIGKDD 03; 2003. 5. Bousquet C, Henegar C, Louët AL, Degoulet P, Jaulent MC. Implementation of automated signal generation in pharmacovigilance using a knowledge-based approach. Int J Med Inform 2005;74:563-71. 6. Ye X, Fu Z, Wang H, Du W, Wang R, Sun Y, Gao Q, He J. A computerized system for signal detection in spontaneous reporting system of Shanghai China. Pharmacoepidemiol Drug Saf 2009;18:154-8. 7. Li C, Xia J, Deng J, Chen W, Wang S, Jiang J, Chen G. A web-based quantitative signal detection system on adverse drug reaction in China. Eur J Clin Pharmacol 2009;65:729-41. 8. Kubota K, Koide D, Hirai T. Comparison of data mining methodologies using Japanese spontaneous reports. Pharmacoepidemiol Drug Saf 2004;13:387-94.