의료계내부에서도큰이견이없어보인다.[5, 6, 7] 현재다양한의료분야에서여러종류의인공지능이발전해왔으며, 앞으로도새로운인공지능과연구결과들은지속적으로등장하게될것이다. 향후예상되는모든종류의의료인공지능을포괄하여분류한다는것은쉬운일이아닐것이다. 다만필자는적어도현재까지연구되고있는대부

Similar documents
기관고유연구사업결과보고

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770>

( )Jkstro011.hwp

암센터뉴스레터1

Science & Technology Policy 과학기술정책 2017 년 6 월호 ( 통권 227 호 ) 지않은상황에서인공지능에대한불필요한우려를낳거나과장된기대를갖게한다. 병원은왜인공지능을도입하는가? 실제진료현장에서왓슨은어떻게활용되고있으며, 이것이의료계의어떤문제를해결해

<B3EDB9AEC0DBBCBAB9FD2E687770>

Jkbcs016(92-97).hwp

김범수

황지웅

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

550호(01-09)

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: (LiD) - - * Way to

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Study on the Pe

???德嶠짚

DBPIA-NURIMEDIA

03-ÀÌÁ¦Çö

Rheu-suppl hwp

_ 김철수 내과, 김란희 산부인과 개원 _ 양지병원 (6개과 33실 51병상) 개원 _ 신관 별관 증축 종합병원 기틀 마련 _ 첨단 의료정보 인프라 구축 전자 차트(OCS/EMR) 의료영상 시스템(PACS) 전자

<B0A3C3DFB0E828C0DBBEF7292E687770>

(

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

레이아웃 1


_KF_Bulletin webcopy

Investment Proposal

Jkbcs032.hwp

<BFACB1B85F D30335FB0E6C1A6C0DAC0AFB1B8BFAA2E687770>

요약 - 2 -

Àå¾Ö¿Í°í¿ë ³»Áö

[NO_11] 의과대학 소식지_OK(P)

( ) ) ( )3) ( ) ( ) ( ) 4) 1915 ( ) ( ) ) 3) 4) 285

16(1)-3(국문)(p.40-45).fm

DBPIA-NURIMEDIA

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI: * The

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: NCS : * A Study on

슬라이드 1

untitled

DBPIA-NURIMEDIA

Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI: IPA * Analysis of Perc

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: A study on Characte

대한한의학원전학회지24권6호-전체최종.hwp

A 617

A9RDACB.tmp

untitled

서론

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI: * A Study on Teache

歯kjmh2004v13n1.PDF

hwp

<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770>

09권오설_ok.hwp

<31382D322D3420BDC5B1D4C8AF5FB3EDB9AE28C3D6C1BEBABB292E687770>

?

0125_ 워크샵 발표자료_완성.key

Lumbar spine

untitled

Ch 1 머신러닝 개요.pptx

<B1E2C8B9BEC828BFCFBCBAC1F7C0FC29322E687770>

152*220

歯1.PDF

141(26) () ( ( ) () () () ) 2) 1932 ()()3) 2 1) ( ) ( ) () () () 4) ( ) 5) 6) ) ) ( ) () 42 () )

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI: (NCS) Method of Con

,,,,,,, ,, 2 3,,,,,,,,,,,,,,,, (2001) 2



Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: A Study on Organizi

USC HIPAA AUTHORIZATION FOR

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI: 3 * Effects of 9th

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

12이문규

03.Agile.key

< FB5B5BAF1B6F32C20B8F1C2F D34292E687770>

1..

6) 송승종길병옥, ' 군용무인기개발의역사와그전략적함의에대한연구,' 군사 제 97 호, ) 최근공개된자료에따르면주한미군은기간중 268 회의무인기비행을수행한것으로알려졌다.

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

<353020B9DAC3E1BDC42DC5ACB6F3BFECB5E520C4C4C7BBC6C3BFA1BCADC0C720BAB8BEC820B0EDB7C1BBE7C7D7BFA120B0FCC7D120BFACB1B82E687770>

Microsoft PowerPoint - 김미영

KIM Sook Young : Lee Jungsook, a Korean Independence Activist and a Nurse during the 이며 나름 의식이 깨어있던 지식인들이라 할 수 있을 것이다. 교육을 받은 간 호부들은 환자를 돌보는 그들의 직업적 소

전국시대, 위나라최고의소잡이포정의소를잡는솜씨가신의경지에다다름,. " ()., 3... (),. 1.,. 19..,. 19. < > 2

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

퇴좈저널36호-4차-T.ps, page Preflight (2)

Á¶´öÈñ_0304_final.hwp

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: : A Study on the Ac

<313120B9DABFB5B1B82E687770>

<3133B1C732C8A328BCF6C1A4292E687770>

Jkafm093.hwp

ÀÌÁÖÈñ.hwp

04±èºÎ¼º

Microsoft PowerPoint - 3.공영DBM_최동욱_본부장-중소기업의_실용주의_CRM

( )Kjhps043.hwp

ePapyrus PDF Document

2009;21(1): (1777) 49 (1800 ),.,,.,, ( ) ( ) 1782., ( ). ( ) 1,... 2,3,4,5.,,, ( ), ( ),. 6,,, ( ), ( ),....,.. (, ) (, )

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H


<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

27 2, * ** 3, 3,. B ,.,,,. 3,.,,,,..,. :,, : 2009/09/03 : 2009/09/21 : 2009/09/30 * ICAD (Institute for Children Ability

SECTION TITLE A PURE PRIMER (AI), // 1


A Problem for Government STAGE 6: Policy Termination STAGE 1: Agenda Setting STAGE 5: Policy Change STAGE 2: Policy Formulation STAGE 4: Policy Evalua

Kaes025.hwp

노영남

Transcription:

https://doi.org/10.7599/hmr.2017.37.2.49 pissn 1738-429X eissn 2234-4446 Review IBM 왓슨포온콜로지의의학적검증에관한고찰 1, 2, 3 Yoon Sup Choi 1 Digital Healthcare Institute, Seoul, Korea 2 Digital Healthcare Partners, Seoul, Korea 3 Department of Digital Health, Sungkyunkwan University, Seoul, Korea The development of artificial intelligence revolutionizes many fields, and one of the representative fields is medical artificial intelligence. The world-renowned IBM Watson for Oncology (WFO) is a leading medical artificial intelligence that recommends treatment options to doctors based on medical records of cancer patients. This review examines the concepts and characteristics of WFOs and the challenges to be addressed. In particular, the accuracy and medical efficacy of WFO have not yet been fully validated, and it will be necessary to establish evidence through further clinical studies. Artificial intelligence will make fundamental changes in many areas of medicine in the future. It is necessary for the medical community to establish principles of how to maximize clinical benefits and minimize side effects. Key words: Artificial intelligence; Clinical trials; Evidence based medicine; Cancer; Machine learning Corresponding Author: Yoon Sup Choi Digital Healthcare Institute, Seocho-gu, Banpodero 30 gil, Room 1229, Seoul, Korea E-mail: yoonsup.choi@gmail.com Received 27 July 2017 Revised 18 Sep 2017 Accepted 2 Nov 2017 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. 서론실리콘밸리의선각자이자유명벤처투자가인비노드코슬라 (Vinod Khosla) 는몇년전 ' 미래에는 80% 의의사가첨단기술로대체될것 ' 이라고공개석상에서주장한바있다 [1, 2]. 그는의료의많은부분이여전히근거에기반을둔과학이라고보기어렵다며, 대규모의데이터에기반하고막강한연산능력으로무장한기계가평균적인의사보다더저렴하면서도정확하고객관적일수있다고언급했다. 그는 ' 닥터알고리즘 (Doctor Algorithm)' 의실력은갈수록좋아져서, 어려운치료사례에대해서도모든가능성을고려하여 2차소견을제공하면서진료실에서의영향력은더커질것이라고했다. 또한많은경우의사들의진료에일관성이부족하고, 편차가크다는점도지적했다. 비노드코슬라는선마이크로시스템즈 (Sun Micro systems) 를창업한실리콘밸리 IT 분야의입지전적인인 물로, 지금은자신의이름을딴코슬라벤처스 (Khosla Ventures) 라는벤처캐피털을이끄는전설적인벤처투자가다. 이렇게 IT 업계에서영향력있는인물의도발적인발언은즉시의료계내외부에서격렬한찬반양론을불러일으켰다 [2, 3, 4]. 이것이 2012년의이야기였다. 만약같은주장을오늘날에듣게된다면이제는어떨까. 당시에는의학을모르는타분야전문가의허무맹랑한주장정도로치부되었을이야기가, 지금에이르러서는그리가볍게느껴지지않는다. 그만큼지난몇년동안의짧은기간동안인공지능기술이폭발적으로발전했기때문이다. 이후지금까지인간의사수준의혹은그이상의실력을가지는인공지능연구들이쏟아져나오기시작했고, 몇몇병원에서는인공지능을실제로도입하기에이르렀다. 하지만이제는인공지능에의해서미래의의료와의사의역할이어떤식으로든상당히달라지게될것이라는주장자체에는 http://www.e-hmr.org 2017 Hanyang University College of Medicine Institute of Medical Science 49

의료계내부에서도큰이견이없어보인다.[5, 6, 7] 현재다양한의료분야에서여러종류의인공지능이발전해왔으며, 앞으로도새로운인공지능과연구결과들은지속적으로등장하게될것이다. 향후예상되는모든종류의의료인공지능을포괄하여분류한다는것은쉬운일이아닐것이다. 다만필자는적어도현재까지연구되고있는대부분의의료인공지능을다음과같이세가지정도의유형으로분류할수있다고본다. 복잡한의료데이터를분석하여의학적통찰력을도출하는인공지능 이미지로나타낼수있는의료데이터를분석및판독하는인공지능 연속적인의료데이터를모니터링하여질병을예측및예방하는인공지능첫번째유형이바로복잡한의료데이터를분석하여의학적인통찰력을도출하는인공지능이다. 여기에서 복잡한의료데이터 라고한다면, 전자의무기록 (EMR) 이나차트에저장되어있는환자의진료기록이나, 환자의진료비를청구한데이터, 유전체데이터, 임상시험데이터등의의료빅데이터를포괄한다. 이러한인공지능은의료빅데이터를분석하여 의학적통찰력 을도출할수있을것이다. 예를들어, 진료기록등을바탕으로환자의질병을진료하거나진단하거나예측한다 [8]. 또한유전체데이터를바탕으로질병을유발한원인이되는유전적요인을정밀하게찾아주고 [9], 특정환자에게가장적합한임상연구가어떤것인지매칭해줄수있다 [10]. 더나아가사망률이나재입원율을낮추고, 의료비를절감하는목적으로사용할수도있다 [11]. 이러한유형의의료인공지능중에가장잘알려진것은바로 IBM의왓슨 (Watson) 이다. 왓슨은현재의료분야에서암환자진료 (Watson for Oncology), 유전체분석 (Watson Genomics), 임상시험환자매칭 (Clinical Trial Matching) 등의세가지서비스를제공하고있다. 이번종설에서는현재국내에서도많은이슈를낳고있는 IBM 왓슨포온콜로지 (Watson for Oncology) 를둘러싼여러측면에대해서살펴보도록하겠다. 본론 1. 왓슨의병원도입퀴즈쇼제퍼디의우승이후왓슨은본격적으로의료분야에진출하여암환자의진료에도전하겠다고발표한다. 제퍼디당시에는알려지지않았지만, 2011년 5월에발표된기사를보면이미 18개월전부터메릴랜드대학의엘리엇시걸 (Eliot Siegel) 박사팀과협력하여각종의학논문, 교 과서등의연구결과들, MD앤더슨이나존스홉킨스등에서나온질병데이터를학습하고있다고언급되어있다 [12]. 이후 2012년 3월왓슨은세계에서가장오래되었고, 가장큰사립병원인뉴욕의 메모리얼슬론캐터링암센터 (Memorial Sloan Kettering Cancer Center, 이하 MSKCC) 와협업을통해암의치료에도전하겠다고밝힌다 [13]. 실제의사들이어떻게암환자를진료하고, 진단을내리며, 치료하는지에대한의사결정을학습하기위한것이었다. IBM과 MSKCC는공동연구를통해폐암을시작으로유방암등다른암종으로범위를넓혀가겠다는계획을발표했다. 그렇게개발이시작된것이바로 왓슨포온콜로지 (Watson for Oncology) 이다. 2013년 2월에 IBM의보도자료에따르면, 당시까지왓슨은암과관련된 60만건의의학적근거, 42개의의학학술지와임상시험데이터로부터 200만페이지분량의자료를학습했다고나온다 [14]. 또한 MSKCC의의사들이 1,500여개의실제폐암치료사례와 25,000개의치료사례시나리오, 의사들의진료기록, 검진결과등 자연어 로되어있는데이터를학습시켰다고한다. 그이후로 14,700시간동안간호사들이수작업으로왓슨의학습을주의깊게수정했다고한다. 이후로 3년반정도가지난 2016년 9월가천대길병원에서이왓슨포온콜로지를도입할당시의자료에따르면, 300개이상의의학학술지, 200개이상의의학교과서, 1,500만페이지의의료정보를학습했다고언급되어있어서, 학습한데이터의크기는더증가한것을알수있다 [15]. 길병원도입당시에도왓슨포온콜로지는폐암뿐만아니라, 유방암, 대장암, 직장암, 위암에적용가능하도록개발되었다. 더나아가 2017년 6월보도에따르면, 왓슨헬스측은연내에왓슨포온콜로지를총 12개암종에적용가능하도록발전시켜, 전세계에서발병하는암의 80% 를커버할것이라고밝혔다 [16]. 왓슨은현재세계적으로여러병원에꾸준히새롭게도입되고있다 [17]. 2017년중반기준으로세계적으로수십개정도의병원에채택된것으로보인다. 왓슨포온콜로지는 2014년태국의범룽랏국제병원 (Bumrungrad International Hospital) 에도입되었으며, 2015년 12월에는인도의마니팔병원 (Manipal Hospital) 에, 2016년 8월에는항저우코그니티브케어 (Hangzhou CognitiveCare) 를통해서중국의 21개병원에도입되었다. 한국에는 2016년 9월에는가천대학교길병원의도입을시작으로, 2017년에는부산대학교병원, 대전의건양대학병원, 대구의계명대동산병원과대구가톨릭병원에연달아도입되었다. 부산대학병원은국내에서는유일하게왓슨포온 50 http://www.e-hmr.org

콜로지뿐만아니라, 유전체분석관련서비스인왓슨지노믹스도도입했다. 2. 왓슨포온콜로지란무엇인가그렇다면왓슨포온콜로지는과연어떤기능을가지고있을까. 환자의진료기록과의료데이터를바탕으로가능한치료법 (treatment plan option) 을권고해주는것이왓슨포온콜로지의기능이다. 예를들어, 해당암환자의진료기록, 검사기록, 유전정보, 수술가능여부등을입력하면, 이를기반으로치료법을권고해주는것이다. 특정종류의항암제혹은항암제의조합, 방사선치료, 호르몬치료등을권고해준다. 중요한것은치료법을초록색, 주황색, 빨간색의 3단계로권고한다는것이다. 초록색은추천하는 (recommended) 치료법, 주황색은고려해볼수있는 (for consideration) 치료법이며, 빨간색은권고하지않는 (not recommended) 치료법이다. 또한각각의권고된치료법마다근거버튼이달려있다. 이것을클릭하면, 왜이러한치료법을권고하는지에대해서왓슨이학습했던관련논문, 임상연구등의결과, 가이드라인등의근거자료들을보여준다. 만약에의사가처음보는치료법이라고할지라도, 이러한근거자료에기반하여해당권고안이과학적, 의학적으로설득력이있는지를고민해볼수있다. 엄밀히말해왓슨포온콜로지는진단 (diagnosis) 을해주는것은아니며, 치료법을권고하여의사의진료를보조하는역할을한다. 적어도아직까지는왓슨포온콜로지에는병리과에서시행하는병리데이터의분석을통한진단기능은포함되어있지않다. 또한진료와진료를보조하는것에도큰차이가있다. IBM 측의발표를들으면항상빠지지않는것이바로 왓슨은의사를대체하지않는다. 의사의역할을강화 (augment) 하는것이왓슨의역할이다 는것이다. 한국이든미국이든 IBM 관계자가하는왓슨관련발표에는항상이표현이빠지지않는다. 이는의료계에서 IBM이왓슨의의사와의관계및포지셔닝을어떻게하려는지를암시한다. 3. 왓슨포온콜로지의특징 IBM이주장하는왓슨의강점중의하나는매일같이쏟아져나오는엄청난분량의암과관련된연구논문들, 임상시험결과들을환자의치료에빠르게반영할수있다는것이다 [14, 15]. IBM에따르면 2015년한해동안출판된종양학논문은 44,000개이다 [15]. 이는매일 122개의새로운논문이발표된다는이야기다. 이는 10분에한편씩논문을읽는다고가정해도, 주말없이매일 20시간이상씩읽어야만따라갈수있는양이다. 즉, 인간의능력으로따라 가기에는이미불가능한수준의연구결과들이쏟아진다는것이다. 이렇게최신연구결과를치료법선택에빠르게반영할수있다는것이 IBM이주장하는왓슨의강점이라고할수있다. 하지만이는양날의검과같다. 뒤에서자세히논의하겠지만, ( 정확한업데이트주기는알수없으나 ) 지속적으로연구결과를업데이트하면서진화한다는왓슨의특징은이를규제적으로정의하거나, 정확성, 효과성, 임상적유용성등을증명하는데있어서적지않은근본적문제를야기한다. 한가지유의할점은왓슨의학습이결코 자동으로 이뤄지지않는다는것이다. 왓슨이제퍼디에서활용한자연어처리기술을기반으로하였기때문에, 논문도자동으로읽고스스로판단하여암환자진료의근거로삼을것이라고생각하기쉽다. 하지만실제로는왓슨을훈련시키는과정에서수작업교정에많은시간을사용한것으로알려져있다. 또한쏟아져나오는종양학논문중에어떤논문을왓슨에반영할것인지를결정하기위해서 MSKCC의종양학전문의들이관여한다고알려져있다. 기계학습의기본적인원칙은 가비지-인, 가비지-아웃 (garbage-in, garbage-out) 이다. 즉, 좋지않은데이터로학습시키면좋지않은결과가나온다. 훈련시킬때의데이터의양과질이, 결과적으로인공지능의성능을좌우한다고해도과언이아니다. 일례로제퍼디를준비할당시에, 왓슨에게구어체의학습을목표로속어나은어등이담긴 The Urban Dicationary 를학습시켰던적이있다. 그결과제퍼디답지에욕지거리가포함되는경우들이있었기때문에결국개발자들은그데이터를삭제할수밖에없었다. 강한인공지능이구현되지않는이상, 아직까지인공지능을학습시킬때어떤데이터가좋은데이터이며, 나쁜데이터인지는개발하는사람이판단할수밖에없다. 그런데이왓슨포온콜로지를규제적으로, 의학적으로어떻게봐야할까? 몇가지어려운이슈들이있다. 4. 왓슨포온콜로지는의료기기일까일단왓슨포온콜로지가과연규제적으로의료기기로분류되어야할지, 비의료기기로분류되어야할지의이슈에대해살펴보자. 만약왓슨포온콜로지와같은임상의사결정지원시스템 (CDSS, Clinical Decision Support System) 이의료기기라면정확성, 안전성등을검증받고 FDA나식약처의의료기기인허가과정을거쳐야만할것이다. 만약비의료기기로분류된다면인허가과정이필요없다. 이는매우애매한문제다. 필자는강의에서왓슨포온콜로지에대해서설명하고, 청중에게이시스템이의료기기로분류되어야할지, 아니면비의료기기로분류되어야할지의 http://www.e-hmr.org 51

견을물어보곤한다. 이문제에대해서청중들의답변은항상양쪽으로갈리곤한다. 심지어는실제로유럽과미국, 한국의규제기관의판단에도결과적으로차이가있다. 일반적으로의료기기의여부는목적과위해도라는두가지를기준으로정해진다. 왓슨포온콜로지의목적은진료나진단, 치료를직접하지않고, 의사를보조하는목적이다. 또한내어놓은결과를직접환자에게적용하지않고, 의사가그결과를검토하여의사가치료법을결정하게되므로위해도역시높지않다고간주한다. 이러한논리에따라현재의식약처나 FDA의결정은왓슨포온콜로지가의료기기가아니라는것이다. ( 이러한결정은대부분의국가에서동일한것으로보이나, 예외적으로 EU의경우에는왓슨포온콜로지를의료기기로규정하고있다.) 기사에따르면, 복지부관계자는 ( 의사들의왓슨활용은 ) 평소의사들이진단과처방을내림에있어관련서적과논문등을참고하는것과같은성격으로봐야한다 며 때문에의료법상왓슨을사용하는것은문제가없다는생각 이라고언급하기도했다 [19]. 즉, 보다발전된의학교과서의개념이라는것이다. 이러한내용이 2016년 12월에발표된 빅데이터및인공지능 (AI) 기술이적용된의료기기의허가 심사가이드라인 에결국반영되었다. 특히, 비의료기기의예시에는 전자의무기록, 의료영상, 생체신호를이용하여문헌을검색하고문헌의내용 ( 진단법, 치료법등 ) 을요약하여제시하는소프트웨어 라는것이명시되어있다. 왓슨포온콜로지도여기에해당한다. 5. 왓슨규제의근본적어려움그럼에도불구하고, 필자는몇가지면에서왓슨이의료기기인지여부에대해서근본적인어려움과, 현실적인문제가있다는것을지적하고자한다. 비의료기기로분류하는경우에도몇가지중요한문제가있으며, 그렇다고의료기기로분류하더라도관리가어려운부분이있다는것이다. 이는왓슨포온콜로지와같은시스템이지금까지의임상의사결정지원시스템과도다른부분이있기때문이다. 일단왓슨이의료기기의성격을띤다고도볼수있는것이바로결과를제시하는양식때문이다. 왓슨포온콜로지는단순히가능한치료법을권고하는것에서더나아가, 치료법에대한우선순위까지도매겨준다. 앞서언급했던바와같이치료권고안을추천 ( 초록색 ) - 고려 ( 주황색 ) - 비추천 ( 빨간색 ) 의 3단계로점수를매겨주기때문이다. 다양한치료법중에서이렇게우선순위를매겨준다는것은그자체로의료적의사결정이나, 의료행위로봐야하지않을까? 교과서는개별환자에맞게치료법의우선순위를평가해주지는않지만, 왓슨포온콜로지는이부분을스스로판단한다. 비록최종적인의사결정은의사가내린다고는하지만, 왓슨포온콜로지의권고안이의사의치료법결정에영향을줄가능성이전혀없다고할수없을것이다. 만약에영향을전혀주지않는다면, 애시당초왓슨과같은 CDSS를사용할이유가없을것이다. 그렇다면왓슨이제시하는치료권고안의정확성이중요하다고할수있다. 그럴가능성은낮겠지만극단적으로가정하여, 왓슨포온콜로지가모든경우에부정확한치료권고안을준다면환자에게위해가가지않는다는법은없다. 이러한것을고려하면왓슨에게는분명히의료기기적인성격이전혀없다고는하기어려울것이다. 하지만설사의료기기로분류한다고할지라도이를규제하고관리하기가매우어렵고까다롭다. 바로왓슨포온콜로지가끊임없이변화하고진화하기때문이다. 앞서언급했듯이 IBM이주장하는왓슨포온콜로지의가장큰장점중의하나는최신연구결과를반영한다는것이다. IBM의보도자료에서직접밝혔듯이하루에 100개이상의종양학논문이쏟아져나오므로, 최신논문들을최대한빠르게반영하려고할것이다. 이런논문이반영됨에따라서, 왓슨포온콜로지는계속해서변화한다. 문제는이렇게논문등의근거자료가업데이트되면, 판단근거가달라지므로동일한환자를대상으로내어놓는치료권고안에도변화가생길수도있다는것이다. 예를들어, 어제와오늘, 그리고내일의왓슨포온콜로지는완전히동일한시스템이라고보기어려울수있다는것이다. 연구결과의최신반영이외에왓슨포온콜로지가진화하는또하나의경로가있다. 바로실제이시스템을활용하는의료진의의사결정을반영하는것이다. 예를들어, 길병원에서의료진이왓슨포온콜로지를사용하면서치료법에대한피드백을 IBM으로보낼수있다. 만약한국의의사들이보기에위암에대한왓슨의판단이적절하지않으면, 이에대한코멘트를보낼수있는것이다. IBM의입장에서는그결정에대해서더알아보고필요한경우왓슨의판단에그러한결정을반영하는것도필요할것이다. 그런데이러한최신논문의반영이나진료현장에서의피드백을누가어떤기준으로판단하며, 얼마나자주왓슨에반영하여업데이트할까. 논문으로출판되었다고해서모두양질의데이터라고는할수없으며, 일선의료진의피드백을모두타당한것으로보기는어렵다. 필자가 IBM 왓슨헬스의최고의료책임자 (Chief Health Officer) 인 Kyu Rhee 박사를인터뷰한결과이러한부분은 MSKCC의종양학자들이직접결정한다고한다. 논문의경우정기적으로간행되므로, 이스케쥴에맞게정기적으로심사한다고밝혔다. 중요한것은이러한과정을통해왓슨이끊임없이변화한다는것이다. 만약에왓슨포온콜로지가의료기기로분류 52 http://www.e-hmr.org

되었을경우, 기존의의료기기관리기준에따른다면내부알고리즘이나작동원리에변화가있다면변경인허가를새롭게받아야한다. 그렇다면왓슨포온콜로지의경우에도연구결과가반영되거나, 의료진의의사결정이반영될때마다정확성을새롭게검증하고, 매번의료기기인허가를다시받아야할까? 예를들어, 매일왓슨이업데이트된다면, 매일변경인허가를새롭게받아야하는가? 만약이렇게기존의의료기기의규제와관리에대한잣대를그대로들이대면, 왓슨포온콜로지와같은시스템은의료기기로서는아예사용이불가능할수도있다. 그렇기때문에왓슨을의료기기로관리하는것에도근본적인어려움이있다는것이다. 6. 왓슨포온콜로지는얼마나정확한가가장큰문제는왓슨포온콜로지가내어놓은치료권고안이얼마나정확한지아직완전히검증되지않았다는것이다. 그유명세에비해서 IBM 왓슨포온콜로지의암환자진료의정확성은증명된바없다. MSKCC라는세계최고의암병원에서함께개발했으니, 어느정도의정확성은갖추고있으리라고추측을해볼수는있을것이다. 하지만왓슨포온콜로지의추천, 고려, 비추천의등급의정확성과이러한시스템의의학적효용성을검증하기위한무작위대조군임상시험 (RCT) 이정식으로진행된바없고, 이것이의료계와학계에서인정하는학술저널에논문으로발표된적도전무하다. 대규모임상연구의결과가아니라고하더라도, 왓슨포온콜로지를통해서실제로치료한환자의증례보고 (case report) 도전무하다. 현재우리가참고할수있는것은종양학과관련된학회에서초록의형태로병원별로왓슨포온콜로지의사용결과가발표된사례정도다 [20]. 사용결과분석의경우에도수백명이상의환자대상의결과가발표되기시작한것은왓슨포온콜로지가여러병원에도입된이후인 2016년 12월정도부터였다. 이연구의결과들은우리가고민해야할여러이슈를던져준다. 비록 FDA와식약처는왓슨포온콜로지가의료기기에해당하지않는다고판단하였지만, 그럼에도불구하고필자는어떤식으로든왓슨포온콜로지의정확성, 효과성에대한의학적인검증이필요하다고본다. 아무리이시스템에서도출된치료권고안을의사가한번더검토한다고할지라도, 결과가부정확할경우환자에게미치는위해도가전혀없다고할수없기때문이다. 뿐만아니라, 인공지능이암환자를진료한다 는주장에이끌려많은환자들이왓슨을도입한병원을찾고있는것이현실이기도하기때문이다. 2017년 1월조선일보가보도한바에따르면, 길병원에서 2016년 11월부터진료한 100여명의환자중에서, 의사와왓슨의판단이다를경우에환자들은모두의사보다왓슨을더신뢰했다고한다. 우리는왓슨포온콜리지가정확하다면얼마나정확한지, 정확하지않다면얼마나정확하지않은지를알아야한다. 또한이러한시스템이의료적으로효용이있는지, 있으면얼마나있는지에대해파악하는것이필요하다. 이러한근거가있어야만비로소우리가왓슨을진료실에서어떻게활용하는것이좋을지에대한원칙을세울수있기때문이다. 지금은병원에서왓슨을어떤방식으로진료프로세스에녹여낼지에대한원칙도없고, 근거가없기때문에그원칙을만들기도어려운상황이다. 7. 인도마니팔병원의사례 2016년 12월, 인도의마니팔병원에서왓슨포온콜로지의정확성을평가하기위해서우리가참고할만한최초의결과를발표하였다 [20]. 과거 3년간치료받은유방암, 대장암, 직장암, 폐암등 4가지암종의환자 1,000명에대해서의사의판단과왓슨포온코로지의판단이얼마나일치했는지를본것이다. 다양한암종의대규모환자를대상으로, MSKCC가아닌독립적인병원이왓슨포온콜로지의정확도를공개한것은실질적으로이연구가처음이라고해도좋을것이다. 참고로 ASCO 2015에서 MSKCC의의료진이발표한초록이몇가지있다. 다만모두특정암에편중되어있고, 환자의수가충분하지않거나, 가상의환자를대상으로한것이기때문에왓슨의정확도를파악하기에는한계가있다는점을알려둔다 [22, 23, 24]. 인도의마니팔병원은지난 2015년 12월인도에서는최초로왓슨포온콜로지를도입했다. 아시아에서는태국의범룽랏병원이후로두번째다. 마니팔병원은뱅갈로르를중심으로 16개병원의네트워크로이루어진, 총 5,000병상을갖추고연간 20만명이상의암환자를진료하는대형암센터이다. 해당연구의대상환자는네가지암종으로, 각각유방암 (638명), 대장암 (126명), 직장암 (124명), 폐암 (112명) 으로구성되어있다. 왓슨포온콜로지를도입한지당시 1년이지난시점인데, 연구에서는과거 3년동안진료한환자를분석한것이므로, 후향적 (retrospective) 연구로볼수있다. 이연구에서마니팔병원의암환자진료와관련된여러진료과의전문의들이모인다학제진료팀 (Manipal multidisciplinary tumour board) 의판단과왓슨포온콜로지의판단을비교하였다. 1,000명의환자에대해서마니팔병원의다학제진료팀이제시한치료법을기준으로, 왓슨포온콜로지가제시한치료법중에추천, 고려, 비추천의세단계의권고안과일치하는비율은아래와같았다. http://www.e-hmr.org 53

추천 과일치 : 50% 고려 와일치 : 28% 비추천 과일치 : 17% 다학제진료팀의판단을정답으로보고, 왓슨의추천과고려항목이일치하는경우를모두합하면약 80% 정도의정확도를가진다고볼수있다. 또한추천, 고려, 비추천모두에속하지않는나머지 5% 의경우에는의사들이결정한치료법을왓슨포온콜로지의권고안중에서는찾을수없었다. 그런데, 문제는암종별로왓슨의치료권고안과의사가결정한치료의일치도에현저한차이가드러났다는것이다. 추천항목과의일치율을기준으로한다면, 일치율이가장높았던것은직장암으로 85% 였으며, 가장낮은것은폐암으로 17.8% 에불과했다. 더나아가, 유방암의경우에는세부암종별로도일치율의차이가나타났다. 호르몬수용체와 HER2 유전자가모두음성으로나오는삼중음성 (triple-negative) 유방암의경우에는 67.9% 가일치했고, HER2 유전자만음성인경우에는 35% 로일치도가낮았다. 또한비전이성유방암은 80% 일치하였으나, 전이성유방암은 45% 밖에일치하지않았다. 이연구의결과만놓고볼때, 왓슨이내어놓는치료권고안의의사대비정확성이암종별로상당히차이가크다는것으로이야기할수있다. 특정암종에대해서는 80% 이상의비교적높은일치도를보이지만, 특정암종이나, 세부암종에따라서는또 50% 에도미치지못하는일치율을보이는것이다. 8. ASCO 2017에보고된왓슨의실력약반년뒤인 2017년 6월에도비슷한연구결과들이발표되었다. 2017년 6월초에시카고에서열린미국임상종양학회 (ASCO) 2017에서태국의범룽랏병원, 인도의마니팔병원, 한국의가천대학교길병원등세병원이각각왓슨포온콜로지의치료권고안과해당병원의료진의결정이얼마나일치했는지에대해서초록의형태로발표한것이다. 이세병원의연구결과들은세부적으로는차이가있지만, 큰그림에서보면우리가얻을수있는결론은크게다르지않다고하겠다. 이결과들을간략히살펴보면아래와같다. 태국범룽랏병원의경우 2015-2016년에치료받은폐암, 유방암, 위암등세암종의환자 211명을대상으로살펴보았다 [25]. 이중에 92명은과거에치료했던환자의기록을왓슨포온콜로지와비교해본후향적연구였고, 나머지 119명은새롭게진료받은환자의기록을왓슨포온콜로지가분석하여의사와비교해본전향적연구였다. 추천과고려와의일치를기준으로전체환자군에대한일치도는 83% 였으며, 암종별로보면폐암 91%, 유방암 76%, 위암 78% 였다. 후향적분석과전향적분석결과는비슷했다. 인도마니팔병원에서도상기에언급한 2016년 12월발표된결과에서, 유방암을제외하고폐암 112명, 대장암 126 명, 직장암 124명에대한결과를다시발표했다 [26]. 암종별로일치율을보았을때 ( 역시추천과고려를모두기준으로하여 ) 폐암 96.4%, 대장암 81%, 직장암 92.7% 였다. 또한이번발표에는세암종에대해서원발조직에국한 (localized) 되었을때와전이되었을때의병기별로구분한결과도발표되었다. 병기에따라서도일치율에다소차이가나는것을알수있는데, 폐암의경우에는전이암일때, 대장암과직장암은원발조직에국한되었을때일치율이더높았다. 폐암 : 국한 88.9%, 전이성 97.9% 대장암 : 국한 85.5%, 전이성 76.6% 직장암 : 국한 96.8%, 전이성 80.6% 마지막세번째발표는한국의길병원에서치료받은 2-4 기대장암환자 340명과항암치료를받지않은진행성위암환자 185명을대상으로후향적연구를한것이다 [27]. 대장암환자전체에서는 73% 의일치율을보였다. 그중에서보조항암치료를받은환자 250명의경우에는 85%, 전이성대장암환자 90명의경우 40% 가일치했다. 또한위암환자의경우에는 49% 에서일치했다. 이러한결과를보면아래와같은네가지정도의결론을잠정적으로내려볼수있다. 왓슨포온콜로지와의사의일치율은암종별로다르다. 왓슨포온콜로지와의사의일치율은같은암종에서도병기별로다르다. 왓슨포온콜로지와의사의일치율은같은암종에대해서도병원별, 혹은국가별로다르다. 왓슨포온콜로지와의사의일치율은시간에따라서달라질가능성이있다. 9. 왓슨과의사의일치율차이의원인 1) 가이드라인및인종적차이왓슨의결과에왜이러한차이가있을까. 먼저왓슨과의사의일치율이암종별로, 병기별로, 병원별로, 국가별로왜다른지에대해서먼저논해보자. 필자는이러한일치율의차이에대해서왓슨헬스의최고의료책임자를포함한 IBM 소속의의사들과도개인적으로이야기를나눠보았다. 그들이공통적으로꼽는일치율의차이는왓슨포온콜로지가미국이라는특정한나라의환경에서 MSKCC라는특정병원을기준으로개발된시스템이기때문이다. 그렇기때문에아래와같은요소들에국가별로차이를드러낼수있다. 54 http://www.e-hmr.org

해당국가진료가이드라인준수여부 암환자인종별차이의고려여부 권고한약이나치료법의국가별인허가여부 보험급여기준및심사기준준수여부한국을비롯한각나라에서는암환자에대한진료가이드라인이존재한다. 전세계적으로는 NCCN( 전미종합암네트워크 ) 에서발간하고수시로업데이트하는치료가이드라인이권위를가지고있지만, 한국을포함한개별국가에서는자국의상황에맞게변경되어있는가이드라인을따르기도한다. 이에따라항암제의종류와사용, 수술의필요여부등이달라지기도한다. 또한인종별차이도무시할수없다. 미국인에맞게개발된왓슨포온콜로지는다른국가, 특히아시아인환자를대상으로는인종적특수성을고려하지못하는것으로알려져있다. 이러한요인도앞서언급한태국, 인도, 한국병원의일치율차이의요인이될수있다. 암은유전적요인에의해서발병하는데, 인종별로발병원인유전자의구성이나유전자발현의정도가다를수있다. 이런요인때문에항암제에대한반응이나부작용이달라지는경우가있다. 즉, 어떤경우에는같은항암제를사용하더라도치료효과가달라질수있다는것이다. 예를들어, 아스트라제네카의폐암치료제이레사는아시아인과비아시아인의반응이다른대표적인약제중의하나다. 2003년발표된이레사의연구에서는서양인에비해일본인에더큰효과를보인다는것이증명되었으며 [29], 성균관대의대연구진이비소세포폐암 (NSCLC) 에대해서폐암종양이 50% 이상감소하는환자의비율이서양인에비해한국인이두배높다는것을증명한바있다. 또한세브란스연구팀은항암제파클리탁셀이아시아인위암환자의경우감수성이 38% 에불과하지만, 비아시아인환자에게는 75% 나된다는연구결과를 2009년발표한바있다 [31]. 최근발표에따르면이러한인종적차이는실제로왓슨과국내의료진의결정의차이를만들어낸다. ASCO 2017 에서길병원발표에서위암환자의낮은일치율에대해서두가지가능성이제시되고있다 [27]. 그중하나가항암제 S-1(tegafur, gimeracil and oteracil)+cisplatin의조합이한국에서는일상적으로사용되지만, 미국에서는그렇지않기때문이라는것이다. 일본에서개발된 S-1이라는항암제는임상연구결과일본과한국의환자에게는우수한결과를보여준바있다. 하지만서양인에게는설사와같은부작용이흔해서잘쓰지않는것으로알려져있다. 또한국가별로인허가받은약제의차이가있을수있다. 미국에서는 FDA의승인을받아서환자들에게판매되는약이, 한국에서는여러이유로식약처의허가를받지못해사용이불가한약제일수있기때문이다. 반대로, 한국에서승 인받은약이, 미국에서는아직허가를받지않았을수도있다. 앞서언급한항암제 S-1은일본과한국, 유럽의여러국가에서도인허가받았으나, 아직미국의 FDA에서는허가를받지않았다. 2) 보험제도의차이더크게지적되는문제는건강보험제도의차이때문이다. 한국은전세계에서도드물게전국민에게국민건강보험을보장해주는시스템을가지고있다. 이는전세계가부러워하는보험체계이기도하지만, 의사의진료와처방이심평원 ( 건강보험심사평가원 ) 의급여기준에부합해야한다는특수한환경을야기했다. 문제는왓슨포온콜로지가당연히심평원의급여기준과는상관없는치료법을권고안으로제시한다는것이다. 왓슨이정말로하루에수백편씩쏟아지는최신연구에발맞춰서최적의치료법을제시해준다고하더라도, 이러한치료법에대한보험급여를적용받지못하거나심평원에서삭감해버린다면국내에서는이권고안을채택하기가어려워질것이다. 이러한차이는왓슨포온콜로지의판단과국내의료진의판단의차이를만들어내는실제요인이된다. ASCO 2017에서길병원의의료진이발표한연구결과에는위암에서의일치도가낮은요인에대해 ( 앞서설명한 S-1의국가별차이이외에도 ) 왓슨이권유하는항암제 Trastzumab/ FOLFOX 가한국에서는국민건강보험수가를받지못하기때문에택하기가어렵다는점을명시적으로언급하고있다 [27]. 3) 치료옵션다양성의차이또한암종별로일치도가다른이유중의하나는암의종류에따라서얼마나다양한치료옵션들이존재하는지에도차이가있기때문으로보인다. 다양한치료옵션이존재할수록아무래도양측의판단이확률적으로일치하기어렵기때문이다. 예를들어, 마니팔병원의발표에서삼중음성유방암의경우 ( 일치율 67.9%) 에는 HER2 음성유방암 ( 일치율 35%) 에비해서가능한치료옵션자체가적기때문에결과적으로일치도는올라갈수밖에없다는것이다. 왓슨의추천과일치율이 85% 로높게나온직장암의경우에도상대적으로다른암에비해치료옵션의다양성이제한적인편이다. 4) 가이드라인의변화와왓슨의진화왓슨과의료진의일치율이차이가나는또다른이유는가이드라인과왓슨이시간이흐름에따라서계속바뀌어간다는것이다. 새로운연구결과가발표되고, 새로운치료법이개발되면그에맞춰서표준진료가이드라인과왓슨포 http://www.e-hmr.org 55

온콜로지의결정도계속바뀌어갈수있다. 또한앞서언급했듯이, 왓슨포온콜로지를활용하는의료진의결과가피드백될수있으므로, 이를반영해서도왓슨은진화한다. 과거 에진료했던환자의기록을바탕으로, 오늘 의왓슨포온콜로지를실행하여그결과를비교하는후향적연구의경우이러한차이가크게드러날수밖에없다. 앞서언급한대부분의연구가수년전에진료한환자의치료방법과현시점의왓슨포온콜로지에서나온결과를비교한것이다. 이러한요인은마니팔병원이 2016년 12월샌안토니오유방암심포지움에서발표한자료에서도확인할수있다 [32]. 이발표에는 638명의유방암환자사례를두가지시점에서분석하고있다. 하나는지난 3년간환자를진료했던과거시점 (T1) 에서실제치료법과오늘날왓슨포온콜로지의판단을비교한것이다. 다른하나는연구가진행된 2016 년시점 (T2) 에서과거의진료기록을재검토하여의사들이판단한것과왓슨의결과를비교한것이다. 이렇게과거의진료가이드라인등에맞춘의료진의판단보다현재의의료진의판단이왓슨과더높은비율로일치한다. 왓슨포온콜로지의 추천 만을기준으로했을때에는 46% 에서 60% 로증가하였고, 추천 과 고려 를모두기준으로하면과거의 73% 에서 90% 까지일치율이증가하는것을볼수있다. T1과 T2 시점의일치율차이는그기간동안바뀌었던가이드라인때문이라고설명할수있다. 그런데시간이흐름에따라서가이드라인, 신규논문, 새로운치료법등을반영하여계속진화한다는왓슨의속성은또다른문제를만들어낸다. 아래에서더자세히이야기하겠지만, 필자는왓슨의정확성과의학적효용등을증명하기위해서임상시험이필요하다고본다. 하지만이렇게지속적으로변화한다는왓슨은과거특정시점에서진행한임상연구의결과가현재혹은미래에적용되지않을수있다는것을의미한다. 10. 왓슨의정확도와의학적효용의증명앞서논의한내용을정리해보자면왓슨포온콜로지의정확성과의학적효용이아직완전히증명되지않았음을알수있다. 기존에발표된연구들은모두왓슨포온콜로지와특정국가의특정병원의료진의판단과얼마나일치하는지를분석한정도이다. 이러한연구가가지는결정적한계점은왓슨과의사의 일치율 (concordance) 을보는것이왓슨포온콜로지의정확성과효용성을평가하기위해서적절한지표가되기어렵다는것이다. 의사의판단과일치한다고해서왓슨의치료법이정확하다고할수없다. 반대로의사의판단과불일치한다고해서왓슨의권고안이부정확하다고할수는없는일이다. 의사의판단이최선의판단일수도있지만, 최선이아 닐수도있기때문이다. 만약 일치율 을높이는것이왓슨의실력에대한유일한지표나개발목표가된다면, 결국인간의사와완전히동일한판단을하는시스템이 ( 구현가능성의여부는차치하고서라도 ) 왓슨의최종적인모습이될것이다. 즉, 일치율 만을기준으로한다면의사와동일한수준의인공지능을구현할수는있겠지만, 의사보다더나은인공지능을개발할수는없다. 우리가인공지능에게기대하는것은한단계더높은수준이다. 즉, 인간의사의부족한점을보완해줄수있고, 가능하면때로는더나은치료법을찾아줄수도있는인공지능이다. 만약왓슨의판단이 ( 예를들어 MSKCC의 ) 의료진의결정과 100% 일치율을달성했다면, 그리고그것을증명했다면, 과연그시스템은유용할것인가. 의사의수가부족하거나, 의료진의종양내과적전문성이부족한환경에서는유용할수도있다. 하지만평균적인, 혹은평균실력이상의종양내과전문의를충분히갖춘병원에서이는그리큰가치를제공하지못할가능성이높다. 이부분에대해서앤드류노든박사는 ASCO 2017에서발표된, 일치율이 80-90% 라는왓슨포온콜로지의퍼포먼스에대해서만족감을표시했다 [16]. 이러한수치는우리가원하는정도다. 만약일치율이 100% 라면모든경우에의사와완전히동일한권고안을준다는것이므로아무런가치가없다고주장할수있다. 만약훨씬낮거나 0% 의일치율을보인다면, 그것또한문제가될것이다. 즉, 현재의사와너무다르지도않고, 너무동일하지도않은권고안을주기때문에, 왓슨포온콜로지가의료진에게가치가있을가능성이있다는것이다. 그럼에도불구하고, 앞서강조했듯이아직그러한가능성을증명할수있는근거는충분하지않다. 특히, 우리는아직까지왓슨포온콜로지로인해의학적으로환자나의료진이어느정도의효용을얻는지에대해서알지못한다. 예를들어, 아래와같은질문에대해서아직답할수있는근거가마련되지않았다. 왓슨포온콜로지의권고안은얼마나정확한가? 왓슨포온콜로지가환자의생존기간의연장에유의미한도움을주는가? 왓슨포온콜로지가환자의치료효과를개선시키는가? 왓슨포온콜로지가의료비절감혹은증가에어떤영향을주는가? 왓슨포온콜로지가의료진의진료효율성을높이는가? 이러한질문에답을얻기위해서는결국근거가필요하다. 근거를마련하기위해서가장좋은방법은역시임상시험이다. 필자는결국왓슨이정확성이나의학적인효용을검증하기위해서는임상시험을거쳐야할것이라고생각한다. 56 http://www.e-hmr.org

11. 임상시험의필요성과어려움왓슨포온콜로지의정확성과의학적효용을증명하기위해서어떤방식으로든임상연구가필요할것이라는점은많은의료전문가들이동의한다. 필자가왓슨헬스소속의의사들과이부분을논의했을때도대체로이점에대해서동감했다 [16, 28]. 하지만왓슨에대한임상시험을진행한다고하더라도몇가지근본적인문제가있다는점에대해서도역시동의했다 [28]. 무엇보다왓슨포온콜로지의의학적효용을증명하기위해서무엇을기준으로할것인지가애매하다. 임상시험을디자인하기위해서는정확성, 의학적효용, 안전성등을판단할명확한기준이필요하다. 임상시험을진행하려면일차목적 (primary outcome) 과이차목적 (secondary outcome) 을정의해야한다. 예를들어, 항암제에대한임상시험을계획할경우, 생존율 (Survival Rate), 전체생존기간 (OS, Overall Survival), 반응률 (RR, Response Rate), 무진행생존기간 (PFS, Progressive-free Survival), 독성 (toxicity) 등의지표를해당약의효능을평가하기위한기준으로삼기도한다. 그런데, 왓슨포온콜로지에대해서임상시험을하려고하면무엇을기준으로해야할까? 왓슨헬스의발표자료를보면, 임상시험결과를어떻게평가할지에대해서, 일치율 (concordance), 의사결정에주는영향 (decision impact), 가이드라인준수율 (guideline adherence), 비용 (cost), 시간절감 (time savings) 과함께종양의반응 (tumor response), 생존율 (survival) 등이명시되어있다. 이중에서는마지막에언급되어있는종양의반응과생존율정도가의학적인효용을평가하기위해서그나마유의미해보인다. 한걸음더들어가서, 임상시험을어떤식으로디자인해야할까? 엄격한요건을갖춘임상시험이라면, 실험군과대조군을갖춰야하며, 이중맹검 (double blind) 및무작위 (randomized) 라는조건하에전향적 (prospective) 으로진행되어야한다. 이러한조건에맞춰서만약다음과같이임상시험을진행한다고가정해보자. 대조군은종양내과전문의한명이나, 혹은특정병원, 혹은복수의병원에있는종양내과전문의들이진료하는그룹이다. 실험군은의사가전혀관여하지않고왓슨포온콜리지의 추천 항목에의해서만치료하는그룹이다. 암환자를각각 5,000명씩전향적으로모집하여무작위로양쪽그룹에배정한다. 이경우에는이중맹검은어려울것이므로, 환자만이라도자신이어느그룹에속했는지를모르는 단일맹검 (single blind) 방식으로해야하겠다. 일차, 이차목표는 5년간의생존율 (OS) 과무진행생존기간 (PFS) 으로하도록하자. 과연이런디자인의임상시험이가능할까? 복잡하게생 각하지않아도, 이러한임상시험은몇가지심각한문제가있는것이명백하다. 첫번째로무엇보다아직정확성이나효용이검증되지않은왓슨포온콜로지만으로의사의개입없이실험군의환자를진료하는것에는의학적으로나윤리적인문제가있다. 신약임상시험의경우에는전임상이나임상 1상에서후보물질의독성등최소한의안전성을동물과사람에서검증한후에, 2상에서효능을검증한다. 하지만왓슨의경우에는그렇게최소한의안전성을보장하기위한단계를거치기어려우므로, 일단실험군의환자를전적으로왓슨에게맡기는것은적절하지않다. 두번째로대조군에서의사들의실력이매우다양 (heterogeneous) 할수있다는것이다. 개별종양내과의사를비교하는것은당연히의미가없을뿐만아니라, 특정병원의종양내과의사전체, 혹은여러병원의의사를대상으로한다고해도이의사들중에실력, 경험, 치료방침등에차이가있을수있다. 이런조건에서나온임상결과를다른병원의의사들이참고하기는어려울가능성이있다. 따라서어떤식으로든 기존의의료계최선의치료법 을대표할수있는보편적, 일반적인기준을마련해야할것이다. 세번째로왓슨이계속진화한다는점이다. 이문제때문에 5년에걸친임상시험을마무리하고, 그결과를몇개월혹은몇년동안정리하여논문으로발표하는시점이되면, 이미논문출판시점의왓슨은임상시험당시의왓슨이아니게된다. 즉, 과거에수행한임상시험의결과가실제환자에게적용하는현시점의왓슨의실력에근거가되기어려운것이다. 뿐만아니라, 5년이라는임상시험기간중에도왓슨은계속바뀐다. 임상시험시작첫날의왓슨과마지막날의왓슨은다를것이며, 얼마나다를것인지의정도예측도어렵다. 12. 왓슨의검증을위한임상시험그러면어떻게해야할까? 필자도주위의종양내과전문의들과도논의해보았으나, 현실적인어려움이있다는것에만동의했을뿐, 모두가만족할만한결론을내리지는못했다. 완벽하지는않으나다음과같은임상시험디자인이필자가구상할수있는그나마최선의결과물인것같다. 일단실험군과대조군을의사 vs 왓슨의구도보다는의사 vs 의사 + 왓슨으로구성하는것이좋다고본다. 양쪽모두의사가기본적인진료를하기때문에, 앞서언급했던실험군환자에게왓슨포온콜로지만으로진료할때의윤리적인문제나안전성의문제를최소화할수있다. 또한왓슨포온콜로지가실제진료현장에서사용될때는의사를보조하는방식으로사용될것이므로이러한디자인이진료에참고하기에더적절하다고생각한다. 다만이경우에는왓슨의의 http://www.e-hmr.org 57

견을어떤경우에어떻게반영할것인지에대한원칙도정해져야한다. 또한실험군과대조군에서의사가개입할때개별의사나, 특정병원의의사가각자알아서진료하는것보다는 NCCN 가이드라인과같은표준화된기준을마련하는것이좋다고본다. 사실 NCCN 가이드라인도방대한종류의치료법을담고있고, 치료법을뒷받침하는근거수준도다양해서 기존의치료법 을대표할수있는일반적기준이될지에대해서는고민의여지가있다. 다만, 엄격한임상시험을위해서는어떤방식으로든다수의의사들이공통된기준을바탕으로진료하는조건은마련해야할것이다. 하지만이러한수정된디자인의임상연구에도여전히해결되지않는문제가있다. 바로앞서지적한왓슨이시간에따라계속진화한다는것이다. 실험군과대조군을조정하고, NCCN 가이드라인을기반으로하더라도, 역동적으로변화하는왓슨의근본적인속성은임상시험을진행하고, 여기에서나온근거를바탕으로진료를하기위해본질적인한계를부여한다. 13. 왓슨은정말마케팅용에불과한가현재왓슨을도입한병원에서는저마다의방식으로암환자의진료에왓슨을활용하는것으로알려져있다. 예를들어, 가천대길병원의경우에는왓슨을활용하는다학제진료실을별도로만들어놓고진료한다. 여러진료과의의료진이좌우로앉고, 가운데화면에환자의검사결과와왓슨을함께띄워놓고 15-20분을진료하는방식이다. 혹자는국내병원이왓슨을도입한이유를단순히 마케팅용 이라고치부하기도한다. 지방병원에서더많은환자를유치시키고, 수도권병원으로환자의유출을막기위함이라는것이다. 국내한대학병원에서왓슨을도입할때 지역환자들은수도권의여러병원을찾아다닐필요가없어질것 이라고언급한병원장의코멘트는이런고민을반영한다고할수있다 [33]. IBM에따르면원래왓슨이만들어진목적중의하나가의료의민주화 (democratization) 이다. 의료전달체계가한국과다른미국에서는 1차병원에서시작하여, 2차병원등등을차례대로거쳐마지막에 MD앤더슨이나 MSKCC와같은상급종합병원으로가게된다. 즉, 1, 2차병원에해당하는지역병원 (community hospital) 에서는암환자를진료하는인프라나경험이 MSKCC에비해부족할수밖에없다. 이런지역병원에서왓슨포온콜로지를도입하면, 환자가뉴욕의 MSKCC를가지않고서지역병원에서도비슷한수준의진료를받을수있을것으로기대하는것이다. 하지만 1, 2차병원의추천을받지않아도바로상급종합병원으로갈수있는한국에서는이런왓슨이조금다른목적으로 사용된다고평가할수있다. 또한의료계에서는왓슨포온콜로지를구글과같이단순히치료법을검색하는역할에그친다는의견도있다. 실제왓슨을현장에서활용해본의사들중에도이런의견을내기도한다. 이런의견에대해서는먼저구글이우리에게의미가없는존재인지를반문해볼수도있다. 세상의모든지식을머리속에담고있고, 새롭게도출되는지식도모두학습하고있다면구글이의미없는존재일수있다. 하지만인간은그렇지못하기때문에구글이유용한검색엔진이되는것이다. 혹은백과사전을뒤져서찾았을지식을구글은몇초만에찾을수있게해준다는장점도있다. 이는의료지식에도적용될수있는부분이다. 하지만검색엔진의검색결과가너무부정확하거나, 사용자의기대와크게차이가난다면가치가없었을것이다. 필자가지적하고싶은것은아직왓슨포온콜로지에대한근거가부족하다는것이다. 현재의왓슨이얼마나효과적인지, 정말로단순히마케팅용도에그치는지, 단순검색에불과해서치료개선에영향이미미한지를판단할수있는근거가없다는것이다. IBM은발표자료에서왓슨포온콜로지의필요성및장점을강조하기위해서현대의학의 45% 이상의의료행위가근거없이행해지고있다는연구를인용한다 [34]. 하지만그러한왓슨자체가정확성과효용성을입증할수있는근거가부족하다는것은아이러니한일이다. 때문에병원이왓슨을단순히마케팅용으로도입했다고폄훼하는것도필자는무리가있다고생각한다. 반대로왓슨이실제로환자의치료에도움이된다고주장할수도없다. 요는양쪽의주장의타당성을판단할근거가아직충분하지않다는것이다. 의학은과학이며, 과학적주장은논리와데이터, 근거로뒷받침되어야한다. 하지만아직까지그근거가부족하다. 결론현재의왓슨포온콜로지를평가하기위한근거는아직부족하다. 근거가부족하다보니, 현재진료현장에서환자에게왓슨을어떤원칙에기반하여적용할지가불명확하다. 예를들어, 아래와같은부분에대해서의료계에서합의된원칙이현재전무하다. 어떤환자의경우에왓슨포온콜로지의의견을물을것인가? 왓슨포온콜로지를 ( 암종별로, 세부암종별로 ) 얼마나신뢰할것인가? 왓슨포온콜로지의결과를환자에게도공개해야하는가? 혹은의료진만확인할것인가? 58 http://www.e-hmr.org

왓슨포온콜로지의판단과의료진의판단이다른경우에는어떻게할것인가? 왓슨의의견을반영하여치료한결과가좋지않았다면, 그책임의일부라도왓슨에게물을수있나? 왓슨을진료현장에적용할때, 위와같은세부적인사항을어떻게결정하는지에따라, 의료의질과치료효과, 진료효율성등등이달라질수있다. 결국문제는원칙이없다는것이다. 원칙이없기때문에현재국내만하더라도왓슨을도입한병원이저마다의개별적인기준에맞춰진료에활용하고있는실정이다. 이는결국의료인공지능이라는새로운종류의솔루션이진료에영향을줄수있음에도불구하고이를어떻게활용할지에대한의료계의고민이충분하지못했다는것을의미한다. 결국왓슨과같은인공지능진료보조시스템을활용하기위한표준가이드라인이나원칙을합의하는것이필요하게될것이다. 그런기준이정해졌을때에야의료의질관리도가능하다. 의료인공지능이의료현장에적용되는것은아직초창기에불과하지만, 앞으로그사례는더욱많아질것이며, 파급효과도커질것이다. 인공지능은의료에접목되는완전히새로운방식의수단이라고도할수있지만, 그것이목표로하는바는기존의의료가추구해온바와다르지않다. 질병을더효과적, 효율적으로진단하고, 치료하고, 예방하고, 예측하며, 치료과정의부작용을줄이는것. 의료비를낮추며, 더나아가의료진과병원에도도움이될수있으면좋을것이다. 이를위해서는인공지능이라는전례없는완전히새롭고혁신적인방식이라고하더라도, 의학에활용되기위해서는근거와원칙이필요하다는대전제는동일하다. REFERENCES 1. Do We Need Doctors Or Algorithms? [Internet] TechCrunch [cited 2017 July 20]. Available from: https://techcrunch.com/2012/01/10/doctors-oralgorithms/ 2. Vinod Khosla says technology will replace 80 percent of doctors sparks indignation [Internet] VentureBeat [cited 2017 July 20]. Available from: https://venturebeat.com/2012/09/02/vinod-khosla-says-technology-willreplace-80-percent-of-doctors-sparks-indignation/ 3. What Silicon Valley Doesn't Understand About Medicine [Internet] Forbes [cited 2017 July 20]. Available from: https://www.forbes.com/sites/ davidshaywitz/2011/06/17/what-silicon-valley-doesnt-understand-aboutmedicine/ 4. Why I Disagree With Vinod Khosla About Digital Health -- And Hope He Succeeds Brilliantly [Internet] Forbes[cited 2017 July 20]. Available from: https://www.forbes.com/sites/davidshaywitz/2012/09/01/why-i-disagreewith-vinod-khosla-about-digital-health-and-hope-he-succeeds-brilliantly/ 5. A.I. VERSUS M.D. [Internet] The New Yorker [cited 2017 July 20]. Available from: http://www.newyorker.com/magazine/2017/04/03/ai-versus-md 6. Jha S, Topol EJ. Adapting to Artificial Intelligence: Radiologists and Pathologists as Information Specialists. JAMA. 2016;316(22):2353-4. 7. Darcy AM, Louie AK, Roberts LW. Machine Learning and the Profession of Medicine. JAMA. 2016;315(6):551-2. 8. Miotto R, Li L, Kidd BA, Dudley JT, Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Sci Rep. 2016; 6: 26094. 9. Xiong HY, Alipanahi B, Lee LJ, Bretschneider H, Merico D, Yuen RK, et al. The human splicing code reveals new insights into the genetic determinants of disease. Science 2014;347(6218):1254806. 10. How Watson for Clinical Trial Matching is Accelerating the Screening Process [Internet] IBM Blog [cited 2017 July 20]. Available from: https:// www.ibm.com/blogs/think/2017/04/watson-health-screening/ 11. Nguyen P, Tran T, Wickramasinghe N, Venkatesh S. Deepr: A Convolutional Net for Medical Records. IEEE J Biomed Health Inform. 2017;21(1):22-30. 12. IBM's Watson Now A Second-Year Med Student [Internet] Forbes [cited 2017 July 20] https://www.forbes.com/sites/bruceupbin/2011/05/25/ibmswatson-now-a-second-year-med-student 13. IBM Watson Hits Daily Double Fighting Cancer With Memorial Sloan Kettering [Internet] Forbes [cited 2017 July 20]. Available from: https:// www.forbes.com/sites/bruceupbin/2012/03/22/ibm-watson-hits-dailydouble-fighting-cancer-with-memorial-sloan-kettering/ 14. IBM Watson Hard At Work: New Breakthroughs Transform Quality Care for Patients [Internet] IBM News releases [cited 2017 July 20]. Available from: http://www-03.ibm.com/press/us/en/pressrelease/40335. wss?i=1360645029661 15. Gil Hospital adopts IBM WFO for the first time in South Korea. [Internet] IBM News Release (KR) [cited 2017 July 20]. Available from: http://www- 03.ibm.com/press/kr/ko/pressrelease/50591.wss#release 16. IBM shares data on how Watson augments cancer treatment decisionmaking [Internet] Mobihealthnews [cited 2017 July 20]. Available from: http://www.mobihealthnews.com/content/ibm-shares-data-how-watsonaugments-cancer-treatment-decision-making 17. How AI would innovate the future of medicine (2) [Internet] Healthcare Innovation Blog (KR) [cited 2017 July 20]. Available from: http://www. yoonsupchoi.com/2017/06/13/ai-medicine-2/ 18. IBM's Watson Memorized the Entire 'Urban Dictionary,' Then His Overlords Had to Delete It [Internet] The Atlantic [cited 2017 July 20]. Available from: https://www.theatlantic.com/technology/archive/2013/01/ ibms-watson-memorized-the-entire-urban-dictionary-then-his-overlordshad-to-delete-it/267047/ http://www.e-hmr.org 59

19. WFO is advanced medical textbook [Internet] Korean Doctors Weekly (KR) [cited 2017 July 20]. Available from: http://www.docdocdoc.co.kr/ news/articleview.html?idxno=220186 20. Validation study to assess performance of IBM cognitive computing system Watson for oncology with Manipal multidisciplinary tumour board [Internet] Oncology Pro [cited 2017 July 20]. Available from: http:// oncologypro.esmo.org/meeting-resources/esmo-asia-2016-congress/ Validation-study-to-assess-performance-of-IBM-cognitive-computingsystem-Watson-for-oncology-with-Manipal-multidisciplinary-tumourboard-for-1000-consecutive-cases-An-Indian-experience 21. Patients prefer opinion of WFO to doctors opinion. [Internet] Chosun (KR) [cited 2017 July 20]. Available from: http://news.chosun.com/site/data/ html_dir/2017/01/12/2017011200289.html 22. Assessing the performance of Watson for oncology, a decision support system, using actual contemporary clinical cases. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: http://meetinglibrary.asco.org/ record/113013/abstract 23. Steps in developing Watson for Oncology, a decision support system to assist physicians choosing first-line metastatic breast cancer (MBC) therapies: Improved performance with machine learning. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: http://meetinglibrary.asco.org/ record/113826/abstract 24. Integration of multi-modality treatment planning for early stage breast cancer (BC) into Watson for Oncology, a Decision Support System: Seeing the forest and the trees. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: http://meetinglibrary.asco.org/record/112747/abstract 25. Concordance assessment of a cognitive computing system in Thailand. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: http://abstracts. asco.org/199/abstview_199_183143.html 26. Early experience with IBM Watson for Oncology (WFO) cognitive computing system for lung and colorectal cancer treatment. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: http://abstracts.asco. org/199/abstview_199_187558.html 27. Use of a cognitive computing system for treatment of colon and gastric cancer in South Korea. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: http://abstracts.asco.org/199/abstview_199_191277.html 28. Interview of Dr. Kyu Rhee, Chief Health Officer of IBM Watson Health [Internet] Healthcare Innovation Blog (KR) [cited 2017 July 20]. Available from: http://www.yoonsupchoi.com/2017/07/10/interview-with-kyu-rhee/ 29. Fukuoka M, Yano S, Giaccone G, Tamura T, Nakagawa K, Douillard JY. Multi-institutional randomized phase II trial of gefitinib for previously treated patients with advanced non-small-cell lung cancer (The IDEAL 1 Trial) J Clin Oncol. 2003;21(12):2237-46. 30. Efficacy of Iressa was re-confiremd. [Internet] Medical Observer (KR) [cited 2017 July 20]. Available from: http://www.monews.co.kr/news/articleview. html?idxno=9534 31. Efficacy of cancer therapy is distinct according to ethnicity [Internet] Korean Doctors Weekly (KR) [cited 2017 July 20]. Available from: http:// www.docdocdoc.co.kr/news/articleview.html?idxno=77725 32. IBM Watson for Oncology Platform Shows High Degree of Concordance with Physician Recommendations [Internet] AACR [cited 2017 July 20]. Available from: http://www.aacr.org/newsroom/pages/news-release- Detail.aspx?ItemID=983 33. Konyang University Hospital adopts WFO [Internet] Yonhap News (KR) [cited 2017 July 20]. Available from: http://www.yonhapnews.co.kr/society/ 2017/03/15/0706000000AKR20170315180700063.HTML 34. The Future of Health is Cognitive. [Internet] IBM Corporation [cited 2017 July 20]. Available from: http://sitesolutionssummit.com/wp-content/ uploads/2016/10/communication-2016-10-16-globalsitesolutionssummi tfromkyurhee.pdf 60 http://www.e-hmr.org