의료계내부에서도큰이견이없어보인다.[5, 6, 7] 현재다양한의료분야에서여러종류의인공지능이발전해왔으며, 앞으로도새로운인공지능과연구결과들은지속적으로등장하게될것이다. 향후예상되는모든종류의의료인공지능을포괄하여분류한다는것은쉬운일이아닐것이다. 다만필자는적어도현재까지연구되고있는대부

Size: px
Start display at page:

Download "의료계내부에서도큰이견이없어보인다.[5, 6, 7] 현재다양한의료분야에서여러종류의인공지능이발전해왔으며, 앞으로도새로운인공지능과연구결과들은지속적으로등장하게될것이다. 향후예상되는모든종류의의료인공지능을포괄하여분류한다는것은쉬운일이아닐것이다. 다만필자는적어도현재까지연구되고있는대부"

Transcription

1 pissn X eissn Review IBM 왓슨포온콜로지의의학적검증에관한고찰 1, 2, 3 Yoon Sup Choi 1 Digital Healthcare Institute, Seoul, Korea 2 Digital Healthcare Partners, Seoul, Korea 3 Department of Digital Health, Sungkyunkwan University, Seoul, Korea The development of artificial intelligence revolutionizes many fields, and one of the representative fields is medical artificial intelligence. The world-renowned IBM Watson for Oncology (WFO) is a leading medical artificial intelligence that recommends treatment options to doctors based on medical records of cancer patients. This review examines the concepts and characteristics of WFOs and the challenges to be addressed. In particular, the accuracy and medical efficacy of WFO have not yet been fully validated, and it will be necessary to establish evidence through further clinical studies. Artificial intelligence will make fundamental changes in many areas of medicine in the future. It is necessary for the medical community to establish principles of how to maximize clinical benefits and minimize side effects. Key words: Artificial intelligence; Clinical trials; Evidence based medicine; Cancer; Machine learning Corresponding Author: Yoon Sup Choi Digital Healthcare Institute, Seocho-gu, Banpodero 30 gil, Room 1229, Seoul, Korea yoonsup.choi@gmail.com Received 27 July 2017 Revised 18 Sep 2017 Accepted 2 Nov 2017 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. 서론실리콘밸리의선각자이자유명벤처투자가인비노드코슬라 (Vinod Khosla) 는몇년전 ' 미래에는 80% 의의사가첨단기술로대체될것 ' 이라고공개석상에서주장한바있다 [1, 2]. 그는의료의많은부분이여전히근거에기반을둔과학이라고보기어렵다며, 대규모의데이터에기반하고막강한연산능력으로무장한기계가평균적인의사보다더저렴하면서도정확하고객관적일수있다고언급했다. 그는 ' 닥터알고리즘 (Doctor Algorithm)' 의실력은갈수록좋아져서, 어려운치료사례에대해서도모든가능성을고려하여 2차소견을제공하면서진료실에서의영향력은더커질것이라고했다. 또한많은경우의사들의진료에일관성이부족하고, 편차가크다는점도지적했다. 비노드코슬라는선마이크로시스템즈 (Sun Micro systems) 를창업한실리콘밸리 IT 분야의입지전적인인 물로, 지금은자신의이름을딴코슬라벤처스 (Khosla Ventures) 라는벤처캐피털을이끄는전설적인벤처투자가다. 이렇게 IT 업계에서영향력있는인물의도발적인발언은즉시의료계내외부에서격렬한찬반양론을불러일으켰다 [2, 3, 4]. 이것이 2012년의이야기였다. 만약같은주장을오늘날에듣게된다면이제는어떨까. 당시에는의학을모르는타분야전문가의허무맹랑한주장정도로치부되었을이야기가, 지금에이르러서는그리가볍게느껴지지않는다. 그만큼지난몇년동안의짧은기간동안인공지능기술이폭발적으로발전했기때문이다. 이후지금까지인간의사수준의혹은그이상의실력을가지는인공지능연구들이쏟아져나오기시작했고, 몇몇병원에서는인공지능을실제로도입하기에이르렀다. 하지만이제는인공지능에의해서미래의의료와의사의역할이어떤식으로든상당히달라지게될것이라는주장자체에는 Hanyang University College of Medicine Institute of Medical Science 49

2 의료계내부에서도큰이견이없어보인다.[5, 6, 7] 현재다양한의료분야에서여러종류의인공지능이발전해왔으며, 앞으로도새로운인공지능과연구결과들은지속적으로등장하게될것이다. 향후예상되는모든종류의의료인공지능을포괄하여분류한다는것은쉬운일이아닐것이다. 다만필자는적어도현재까지연구되고있는대부분의의료인공지능을다음과같이세가지정도의유형으로분류할수있다고본다. 복잡한의료데이터를분석하여의학적통찰력을도출하는인공지능 이미지로나타낼수있는의료데이터를분석및판독하는인공지능 연속적인의료데이터를모니터링하여질병을예측및예방하는인공지능첫번째유형이바로복잡한의료데이터를분석하여의학적인통찰력을도출하는인공지능이다. 여기에서 복잡한의료데이터 라고한다면, 전자의무기록 (EMR) 이나차트에저장되어있는환자의진료기록이나, 환자의진료비를청구한데이터, 유전체데이터, 임상시험데이터등의의료빅데이터를포괄한다. 이러한인공지능은의료빅데이터를분석하여 의학적통찰력 을도출할수있을것이다. 예를들어, 진료기록등을바탕으로환자의질병을진료하거나진단하거나예측한다 [8]. 또한유전체데이터를바탕으로질병을유발한원인이되는유전적요인을정밀하게찾아주고 [9], 특정환자에게가장적합한임상연구가어떤것인지매칭해줄수있다 [10]. 더나아가사망률이나재입원율을낮추고, 의료비를절감하는목적으로사용할수도있다 [11]. 이러한유형의의료인공지능중에가장잘알려진것은바로 IBM의왓슨 (Watson) 이다. 왓슨은현재의료분야에서암환자진료 (Watson for Oncology), 유전체분석 (Watson Genomics), 임상시험환자매칭 (Clinical Trial Matching) 등의세가지서비스를제공하고있다. 이번종설에서는현재국내에서도많은이슈를낳고있는 IBM 왓슨포온콜로지 (Watson for Oncology) 를둘러싼여러측면에대해서살펴보도록하겠다. 본론 1. 왓슨의병원도입퀴즈쇼제퍼디의우승이후왓슨은본격적으로의료분야에진출하여암환자의진료에도전하겠다고발표한다. 제퍼디당시에는알려지지않았지만, 2011년 5월에발표된기사를보면이미 18개월전부터메릴랜드대학의엘리엇시걸 (Eliot Siegel) 박사팀과협력하여각종의학논문, 교 과서등의연구결과들, MD앤더슨이나존스홉킨스등에서나온질병데이터를학습하고있다고언급되어있다 [12]. 이후 2012년 3월왓슨은세계에서가장오래되었고, 가장큰사립병원인뉴욕의 메모리얼슬론캐터링암센터 (Memorial Sloan Kettering Cancer Center, 이하 MSKCC) 와협업을통해암의치료에도전하겠다고밝힌다 [13]. 실제의사들이어떻게암환자를진료하고, 진단을내리며, 치료하는지에대한의사결정을학습하기위한것이었다. IBM과 MSKCC는공동연구를통해폐암을시작으로유방암등다른암종으로범위를넓혀가겠다는계획을발표했다. 그렇게개발이시작된것이바로 왓슨포온콜로지 (Watson for Oncology) 이다. 2013년 2월에 IBM의보도자료에따르면, 당시까지왓슨은암과관련된 60만건의의학적근거, 42개의의학학술지와임상시험데이터로부터 200만페이지분량의자료를학습했다고나온다 [14]. 또한 MSKCC의의사들이 1,500여개의실제폐암치료사례와 25,000개의치료사례시나리오, 의사들의진료기록, 검진결과등 자연어 로되어있는데이터를학습시켰다고한다. 그이후로 14,700시간동안간호사들이수작업으로왓슨의학습을주의깊게수정했다고한다. 이후로 3년반정도가지난 2016년 9월가천대길병원에서이왓슨포온콜로지를도입할당시의자료에따르면, 300개이상의의학학술지, 200개이상의의학교과서, 1,500만페이지의의료정보를학습했다고언급되어있어서, 학습한데이터의크기는더증가한것을알수있다 [15]. 길병원도입당시에도왓슨포온콜로지는폐암뿐만아니라, 유방암, 대장암, 직장암, 위암에적용가능하도록개발되었다. 더나아가 2017년 6월보도에따르면, 왓슨헬스측은연내에왓슨포온콜로지를총 12개암종에적용가능하도록발전시켜, 전세계에서발병하는암의 80% 를커버할것이라고밝혔다 [16]. 왓슨은현재세계적으로여러병원에꾸준히새롭게도입되고있다 [17]. 2017년중반기준으로세계적으로수십개정도의병원에채택된것으로보인다. 왓슨포온콜로지는 2014년태국의범룽랏국제병원 (Bumrungrad International Hospital) 에도입되었으며, 2015년 12월에는인도의마니팔병원 (Manipal Hospital) 에, 2016년 8월에는항저우코그니티브케어 (Hangzhou CognitiveCare) 를통해서중국의 21개병원에도입되었다. 한국에는 2016년 9월에는가천대학교길병원의도입을시작으로, 2017년에는부산대학교병원, 대전의건양대학병원, 대구의계명대동산병원과대구가톨릭병원에연달아도입되었다. 부산대학병원은국내에서는유일하게왓슨포온 50

3 콜로지뿐만아니라, 유전체분석관련서비스인왓슨지노믹스도도입했다. 2. 왓슨포온콜로지란무엇인가그렇다면왓슨포온콜로지는과연어떤기능을가지고있을까. 환자의진료기록과의료데이터를바탕으로가능한치료법 (treatment plan option) 을권고해주는것이왓슨포온콜로지의기능이다. 예를들어, 해당암환자의진료기록, 검사기록, 유전정보, 수술가능여부등을입력하면, 이를기반으로치료법을권고해주는것이다. 특정종류의항암제혹은항암제의조합, 방사선치료, 호르몬치료등을권고해준다. 중요한것은치료법을초록색, 주황색, 빨간색의 3단계로권고한다는것이다. 초록색은추천하는 (recommended) 치료법, 주황색은고려해볼수있는 (for consideration) 치료법이며, 빨간색은권고하지않는 (not recommended) 치료법이다. 또한각각의권고된치료법마다근거버튼이달려있다. 이것을클릭하면, 왜이러한치료법을권고하는지에대해서왓슨이학습했던관련논문, 임상연구등의결과, 가이드라인등의근거자료들을보여준다. 만약에의사가처음보는치료법이라고할지라도, 이러한근거자료에기반하여해당권고안이과학적, 의학적으로설득력이있는지를고민해볼수있다. 엄밀히말해왓슨포온콜로지는진단 (diagnosis) 을해주는것은아니며, 치료법을권고하여의사의진료를보조하는역할을한다. 적어도아직까지는왓슨포온콜로지에는병리과에서시행하는병리데이터의분석을통한진단기능은포함되어있지않다. 또한진료와진료를보조하는것에도큰차이가있다. IBM 측의발표를들으면항상빠지지않는것이바로 왓슨은의사를대체하지않는다. 의사의역할을강화 (augment) 하는것이왓슨의역할이다 는것이다. 한국이든미국이든 IBM 관계자가하는왓슨관련발표에는항상이표현이빠지지않는다. 이는의료계에서 IBM이왓슨의의사와의관계및포지셔닝을어떻게하려는지를암시한다. 3. 왓슨포온콜로지의특징 IBM이주장하는왓슨의강점중의하나는매일같이쏟아져나오는엄청난분량의암과관련된연구논문들, 임상시험결과들을환자의치료에빠르게반영할수있다는것이다 [14, 15]. IBM에따르면 2015년한해동안출판된종양학논문은 44,000개이다 [15]. 이는매일 122개의새로운논문이발표된다는이야기다. 이는 10분에한편씩논문을읽는다고가정해도, 주말없이매일 20시간이상씩읽어야만따라갈수있는양이다. 즉, 인간의능력으로따라 가기에는이미불가능한수준의연구결과들이쏟아진다는것이다. 이렇게최신연구결과를치료법선택에빠르게반영할수있다는것이 IBM이주장하는왓슨의강점이라고할수있다. 하지만이는양날의검과같다. 뒤에서자세히논의하겠지만, ( 정확한업데이트주기는알수없으나 ) 지속적으로연구결과를업데이트하면서진화한다는왓슨의특징은이를규제적으로정의하거나, 정확성, 효과성, 임상적유용성등을증명하는데있어서적지않은근본적문제를야기한다. 한가지유의할점은왓슨의학습이결코 자동으로 이뤄지지않는다는것이다. 왓슨이제퍼디에서활용한자연어처리기술을기반으로하였기때문에, 논문도자동으로읽고스스로판단하여암환자진료의근거로삼을것이라고생각하기쉽다. 하지만실제로는왓슨을훈련시키는과정에서수작업교정에많은시간을사용한것으로알려져있다. 또한쏟아져나오는종양학논문중에어떤논문을왓슨에반영할것인지를결정하기위해서 MSKCC의종양학전문의들이관여한다고알려져있다. 기계학습의기본적인원칙은 가비지-인, 가비지-아웃 (garbage-in, garbage-out) 이다. 즉, 좋지않은데이터로학습시키면좋지않은결과가나온다. 훈련시킬때의데이터의양과질이, 결과적으로인공지능의성능을좌우한다고해도과언이아니다. 일례로제퍼디를준비할당시에, 왓슨에게구어체의학습을목표로속어나은어등이담긴 The Urban Dicationary 를학습시켰던적이있다. 그결과제퍼디답지에욕지거리가포함되는경우들이있었기때문에결국개발자들은그데이터를삭제할수밖에없었다. 강한인공지능이구현되지않는이상, 아직까지인공지능을학습시킬때어떤데이터가좋은데이터이며, 나쁜데이터인지는개발하는사람이판단할수밖에없다. 그런데이왓슨포온콜로지를규제적으로, 의학적으로어떻게봐야할까? 몇가지어려운이슈들이있다. 4. 왓슨포온콜로지는의료기기일까일단왓슨포온콜로지가과연규제적으로의료기기로분류되어야할지, 비의료기기로분류되어야할지의이슈에대해살펴보자. 만약왓슨포온콜로지와같은임상의사결정지원시스템 (CDSS, Clinical Decision Support System) 이의료기기라면정확성, 안전성등을검증받고 FDA나식약처의의료기기인허가과정을거쳐야만할것이다. 만약비의료기기로분류된다면인허가과정이필요없다. 이는매우애매한문제다. 필자는강의에서왓슨포온콜로지에대해서설명하고, 청중에게이시스템이의료기기로분류되어야할지, 아니면비의료기기로분류되어야할지의 51

4 견을물어보곤한다. 이문제에대해서청중들의답변은항상양쪽으로갈리곤한다. 심지어는실제로유럽과미국, 한국의규제기관의판단에도결과적으로차이가있다. 일반적으로의료기기의여부는목적과위해도라는두가지를기준으로정해진다. 왓슨포온콜로지의목적은진료나진단, 치료를직접하지않고, 의사를보조하는목적이다. 또한내어놓은결과를직접환자에게적용하지않고, 의사가그결과를검토하여의사가치료법을결정하게되므로위해도역시높지않다고간주한다. 이러한논리에따라현재의식약처나 FDA의결정은왓슨포온콜로지가의료기기가아니라는것이다. ( 이러한결정은대부분의국가에서동일한것으로보이나, 예외적으로 EU의경우에는왓슨포온콜로지를의료기기로규정하고있다.) 기사에따르면, 복지부관계자는 ( 의사들의왓슨활용은 ) 평소의사들이진단과처방을내림에있어관련서적과논문등을참고하는것과같은성격으로봐야한다 며 때문에의료법상왓슨을사용하는것은문제가없다는생각 이라고언급하기도했다 [19]. 즉, 보다발전된의학교과서의개념이라는것이다. 이러한내용이 2016년 12월에발표된 빅데이터및인공지능 (AI) 기술이적용된의료기기의허가 심사가이드라인 에결국반영되었다. 특히, 비의료기기의예시에는 전자의무기록, 의료영상, 생체신호를이용하여문헌을검색하고문헌의내용 ( 진단법, 치료법등 ) 을요약하여제시하는소프트웨어 라는것이명시되어있다. 왓슨포온콜로지도여기에해당한다. 5. 왓슨규제의근본적어려움그럼에도불구하고, 필자는몇가지면에서왓슨이의료기기인지여부에대해서근본적인어려움과, 현실적인문제가있다는것을지적하고자한다. 비의료기기로분류하는경우에도몇가지중요한문제가있으며, 그렇다고의료기기로분류하더라도관리가어려운부분이있다는것이다. 이는왓슨포온콜로지와같은시스템이지금까지의임상의사결정지원시스템과도다른부분이있기때문이다. 일단왓슨이의료기기의성격을띤다고도볼수있는것이바로결과를제시하는양식때문이다. 왓슨포온콜로지는단순히가능한치료법을권고하는것에서더나아가, 치료법에대한우선순위까지도매겨준다. 앞서언급했던바와같이치료권고안을추천 ( 초록색 ) - 고려 ( 주황색 ) - 비추천 ( 빨간색 ) 의 3단계로점수를매겨주기때문이다. 다양한치료법중에서이렇게우선순위를매겨준다는것은그자체로의료적의사결정이나, 의료행위로봐야하지않을까? 교과서는개별환자에맞게치료법의우선순위를평가해주지는않지만, 왓슨포온콜로지는이부분을스스로판단한다. 비록최종적인의사결정은의사가내린다고는하지만, 왓슨포온콜로지의권고안이의사의치료법결정에영향을줄가능성이전혀없다고할수없을것이다. 만약에영향을전혀주지않는다면, 애시당초왓슨과같은 CDSS를사용할이유가없을것이다. 그렇다면왓슨이제시하는치료권고안의정확성이중요하다고할수있다. 그럴가능성은낮겠지만극단적으로가정하여, 왓슨포온콜로지가모든경우에부정확한치료권고안을준다면환자에게위해가가지않는다는법은없다. 이러한것을고려하면왓슨에게는분명히의료기기적인성격이전혀없다고는하기어려울것이다. 하지만설사의료기기로분류한다고할지라도이를규제하고관리하기가매우어렵고까다롭다. 바로왓슨포온콜로지가끊임없이변화하고진화하기때문이다. 앞서언급했듯이 IBM이주장하는왓슨포온콜로지의가장큰장점중의하나는최신연구결과를반영한다는것이다. IBM의보도자료에서직접밝혔듯이하루에 100개이상의종양학논문이쏟아져나오므로, 최신논문들을최대한빠르게반영하려고할것이다. 이런논문이반영됨에따라서, 왓슨포온콜로지는계속해서변화한다. 문제는이렇게논문등의근거자료가업데이트되면, 판단근거가달라지므로동일한환자를대상으로내어놓는치료권고안에도변화가생길수도있다는것이다. 예를들어, 어제와오늘, 그리고내일의왓슨포온콜로지는완전히동일한시스템이라고보기어려울수있다는것이다. 연구결과의최신반영이외에왓슨포온콜로지가진화하는또하나의경로가있다. 바로실제이시스템을활용하는의료진의의사결정을반영하는것이다. 예를들어, 길병원에서의료진이왓슨포온콜로지를사용하면서치료법에대한피드백을 IBM으로보낼수있다. 만약한국의의사들이보기에위암에대한왓슨의판단이적절하지않으면, 이에대한코멘트를보낼수있는것이다. IBM의입장에서는그결정에대해서더알아보고필요한경우왓슨의판단에그러한결정을반영하는것도필요할것이다. 그런데이러한최신논문의반영이나진료현장에서의피드백을누가어떤기준으로판단하며, 얼마나자주왓슨에반영하여업데이트할까. 논문으로출판되었다고해서모두양질의데이터라고는할수없으며, 일선의료진의피드백을모두타당한것으로보기는어렵다. 필자가 IBM 왓슨헬스의최고의료책임자 (Chief Health Officer) 인 Kyu Rhee 박사를인터뷰한결과이러한부분은 MSKCC의종양학자들이직접결정한다고한다. 논문의경우정기적으로간행되므로, 이스케쥴에맞게정기적으로심사한다고밝혔다. 중요한것은이러한과정을통해왓슨이끊임없이변화한다는것이다. 만약에왓슨포온콜로지가의료기기로분류 52

5 되었을경우, 기존의의료기기관리기준에따른다면내부알고리즘이나작동원리에변화가있다면변경인허가를새롭게받아야한다. 그렇다면왓슨포온콜로지의경우에도연구결과가반영되거나, 의료진의의사결정이반영될때마다정확성을새롭게검증하고, 매번의료기기인허가를다시받아야할까? 예를들어, 매일왓슨이업데이트된다면, 매일변경인허가를새롭게받아야하는가? 만약이렇게기존의의료기기의규제와관리에대한잣대를그대로들이대면, 왓슨포온콜로지와같은시스템은의료기기로서는아예사용이불가능할수도있다. 그렇기때문에왓슨을의료기기로관리하는것에도근본적인어려움이있다는것이다. 6. 왓슨포온콜로지는얼마나정확한가가장큰문제는왓슨포온콜로지가내어놓은치료권고안이얼마나정확한지아직완전히검증되지않았다는것이다. 그유명세에비해서 IBM 왓슨포온콜로지의암환자진료의정확성은증명된바없다. MSKCC라는세계최고의암병원에서함께개발했으니, 어느정도의정확성은갖추고있으리라고추측을해볼수는있을것이다. 하지만왓슨포온콜로지의추천, 고려, 비추천의등급의정확성과이러한시스템의의학적효용성을검증하기위한무작위대조군임상시험 (RCT) 이정식으로진행된바없고, 이것이의료계와학계에서인정하는학술저널에논문으로발표된적도전무하다. 대규모임상연구의결과가아니라고하더라도, 왓슨포온콜로지를통해서실제로치료한환자의증례보고 (case report) 도전무하다. 현재우리가참고할수있는것은종양학과관련된학회에서초록의형태로병원별로왓슨포온콜로지의사용결과가발표된사례정도다 [20]. 사용결과분석의경우에도수백명이상의환자대상의결과가발표되기시작한것은왓슨포온콜로지가여러병원에도입된이후인 2016년 12월정도부터였다. 이연구의결과들은우리가고민해야할여러이슈를던져준다. 비록 FDA와식약처는왓슨포온콜로지가의료기기에해당하지않는다고판단하였지만, 그럼에도불구하고필자는어떤식으로든왓슨포온콜로지의정확성, 효과성에대한의학적인검증이필요하다고본다. 아무리이시스템에서도출된치료권고안을의사가한번더검토한다고할지라도, 결과가부정확할경우환자에게미치는위해도가전혀없다고할수없기때문이다. 뿐만아니라, 인공지능이암환자를진료한다 는주장에이끌려많은환자들이왓슨을도입한병원을찾고있는것이현실이기도하기때문이다. 2017년 1월조선일보가보도한바에따르면, 길병원에서 2016년 11월부터진료한 100여명의환자중에서, 의사와왓슨의판단이다를경우에환자들은모두의사보다왓슨을더신뢰했다고한다. 우리는왓슨포온콜리지가정확하다면얼마나정확한지, 정확하지않다면얼마나정확하지않은지를알아야한다. 또한이러한시스템이의료적으로효용이있는지, 있으면얼마나있는지에대해파악하는것이필요하다. 이러한근거가있어야만비로소우리가왓슨을진료실에서어떻게활용하는것이좋을지에대한원칙을세울수있기때문이다. 지금은병원에서왓슨을어떤방식으로진료프로세스에녹여낼지에대한원칙도없고, 근거가없기때문에그원칙을만들기도어려운상황이다. 7. 인도마니팔병원의사례 2016년 12월, 인도의마니팔병원에서왓슨포온콜로지의정확성을평가하기위해서우리가참고할만한최초의결과를발표하였다 [20]. 과거 3년간치료받은유방암, 대장암, 직장암, 폐암등 4가지암종의환자 1,000명에대해서의사의판단과왓슨포온코로지의판단이얼마나일치했는지를본것이다. 다양한암종의대규모환자를대상으로, MSKCC가아닌독립적인병원이왓슨포온콜로지의정확도를공개한것은실질적으로이연구가처음이라고해도좋을것이다. 참고로 ASCO 2015에서 MSKCC의의료진이발표한초록이몇가지있다. 다만모두특정암에편중되어있고, 환자의수가충분하지않거나, 가상의환자를대상으로한것이기때문에왓슨의정확도를파악하기에는한계가있다는점을알려둔다 [22, 23, 24]. 인도의마니팔병원은지난 2015년 12월인도에서는최초로왓슨포온콜로지를도입했다. 아시아에서는태국의범룽랏병원이후로두번째다. 마니팔병원은뱅갈로르를중심으로 16개병원의네트워크로이루어진, 총 5,000병상을갖추고연간 20만명이상의암환자를진료하는대형암센터이다. 해당연구의대상환자는네가지암종으로, 각각유방암 (638명), 대장암 (126명), 직장암 (124명), 폐암 (112명) 으로구성되어있다. 왓슨포온콜로지를도입한지당시 1년이지난시점인데, 연구에서는과거 3년동안진료한환자를분석한것이므로, 후향적 (retrospective) 연구로볼수있다. 이연구에서마니팔병원의암환자진료와관련된여러진료과의전문의들이모인다학제진료팀 (Manipal multidisciplinary tumour board) 의판단과왓슨포온콜로지의판단을비교하였다. 1,000명의환자에대해서마니팔병원의다학제진료팀이제시한치료법을기준으로, 왓슨포온콜로지가제시한치료법중에추천, 고려, 비추천의세단계의권고안과일치하는비율은아래와같았다. 53

6 추천 과일치 : 50% 고려 와일치 : 28% 비추천 과일치 : 17% 다학제진료팀의판단을정답으로보고, 왓슨의추천과고려항목이일치하는경우를모두합하면약 80% 정도의정확도를가진다고볼수있다. 또한추천, 고려, 비추천모두에속하지않는나머지 5% 의경우에는의사들이결정한치료법을왓슨포온콜로지의권고안중에서는찾을수없었다. 그런데, 문제는암종별로왓슨의치료권고안과의사가결정한치료의일치도에현저한차이가드러났다는것이다. 추천항목과의일치율을기준으로한다면, 일치율이가장높았던것은직장암으로 85% 였으며, 가장낮은것은폐암으로 17.8% 에불과했다. 더나아가, 유방암의경우에는세부암종별로도일치율의차이가나타났다. 호르몬수용체와 HER2 유전자가모두음성으로나오는삼중음성 (triple-negative) 유방암의경우에는 67.9% 가일치했고, HER2 유전자만음성인경우에는 35% 로일치도가낮았다. 또한비전이성유방암은 80% 일치하였으나, 전이성유방암은 45% 밖에일치하지않았다. 이연구의결과만놓고볼때, 왓슨이내어놓는치료권고안의의사대비정확성이암종별로상당히차이가크다는것으로이야기할수있다. 특정암종에대해서는 80% 이상의비교적높은일치도를보이지만, 특정암종이나, 세부암종에따라서는또 50% 에도미치지못하는일치율을보이는것이다. 8. ASCO 2017에보고된왓슨의실력약반년뒤인 2017년 6월에도비슷한연구결과들이발표되었다. 2017년 6월초에시카고에서열린미국임상종양학회 (ASCO) 2017에서태국의범룽랏병원, 인도의마니팔병원, 한국의가천대학교길병원등세병원이각각왓슨포온콜로지의치료권고안과해당병원의료진의결정이얼마나일치했는지에대해서초록의형태로발표한것이다. 이세병원의연구결과들은세부적으로는차이가있지만, 큰그림에서보면우리가얻을수있는결론은크게다르지않다고하겠다. 이결과들을간략히살펴보면아래와같다. 태국범룽랏병원의경우 년에치료받은폐암, 유방암, 위암등세암종의환자 211명을대상으로살펴보았다 [25]. 이중에 92명은과거에치료했던환자의기록을왓슨포온콜로지와비교해본후향적연구였고, 나머지 119명은새롭게진료받은환자의기록을왓슨포온콜로지가분석하여의사와비교해본전향적연구였다. 추천과고려와의일치를기준으로전체환자군에대한일치도는 83% 였으며, 암종별로보면폐암 91%, 유방암 76%, 위암 78% 였다. 후향적분석과전향적분석결과는비슷했다. 인도마니팔병원에서도상기에언급한 2016년 12월발표된결과에서, 유방암을제외하고폐암 112명, 대장암 126 명, 직장암 124명에대한결과를다시발표했다 [26]. 암종별로일치율을보았을때 ( 역시추천과고려를모두기준으로하여 ) 폐암 96.4%, 대장암 81%, 직장암 92.7% 였다. 또한이번발표에는세암종에대해서원발조직에국한 (localized) 되었을때와전이되었을때의병기별로구분한결과도발표되었다. 병기에따라서도일치율에다소차이가나는것을알수있는데, 폐암의경우에는전이암일때, 대장암과직장암은원발조직에국한되었을때일치율이더높았다. 폐암 : 국한 88.9%, 전이성 97.9% 대장암 : 국한 85.5%, 전이성 76.6% 직장암 : 국한 96.8%, 전이성 80.6% 마지막세번째발표는한국의길병원에서치료받은 2-4 기대장암환자 340명과항암치료를받지않은진행성위암환자 185명을대상으로후향적연구를한것이다 [27]. 대장암환자전체에서는 73% 의일치율을보였다. 그중에서보조항암치료를받은환자 250명의경우에는 85%, 전이성대장암환자 90명의경우 40% 가일치했다. 또한위암환자의경우에는 49% 에서일치했다. 이러한결과를보면아래와같은네가지정도의결론을잠정적으로내려볼수있다. 왓슨포온콜로지와의사의일치율은암종별로다르다. 왓슨포온콜로지와의사의일치율은같은암종에서도병기별로다르다. 왓슨포온콜로지와의사의일치율은같은암종에대해서도병원별, 혹은국가별로다르다. 왓슨포온콜로지와의사의일치율은시간에따라서달라질가능성이있다. 9. 왓슨과의사의일치율차이의원인 1) 가이드라인및인종적차이왓슨의결과에왜이러한차이가있을까. 먼저왓슨과의사의일치율이암종별로, 병기별로, 병원별로, 국가별로왜다른지에대해서먼저논해보자. 필자는이러한일치율의차이에대해서왓슨헬스의최고의료책임자를포함한 IBM 소속의의사들과도개인적으로이야기를나눠보았다. 그들이공통적으로꼽는일치율의차이는왓슨포온콜로지가미국이라는특정한나라의환경에서 MSKCC라는특정병원을기준으로개발된시스템이기때문이다. 그렇기때문에아래와같은요소들에국가별로차이를드러낼수있다. 54

7 해당국가진료가이드라인준수여부 암환자인종별차이의고려여부 권고한약이나치료법의국가별인허가여부 보험급여기준및심사기준준수여부한국을비롯한각나라에서는암환자에대한진료가이드라인이존재한다. 전세계적으로는 NCCN( 전미종합암네트워크 ) 에서발간하고수시로업데이트하는치료가이드라인이권위를가지고있지만, 한국을포함한개별국가에서는자국의상황에맞게변경되어있는가이드라인을따르기도한다. 이에따라항암제의종류와사용, 수술의필요여부등이달라지기도한다. 또한인종별차이도무시할수없다. 미국인에맞게개발된왓슨포온콜로지는다른국가, 특히아시아인환자를대상으로는인종적특수성을고려하지못하는것으로알려져있다. 이러한요인도앞서언급한태국, 인도, 한국병원의일치율차이의요인이될수있다. 암은유전적요인에의해서발병하는데, 인종별로발병원인유전자의구성이나유전자발현의정도가다를수있다. 이런요인때문에항암제에대한반응이나부작용이달라지는경우가있다. 즉, 어떤경우에는같은항암제를사용하더라도치료효과가달라질수있다는것이다. 예를들어, 아스트라제네카의폐암치료제이레사는아시아인과비아시아인의반응이다른대표적인약제중의하나다. 2003년발표된이레사의연구에서는서양인에비해일본인에더큰효과를보인다는것이증명되었으며 [29], 성균관대의대연구진이비소세포폐암 (NSCLC) 에대해서폐암종양이 50% 이상감소하는환자의비율이서양인에비해한국인이두배높다는것을증명한바있다. 또한세브란스연구팀은항암제파클리탁셀이아시아인위암환자의경우감수성이 38% 에불과하지만, 비아시아인환자에게는 75% 나된다는연구결과를 2009년발표한바있다 [31]. 최근발표에따르면이러한인종적차이는실제로왓슨과국내의료진의결정의차이를만들어낸다. ASCO 2017 에서길병원발표에서위암환자의낮은일치율에대해서두가지가능성이제시되고있다 [27]. 그중하나가항암제 S-1(tegafur, gimeracil and oteracil)+cisplatin의조합이한국에서는일상적으로사용되지만, 미국에서는그렇지않기때문이라는것이다. 일본에서개발된 S-1이라는항암제는임상연구결과일본과한국의환자에게는우수한결과를보여준바있다. 하지만서양인에게는설사와같은부작용이흔해서잘쓰지않는것으로알려져있다. 또한국가별로인허가받은약제의차이가있을수있다. 미국에서는 FDA의승인을받아서환자들에게판매되는약이, 한국에서는여러이유로식약처의허가를받지못해사용이불가한약제일수있기때문이다. 반대로, 한국에서승 인받은약이, 미국에서는아직허가를받지않았을수도있다. 앞서언급한항암제 S-1은일본과한국, 유럽의여러국가에서도인허가받았으나, 아직미국의 FDA에서는허가를받지않았다. 2) 보험제도의차이더크게지적되는문제는건강보험제도의차이때문이다. 한국은전세계에서도드물게전국민에게국민건강보험을보장해주는시스템을가지고있다. 이는전세계가부러워하는보험체계이기도하지만, 의사의진료와처방이심평원 ( 건강보험심사평가원 ) 의급여기준에부합해야한다는특수한환경을야기했다. 문제는왓슨포온콜로지가당연히심평원의급여기준과는상관없는치료법을권고안으로제시한다는것이다. 왓슨이정말로하루에수백편씩쏟아지는최신연구에발맞춰서최적의치료법을제시해준다고하더라도, 이러한치료법에대한보험급여를적용받지못하거나심평원에서삭감해버린다면국내에서는이권고안을채택하기가어려워질것이다. 이러한차이는왓슨포온콜로지의판단과국내의료진의판단의차이를만들어내는실제요인이된다. ASCO 2017에서길병원의의료진이발표한연구결과에는위암에서의일치도가낮은요인에대해 ( 앞서설명한 S-1의국가별차이이외에도 ) 왓슨이권유하는항암제 Trastzumab/ FOLFOX 가한국에서는국민건강보험수가를받지못하기때문에택하기가어렵다는점을명시적으로언급하고있다 [27]. 3) 치료옵션다양성의차이또한암종별로일치도가다른이유중의하나는암의종류에따라서얼마나다양한치료옵션들이존재하는지에도차이가있기때문으로보인다. 다양한치료옵션이존재할수록아무래도양측의판단이확률적으로일치하기어렵기때문이다. 예를들어, 마니팔병원의발표에서삼중음성유방암의경우 ( 일치율 67.9%) 에는 HER2 음성유방암 ( 일치율 35%) 에비해서가능한치료옵션자체가적기때문에결과적으로일치도는올라갈수밖에없다는것이다. 왓슨의추천과일치율이 85% 로높게나온직장암의경우에도상대적으로다른암에비해치료옵션의다양성이제한적인편이다. 4) 가이드라인의변화와왓슨의진화왓슨과의료진의일치율이차이가나는또다른이유는가이드라인과왓슨이시간이흐름에따라서계속바뀌어간다는것이다. 새로운연구결과가발표되고, 새로운치료법이개발되면그에맞춰서표준진료가이드라인과왓슨포 55

8 온콜로지의결정도계속바뀌어갈수있다. 또한앞서언급했듯이, 왓슨포온콜로지를활용하는의료진의결과가피드백될수있으므로, 이를반영해서도왓슨은진화한다. 과거 에진료했던환자의기록을바탕으로, 오늘 의왓슨포온콜로지를실행하여그결과를비교하는후향적연구의경우이러한차이가크게드러날수밖에없다. 앞서언급한대부분의연구가수년전에진료한환자의치료방법과현시점의왓슨포온콜로지에서나온결과를비교한것이다. 이러한요인은마니팔병원이 2016년 12월샌안토니오유방암심포지움에서발표한자료에서도확인할수있다 [32]. 이발표에는 638명의유방암환자사례를두가지시점에서분석하고있다. 하나는지난 3년간환자를진료했던과거시점 (T1) 에서실제치료법과오늘날왓슨포온콜로지의판단을비교한것이다. 다른하나는연구가진행된 2016 년시점 (T2) 에서과거의진료기록을재검토하여의사들이판단한것과왓슨의결과를비교한것이다. 이렇게과거의진료가이드라인등에맞춘의료진의판단보다현재의의료진의판단이왓슨과더높은비율로일치한다. 왓슨포온콜로지의 추천 만을기준으로했을때에는 46% 에서 60% 로증가하였고, 추천 과 고려 를모두기준으로하면과거의 73% 에서 90% 까지일치율이증가하는것을볼수있다. T1과 T2 시점의일치율차이는그기간동안바뀌었던가이드라인때문이라고설명할수있다. 그런데시간이흐름에따라서가이드라인, 신규논문, 새로운치료법등을반영하여계속진화한다는왓슨의속성은또다른문제를만들어낸다. 아래에서더자세히이야기하겠지만, 필자는왓슨의정확성과의학적효용등을증명하기위해서임상시험이필요하다고본다. 하지만이렇게지속적으로변화한다는왓슨은과거특정시점에서진행한임상연구의결과가현재혹은미래에적용되지않을수있다는것을의미한다. 10. 왓슨의정확도와의학적효용의증명앞서논의한내용을정리해보자면왓슨포온콜로지의정확성과의학적효용이아직완전히증명되지않았음을알수있다. 기존에발표된연구들은모두왓슨포온콜로지와특정국가의특정병원의료진의판단과얼마나일치하는지를분석한정도이다. 이러한연구가가지는결정적한계점은왓슨과의사의 일치율 (concordance) 을보는것이왓슨포온콜로지의정확성과효용성을평가하기위해서적절한지표가되기어렵다는것이다. 의사의판단과일치한다고해서왓슨의치료법이정확하다고할수없다. 반대로의사의판단과불일치한다고해서왓슨의권고안이부정확하다고할수는없는일이다. 의사의판단이최선의판단일수도있지만, 최선이아 닐수도있기때문이다. 만약 일치율 을높이는것이왓슨의실력에대한유일한지표나개발목표가된다면, 결국인간의사와완전히동일한판단을하는시스템이 ( 구현가능성의여부는차치하고서라도 ) 왓슨의최종적인모습이될것이다. 즉, 일치율 만을기준으로한다면의사와동일한수준의인공지능을구현할수는있겠지만, 의사보다더나은인공지능을개발할수는없다. 우리가인공지능에게기대하는것은한단계더높은수준이다. 즉, 인간의사의부족한점을보완해줄수있고, 가능하면때로는더나은치료법을찾아줄수도있는인공지능이다. 만약왓슨의판단이 ( 예를들어 MSKCC의 ) 의료진의결정과 100% 일치율을달성했다면, 그리고그것을증명했다면, 과연그시스템은유용할것인가. 의사의수가부족하거나, 의료진의종양내과적전문성이부족한환경에서는유용할수도있다. 하지만평균적인, 혹은평균실력이상의종양내과전문의를충분히갖춘병원에서이는그리큰가치를제공하지못할가능성이높다. 이부분에대해서앤드류노든박사는 ASCO 2017에서발표된, 일치율이 80-90% 라는왓슨포온콜로지의퍼포먼스에대해서만족감을표시했다 [16]. 이러한수치는우리가원하는정도다. 만약일치율이 100% 라면모든경우에의사와완전히동일한권고안을준다는것이므로아무런가치가없다고주장할수있다. 만약훨씬낮거나 0% 의일치율을보인다면, 그것또한문제가될것이다. 즉, 현재의사와너무다르지도않고, 너무동일하지도않은권고안을주기때문에, 왓슨포온콜로지가의료진에게가치가있을가능성이있다는것이다. 그럼에도불구하고, 앞서강조했듯이아직그러한가능성을증명할수있는근거는충분하지않다. 특히, 우리는아직까지왓슨포온콜로지로인해의학적으로환자나의료진이어느정도의효용을얻는지에대해서알지못한다. 예를들어, 아래와같은질문에대해서아직답할수있는근거가마련되지않았다. 왓슨포온콜로지의권고안은얼마나정확한가? 왓슨포온콜로지가환자의생존기간의연장에유의미한도움을주는가? 왓슨포온콜로지가환자의치료효과를개선시키는가? 왓슨포온콜로지가의료비절감혹은증가에어떤영향을주는가? 왓슨포온콜로지가의료진의진료효율성을높이는가? 이러한질문에답을얻기위해서는결국근거가필요하다. 근거를마련하기위해서가장좋은방법은역시임상시험이다. 필자는결국왓슨이정확성이나의학적인효용을검증하기위해서는임상시험을거쳐야할것이라고생각한다. 56

9 11. 임상시험의필요성과어려움왓슨포온콜로지의정확성과의학적효용을증명하기위해서어떤방식으로든임상연구가필요할것이라는점은많은의료전문가들이동의한다. 필자가왓슨헬스소속의의사들과이부분을논의했을때도대체로이점에대해서동감했다 [16, 28]. 하지만왓슨에대한임상시험을진행한다고하더라도몇가지근본적인문제가있다는점에대해서도역시동의했다 [28]. 무엇보다왓슨포온콜로지의의학적효용을증명하기위해서무엇을기준으로할것인지가애매하다. 임상시험을디자인하기위해서는정확성, 의학적효용, 안전성등을판단할명확한기준이필요하다. 임상시험을진행하려면일차목적 (primary outcome) 과이차목적 (secondary outcome) 을정의해야한다. 예를들어, 항암제에대한임상시험을계획할경우, 생존율 (Survival Rate), 전체생존기간 (OS, Overall Survival), 반응률 (RR, Response Rate), 무진행생존기간 (PFS, Progressive-free Survival), 독성 (toxicity) 등의지표를해당약의효능을평가하기위한기준으로삼기도한다. 그런데, 왓슨포온콜로지에대해서임상시험을하려고하면무엇을기준으로해야할까? 왓슨헬스의발표자료를보면, 임상시험결과를어떻게평가할지에대해서, 일치율 (concordance), 의사결정에주는영향 (decision impact), 가이드라인준수율 (guideline adherence), 비용 (cost), 시간절감 (time savings) 과함께종양의반응 (tumor response), 생존율 (survival) 등이명시되어있다. 이중에서는마지막에언급되어있는종양의반응과생존율정도가의학적인효용을평가하기위해서그나마유의미해보인다. 한걸음더들어가서, 임상시험을어떤식으로디자인해야할까? 엄격한요건을갖춘임상시험이라면, 실험군과대조군을갖춰야하며, 이중맹검 (double blind) 및무작위 (randomized) 라는조건하에전향적 (prospective) 으로진행되어야한다. 이러한조건에맞춰서만약다음과같이임상시험을진행한다고가정해보자. 대조군은종양내과전문의한명이나, 혹은특정병원, 혹은복수의병원에있는종양내과전문의들이진료하는그룹이다. 실험군은의사가전혀관여하지않고왓슨포온콜리지의 추천 항목에의해서만치료하는그룹이다. 암환자를각각 5,000명씩전향적으로모집하여무작위로양쪽그룹에배정한다. 이경우에는이중맹검은어려울것이므로, 환자만이라도자신이어느그룹에속했는지를모르는 단일맹검 (single blind) 방식으로해야하겠다. 일차, 이차목표는 5년간의생존율 (OS) 과무진행생존기간 (PFS) 으로하도록하자. 과연이런디자인의임상시험이가능할까? 복잡하게생 각하지않아도, 이러한임상시험은몇가지심각한문제가있는것이명백하다. 첫번째로무엇보다아직정확성이나효용이검증되지않은왓슨포온콜로지만으로의사의개입없이실험군의환자를진료하는것에는의학적으로나윤리적인문제가있다. 신약임상시험의경우에는전임상이나임상 1상에서후보물질의독성등최소한의안전성을동물과사람에서검증한후에, 2상에서효능을검증한다. 하지만왓슨의경우에는그렇게최소한의안전성을보장하기위한단계를거치기어려우므로, 일단실험군의환자를전적으로왓슨에게맡기는것은적절하지않다. 두번째로대조군에서의사들의실력이매우다양 (heterogeneous) 할수있다는것이다. 개별종양내과의사를비교하는것은당연히의미가없을뿐만아니라, 특정병원의종양내과의사전체, 혹은여러병원의의사를대상으로한다고해도이의사들중에실력, 경험, 치료방침등에차이가있을수있다. 이런조건에서나온임상결과를다른병원의의사들이참고하기는어려울가능성이있다. 따라서어떤식으로든 기존의의료계최선의치료법 을대표할수있는보편적, 일반적인기준을마련해야할것이다. 세번째로왓슨이계속진화한다는점이다. 이문제때문에 5년에걸친임상시험을마무리하고, 그결과를몇개월혹은몇년동안정리하여논문으로발표하는시점이되면, 이미논문출판시점의왓슨은임상시험당시의왓슨이아니게된다. 즉, 과거에수행한임상시험의결과가실제환자에게적용하는현시점의왓슨의실력에근거가되기어려운것이다. 뿐만아니라, 5년이라는임상시험기간중에도왓슨은계속바뀐다. 임상시험시작첫날의왓슨과마지막날의왓슨은다를것이며, 얼마나다를것인지의정도예측도어렵다. 12. 왓슨의검증을위한임상시험그러면어떻게해야할까? 필자도주위의종양내과전문의들과도논의해보았으나, 현실적인어려움이있다는것에만동의했을뿐, 모두가만족할만한결론을내리지는못했다. 완벽하지는않으나다음과같은임상시험디자인이필자가구상할수있는그나마최선의결과물인것같다. 일단실험군과대조군을의사 vs 왓슨의구도보다는의사 vs 의사 + 왓슨으로구성하는것이좋다고본다. 양쪽모두의사가기본적인진료를하기때문에, 앞서언급했던실험군환자에게왓슨포온콜로지만으로진료할때의윤리적인문제나안전성의문제를최소화할수있다. 또한왓슨포온콜로지가실제진료현장에서사용될때는의사를보조하는방식으로사용될것이므로이러한디자인이진료에참고하기에더적절하다고생각한다. 다만이경우에는왓슨의의 57

10 견을어떤경우에어떻게반영할것인지에대한원칙도정해져야한다. 또한실험군과대조군에서의사가개입할때개별의사나, 특정병원의의사가각자알아서진료하는것보다는 NCCN 가이드라인과같은표준화된기준을마련하는것이좋다고본다. 사실 NCCN 가이드라인도방대한종류의치료법을담고있고, 치료법을뒷받침하는근거수준도다양해서 기존의치료법 을대표할수있는일반적기준이될지에대해서는고민의여지가있다. 다만, 엄격한임상시험을위해서는어떤방식으로든다수의의사들이공통된기준을바탕으로진료하는조건은마련해야할것이다. 하지만이러한수정된디자인의임상연구에도여전히해결되지않는문제가있다. 바로앞서지적한왓슨이시간에따라계속진화한다는것이다. 실험군과대조군을조정하고, NCCN 가이드라인을기반으로하더라도, 역동적으로변화하는왓슨의근본적인속성은임상시험을진행하고, 여기에서나온근거를바탕으로진료를하기위해본질적인한계를부여한다. 13. 왓슨은정말마케팅용에불과한가현재왓슨을도입한병원에서는저마다의방식으로암환자의진료에왓슨을활용하는것으로알려져있다. 예를들어, 가천대길병원의경우에는왓슨을활용하는다학제진료실을별도로만들어놓고진료한다. 여러진료과의의료진이좌우로앉고, 가운데화면에환자의검사결과와왓슨을함께띄워놓고 15-20분을진료하는방식이다. 혹자는국내병원이왓슨을도입한이유를단순히 마케팅용 이라고치부하기도한다. 지방병원에서더많은환자를유치시키고, 수도권병원으로환자의유출을막기위함이라는것이다. 국내한대학병원에서왓슨을도입할때 지역환자들은수도권의여러병원을찾아다닐필요가없어질것 이라고언급한병원장의코멘트는이런고민을반영한다고할수있다 [33]. IBM에따르면원래왓슨이만들어진목적중의하나가의료의민주화 (democratization) 이다. 의료전달체계가한국과다른미국에서는 1차병원에서시작하여, 2차병원등등을차례대로거쳐마지막에 MD앤더슨이나 MSKCC와같은상급종합병원으로가게된다. 즉, 1, 2차병원에해당하는지역병원 (community hospital) 에서는암환자를진료하는인프라나경험이 MSKCC에비해부족할수밖에없다. 이런지역병원에서왓슨포온콜로지를도입하면, 환자가뉴욕의 MSKCC를가지않고서지역병원에서도비슷한수준의진료를받을수있을것으로기대하는것이다. 하지만 1, 2차병원의추천을받지않아도바로상급종합병원으로갈수있는한국에서는이런왓슨이조금다른목적으로 사용된다고평가할수있다. 또한의료계에서는왓슨포온콜로지를구글과같이단순히치료법을검색하는역할에그친다는의견도있다. 실제왓슨을현장에서활용해본의사들중에도이런의견을내기도한다. 이런의견에대해서는먼저구글이우리에게의미가없는존재인지를반문해볼수도있다. 세상의모든지식을머리속에담고있고, 새롭게도출되는지식도모두학습하고있다면구글이의미없는존재일수있다. 하지만인간은그렇지못하기때문에구글이유용한검색엔진이되는것이다. 혹은백과사전을뒤져서찾았을지식을구글은몇초만에찾을수있게해준다는장점도있다. 이는의료지식에도적용될수있는부분이다. 하지만검색엔진의검색결과가너무부정확하거나, 사용자의기대와크게차이가난다면가치가없었을것이다. 필자가지적하고싶은것은아직왓슨포온콜로지에대한근거가부족하다는것이다. 현재의왓슨이얼마나효과적인지, 정말로단순히마케팅용도에그치는지, 단순검색에불과해서치료개선에영향이미미한지를판단할수있는근거가없다는것이다. IBM은발표자료에서왓슨포온콜로지의필요성및장점을강조하기위해서현대의학의 45% 이상의의료행위가근거없이행해지고있다는연구를인용한다 [34]. 하지만그러한왓슨자체가정확성과효용성을입증할수있는근거가부족하다는것은아이러니한일이다. 때문에병원이왓슨을단순히마케팅용으로도입했다고폄훼하는것도필자는무리가있다고생각한다. 반대로왓슨이실제로환자의치료에도움이된다고주장할수도없다. 요는양쪽의주장의타당성을판단할근거가아직충분하지않다는것이다. 의학은과학이며, 과학적주장은논리와데이터, 근거로뒷받침되어야한다. 하지만아직까지그근거가부족하다. 결론현재의왓슨포온콜로지를평가하기위한근거는아직부족하다. 근거가부족하다보니, 현재진료현장에서환자에게왓슨을어떤원칙에기반하여적용할지가불명확하다. 예를들어, 아래와같은부분에대해서의료계에서합의된원칙이현재전무하다. 어떤환자의경우에왓슨포온콜로지의의견을물을것인가? 왓슨포온콜로지를 ( 암종별로, 세부암종별로 ) 얼마나신뢰할것인가? 왓슨포온콜로지의결과를환자에게도공개해야하는가? 혹은의료진만확인할것인가? 58

11 왓슨포온콜로지의판단과의료진의판단이다른경우에는어떻게할것인가? 왓슨의의견을반영하여치료한결과가좋지않았다면, 그책임의일부라도왓슨에게물을수있나? 왓슨을진료현장에적용할때, 위와같은세부적인사항을어떻게결정하는지에따라, 의료의질과치료효과, 진료효율성등등이달라질수있다. 결국문제는원칙이없다는것이다. 원칙이없기때문에현재국내만하더라도왓슨을도입한병원이저마다의개별적인기준에맞춰진료에활용하고있는실정이다. 이는결국의료인공지능이라는새로운종류의솔루션이진료에영향을줄수있음에도불구하고이를어떻게활용할지에대한의료계의고민이충분하지못했다는것을의미한다. 결국왓슨과같은인공지능진료보조시스템을활용하기위한표준가이드라인이나원칙을합의하는것이필요하게될것이다. 그런기준이정해졌을때에야의료의질관리도가능하다. 의료인공지능이의료현장에적용되는것은아직초창기에불과하지만, 앞으로그사례는더욱많아질것이며, 파급효과도커질것이다. 인공지능은의료에접목되는완전히새로운방식의수단이라고도할수있지만, 그것이목표로하는바는기존의의료가추구해온바와다르지않다. 질병을더효과적, 효율적으로진단하고, 치료하고, 예방하고, 예측하며, 치료과정의부작용을줄이는것. 의료비를낮추며, 더나아가의료진과병원에도도움이될수있으면좋을것이다. 이를위해서는인공지능이라는전례없는완전히새롭고혁신적인방식이라고하더라도, 의학에활용되기위해서는근거와원칙이필요하다는대전제는동일하다. REFERENCES 1. Do We Need Doctors Or Algorithms? [Internet] TechCrunch [cited 2017 July 20]. Available from: 2. Vinod Khosla says technology will replace 80 percent of doctors sparks indignation [Internet] VentureBeat [cited 2017 July 20]. Available from: 3. What Silicon Valley Doesn't Understand About Medicine [Internet] Forbes [cited 2017 July 20]. Available from: davidshaywitz/2011/06/17/what-silicon-valley-doesnt-understand-aboutmedicine/ 4. Why I Disagree With Vinod Khosla About Digital Health -- And Hope He Succeeds Brilliantly [Internet] Forbes[cited 2017 July 20]. Available from: 5. A.I. VERSUS M.D. [Internet] The New Yorker [cited 2017 July 20]. Available from: 6. Jha S, Topol EJ. Adapting to Artificial Intelligence: Radiologists and Pathologists as Information Specialists. JAMA. 2016;316(22): Darcy AM, Louie AK, Roberts LW. Machine Learning and the Profession of Medicine. JAMA. 2016;315(6): Miotto R, Li L, Kidd BA, Dudley JT, Deep Patient: An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records. Sci Rep. 2016; 6: Xiong HY, Alipanahi B, Lee LJ, Bretschneider H, Merico D, Yuen RK, et al. The human splicing code reveals new insights into the genetic determinants of disease. Science 2014;347(6218): How Watson for Clinical Trial Matching is Accelerating the Screening Process [Internet] IBM Blog [cited 2017 July 20]. Available from: Nguyen P, Tran T, Wickramasinghe N, Venkatesh S. Deepr: A Convolutional Net for Medical Records. IEEE J Biomed Health Inform. 2017;21(1): IBM's Watson Now A Second-Year Med Student [Internet] Forbes [cited 2017 July 20] IBM Watson Hits Daily Double Fighting Cancer With Memorial Sloan Kettering [Internet] Forbes [cited 2017 July 20]. Available from: IBM Watson Hard At Work: New Breakthroughs Transform Quality Care for Patients [Internet] IBM News releases [cited 2017 July 20]. Available from: wss?i= Gil Hospital adopts IBM WFO for the first time in South Korea. [Internet] IBM News Release (KR) [cited 2017 July 20]. Available from: 03.ibm.com/press/kr/ko/pressrelease/50591.wss#release 16. IBM shares data on how Watson augments cancer treatment decisionmaking [Internet] Mobihealthnews [cited 2017 July 20]. Available from: How AI would innovate the future of medicine (2) [Internet] Healthcare Innovation Blog (KR) [cited 2017 July 20]. Available from: yoonsupchoi.com/2017/06/13/ai-medicine-2/ 18. IBM's Watson Memorized the Entire 'Urban Dictionary,' Then His Overlords Had to Delete It [Internet] The Atlantic [cited 2017 July 20]. Available from: ibms-watson-memorized-the-entire-urban-dictionary-then-his-overlordshad-to-delete-it/267047/ 59

12 19. WFO is advanced medical textbook [Internet] Korean Doctors Weekly (KR) [cited 2017 July 20]. Available from: news/articleview.html?idxno= Validation study to assess performance of IBM cognitive computing system Watson for oncology with Manipal multidisciplinary tumour board [Internet] Oncology Pro [cited 2017 July 20]. Available from: oncologypro.esmo.org/meeting-resources/esmo-asia-2016-congress/ Validation-study-to-assess-performance-of-IBM-cognitive-computingsystem-Watson-for-oncology-with-Manipal-multidisciplinary-tumourboard-for-1000-consecutive-cases-An-Indian-experience 21. Patients prefer opinion of WFO to doctors opinion. [Internet] Chosun (KR) [cited 2017 July 20]. Available from: html_dir/2017/01/12/ html 22. Assessing the performance of Watson for oncology, a decision support system, using actual contemporary clinical cases. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: record/113013/abstract 23. Steps in developing Watson for Oncology, a decision support system to assist physicians choosing first-line metastatic breast cancer (MBC) therapies: Improved performance with machine learning. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: record/113826/abstract 24. Integration of multi-modality treatment planning for early stage breast cancer (BC) into Watson for Oncology, a Decision Support System: Seeing the forest and the trees. [Internet] ASCO 2015 [cited 2017 July 20]. Available from: Concordance assessment of a cognitive computing system in Thailand. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: asco.org/199/abstview_199_ html 26. Early experience with IBM Watson for Oncology (WFO) cognitive computing system for lung and colorectal cancer treatment. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: org/199/abstview_199_ html 27. Use of a cognitive computing system for treatment of colon and gastric cancer in South Korea. [Internet] ASCO 2017 [cited 2017 July 20]. Available from: Interview of Dr. Kyu Rhee, Chief Health Officer of IBM Watson Health [Internet] Healthcare Innovation Blog (KR) [cited 2017 July 20]. Available from: Fukuoka M, Yano S, Giaccone G, Tamura T, Nakagawa K, Douillard JY. Multi-institutional randomized phase II trial of gefitinib for previously treated patients with advanced non-small-cell lung cancer (The IDEAL 1 Trial) J Clin Oncol. 2003;21(12): Efficacy of Iressa was re-confiremd. [Internet] Medical Observer (KR) [cited 2017 July 20]. Available from: html?idxno= Efficacy of cancer therapy is distinct according to ethnicity [Internet] Korean Doctors Weekly (KR) [cited 2017 July 20]. Available from: IBM Watson for Oncology Platform Shows High Degree of Concordance with Physician Recommendations [Internet] AACR [cited 2017 July 20]. Available from: Detail.aspx?ItemID= Konyang University Hospital adopts WFO [Internet] Yonhap News (KR) [cited 2017 July 20]. Available from: /03/15/ AKR HTML 34. The Future of Health is Cognitive. [Internet] IBM Corporation [cited 2017 July 20]. Available from: uploads/2016/10/communication globalsitesolutionssummi tfromkyurhee.pdf 60

기관고유연구사업결과보고

기관고유연구사업결과보고 기관고유연구사업결과보고 작성요령 2001 ~ 2004 2005 ~ 2007 2008 ~ 2010 2001 ~ 2004 2005 ~ 2007 2008 ~ 2010 1 2/3 2 1 0 2 3 52 0 31 83 12 6 3 21 593 404 304 1,301 4 3 1 8 159 191 116 466 6 11 (`1: (1: 16 33 44 106

More information

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770>

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770> Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 2 : 258~264 Feb. 2015 ID3 알고리즘 기반의 귀납적 추론을 활용한 모바일 OS의 성공과 실패에 대한

More information

( )Jkstro011.hwp

( )Jkstro011.hwp 비인강암의방사선치료결과및생존율에관한예후인자분석 2005 2 1 2005 3 28. :, Tel: 053)250-7665, Fax: 053)250-7984 E-mail: jhkim@dsmc.or.kr 정영연외 2 인 : 비인강암의예후인자분석 정영연외 2 인 : 비인강암의예후인자분석 Carcinoma of the nasopharynx treated by radiotherapy

More information

암센터뉴스레터1

암센터뉴스레터1 CANCER HOSPITAL News News Letter For Yonsei University Gangnam Severance Hospital http://gs.iseverance.com 2012.06.21 2012.08.16 2012.09.19 2012.10.04 2012.10.25 CONTENTS 2012.07.27 2012.10.06 2012.11.06

More information

Science & Technology Policy 과학기술정책 2017 년 6 월호 ( 통권 227 호 ) 지않은상황에서인공지능에대한불필요한우려를낳거나과장된기대를갖게한다. 병원은왜인공지능을도입하는가? 실제진료현장에서왓슨은어떻게활용되고있으며, 이것이의료계의어떤문제를해결해

Science & Technology Policy 과학기술정책 2017 년 6 월호 ( 통권 227 호 ) 지않은상황에서인공지능에대한불필요한우려를낳거나과장된기대를갖게한다. 병원은왜인공지능을도입하는가? 실제진료현장에서왓슨은어떻게활용되고있으며, 이것이의료계의어떤문제를해결해 Research Note 연구노트 인공지능의의료혁신?: 길병원의왓슨도입을중심으로 1) 글 : 이다은 (lde8892@stepi.re.kr) 과학기술정책연구원연구원 최근인공지능은의료계의 4 차산업혁명 적변화 를가져올핵심동인으로주목받고있다. 일부병원 들은축적된의료빅데이터에인공지능기술을적용 시키는한편, 또다른병원들은글로벌대기업 IBM 이개발한의료인공지능시스템 왓슨

More information

<B3EDB9AEC0DBBCBAB9FD2E687770>

<B3EDB9AEC0DBBCBAB9FD2E687770> (1) 주제 의식의 원칙 논문은 주제 의식이 잘 드러나야 한다. 주제 의식은 논문을 쓰는 사람의 의도나 글의 목적 과 밀접한 관련이 있다. (2) 협력의 원칙 독자는 필자를 이해하려고 마음먹은 사람이다. 따라서 필자는 독자가 이해할 수 있는 말이 나 표현을 사용하여 독자의 노력에 협력해야 한다는 것이다. (3) 논리적 엄격성의 원칙 감정이나 독단적인 선언이

More information

Jkbcs016(92-97).hwp

Jkbcs016(92-97).hwp Expression of bcl-2 and Apoptosis and Its Relationship to Clinicopathological Prognostic Factors in Breast Cancer - A Study with Long Term Follow-up correlated with the survival rate.(journal of Korean

More information

김범수

김범수 Analysis of Outcomes after Resection of Sarcomatous Hepatocellular Carcinoma Purpose: Sarcomatous hepatocellular carcinoma (HCC) is rare. Therefore, the clinicopathologic characteristics and prognosis

More information

황지웅

황지웅 Comparison of Laparoscopy and Exploration in the Distal Pancreatectomy BACKGROUND: To determine the benefits of laparoscopic surgery compared with exploration, the clinical outcomes of open and laparoscopic

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.99-117 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.99 2015 * A Analysis of the Characters and Issues about the 2015 Revised Social

More information

550호(01-09)

550호(01-09) T H E K O R E A N D O C T O R S W E E K L Y www.docdocdoc.co.kr I N S I D E 38 3 5 6 8 11 13 24 25 27 29 31 38 41 42 2 Advertisement Government & Medicine 3 Government & Medicine 4 Government & Medicine

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: (LiD) - - * Way to

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI:   (LiD) - - * Way to Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp.353-376 DOI: http://dx.doi.org/10.21024/pnuedi.29.1.201903.353 (LiD) -- * Way to Integrate Curriculum-Lesson-Evaluation using Learning-in-Depth

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Study on the Pe

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI:   * A Study on the Pe Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.405-425 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.405 * A Study on the Perceptions and Factors of Immigrant Background Youth

More information

???德嶠짚

???德嶠짚 2018 3+4 NO.132 SDGs Social Equality Communication Human Rights Justice Peace www.kipa.re.kr CONTENTS 2018 3+4 NO.132 02 52 16 22 58 32 38 44 66 www.kipa.re.kr 74 80 132 2018 4 13 235 02-2007-0644 02-564-2006

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 5 : 1031~1039 May. 2015 정보보호 산업의 경제적 파급효과 및 기여도 분석 김방룡 1 홍재표 2* Economic

More information

03-ÀÌÁ¦Çö

03-ÀÌÁ¦Çö 25 3 (2004 9 ) J Korean Oriental Med 2004;25(3):20-31 1), 2), 3) 1) 2) 3) Grope for a Summary Program about Intellectual Property Protection of Traditional Knowledge (TK)etc. Discussed in WIPO Hwan-Soo

More information

Rheu-suppl hwp

Rheu-suppl hwp Objective: This paper reviews the existing Korean medical and public health, and nursing academy articles on disease-specific and domain-specific quality of life, and provides recommendations for the universally

More information

1976. 03_ 김철수 내과, 김란희 산부인과 개원 1980. 06_ 양지병원 (6개과 33실 51병상) 개원 1998. 06_ 신관 별관 증축 종합병원 기틀 마련 2006. 05_ 첨단 의료정보 인프라 구축 전자 차트(OCS/EMR) 의료영상 시스템(PACS) 전자

1976. 03_ 김철수 내과, 김란희 산부인과 개원 1980. 06_ 양지병원 (6개과 33실 51병상) 개원 1998. 06_ 신관 별관 증축 종합병원 기틀 마련 2006. 05_ 첨단 의료정보 인프라 구축 전자 차트(OCS/EMR) 의료영상 시스템(PACS) 전자 1976. 03_ 김철수 내과, 김란희 산부인과 개원 1980. 06_ 양지병원 (6개과 33실 51병상) 개원 1998. 06_ 신관 별관 증축 종합병원 기틀 마련 2006. 05_ 첨단 의료정보 인프라 구축 전자 차트(OCS/EMR) 의료영상 시스템(PACS) 전자결제 등 병원 디지털화 2007. 01_ 종합병원 승격 다수의 상급 종합병원과 협력체결 2007.

More information

<B0A3C3DFB0E828C0DBBEF7292E687770>

<B0A3C3DFB0E828C0DBBEF7292E687770> 초청연자특강 대구가톨릭의대의학통계학교실 Meta analysis ( 메타분석 ) 예1) The effect of interferon on development of hepatocellular carcinoma in patients with chronic hepatitis B virus infection?? -:> 1998.1 ~2007.12.31 / RCT(2),

More information

(

( 317 318 319 320 1 3 5 5 5 5 2 321 : 1.,,,,, 06 2. X-ray beam penetration (density) (contrast) 03 3. patch coating, precipitation, flaking 03 4. centering 03 5. Esophagus, cardia, fundus, body, angle, antrum,

More information

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월 지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., 2004 5 2009 12 KOSPI200.,. * 2009. 지능정보연구제 16 권제 1 호 2010 년 3 월 김선웅 안현철 社 1), 28 1, 2009, 4. 1. 지능정보연구제 16 권제 1 호 2010 년 3 월 Support

More information

레이아웃 1

레이아웃 1 대한위장관기질종양연구회 01 GIST 06 02 11 03 Imatinib 14 04 05 06 07 Sunitinib 32 40 44 48 GIST 6 01 7 GIST Guide book GIST 8 01 9 GIST Guide book GIST (CT) MRI FDG-PET 10 02 11 GIST Guide book 12 02 (Imatinib)

More information

4 5 6 7 8 9 10 11 12 13 14 15 조 희 영 선 생 님 고 맙 습 니 다 16 17 18 19 가정간호 장선미 간호사님 감사합니다 20 21 22 23 24 25 U l 26 27 p SEOUL MEDICAL CENTER NEWS 28 29 30 31 32 33 34 35 36 37 홍보실장이란 신동규 원고를 기다립니다

More information

_KF_Bulletin webcopy

_KF_Bulletin webcopy 1/6 1/13 1/20 1/27 -, /,, /,, /, Pursuing Truth Responding in Worship Marked by Love Living the Gospel 20 20 Bible In A Year: Creation & God s Characters : Genesis 1:1-31 Pastor Ken Wytsma [ ] Discussion

More information

Investment Proposal

Investment Proposal SonoEye TM 소개 유방초음파영상검색시스템 2005. 2. 캐드임팩트 www.cadimpact.com 내용 1. 유방암동향및진단 2. 제품소개 2 선진국시장에서상업화된 CAD 시스템들 R2 Mammography ( 유방암 ) 1,500 systems until 2004. 10. (about 200,000$) icad Mammography R2 & icad

More information

Jkbcs032.hwp

Jkbcs032.hwp Clinical Correlation of HER-2/neu Overexpression in Patients with Breast Cancer Sung Yong Kim, Tae Yoon Kim, Jae Jun Kim, Chang Ho Kim, Ok Pyung Song, Min Hyuk Lee, Eui Han Kim 1, and Moo Sik Cho Departments

More information

<BFACB1B85F323030352D30335FB0E6C1A6C0DAC0AFB1B8BFAA2E687770>

<BFACB1B85F323030352D30335FB0E6C1A6C0DAC0AFB1B8BFAA2E687770> 연구보고서 2005-03 경제자유구역에서의 보건의료시장 개방의 파급효과와 정책방향 2005 韓 國 保 健 社 會 硏 究 院 머 리 말 우리나라는 2003년 경제자유구역의지정및운영에관한법률 을 제정하여 인천, 부산-진해, 광양만 등 3개 지역에 경제자유구역 개발을 추진하고 있다. 이 법에 는 경제자유구역에 외국 의료기관이 진출할 수 있다는 내용이 규정되어 있으

More information

요약 - 2 -

요약 - 2 - 제 4 차산업혁명과소프트파워 이슈리포트 2017- 제 5 호 가속화되는고령화시대, 의료인공지능융합현황및시사점 양우진책임 (ywj@nipa.kr), 지능정보 융합기획팀 ICT 융합신사업본부 2017. 7. 5 목차 Ⅰ. 기대수명증가에따른고령화시대돌입 Ⅱ. 고령화에따른의료비등삶의변화 Ⅲ. 보건 의료와지능정보기술의융합 Ⅳ. 국내의료융합산업현황및정책동향 Ⅴ. 주요이슈및시사점

More information

Àå¾Ö¿Í°í¿ë ³»Áö

Àå¾Ö¿Í°í¿ë ³»Áö Disability & Employment 55 Disability & Employment 56 57 Disability & Employment 58 59 Disability & Employment 60 61 Disability & Employment 62 63 Disability & Employment 64 65 Disability & Employment

More information

[NO_11] 의과대학 소식지_OK(P)

[NO_11] 의과대학 소식지_OK(P) 진 의학 지식과 매칭이 되어, 인류의 의학지식의 수준을 높 여가는 것이다. 하지만 딥러닝은 블랙박스와 같은 속성을 가지고 있어서, 우리는 단지 결과만을 알 수 있기 때문에 이런 식의 의학지 식의 확장으로 이어지기는 힘들 수 있다는 것을 의미한다. 이것은 실제로 의학에서는 인공지능을 사용하게 될 때 여러 가지 문제를 만들 수 있다. 뿐만 아니라, 인간이 이해

More information

2 1896 2 26 ( ) 2 7-20 2) 1897 1898 ( )3) 6 1902 8 1904 10 10 (19 05-1914 ) ( ) ( ) 4) 1915 ( ) ( ) 1917 2) 3) 4) 285

2 1896 2 26 ( ) 2 7-20 2) 1897 1898 ( )3) 6 1902 8 1904 10 10 (19 05-1914 ) ( ) ( ) 4) 1915 ( ) ( ) 1917 2) 3) 4) 285 13 2 ( 25 ) 2004 12 Korean J Med Hist 13 284 296 Dec 2004 ISSN 1225 505X 1) * ** ** 1 1920 1930 40 ( 1896-1973) 80 * ** 1) 2003 284 2 1896 2 26 ( ) 2 7-20 2) 1897 1898 ( )3) 6 1902 8 1904 10 10 (19 05-1914

More information

16(1)-3(국문)(p.40-45).fm

16(1)-3(국문)(p.40-45).fm w wz 16«1y Kor. J. Clin. Pharm., Vol. 16, No. 1. 2006 x w$btf3fqpsu'psn û w m w Department of Statistics, Chonnam National University Eunsik Park College of Natural Sciences, Chonnam National University

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 6, December, 30, 2016:275~289 Received: 2016/12/02, Accepted: 2016/12/22 Revised: 2016/12/20, Published: 2016/12/30 [ABSTRACT] SNS is used in various fields. Although

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI: * The

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI:   * The Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp.243-268 DOI: http://dx.doi.org/10.21024/pnuedi.27.1.201703.243 * - 2001 2015 - The Research Trends on Peer Counseling in Elementary and

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: NCS : * A Study on

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI:   NCS : * A Study on Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp.157-176 DOI: http://dx.doi.org/10.21024/pnuedi.28.3.201809.157 NCS : * A Study on the NCS Learning Module Problem Analysis and Effective

More information

슬라이드 1

슬라이드 1 Proposed Korean guideline for the diagnosis of BPH Hyun Woo Kim The Catholic University of Korea BPH Guideline AHCPR guideline on BPH (1994) AUA guideline on BPH (2003) EAU guideline on BPH (2004) International

More information

untitled

untitled IV Digital Hospital - EMR (Electronic Medical Record) Digital Medicine U-hospital U-healthtown Opened in May 2003 Has 950 beds + 3000 outpatients/day 270 MD + 530 nurses Performs over 50,000 radiological

More information

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA The e-business Studies Volume 17, Number 4, August, 30, 2016:319~332 Received: 2016/07/28, Accepted: 2016/08/28 Revised: 2016/08/27, Published: 2016/08/30 [ABSTRACT] This paper examined what determina

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI: IPA * Analysis of Perc

Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp DOI:   IPA * Analysis of Perc Journal of Educational Innovation Research 2018, Vol. 28, No. 2, pp.45-72 DOI: http://dx.doi.org/10.21024/pnuedi.28.2.201806.45 IPA * Analysis of Perception and Needs on Teaching Competencies of Faculty

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: A study on Characte

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI:   A study on Characte Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.381-404 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.381 A study on Characteristics of Action Learning by Analyzing Learners Experiences

More information

대한한의학원전학회지24권6호-전체최종.hwp

대한한의학원전학회지24권6호-전체최종.hwp 小兒藥證直訣 의 五臟辨證에 대한 小考 - 病證과 處方을 중심으로 1 2 慶熙大學校大學校 韓醫學科大學 原典學敎室 ㆍ 韓醫學古典硏究所 白裕相1,2*1)2) A study on The Diagnosis and Treatment Using The Theory of Five Organs in Soayakjeungjikgyeol(小兒藥證直訣) 1 Dept. of Oriental

More information

A 617

A 617 Special Issue Diabetic Retinopathy Won Ki Lee, M.D. Department of Ophthalmology The Catholic University of Korea College of Medicine Kangnam St. Mary s Hospital E mail : wklee@catholic.ac.kr Abstract R

More information

A9RDACB.tmp

A9RDACB.tmp 17 I. 글로벌 디지털 헬스케어 동향 스타트업 투자 실적 매분기 최고 기록 경신중 디지털 헬스케어에 대한 관심 증가하며 관련 투자 해마다 증가 추세 매분기 역대 최대 투자실적을 경신하는 중 디지털 헬스케어는 장비자체의 혁신보다 다른 기술과의 융합에서 대부분의 투자가 발생하고 있음 디지털 헬스케어 스타트업 관련 투자 체결 건수 및 규모 추이 2017년 기준

More information

untitled

untitled 15 Patterns of Creative Process Redesign J. Ray Cho Abstract Process Innovation (PI) is a fundamental rethinking and redesign of business processes to achieve improvements in critical contemporary measures

More information

서론

서론 - i - - ii - - iii - - iv - - v - - vi - - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - - 15 - - 16 - - 17 - - 18 - - 19 - - 20 - - 21 - - 22 - - 23 - - 24 - -

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI: * A Study on Teache

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI:   * A Study on Teache Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp.149-171 DOI: http://dx.doi.org/10.21024/pnuedi.27.4.201712.149 * A Study on Teachers and Parents Perceptions on the Introduction of Innovational

More information

歯kjmh2004v13n1.PDF

歯kjmh2004v13n1.PDF 13 1 ( 24 ) 2004 6 Korean J Med Hist 13 1 19 Jun 2004 ISSN 1225 505X 1) * * 1 ( ) 2) 3) 4) * 1) ( ) 3 2) 7 1 3) 2 1 13 1 ( 24 ) 2004 6 5) ( ) ( ) 2 1 ( ) 2 3 2 4) ( ) 6 7 5) - 2003 23 144-166 2 2 1) 6)

More information

386-390.hwp

386-390.hwp 386 HANYANG MEDICAL REVIEWS Vol. 29 No. 4, 2009 우리나라 미숙아의 통계와 의료비용 Statistics and Medical Cost of Preterm in Korea 윤혜선 을지대학교 노원을지병원 소아청소년과학교실 Hye Sun Yoon, M.D., Ph.D., Department of Pediatrics, Nowon

More information

<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770>

<C7D1B1B9B1B3C0B0B0B3B9DFBFF85FC7D1B1B9B1B3C0B05F3430B1C733C8A35FC5EBC7D5BABB28C3D6C1BE292DC7A5C1F6C6F7C7D42E687770> 기혼 여성이 사이버대학에서 상담을 전공하면서 겪는 경험 방기연 (고려사이버대학교 상담심리학과 부교수) * 요 약 본 연구는 기혼 여성의 사이버대학 상담전공 학과 입학에서 졸업까지의 경험을 이해하는 것을 목적으로 한 다. 이를 위해 연구참여자 10명을 대상으로 심층면접을 하고, 합의적 질적 분석 방법으로 분석하였다. 입학 전 에 연구참여자들은 고등교육의 기회를

More information

09권오설_ok.hwp

09권오설_ok.hwp (JBE Vol. 19, No. 5, September 2014) (Regular Paper) 19 5, 2014 9 (JBE Vol. 19, No. 5, September 2014) http://dx.doi.org/10.5909/jbe.2014.19.5.656 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a) Reduction

More information

<31382D322D3420BDC5B1D4C8AF5FB3EDB9AE28C3D6C1BEBABB292E687770>

<31382D322D3420BDC5B1D4C8AF5FB3EDB9AE28C3D6C1BEBABB292E687770> 醫 史 學 제18권 제2호(통권 제35호) 2009년 12월 Korean J Med Hist 18ː57 72 18ː173-188 Dec. Dec. 2009 2009 C 大 韓 醫 史 學 會 ISSN ISSN 1225 505X 1225-505X 지방병 연구와 식민지배 : 1927년 영흥 및 해남지역 에메틴 중독사건을 중심으로 신 규 환* 1. 머리말 2. 일제의

More information

?

? 2018. SPRINGvol.137 SEOUL MEDICAL CENTER CONTENTS 06 10 20 14 18 20 06 10 14 30 26 30 32 HEALTHY LIVING 36 34 36 38 40 2018. SPRING vol.137 06 07 08 09 10 11 l a t e n t t u b e r c u l o s i s 12 13

More information

0125_ 워크샵 발표자료_완성.key

0125_ 워크샵 발표자료_완성.key WordPress is a free and open-source content management system (CMS) based on PHP and MySQL. WordPress is installed on a web server, which either is part of an Internet hosting service or is a network host

More information

Lumbar spine

Lumbar spine Lumbar spine CT 32 111 DOI : 10.3831/KPI.2010.13.2.111 Lumbar Spine CT 32 Received : 10. 05. 23 Revised : 10. 06. 04 Accepted : 10. 06. 11 Key Words: Disc herniation, CT scan, Clinical analysis The Clinical

More information

untitled

untitled . Clancy CM et al Evidence based decision making:global evidence local decision Health affairs Clancy CM et al, Evidence-based decision making:global evidence, local decision. Health affairs. 2005;24:151

More information

Ch 1 머신러닝 개요.pptx

Ch 1 머신러닝 개요.pptx Chapter 1. < > :,, 2017. Slides Prepared by,, Biointelligence Laboratory School of Computer Science and Engineering Seoul National University 1.1 3 1.2... 7 1.3 10 1.4 16 1.5 35 2 1 1.1 n,, n n Artificial

More information

<B1E2C8B9BEC828BFCFBCBAC1F7C0FC29322E687770>

<B1E2C8B9BEC828BFCFBCBAC1F7C0FC29322E687770> 맛있는 한국으로의 초대 - 중화권 음식에서 한국 음식의 관광 상품화 모색하기 - 소속학교 : 한국외국어대학교 지도교수 : 오승렬 교수님 ( 중국어과) 팀 이 름 : 飮 食 男 女 ( 음식남녀) 팀 원 : 이승덕 ( 중국어과 4) 정진우 ( 중국어과 4) 조정훈 ( 중국어과 4) 이민정 ( 중국어과 3) 탐방목적 1. 한국 음식이 가지고 있는 장점과 경제적 가치에도

More information

152*220

152*220 152*220 2011.2.16 5:53 PM ` 3 여는 글 교육주체들을 위한 교육 교양지 신경림 잠시 휴간했던 우리교육 을 비록 계간으로이지만 다시 내게 되었다는 소식을 들으니 우 선 반갑다. 하지만 월간으로 계속할 수 없다는 현실이 못내 아쉽다. 솔직히 나는 우리교 육 의 부지런한 독자는 못 되었다. 하지만 비록 어깨너머로 읽으면서도 이런 잡지는 우 리

More information

歯1.PDF

歯1.PDF 200176 .,.,.,. 5... 1/2. /. / 2. . 293.33 (54.32%), 65.54(12.13%), / 53.80(9.96%), 25.60(4.74%), 5.22(0.97%). / 3 S (1997)14.59% (1971) 10%, (1977).5%~11.5%, (1986)

More information

141(26) 20056 1930 19 () ( ( ) () () () ) 2) 1932 ()()3) 2 1) 1897519( ) ( ) () () () 4) ( ) 5) 6) 15-20 7) 191216 2) ( ) () 42 () 193111 12 1933 4 3)

141(26) 20056 1930 19 () ( ( ) () () () ) 2) 1932 ()()3) 2 1) 1897519( ) ( ) () () () 4) ( ) 5) 6) 15-20 7) 191216 2) ( ) () 42 () 193111 12 1933 4 3) 141(26) 20056 Korean J Med Hist 14131 Jun 2005 ISSN 1225505X ( 1897-1982) * ** 1 ( 1897-1982) ( ) 1) 3 1 ( ) 1930 1930 1930 * () ** 1) ( 2000 p 13-15) 1 141(26) 20056 1930 19 () ( ( ) () () () ) 2) 1932

More information

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI: (NCS) Method of Con

Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp DOI:   (NCS) Method of Con Journal of Educational Innovation Research 2017, Vol. 27, No. 3, pp.181-212 DOI: http://dx.doi.org/10.21024/pnuedi.27.3.201709.181 (NCS) Method of Constructing and Using the Differentiated National Competency

More information

,,,,,,, ,, 2 3,,,,,,,,,,,,,,,, (2001) 2

,,,,,,, ,, 2 3,,,,,,,,,,,,,,,, (2001) 2 2004- - : 2004 5 11 :?,,,,,? Sen (human capability) 1?,, I 1 2 1 Sen A Why health equity? Health Econ 2002:11;659-666 2 1991 p 17 1 ,,,,,,, 20 1 2,, 2 3,,,,,,,,,,,,,,,, 3 3 1 (2001) 2 1),, 2), 2),, 3),,,

More information

IL-1β, IL-1RN, IL-8, MUC, NAT, GST 등 ) IL-1β, IL-1RN, IL-8, MUC, NAT, GST 등 ) IL-1β, IL-1RN, IL-8, MUC, NAT, GST 등 ) l l l α β α β β α β β α β 목적 (Background/Aims): 위암의가족력과 Helicobacter pylori 감염은각각위암발생의위험인자로알려져있으나,

More information

- iii - - i - - ii - - iii - 국문요약 종합병원남자간호사가지각하는조직공정성 사회정체성과 조직시민행동과의관계 - iv - - v - - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - - 8 - - 9 - - 10 - - 11 - - 12 - - 13 - - 14 - α α α α - 15 - α α α α α α

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: A Study on Organizi

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI:   A Study on Organizi Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp.441-460 DOI: http://dx.doi.org/10.21024/pnuedi.28.4.201812.441 A Study on Organizing Software Education of Special Education Curriculum

More information

USC HIPAA AUTHORIZATION FOR

USC HIPAA AUTHORIZATION FOR 연구 목적의 건강정보 사용을 위한 USC HIPAA 승인 1. 본 양식의 목적: 건강보험 이전과 책임에 관한 법(Health Insurance Portability and Accountability Act, HIPAA)이라고 알려진 연방법은 귀하의 건강정보가 이용되는 방법을 보호합니다. HIPAA 는 일반적으로 귀하의 서면 동의 없이 연구를 목적으로 귀하의

More information

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI: 3 * Effects of 9th

Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp DOI:   3 * Effects of 9th Journal of Educational Innovation Research 2019, Vol. 29, No. 2, pp.357-378 DOI: http://dx.doi.org/10.21024/pnuedi.29.2.201906.357 3 * Effects of 9th Grade Students Participation in Career Curriculum Cluster

More information

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11), THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. 2015 Nov.; 26(11), 985991. http://dx.doi.org/10.5515/kjkiees.2015.26.11.985 ISSN 1226-3133 (Print)ISSN 2288-226X (Online) Analysis

More information

12이문규

12이문규 Review on Conservative Treatment of Spinal Scoliosis Moon-kyu Lee, O.M.D., Gil-jae Lee, O.M.D., Yun-kyung Song, O.M.D., Hyung-ho Lim, O.M.D. Dept. of Oriental Rehabilitation Medicine College of Oriental

More information

03.Agile.key

03.Agile.key CSE4006 Software Engineering Agile Development Scott Uk-Jin Lee Division of Computer Science, College of Computing Hanyang University ERICA Campus 1 st Semester 2018 Background of Agile SW Development

More information

< FB5B5BAF1B6F32C20B8F1C2F D34292E687770>

< FB5B5BAF1B6F32C20B8F1C2F D34292E687770> Case Report J Sasang Constitut Med 2014;26(4):379-388 http://dx.doi.org/10.7730/jscm.2014.26.4.379 Abstract A Case Study of Soyangin Patient with Hyperhidrosis Treated Successfully with Hyungbangsabaek-san(

More information

1..

1.. Volume 12, Number 1, 6~16, Factors influencing consultation time and waiting time of ambulatory patients in a tertiary teaching hospital Jee-In Hwang College of Nursing Science, Kyung Hee University :

More information

6) 송승종길병옥, ' 군용무인기개발의역사와그전략적함의에대한연구,' 군사 제 97 호, ) 최근공개된자료에따르면주한미군은기간중 268 회의무인기비행을수행한것으로알려졌다.

6) 송승종길병옥, ' 군용무인기개발의역사와그전략적함의에대한연구,' 군사 제 97 호, ) 최근공개된자료에따르면주한미군은기간중 268 회의무인기비행을수행한것으로알려졌다. 목차 I. 서언 II. 북한무인기능력과발전추세 III. 대남도발양상과예상피해수준전망 IV. 군사선진국들의무인기운용 V. 우리군의대응방향 VI. 결언 1) 공군사관학교졸업. 영국 Hull University 국제정치학박사. 국방대학교안보대학원군사전략학부장. 2) 자유북한방송, 2014. 5. 9. 3) Reudiger Frank, 'A Guide to Kim

More information

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우,

More information

<353020B9DAC3E1BDC42DC5ACB6F3BFECB5E520C4C4C7BBC6C3BFA1BCADC0C720BAB8BEC820B0EDB7C1BBE7C7D7BFA120B0FCC7D120BFACB1B82E687770>

<353020B9DAC3E1BDC42DC5ACB6F3BFECB5E520C4C4C7BBC6C3BFA1BCADC0C720BAB8BEC820B0EDB7C1BBE7C7D7BFA120B0FCC7D120BFACB1B82E687770> 한국산학기술학회논문지 Vol. 12, No. 3 pp. 1408-1416, 2011 클라우드 컴퓨팅에서의 보안 고려사항에 관한 연구 박춘식 1* 1 서울여자대학교 정보보호학과 Study on Security Considerations in the Cloud Computing Choon-Sik Park 1* 1 Department of Information Security,

More information

Microsoft PowerPoint - 김미영

Microsoft PowerPoint - 김미영 암세포의위험한여행 한국과학기술원 김미영 강의개요 전이란무엇인가? 전이는어떤과정을통해진행될까? 전이예측방법은어떤것들이있을까? Cancer ( 악성종양 ) US South Korea 질병사망률질병사망률 1. 심장병 26% 1. Cancer 26.7% 2. Cancer 23% 2. 뇌출혈 12.7% 3. 뇌출혈 5.6% 3. 심장병 7.9% >20,000 환자가악성종양에의해매일사망함

More information

KIM Sook Young : Lee Jungsook, a Korean Independence Activist and a Nurse during the 이며 나름 의식이 깨어있던 지식인들이라 할 수 있을 것이다. 교육을 받은 간 호부들은 환자를 돌보는 그들의 직업적 소

KIM Sook Young : Lee Jungsook, a Korean Independence Activist and a Nurse during the 이며 나름 의식이 깨어있던 지식인들이라 할 수 있을 것이다. 교육을 받은 간 호부들은 환자를 돌보는 그들의 직업적 소 1 의사학 제24권 제1호(통권 제49호) 2015년 4월 Korean J Med Hist 24 ː1-34 Apr 2015 c대한의사학회 http://dx.doi.org/10.13081/kjmh.2015.24.1 pissn 1225-505X, eissn 2093-5609 간호부 이정숙의 독립운동 김숙영* 1. 서론 2. 본론 1) 출생에서 정신여학교 수학시절까지

More information

전국시대, 위나라최고의소잡이포정의소를잡는솜씨가신의경지에다다름,. " ()., 3... (),. 1.,. 19..,. 19. < > 2

전국시대, 위나라최고의소잡이포정의소를잡는솜씨가신의경지에다다름,.  ()., 3... (),. 1.,. 19..,. 19. < > 2 Understanding Society through Social Media Analysis () 2F Seokgwang Bldg., 168-21, Samseong-dong, Gangnam-gu, Seoul, 135-090, Korea / tel +82 2 565 0531 fax +82 2 5650532 No part of this publication may

More information

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu 한 국 통 계 학 회 논 문 집 2012, 19권, 6호, 877 884 DOI: http://dx.doi.org/10.5351/ckss.2012.19.6.877 Maximum Tolerated Dose Estimation Applied Biased Coin Design in a Phase Ⅰ Clinical Trial Yu Kim a, Dongjae Kim

More information

퇴좈저널36호-4차-T.ps, page 2 @ Preflight (2)

퇴좈저널36호-4차-T.ps, page 2 @ Preflight (2) Think Big, Act Big! Character People Literature Beautiful Life History Carcere Mamertino World Special Interview Special Writing Math English Quarts I have been driven many times to my knees by the overwhelming

More information

Á¶´öÈñ_0304_final.hwp

Á¶´öÈñ_0304_final.hwp 제조 중소기업의 고용창출 성과 및 과제 조덕희 양현봉 우리 경제에서 일자리 창출은 가장 중요한 정책과제입니다. 근래 들어 우리 사회에서 점차 심각성을 더해 가고 있는 청년 실업 문제에 대처하고, 사회적 소득 양극화 문제에 대응하기 위해서도 일자리 창 출은 무엇보다도 중요한 정책과제일 것입니다. 고용창출에서는 중소기업의 역할이 대기업보다 크다는 것이 일반적

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: : A Study on the Ac

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI:   : A Study on the Ac Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.269-293 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.269 : A Study on the Actual Condition of Character Education in Early Childhood

More information

<313120B9DABFB5B1B82E687770>

<313120B9DABFB5B1B82E687770> 한국민족문화 40, 2011. 7, 347~388쪽 1)중화학공업화선언과 1973년 공업교육제도 변화* 2)박 영 구** 1. 머리말 2. 1973년, 중화학공업화선언과 과학기술인력의 부족 3. 1973년 전반기의 교육제도 개편과 정비 1) 계획과 개편 2) 기술교육 개선안과 인력개발 시책 4. 1973년 후반기의 개편과 정비 5. 정비된 정규교육제도의 특징

More information

<3133B1C732C8A328BCF6C1A4292E687770>

<3133B1C732C8A328BCF6C1A4292E687770> ISSN 1738-365X DOI:10.16958/drsr.2015.13.2.105 분쟁해결연구 2015; 13(2) Dispute Resolution Studies Review 2015, Vol.13, No.2:105~135 이라크 추가파병(2003~2004년) 결정과정의 분석: 대통령과 국회, 시민사회의 역할 변화를 중심으로* 4)장 훈** 국내에서 여러

More information

Jkafm093.hwp

Jkafm093.hwp 가정의학회지 2004;25:721-739 비만은 심혈관 질환, 고혈압 및 당뇨병에 각각 위험요인이고 다양한 내과적, 심리적 장애와 연관이 있는 질병이다. 체중감소는 비만한 사람들에 있어 이런 위험을 감소시키고 이들 병발 질환을 호전시킨다고 알려져 있고 일반적으로 많은 사람들에게 건강을 호전시킬 것이라는 믿음이 있어 왔다. 그러나 이런 믿음을 지지하는 연구들은

More information

05-08 087ÀÌÁÖÈñ.hwp

05-08 087ÀÌÁÖÈñ.hwp 산별교섭에 대한 평가 및 만족도의 영향요인 분석(이주희) ꌙ 87 노 동 정 책 연 구 2005. 제5권 제2호 pp. 87118 c 한 국 노 동 연 구 원 산별교섭에 대한 평가 및 만족도의 영향요인 분석: 보건의료노조의 사례 이주희 * 2004,,,.. 1990. : 2005 4 7, :4 7, :6 10 * (jlee@ewha.ac.kr) 88 ꌙ 노동정책연구

More information

04±èºÎ¼º

04±èºÎ¼º Introduction of Integrated Coastal Management Program and Sustainable Development of Fishing Villages in Cheonsu Bay Region* Boosung Kim** Abstract : Sustainable Development(SD) is an important concept

More information

Microsoft PowerPoint - 3.공영DBM_최동욱_본부장-중소기업의_실용주의_CRM

Microsoft PowerPoint - 3.공영DBM_최동욱_본부장-중소기업의_실용주의_CRM 中 규모 기업의 실용주의CRM 전략 (CRM for SMB) 공영DBM 솔루션컨설팅 사업부 본부장 최동욱 2007. 10. 25 Agenda I. 중소기업의 고객관리, CRM의 중요성 1. 국내외 CRM 동향 2. 고객관리, CRM의 중요성 3. CRM 도입의 기대효과 II. CRM정의 및 우리회사 적합성 1. 중소기업에 유용한 CRM의 정의 2. LTV(Life

More information

( )Kjhps043.hwp

( )Kjhps043.hwp Difference of Fistula Maturation Degree and Physical Property by the Types of Tube Material: An Experimental Study Sang Koo Kang, M.D. 1, Hee Chul Yu, M.D. 1,4, Woo Sung Moon, M.D. 2,4, Ju Hyoung Lee,

More information

ePapyrus PDF Document

ePapyrus PDF Document 1. 2009 ASEE 2009 ASEE Texas Austin Austin Convention Center 6 14 17 3 4. 2008 Pennsylvania Pittsburgh ASEE ASEE. AI Austin Convention Center 1. 4 ASEE ( 3,400 ),. 1) 2007 ( ) 92 . ASEE plenary session

More information

2009;21(1): (1777) 49 (1800 ),.,,.,, ( ) ( ) 1782., ( ). ( ) 1,... 2,3,4,5.,,, ( ), ( ),. 6,,, ( ), ( ),....,.. (, ) (, )

2009;21(1): (1777) 49 (1800 ),.,,.,, ( ) ( ) 1782., ( ). ( ) 1,... 2,3,4,5.,,, ( ), ( ),. 6,,, ( ), ( ),....,.. (, ) (, ) Abstract Kim Dal-Rae, Kim Sun-Hyung* Dept. of Sasang Constitutional Medicine, College of Oriental Medicine, Kyung-Hee Univ. *Dept. of Sasang Constitutional Medicine, East-West Neo Medical Center, Kyung-Hee

More information

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI:   3 * The Effect of H Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp.577-601 DOI: http://dx.doi.org/10.21024/pnuedi.28.4.201812.577 3 * The Effect of Home-based Activities Using Traditional Fairy Tales

More information

` Companies need to play various roles as the network of supply chain gradually expands. Companies are required to form a supply chain with outsourcing or partnerships since a company can not

More information

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770> Journal of the Korea Academia-Industrial cooperation Society Vol. 13, No. 2 pp. 866-871, 2012 http://dx.doi.org/10.5762/kais.2012.13.2.866 증강현실을 이용한 아동교육프로그램 모델제안 권미란 1*, 김정일 2 1 나사렛대학교 아동학과, 2 한세대학교 e-비즈니스학과

More information

27 2, * ** 3, 3,. B ,.,,,. 3,.,,,,..,. :,, : 2009/09/03 : 2009/09/21 : 2009/09/30 * ICAD (Institute for Children Ability

27 2, * ** 3, 3,. B ,.,,,. 3,.,,,,..,. :,, : 2009/09/03 : 2009/09/21 : 2009/09/30 * ICAD (Institute for Children Ability 27 2, 71-90. 2009. 3 * ** 3, 3,. B 2003 4 2004 2.,.,,,. 3,.,,,,..,. :,, : 2009/09/03 : 2009/09/21 : 2009/09/30 * ICAD (Institute for Children Ability Development) ** ( : heyjun@gmail.com) 72 한국교육문제연구제

More information

SECTION TITLE A PURE PRIMER (AI), // 1

SECTION TITLE A PURE PRIMER (AI), // 1 SECTION TITLE A PURE PRIMER (AI), // 1 ,...,.,,. AI Enlitic.. Aipoly Microsoft Seeing AI.,, " ",. 4. 4..,.,?.. AI Drive.ai Lyft. // 1 .,.. 1. 2. 3.,. 50~100,., (AI) 4.,,.,.. // 2 ,,. 1 (HAL VARIAN) //,

More information

ECG & EP CASES Young-Keun On, MD, PhD Division of Cardiology, Department of Medicine Cardiac & Vascular Center, Samsung Medical Center Sungkyunkwan University School of Medicine, Seoul, Korea A case of

More information

A Problem for Government STAGE 6: Policy Termination STAGE 1: Agenda Setting STAGE 5: Policy Change STAGE 2: Policy Formulation STAGE 4: Policy Evalua

A Problem for Government STAGE 6: Policy Termination STAGE 1: Agenda Setting STAGE 5: Policy Change STAGE 2: Policy Formulation STAGE 4: Policy Evalua A Problem for Government STAGE 6: Policy Termination STAGE 1: Agenda Setting STAGE 5: Policy Change STAGE 2: Policy Formulation STAGE 4: Policy Evaluation STAGE 3: Policy Implementation 6 Monitor Policy

More information

Kaes025.hwp

Kaes025.hwp 고위험군유두상갑상선암환자에대한방사성옥소최대허용선량측정법및치료법의검증 Verification of Measurement Methods and Therapeutic Efficacy of Maximum Permissible Dose of I-131 in High Risk Patients with Differentiated Papillary Thyroid Cancer

More information

노영남

노영남 Purpose: Delayed massive hemorrhages from pseudoaneurysm rupture of the peripancreatic large arteries, after pancreaticoduodenectomy, are fatal. We reviewed the clinical course and outcome of bleeding

More information