저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

의학석사학위논문 가속도계와자이로센서를이용한 실시간내시경영상방향보정 시스템 2013 년 2 월 서울대학교대학원 의학과의공학전공 이형철

가속도계와자이로센서를이용한 실시간내시경영상방향보정 시스템 지도교수김희찬이논문을의학석사학위논문으로제출함 2013 년 2 월서울대학교대학원의학과의공학전공이형철 이형철의의학석사학위논문을인준함 2013 년 2 월 위원장최진욱 ( 인 ) 부위원장김희찬 ( 인 ) 위원전윤석 ( 인 )

초 록 연구배경 비디오내시경장비에서획득한영상에서중력방향은작업공간상의중력방향과일치하지않아해석을어렵게한다. 본연구에서는가속도계와자이로센서를이용하여내시경영상의중력방향을항상아래로오도록보정하는장비를개발하여평가하여보았다. 대상및방법 비디오내시경장비의영상보정장치는내시경핸들부위에부착된가속도계와자이로센서로부터가속도및각속도를받아와칼만필터및후처리과정을통해회전각을계산하도록개발하였다. 기술적성능평가를위해장비를카메라에부착한후촬영된이미지의회전각과비교하였다. 임상적유용성에대한평가는경험있는마취과의사를대상으로내시경영상의중력방향보정을한경우와보정하지않은경우를무작위순서로배정하여기관지모형의좌측주기관지, 우측주기관지, 우상엽기관지에쓰여진숫자를차례로읽도록하고소요된시간을측정하였다. 결과 촬영된이미지의회전각과비디오내시경영상보정장치에서계산된회전각의비교시가속도계나자이로센서만을사용한경우보다두센서를모두사용하여칼만필터후후처리한결과값이더좋은성능을보였다. 임상적유용성평가에서는 15명의지원자에서영상보정을사용한경우 (65.3초) 가사용하지않은경우 (93.3초) 에비해더빠른시간내에작업을완료하였다. (P = 0.012) i

결론 본연구에서내시경회전에따른영상회전을보정할수있는내시경영상보정장치를개발하였으며이장비를사용하였을때기관지모형을사용한내시경검사에서목표를찾는시간을단축시킬수있었다. 주요어 : 비디오내시경, 영상, 보정, 관성센서학번 : 2011-21899 ii

학위논문원문제공서비스에대한동의서 본인의학위논문에대하여서울대학교가아래와같이학위논문제공하는것에동의합니다. 1. 동의사항 1 본인의논문을보존이나인터넷등을통한온라인서비스목적으로복제할경우저작물의내용을변경하지않는범위내에서의복제를허용합니다. 2 본인의논문을디지털화하여인터넷등정보통신망을통한논문의일부또는전부의복제 배포및전송시무료로제공하는것에동의합니다. 2. 개인 ( 저작자 ) 의의무 본논문의저작권을타인에게양도하거나또는출판을허락하는등동의내용을변경하고자할때는소속대학 ( 원 ) 에공개의유보또는해지를즉시통보하겠습니다. 3. 서울대학교의의무 1 서울대학교는본논문을외부에제공할경우저작권보호장치 (DRM) 를사용하여야합니다. 2 서울대학교는본논문에대한공개의유보나해지신청시즉시처리해야합니다. 논문제목 : 가속도계와자이로센서를이용한실시간내시경영상방향보정시스템 학위구분 : 석사학과 : 의학과학번 : 2011-21899 연락처 : 저작자 : 이형철 ( 인 ) 제출일 : 2013 년 2 월 6 일 서울대학교총장귀하 iii

목 차 제 1 장서론... 1 제 2 장연구방법... 3 제 1 절장비개발... 3 제 2 절기술적평가... 8 제 3 절임상적평가... 9 제 3 장연구결과... 11 제 1 절기술적평가... 11 제 2 절임상적평가... 12 제 4 장고찰... 13 참고문헌... 23 Abstract... 25 표목차표 1... 17 그림목차그림 1... 18 그림 2... 19 그림 3... 20 그림 4... 21 그림 5... 22 iv

제 1 장서론 최근에진단및치료목적의많은비디오내시경장비들이임상에이용되고있다. 외과영역에서는최소침습수술에사용되어개복에비해흉터와통증이적으며재원기간을짧게하고, 내과영역에서는소화기내시경, 기관지경등에사용되어많은질병의진단및치료를돕고있다. 그러나이러한비디오내시경장비들은숙련되기까지노력과시간이필요로한다. 특히비디오내시경장비에서획득한영상의해석이어려운이유중하나는화면상의중력방향과작업공간상의중력방향이일치하지않기때문이다. [1, 2] 또한외과수술중내시경카메라의방향이실제작업공간과일치하지않으면외과의의작업수행능력이떨어진다는보고가있었다. [3, 4] 이러한문제를해결하기위해지금까지영상인식기법을이용하려는시도가있었으며 [5] 가속도계를사용해내시경영상에서항상중력방향이아래로오도록보정하는장비를개발하였고동물을대상으로사용해본결과작업능률의향상이있었다는보고도있다. [6] 또한자기장하에서의코일의회전으로내시경의방향을보정하는방법도 1

제안되어있다. [7] 그러나영상분석기법은방향확인을위해사용할목표물이없는경우이용할수없고외부자기장을거는방법은장비의크기가커지고간섭의문제가있다. 단일가속도계를사용하는방법은비디오내시경의회전속도가빠를경우병진운동가속도와중력을구분할수없어성능이좋지않다. 이를보완하기위해자이로센서를사용할수있는데자이로센서에서출력된각속도를적분하여회전각을얻는방법은빠른반응속도를가지고있지만적분에따른오차누적으로긴시간사용하기에는부적절하다. 따라서가속도계와자이로센서를함께사용하면서빠른회전시에는자이로센서를, 느린회전시에는가속도계를더비중있게해석하면각센서가가진단점을상호보완하여더정확한결과를얻을수있다. 본연구에서는가속도계와자이로센서를함께사용하여내시경영상의방향을중력방향이항상아래방향이되도록보정하는장비를개발하고성능을평가해보았다. 2

제 2 장연구방법 제 1 절장비개발 공간상에위치한한강체의자세를나타내기위해서흔히사용되는방법은쿼터니언 (quaternion), 방향코사인행렬 (direction cosine matrix), 오일러각 (Euler angle) 이있다. 이중가장기본이되는방향코사인행렬은고정된절대적기준좌표계의세축 e 1 = (1,0,0), e 2 = (0,1,0) e 3 = (0,0,1) 과물체내부의회전좌표계의세축 n 1 = (n 1x,n 1y,n 1z ), n 2 = (n 2x, n 2y, n 2z ), n 3 = (n 3x, n 3y, n 3z ) 의관계를나타내는행렬로서각인자 (element) 들은아래와같이계산된다. C ij = e i n j, C = én1 ê ên1 ê ën 1 x y z n n n 2x 2y 2z n n n 3x 3y 3z ù ú ú ú û (1) 이때 n 1, n 2, n 3 는모두단위백터이고서로직교하는성질이있다. 따라서이들의자유도가 3임에도불구하고 9개의행렬요소로정의되기때문에다른자세기술보다계산량이많아지게된다는단점이있다. 오일러각은물리적인의미를가지는 3개의독립변수로만자세를기술하는방법으로축에대한세번의회전각을사용한다. 회전하는기준축은고정된절대적기준좌표계의 3

축을사용하거나물체내부의회전좌표계의축을사용할수도있다. 흔히사용되는방법은먼저절대적기준좌표계의 z축에대해요각 (yaw angle) 만큼회전하고회전된 y축에대해피치 (pitch) 만큼회전하고다시새로운 x축에대해롤각 (roll angle) 만큼회전한다. 이오일러각은물리적의미가확실하고사용자가직접적으로자세를바로인식할수있어널리사용되며본연구에서도이방법을사용하였다. 그러나피치각이 90도인경우특이점 (singularity) 이발생하는단점이있다. 최근에널리사용되는쿼터니언은특이점이발생하지않는다는장점이있지만자체적으로의미해석이모호하여결과에대해오일러각변환을최종적으로사용해야한다. 본연구에사용한비디오내시경영상의방향보정장비는내시경핸들을강체로가정하고핸들끝에서부터내시경의팁 (tip) 까지의꼬임 (twisting) 은없는것으로가정한다. 중력에대한내시경장비의회전각을계산하기위해내시경의핸들에가속도계와자이로센서를부착하여가속도및각속도를얻고이로부터오일러각을계산하여회전각을구하였다. 장비의구성은그림 1과같으며내시경이미지와가속도계, 자이로센서를입력으로하여중력방향이항상아래로오도록 4

보정된이미지를출력으로한다. 사용된센서는 3-Space Sensor Bluetooth (Yost Engineering Inc, Portsmouth, United States) 로서 3축가속도계와 3축자이로, 3축지자기센서를포함하고있나지자기센서는사용하지않았다. 장비의정밀도는기술문서상가속도계가 0.00024 g (0.0024 m/sec 2 ), 자이로센서가 0.070º/sec 였다. 이센서가 USB를통한유선통신및 Bluetooth를통한무선통신을모두지원하므로두가지를각각실험하였다. 시스템에서축의정의는내시경을시술자쪽에서보았을때내시경의우측방향을 x 축으로, 윗방향을 y 축으로, 내시경이진행하는방향을 z 축으로하였다. ( 그림 2) 내시경의회전각 θ는중력방향의반대방향을 0도로하고, 내시경을시술자쪽에서보았을때시계방향으로롤 (roll) 회전한각도로정의하였다. 가속도계와자이로센서로부터 θ는아래와같이구하였다. ( 그림 2) θ accel = arctan2 (a x, -a y ) θ zyro = r z (2) 이때 θ accel, θ zyro 는각각가속도계와자이로센서로부터 구한내시경의회전각, a x,y,z 는가속도계에서측정된가속도, 5

r x,y,z 는자이로센서에서측정된각속도, arctan2 (y,x) 는 y/x의역탄젠트값을갖고 x, y의부호에따라 π에서 π의범위의값을반환하는역탄젠트함수를나타낸다. 두관성센서의측정값은칼만필터를이용해보정하여최종적인회전각을정하였다. [8] 칼만필터의설계는자이로센서의출력을이용한시스템모델과가속도계의출력을이용한측정모델을이용하여아래와같이하였다. 모델방정식 : x k+1 = x k + T r k + w k (3) 이때 x k 는상태변수, 즉내시경의회전각, r k 는자이로센서에서측정된각속도, T는마지막측정으로부터경과된시간, w k 는처리오차를나타낸다. 칼만필터의측정방정식은아래와같이가속도계의출력결과를이용하였다. 측정방정식 : y k = x k + z k (4) 이때 y k 는측정변수, 즉가속도계의출력결과로계산된회전각, x k 는상태변수, z k 는측정오차를나타낸다. 칼만필터의성능에영향을미치는오차공분산은기존논문에서보고된값을참고하여예측공분산 Q는 0.1로하고측정공분산 R은가속도센서의출력크기에따라아래와같이하였다. [9] 6

R = 500, a < 1.0001g R = 50000, 1.0001 < a < 1.02g (5) R = 1000000, 1.02g < a 이때 a는가속도센서의출력, g는중력가속도를나타낸다. 칼만필터를거친결과값은후처리과정을거치게되는데이과정은이미지획득장비와센서장비의속도차이를보정한다. 이미지가획득되어도착하였을당시의마지막센서측정값은그대로이미지회전에사용하여서는안된다. 두측정시점에차이가있기때문에그동안장비가회전한만큼을빼주어야하며이값은두장비의지연시간차곱하기각속도가된다. 이지연시간차는사전실험을통해 x축을각속도, y축을오차로두고회귀식을구하여기울기값을사용하였다. 비디오영상은내시경의접안부에부착된 CCD 카메라를이용해촬영한후 USB-ECPT (Sabrent, Los Angeles, CA, USA) 를사용하여획득하였다. 가속도계및자이로센서로부터받아온측정값을이용하여내시경장비의회전각을구한후내시경영상을실시간으로회전하여모니터에보여주는컴퓨터프로그램은 Microsoft Visual Studio를사용하여 Windows 운영체제에서 7

실행되도록개발하였다. 센서의값은폴링 (polling) 기법을이용하여최대속도로반복측정하였고비디오영상은 30 fps로획득하였다. 제 2 절기술적평가 개발된내시경영상방향보정장치의기술적성능을평가하기위하여실험을진행하였다. 실험은편의상내시경대신카메라 (S101 Web Cam, Kodak, Rochester, NY, USA) 를이용하여본체에가속도계와자이로센서를부착하여수행되었다. 카메라로부터 30 cm 떨어진거리에위쪽절반은검은색, 아래쪽절반은흰색으로된판을놓고획득된이미지로부터흑백경계선을자동으로추출하여각이미지의회전각을구하였다. 이값의부호를반대로하면당시카메라의회전각이된다. 30초간카메라를무작위로회전시키며이광학적방법으로구해진카메라회전각 (θ optical ) 을기록하였다. 동시에가속도계를이용하여측정한카메라의회전각 (θ accel ), 자이로센서를이용하여측정한카메라의회전각 (θ gyro ), 두센서를모두이용하여칼만필터링한결과 구해진카메라의회전각 (θ kalman ) 을기록하였다. 이측정값이 8

광학적회전각에가까울수록영상의방향을완벽하게보정할 수있다. 제 3 절임상적평가 내시경영상보정장치에대한임상적유용성에대한평가를위해전향적, 무작위, 관찰연구로영상방향보정장치를사용한경우와사용하지않은경우를교차비교하였다. 실험대상은서울대병원마취통증의학과에서근무중인마취통증의학과전공의중기관지내시경검사를 30회이상해본경험이있는자원자로하였다. 실험전참가자들은기도해부학및기관지내시경검사방법, 그리고새로운장비의사용방법에대한교육을받은후최대 5분간의연습시간을허용하였다. 모든참가자는두번의기관지내시경검사를차례로수행하였고컴퓨터생성무작위번호 (www.randomizer.org) 에따라순서를정하여짝수인경우먼저내시경영상보정장치를사용하여기관지모형의좌측주기관지, 우측주기관지, 우상엽기관지의말단부에쓰여진숫자를차례로확인하도록내시경검사를수행하였다. ( 그림 3) 이후내시경영상보정장치를사용하지않은상태에서 고전적기관지내시경을수행하여같은실험을반복하였다. 9

무작위번호가홀수인경우는반대의순서로실험을진행하였다. 기관지내시경이모형의삽입부에삽입된순간부터실험참가자가모든숫자를확인하는데까지소요된시간을측정하였다. 통계분석은 SPSS version 17.0 (SPSS Inc., Chicago, IL,USA) 을사용하여이루어졌다. 두대응군사이에평균의차이가 20초, 각군의표준편차를 25초로가정했을때검정력 80%, 유의수준 0.05에서필요한실험참가자의수는 12명으로계산되었고탈락자를예상하여 15명으로하였다. 기관지내시경검사에소요된시간에대해 Wilcoxon 테스트를사용하였다. 데이터는중간값 (25/75 백분위수 ) 로표시하였다. 10

제 3 장연구결과 제 1 절기술적평가 내시경영상방향보정장치의유용성을평가하기위해시행한실험결과 30초간임의의회전운동을하였을때유선연결실험에서측정된회전각은 -83.1도에서 88.0도, 각속도는 -184 deg/sec에서 182 deg/sec, 무선연결실험에서회전각은 -108.0도에서 90.9도, 각속도는 -251 deg/sec에서 201 deg/sec 였다. 유선연결상태에서의센서속도는평균 333.4 sample/sec 였고무선상태에서는 27.7 sample/sec 였다. 가속도계만을사용한경우최대오차는유선과연결의경우각각 12.79도, 15.08도였고센서자체의지터링 (jittering) 으로인해회전각이안정적이지않았다. 또한빠른방향전환시반응속도가느렸다. ( 표 1, 그림 4) 자이로센서만을이용한경우최대오차는유선연결의경우 8.87도였지만무선연결의경우 14.19 였다. 칼만필터후후처리과정을거친최종적인회전각의오차는유선연결의경우 5.00도, 무선연결의경우 7.48 였다. ( 표 1) 오차 RMS 값으로비교한장치의성능은가속도계와 11

자이로센서를유선으로함께사용한경우가가장좋았으며다음이무선으로두센서를함께사용한경우였다. 본실험에사용된후처리를위한두장비간의시간처리지연시간차는사전실험에서결정되었으며유선연결의경우 0.025초, 무선연결의경우 0.002초였다. 제 2 절임상적평가 내시경영상방향보정장치의유용성을평가하기위해 15명의지원자가연구에참여하였다. 모든참가자는성공적으로실험을마쳤다. 내시경영상방향보정장치를사용한경우수행시간의중간값은 52초 (32/74초) 였고사용하지않은경우수행시간의중간값은 76초 (59/128초) 였다. (P = 0.012, 그림 5) 보고된숫자중잘못된숫자를보고한경우는이미지방향보정을하지않은경우에만 1명있었다. 보고된숫자는반대편기관지에적힌숫자였다. 12

제 4 장고찰 본연구에서비디오내시경장비에서획득한영상의중력방향보정을위하여가속도계와자이로센서를이용한장비를개발하여평가하였다. 그결과하나의센서를사용할때보다두개의센서를동시에사용하고칼만필터링및후처리과정을거침으로써결과성능을향상시킬수있었다. 이전의연구에서내시경의팁부위에가속도센서를부착하여비디오내시경장비에서획득한영상의중력방향을보정한보고가있었다. [6] 보고에서저자들은개발한장비의정확도가 1도이내라고하였지만이는안정상태에서의결과이다. 본연구에제시된실험결과에서가속도센서만을사용할경우오차는이보다훨씬커졌다. 또한본연구에서이미지획득장치와센서간의속도차이로인한후처리를함으로서오차를줄일수있었다. 이러한오차는이미지획득및전송에소요되는시간동안에도센서가회전함에따라발생하게되며이미지획득속도에비해센서의샘플링속도가빠른유선연결의경우두센서간의전송속도에따른지연시간의차이는 0.025초, 무선연결의경우 0.002초였다. 유선연결의경우센서가 13

200 deg/sec로회전할경우이에대한보정을하지않을경우오차는 5도나되기때문에이보다큰정확성이필요할경우후처리가반드시필요하다. 각속도를이용한후처리를할수있다는점은자이로센서를이용함으로써얻게되는또다른장점이라할수있다. 본연구의결과에서무선연결의경우특히자이로센서의적분오차가시간이지날수록누적되어값이부정확해지는결과를확인할수있었다. 최근에빠른동작속도를가지는무선센서가개발되고있으므로 [10] 이러한문제를해결할수있을것으로보이지만내시경카메라의선이유선으로연결되어있는상태에서무선이굳이필요한지는의문이다. 경제적측면에서본연구에서제시한영상보정방법은매우낮은가격에구현이가능하다. 실제실험에사용된장비는 $300 가격의 9축유 / 무선관성센서였지만가속도계의 x, y축값과자이로센서의 z축값만이용되었다. 따라서 2축가속도계와 1축자이로센서를유선으로연결면 $100 이내로구현이가능하다. 또한기존내시경장비에쉽게부착하여사용할수있기때문에신규장비구매에따른비용부담을크게줄일수있다. 또한본연구에서내시경의핸들부위에센서를 14

장착하였는데이러한디자인은굴절성내시경 (flexible endoscope) 의경우팁과핸들이비틀어질 (twist) 경우오차가발생하게된다. 굴절성내시경에서팁부위에센서를부착할경우팁크기가커지는문제가있고기기손상시흡인의위험이따른다. 센서를내장하면이러한위험을줄일수있으나새내시경장비의구입에따른비용이든다. 일반적으로내시경에서취득한이미지는검사자를제외하고는영상이취득된방향에대한정보를알수없다. 그러나영상방향보정장치를사용한이미지는취득당시내시경의회전각에무관하게보정된이미지를얻을수있어객관적분석이가능하다. 이러한장점은내시경검사자와시술자가다른경우 ( 예를들어내시경수술이나 TEE 유도하판막성형술등 ), 이미지취득에도움이되는방향정보를전혀알수없는경우 ( 예를들어혈관내초음파 ), 혹은교육이나자문을위해다른검사자와함께내시경이미지를분석해야할경우도움이될것으로생각된다. 본연구의한계점이몇가지있다. 우선기술적성능평가에서실제내시경영상이아닌카메라로촬영된이미지를사용하였다. 그러나원리상으로내시경과카메라는큰차이가없고실제내시경영상에서광학적회전각을측정하는것은 15

저해상도로인한오류가있을수있다. 다음으로인코더를사용한정확한각도측정이이루어지지않았다. 그러나영상보정장치에서정확한각도보다중요한것은실제이미지의회전각도이므로이값을기준으로오차를계산하게되었다. 그리고임상적유용성평가에서는실제사람이나동물이아닌모형을사용하여진행되었다. 사람을대상으로한기관지내시경시에검사자는방향확인을위해기관연골 (tracheal ring) 의모양이나근섬유무늬 (muscle stripe) 등을참고하는데본실험에사용된모형은이러한세밀한기관지의모양까지재현되지않았다. 결과적으로본연구에서가속도계와자이로센서를사용한내시경영상보정장치를개발하고평가한결과하나의센서를사용한경우보다두센서를함께사용하였을때정확도가향상되었다. 임상적유용성평가에서본장비는내시경을이동시켜목표물을찾고확인하는시간을단축시킬수있었다. 이러한결과가제한된상황하에서얻어진것이긴하지만저자는본내시경영상보정장치가임상현장에서질병의진단및치료에도움이될수있을것으로생각한다. 16

표 1. 센서사용여부에따른오차및오차값의 RMS Sensors Error range (deg) Error RMS (deg) Wired + Accelerometer -10.82 ~ 12.79 3.55 Wired + Gyrosensor -7.17 ~ 8.87 3.01 Wired + Accel. + Gyro. -5.00 ~ 3.75 1.21 Wireless + Accelerometer -14.92~15.08 3.48 Wireless + Gyrosensor -5.07~14.19 5.09 Wireless + Accel. + Gyro. -7.53~7.48 2.70 17

그림 1. 내시경이미지보정장치의개념도. r x,y,z 는각속도, a x,y,z 는가속도, θ gyro 는자이로센서의출력결과로부터계산한회전각, θ accel 은가속도계의출력결과로부터계산한회전각, θ kalman 은칼만필터의결과로계산된회전각을나타낸다. 18

그림 2. 내시경에부착한관성센서의축및회전각에대한정의. 사각형, 관성센서단면 ; 원형, 내시경핸들의단면 ; θ, 내시경의롤회전각 ; g, 중력가속도 ; r, 회전각속도. 19

그림 3. 내시경영상의방향보정시스템의평가를위한실험장비의구성 A. 컴퓨터, B. CCD 카메라, C. 관성센서, D. 내시경핸들, E. 기관지모형. 기관지의말단부에숫자를쓴종이를붙여두었다. 20

그림 4. 센서종류에따른각도측정결과. 실험시작후 25 초에서 30 초만을표시하였다. A. Wired, B. Wireless 21

그림 5. 장비사용유무에따른수행시간의차이 22

참고문헌 1. Holden, J.G., J.M. Flach, and Y. Donchin, Perceptual-motor coordination in an endoscopic surgery simulation. Surg Endosc, 1999. 13(2): p. 127-32. 2. Cao, C.G.L. and P. Milgram, Disorientation in Minimal Access Surgery: A Case Study. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 2000. 44(26): p. 169-172. 3. Likun Zhang, C.G.L.C., Effect of automatic image realignment on visuomotor coordination in simulated laparoscopic surgery. Applied Ergonomics, 2012. 43: p. 993-1001. 4. Patil, P.V., G.B. Hanna, and A. Cuschieri, Effect of the angle between the optical axis of the endoscope and the instruments' plane on monitor image and surgical performance. Surg Endosc, 2004. 18(1): p. 111-4. 5. Koppel, D., Wang, Y.F., Lee, H., Automated image rectication in video-endoscopy. Proc's 4th Int. Conf. on Medical Image Computing & Computer-Assisted Intervention (MICCAI), 2001., London, UK, Springer-Verlag: p. 1412-1414. 6. Holler, K., et al., Endoscopic orientation correction. Med Image Comput Comput Assist Interv, 2009. 12(Pt 1): p. 459-66. 7. Oded Salomon, G.K., Moshe Shoham, Cesare Stefanini, Luca Ascari, Paolo Dario, Menashe Zaaroor, Enhancing endoscopic 23

image perception using a magnetic localization system. 8. E.Kalman, R., A New Approach to Linear Filtering and Prediction Problems. Transactions of the ASME Journal of Basic Engineering, 1960. 82 (Series D): p. 35-45. 9. Chul Woo Kang, Y.M.Y., and Chan Gook Park, Performance Improvement of Attitude Estimation Using Modified Euler Angle Based Kalman Filter. Journal of Institute of Control, Robotics and Systems, 2008. 14(9). 10. Hoflinger, F.M., J. ; Tork, M. ; Reindl, L.M. ; Burgard, W., A Wireless Micro Inertial Measurement Unit (IMU). Instrumentation and Measurement Technology Conference (I2MTC), 2012 p. 2578-2583 24

Abstract Real-time endoscopic image orientation correction system using accelerometer and gyrosensor Hyung-Chul Lee Biomedical Engineering, Medicine The Graduate School Seoul National University Introduction Images from video endoscopic devices are difficult to interpret because there are mismatches between spatial orientation of the images and working environment. In this study, we developed and evaluated a device correcting endoscopic image orientation using accelerometer and gyrosensor. Method Endoscopic image orientation correction system was developed to retrieve acceleration and angular velocity from accelerometer and gyrosensor attached at the handle of endoscope and calculate rotation angle using Kalman filter and post-processing. For technical evaluation, optical rotation angle from the captured frame was compared with the calculated rotation angle. For clinical evaluation, 25

experienced anesthesiologists are participated and tested the device that corrects the endoscopic image orientation. Each participant reported the number written in left main, right main and right upper bronchus of airway model with and without the device in random order. Time for the job and whether reported numbers are correct are recorded. Result In the technical evaluation, the rotation angle calculated from Kalman filter and post-processing with the measurements of accelerometer and gyrosensor was more precise than the rotation angle from the measurement of accelerometer or gyrosensor only. In the clinical evaluation with 15 volunteers, there were significant decreases of time for the exam using the device (mean 65.3 sec) compared with not using the device (mean 93.3 sec). (P = 0.012) Conclusion In this study, we developed an endoscopic image orientation correction system which could improve the physician s performance in video endoscopic exam. Keywords: Video endoscopy, Orientation, Correction, Inertia sensor Student Number: 2011-21899 26