넷째마당 가상현실기술의응용사례 학습목표 - 다양한분야에서가상현실기술이사용된예를살펴본다. 의료분야 : 가상해부학실습, 모의수술, 재활, 심리치료 국방분야 : 항공시뮬레이션, 항해시뮬레이션 엔터테인먼트분야 : PC 게임, 아케이드게임 제조분야 : 공장설계, 가상프로토타이핑, 어셈블리평가 로봇분야 : 로봇원격조작, 로봇프로그래밍 정보가시화 : 기상데이터가시화, 분자구조가시화 - 92 -
건축응용 커다란테이블형태의입체디스플레이인가상테이블을이용하여건축디자인초기단계에서보다직관적인방식으로건축물을인터랙티브하게디자인하고, 건축디자이너와일반사용자가쉽게커뮤니케이션할수있는시스템을살펴보자. ( 그림 105) 는기존의 2차원모니터기반건축디자인툴과가상테이블 기반시스템의차이를보여준다. 그림 105. 가상현실기술의건축디자인에의응용 - 93 -
이화여대 CCGVR 센터와세종대 GVR 연구실에서공동으로개발한건축 설계시스템은첫째, 건축디자인을투영된이차원스크린이아닌현실 세계의삼차원공간상에서디자인할수있도록함으로써사용자에게자 연스럽고직관적이다. 둘째, 커다란테이블형태의수평형스크린을기반 으로하기때문에근본적으로협동작업이쉽다. 이차원모니터상에서이용되는마우스나키보드는삼차원공간상에보여지는가상객체와인터랙션하기에적합하지않다. 따라서사용자가가상객체와보다자연스럽게상호작용하기위하여새로운형태의입력장비가필요하며, 양손을이용하는것이보다효과적이다. 삼차원공간상에서의인터랙션은이차원스크린환경에서마우스를이용하여수행하는인터랙션과는달리허공에존재하는삼차원객체를직접조작하는방식으로이루어지기때문에직관적이긴하지만사용자에게택타일피드백을줄수없다는단점이있다. 이와같은택타일피드백의부재는정확하고정밀한객체조작을어렵게하는큰원인으로지적되고있다. ( 그림 106) 에서는사용자가가상객체를조작하기위하여물리적인인터 랙션도구인프랍과 6 자유도마우스를이용한다. 프랍과 6 자유도마우 스의움직임은트랙킹장비를통해추적되기때문에이를통하여사용자 입력을가상세계에반영시킬수있다. 6 자유도마우스는가상객체를선 택하거나조작하기위한포인팅장비로써사용되기때문에이러한용도에 맞도록화살표, 연필, 손등의가상인터랙션도구로매핑될수있다. 이는주로대상객체와의직접적인상호작용에이용되며정교한손동작을 필요로하는경우가있으므로오른손을이용한다. 프랍은주로어플리케 이션을제어하기위한메뉴기능을수행하기때문에다양한아이콘을포 함하는메뉴판의형태로매핑되어지며, 왼손을이용한다. 이와같이사 용자에게택타일피드백을주는물리적인인터랙션도구의움직임에따라 가상인터랙션도구를조작할수있기때문에보다쉽고정확하게가상객 체와상호작용할수있다. - 94 -
그림 106. 텐저블프랍및 6 자유도마우스를이용한인터페이스 게임응용 가상현실기술은사용자의몰입감을높이기위하여, 관찰자중심의입체 영상을제공하며공간상에서멀티모달인터랙션을가능하게해준다. 현재 온라인바둑에서는입력장비로마우스가사용되는데, 바둑과같이손을 이용하는게임에서현실감을높이기위해서는손의위치와손가락의움직 임을트랙킹할수있는가상현실장비의사용을고려할수있다. 손을사용하는게임또는손의움직임과관련된가상현실어플리케이션을살펴보면, 데이터글러브를사용하여체스게임을개발한사례가있다. 이시스템은가상의손객체와레이캐스팅방법을사용하여체스게임에필수적인객체선택과조작능력을평가하였다. 또한뇌졸중환자의손기능재활을위하여가상현실게임기반의훈련 시스템이개발되었는데, 이시스템에서는사이버글러브와 RMII 포스피 드백글러브를사용하였다. 특히 4 종류의재활프로그램을개발하였는데 - 95 -
즉, 손의움직이는범위, 손의움직이는속도, 손가락굽히기, 움직이는 힘의크기등을신호등또는피아노건반과같은게임컨텐츠와결합하여 재활훈련의지루함을덜수있도록하였다. 이러한글러브를기반으로한 가상현실인터페이스는의학분야에서손의움직임을분석하는데도많이 사용되어졌다. 세종대 GVR 연구실에서개발한사이버글러브를이용한 VR바둑게임인 터페이스는 ( 그림 107) 과같이구성하였다. 트랙킹장비의리시버를사이 버글러브의손목에부착하여손의움직임을 3 차원공간에서추적하였다. 그리고스테레오영상을제공하기위해에미터를모니터위에부착하고 스테레오글래스를사용하였다. 이때트랙킹장비는시리얼포트 1, 사이 버글러브시리얼포트 2 그리고, 에미터는그래픽카드의 S-VHS에연 결하였다. 그림 107. VR 바둑게임인터페이스구성도 바둑게임을위한 VR 사용자인터페이스구축은크게세단계로이루어 진다. 첫째, 사이버글러브와트랙커에대한캘리브레이션을수행한다. 사 이버글러브의캘리브레이션은사용자의올바른손가락모양을유지하기 위한작업이고, 트랙커는가상환경의월드좌표계와트랙커의로컬좌표 - 96 -
계를일치시키기위한작업이다. 둘째, 장면구성을위하여바둑판, 바둑함, 바둑알등의삼차원객체들을 모델링한다. 모든모델들은 3ds Max 모델링툴을사용하여생성하였다. 바둑게임의현실감을위해실제바둑판규격인가로 42cm, 세로 45cm 의비율을따랐다. 또한검정색이흰색보다축소되어보이는현상을감안 하여검은색바둑돌을흰색보다조금더크게나타내었다. 그리고바둑 게임을위한사용자뷰로, 직교 top 뷰와원근대각뷰를제공하였다. (a) 직교 top 뷰 (b) 원근대각뷰 그림 108. 바둑게임을위한사용자뷰 마지막단계에서는손가락과바둑함의충돌이일어나는경우에는손가락 과바둑알의충돌을검사한다. 그리고나서바둑알과바둑판의충돌을검 사하게된다. 예를들어, 사용자가현재바둑알을쥐고있지않는경우라 면바둑알과바둑판의충돌검사는하지않게된다. (a) 평상시손 (b) 바둑알을쥔손 - 97 -
그림 109. (c) 바둑판위의화점설명 사이버글러브를낀손모습과바둑판의화점 바둑알집기 와 바둑알두기 에대하여정확도와속도테스트를수행한 결과손과손가락을움직여바둑을두는데사용자들이매우흥미로와했 지만장시간사용시불편함호소하였다. 사용자의 2가지뷰에따라실험 한결과직교 top 뷰에서의정확도가대각원근뷰보다높게나타났다. 여러가지해결해야할문제가있음에도불구하고가상현실인터페이스는 보다몰입적이고현실감있는게임을위해필요한요소이다. 의료응용 가상현실기술의의료응용분야는의료교육, 진단및치료계획, 가상수 술시뮬레이션, 원격로봇수술시스템등매우다양하다. 다음은여러 가지응용예들이다. 의학교육 : 1991년의 Visible Human 데이터베이스는의료영상가시 화기술의발전에큰기여를하였다. 특히시신을이용한해부학실습을 대치하기위하여 Visible Human과같은표준화된데이터베이스를이용 - 98 -
하려는여러응용연구들이이루어졌다. 방대한의료데이터베이스를 3차 원시각화함으로써, 임상의학자나학생들은중요한생리학적원리들이나 기본적인해부학지식들을쉽게이해할수있다. 예를들어가상현실기 법을이용하여해부학적구조에대한전방향탐색방법을제공하기도하 며, 실제적이고경험적인교육적도구로서시체해부등의다른여타방 법들에서는얻을수없는해부학적구조들간의상관관계를깊게이해하 는데도도움을주었다. 가상내시경 : 가상내시경은신체내에내시경을삽입하지않으면서 관찰대상이되는장기의병변에대한정확한위치, 크기, 형태를보여 주기위한방법이다. 일반적으로 3차원가상내시경을구현하기위해서는 디렉트볼륨렌더링방법과관찰대상이되는해부학적구조의영역에대 한볼륨모델을생성하는방법을사용한다. 하지만아직까지 CT와 MRI 영상으로부터구축되는가상내시경은실제광내시경으로만볼수있는 기도나대장과같은부위의점막층을 이있다. 섬세하게표현하지못하는한계점 신경외과수술 (Neurosurgery) : 신경외과수술은정상인의해부학적 구조와질환사이의복잡한관계를이해해야하고절차또는단순하지않 다. 따라서뇌종양, 동정맥기형등의질환을가진환자들은수술전에 다중모달리티영상을촬영하게된다. 여러모달리티(CT, MRI 등) 로부터 촬영된 영상들은정합및퓨전의작업을거쳐해부학적구조에대한복 합적인정보를제공한다. 및장기의변화로인해수술전에재구성된 하지만외과수술중에발생하는환자의위치 3차원구조와수술중에실 시간으로보게되는해부학적구조가정확하게일치하지않게된다. 따라 서수술전에촬영된고해상도의다중모달리티영상과수술중에실시간 획득할수있는환자의초음파영상또는촬영한비디오영상들을온라인 상에서합성하여렌더링해주는방법들이외과수술의성공률을높이는 데도움을주고있다. - 99 -
수술시뮬레이션및계획 : 수술시뮬레이션에있어서, 실제환자를대 상으로진행되는것과인공적이고생명이없는근육조직을이용한훈련 작업은실제적으로큰차이가있다. 이러한이유로 1990년대초에가상 현실시뮬레이터가개발되기시작했다. 가상현실기술은컴퓨터를이용함 으로써, 수술훈련과평가를위한시뮬레이션을하기위한새로운기회를 제공하였지만, 초창기시뮬레이터의경우에는그래픽스해상도의한계와 촉각입력및피드백장치의부족, 그리고인체장기의실제적인변형시 뮬레이션에서많은한계를드러냈다. 하지만지난몇년동안기존한계점 들을극복한형태의몇몇시뮬레이터들이등장하기시작하였다. 예로써, 최소침습수술훈련시뮬레이터는의학초보자가기본적인복강경기술 들을효과적으로연습할수있도록하였다. 그외에도외과수술과신경 외과수술의계획을세우는분야에가상현실기술이응용되었다. 보통이 러한작업들은 MRI이나 CT 영상데이터를활용하게되지만, 수술대상이 되는장기가복잡한구조를갖는경우일련의영상데이터가서로다른 상황에서촬영됨으로써스캐닝모달리티간에차이가발생할수있어수 술계획을세우는데는적합하지않다. 미항공우주국에서는 3차원인터랙티브뷰를사용함으로써이러한문제를 해결하기위해, Virtaul Collaborative Clinic 과제를통하여계획과연습을 위한가상현실기반의외과수술시스템을개발하였다. 이시스템에서는 턱의종양을제거하는수술계획을위하여위, 아래턱을 CT 영상데이 터로부터 "Cyberscalpel" 을이용하여 3 차원모델로재구성하고, 이렇게 생성된모델은종아리뼈가어떻게턱부분에흡사하게교체되도록절단 되는지를확인하는데사용되었다. - 100 -
그림 110. CAVE를이용한가상환자시뮬레이터 그림 111. 비강수술훈련시뮬레이터 증강현실기반컴퓨터보조수술 : 증강현실기술은가상의컴퓨터그 래픽스데이터와실제영상을합쳐혼합된결과영상을제공한다. 이러한 혼합영상이위치추적장치그리고 HMD 디스플레이장치와함께사용되 면서, 의료분야에서의새로운응용들이도출되었다. 대표적인응용범주 - 101 -
로컴퓨터보조수술를들수있다. CAS는다양한모달리티를갖는의료영상들을수술중에시각화함으로써, 의사에게효과적인작업을할수있도록도와주는시스템이다. 환자에게수술로인한외적충격을최소화하기위한방법으로최소침습혹은비침습적수술기술이각광받으면서, 그러한기술을사용하기쉽고정확하게시각화해주는증강현실기반의응용시스템들이개발되고있다. 초기에는신경외과분야에서뇌종양을제거하는수술중지원환경으로서증강현실기술을도입하였다. 그후좀더복잡한형태의증강현실기술이복강경시술의시각화를위해사용되었다. - 102 -
기타응용사례 그림 112. 가상시뮬레이터를통한조종사의비행훈련및기체결함발견 그림 113. 선박항해법에대한숙지및돌발상황예측을위한시뮬레이터 - 103 -
그림 114. 미리승차감을느끼거나충돌실험 - 104 -
그림 115. 가상유적지 그림 116. 가상영화관람 - 105 -