실감형가상현실상호작용기술동향 사용자중심차세대콘텐츠기술특집 김용완 (Y.W. Kim) 조동식 (D.S. Jo) 김영희 (Y.H Kim) 김혜미 (H.M. Kim) 김기홍 (K.H. Kim) 가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀연구

Size: px

Start display at page:

Download "실감형가상현실상호작용기술동향 사용자중심차세대콘텐츠기술특집 김용완 (Y.W. Kim) 조동식 (D.S. Jo) 김영희 (Y.H Kim) 김혜미 (H.M. Kim) 김기홍 (K.H. Kim) 가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀연구"

용수 창
5 years ago
Views:

1 실감형가상현실상호작용기술동향 사용자중심차세대콘텐츠기술특집 김용완 (Y.W. Kim) 조동식 (D.S. Jo) 김영희 (Y.H Kim) 김혜미 (H.M. Kim) 김기홍 (K.H. Kim) 가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀선임연구원가상현실연구팀연구원가상현실연구팀팀장 Ⅰ. 실감상호작용개요 Ⅱ. 3D 인터페이스기반상호작용기술동향 Ⅲ. RGB-D 센서기반손가락동작인식기술동향 Ⅳ. RGB-D 센서기반 3D 복원기술동향 Ⅴ. 결론 * 본고는문화체육관광부 (MCST) 와한국산업기술관리평가원 (KEIT) 의 2011 년도디지털콘텐츠원천기술개발사업연구결과로수행되었음. IT 기술과콘텐츠기술이융합된가상현실기술은최근산업, 의료, 엔터테인먼트, 교육, 문화체험, 국방, 건축등적용이널리증가되고있다. 본고에서는실감형가상현실상호작용기술의동향과활용사례를통하여, 핵심기술요소와시장활용성및향후응용분야를제시한다. 특히, Physical User Interface(PUI) 센서, depth 센서 ( 혹은 RGB-D 센서 ) 등 3D 인터페이스를통해사용자의위치추적및사용자의의도를실시간으로분석하고, 주변환경에대한그래픽적인표현및시각화에의해콘텐츠와자연스럽게상호작용하는기법에관한동향을중심으로소개한다 한국전자통신연구원

2 Ⅰ. 실감상호작용개요가상현실기술은 1956년 Morton Heilig 의 Sensorama [1] 와 1965년 Ivan Surtherland의 Ultimate Display [2] 라는초보적인가상현실시스템이소개된이래반세기동안발전을거듭해왔다 (( 그림 1) 참조 ). 최근에는건축, 자동차, 의료, 조선, 국방, 교육, 게임등다양한분야에적용이확대되고있고, 또한녹색성장의중점육성기술중한가지로크게주목을받고있다 [3]. 특히, 산업분야에서는디지털디자인품평및가상현실훈련등이현업에적용되어생산비용과주기를획기적으로줄이고, 생산성을향상하는데기여하고있다 [4]. 이러한가상현실기술중상호작용기술은실감효과를실시간으로제시하는가시화와더불어가상현실시스템을구축하는핵심기술중하나이다. 상호작용기술은시각, 청각, 촉각, 후각, 미각등사용자의오감을제시하는 H/W와이를구동하는 S/W, 가상현실콘텐츠와실시간으로반응하는기술로구분될수있다. 가상현실시스템을위한시각인터페이스는안경방식의 HMD(Head mounted display), 사용자주변의전영역이프로젝션장치로구성되는몰입형의 CAVE 시스템등을대표적인사례로볼수있고, 청각은가상음원의 3차원공간상의위치및방향재현을목적으로 HRTF(Head related transfer function) ( 그림 1) Sensorama( 좌 ), Ultimate Display( 우 ) 기반음원재생및입체음향이연구개발되고있다. 촉각인터페이스는실제환경과유사하게물체가피부에닿았을때느끼는촉감정보 (tactile) 제시, 중력감및반력감 (force-feedback) 과같은관절과근육의움직임에의해제시되는근감각이제시되는연구가진행되고있다. 후각및미각은연구개발기초단계에머물고있으며일본등에서전달매체를기반으로한연구를진행하고있지만이는감각을오랫동안지속하지못하는기술적한계를가지고있다. 최근에는가상환경과의상호작용목적으로사용자가복잡한 wire와센서를부착해야만하는불편함을해소하기위한마커리스 (markerless) 방식의인터페이스를기반으로한상호작용기법과사용자의동작추적및제스처인식을바탕으로한응용연구가활발히진행되고있다. 이를위해가속도, 자이로스코프, 지자기, depth 센서등을이용한모션컨트롤러, RGB-D 카메라등 H/W 장치가개발되어게임등엔터테인먼트분야에서적용되고있으며향후이기술은가상현실과관련된다양한분야에범용적으로널리확대될것으로전망한다. 본고에서는실감형가상현실상호작용기술의연구개발사례를중심으로기술개발방향을모색하고자한다. 본고의구성은다음과같다. Ⅱ장에서는 PUI (Physical User Interface) 형태의 3D 인터페이스와이를이용한실시간상호작용동향등에대해살펴보고, Ⅲ장에서는 RGB-D 카메라 ( 혹은 depth 카메라 ) 를기반으로손가락위치추적에따른동작인식을통해 3D UI, 3D 물체등의콘텐츠를제어하는기술을소개한다. Ⅳ장에서는 depth 카메라를기반으로한사용자의실공간을 3D 가상공간으로복원하고, 스캐닝하여물리적인상호작용공간을제시하는기술을소개하고자한다. 마지막으로 Ⅴ장에서는가상현실시스템구축을위한실감상호작용기술이극복해 김용완외 / 실감형가상현실상호작용기술동향 63

야할기술적과제와향후연구방향을제시하고자한다. Ⅱ. 3D 인터페이스기반상호작용기술동향 최근닌텐도의 Wii 로시작된 3D 인터페이스를이용한체감형콘텐츠의제작은열풍처럼번지고있다. Wii 와소니 PlayStation Move 가제공하는새로운형태의콘텐츠와입력방식은이제까지겪어보지못했던독특한사용자경험을사용자에게제공하고있다.

3차원상에서용이하게내비게이션및조작을할때어떤 3D 인터랙션기술이적합한지, 3D 입력장치는어떻게디자인되어야하는지, 또는 3D 입력장치, 디스플레이와인터랙션간에는어떤상호관련이있을지에관한수많은이슈들이지속적으로연구되어왔다 [5]. 본장에서는다양한 PUI 형태의 3D 인터페이스동향과실시간상호작용에관한내용을살펴보고자한다. 1.

3 야할기술적과제와향후연구방향을제시하고자한다. Ⅱ. 3D 인터페이스기반상호작용기술동향 최근닌텐도의 Wii 로시작된 3D 인터페이스를이용한체감형콘텐츠의제작은열풍처럼번지고있다. Wii 와소니 PlayStation Move 가제공하는새로운형태의콘텐츠와입력방식은이제까지겪어보지못했던독특한사용자경험을사용자에게제공하고있다. Wii 등의모션컨트롤러를이용한사용자는볼링등과같은체감형게임을하기위해팔을휘두르고화면속의객체를잡기위해포인팅도수행하며, 복싱하듯이허공에서펀치를휘두를수도있다. Wii 가처음으로대중에게상업적으로 3D UI의체감형상호작용경험을제공하였지만, 이분야의연구는 VR, HCI, 컴퓨터그래픽스분야에서관련연구가꾸준히진행되어왔다고할수있다. 3차원상에서용이하게내비게이션및조작을할때어떤 3D 인터랙션기술이적합한지, 3D 입력장치는어떻게디자인되어야하는지, 또는 3D 입력장치, 디스플레이와인터랙션간에는어떤상호관련이있을지에관한수많은이슈들이지속적으로연구되어왔다 [5]. 본장에서는다양한 PUI 형태의 3D 인터페이스동향과실시간상호작용에관한내용을살펴보고자한다. 1. 닌텐도 Wii 모션컨트롤러인터페이스닌텐도의모션컨트롤러 Wii 리모트 ( 이하 Wiimote) 장치는사용자의핸드움직임추적을위해 3축의가속도장치와 MotionPlus 에장착된 3축의각속도획득용자이로스코프센서를장착하고있다 (( 그림 ( 그림 2) 닌텐도 Wiimote 센서좌표계 2) 참조 ). Wii 의센서데이터는속도및가속도정보로써실세계의위치정보로바로매핑되지는않지만, 제한된콘텐츠인터랙션환경하에서는적절한변환과정을거쳐모션위치및회전정보로이용할수있다. Wiimote의 3축가속도센서는아이폰과같은스마트폰등에내장된가속도센서로써사용자의모션입력및중력이더해진모션가속도정보를획득할수있게한다. 최신버전의 Wiimote 는보다정밀한모션정보획득을위해서 MotionPlus 에서 MEMS (Microelectromechanical system) 자이로스코프를이용하여회전정보의정확도를향상하였다. 또한, Wiimote 는디스플레이장치에상하단에위치한센서바의양사이드적외선 (IR) LED를 Wiimote 에내장된적외선광학카메라를통해서획득하고상대적거리를픽셀단위로변환하여 2D 디스플레이포인팅수단이나회전정보계산시 Yaw 보정에활용하고있다. 획득된모션컨트롤러의센서정보를이용하여사용자의 3차원제스처를인식하고자하는시도는다양하게진행되고있다 (( 그림 3) 참조 ). 크게경험에기반한방법과기계학습에기반한제스처인식방법으로분류할수있다. 경험에기반한방법은개발자가수동으로특정제스처를시스템에서판별할수있도록센 64 전자통신동향분석제 27 권제 3 호 2012 년 6 월

( 그림 4) PlayStation Move.Me 프레임워크 ( 그림 3) Wiimote 를이용한게임콘텐츠예 서정보에기반한관련파라미터를식별하는과정으로요약할수있다.

발견된특징들을특징벡터로정의하여기계학습알고리즘의일부분으로적용하는방법으로써, 일반적으로일부제스처데이터를기계학습의훈련샘플로수집하고전체제스처데이터에대한정해진척도를최적화하는훈련모델을찾아내는방법이다 [6]. 2.

카메라트래킹과모션센싱의장점을이용할수있도록개발되었고, MEMS 타입의 3축자이로스코프와 3축의가속도관성센서로이루어져있다.

컬러구체는 Play- Station Eye를이용한컬러트래킹을통하여, 컨트롤러의 3D 위치를신뢰성있게복구가가능하다 [7]. ( 그림 5) Move를이용한게임콘텐츠예소니에서는공식적으로개발자가 Move 인터페이스를사용할수있도록 Move.

4 ( 그림 4) PlayStation Move.Me 프레임워크 ( 그림 3) Wiimote 를이용한게임콘텐츠예 서정보에기반한관련파라미터를식별하는과정으로요약할수있다. 각제스처에대한일련의과정이시간소모가크고지루한작업이지만특정판별제스처들에대해매우직관적으로접근할수있는방법이라고할수있다. 반면기계학습에기반한방법은입력데이터들에서유용한특징을발견하여특정알고리즘에의해제스처를학습인식시키는방법이다. 발견된특징들을특징벡터로정의하여기계학습알고리즘의일부분으로적용하는방법으로써, 일반적으로일부제스처데이터를기계학습의훈련샘플로수집하고전체제스처데이터에대한정해진척도를최적화하는훈련모델을찾아내는방법이다 [6]. 2. 소니 PlayStation Move 인터페이스소니의 PlayStation Move 는 PlayStation Eye와모션컨트롤러인터페이스로구성되어있다. 카메라트래킹과모션센싱의장점을이용할수있도록개발되었고, MEMS 타입의 3축자이로스코프와 3축의가속도관성센서로이루어져있다. Wiimote 와뚜렷히구분되는점으로는다양한컬러로변경할수있는 RGB LED를내장한 44mm 직경의구체가 Move 컨트롤러상단에위치해있다는점이다. 컬러구체는 Play- Station Eye를이용한컬러트래킹을통하여, 컨트롤러의 3D 위치를신뢰성있게복구가가능하다 [7]. ( 그림 5) Move를이용한게임콘텐츠예소니에서는공식적으로개발자가 Move 인터페이스를사용할수있도록 Move.Me 애플리케이션을공개하였다 (( 그림 4) 참조 ). PlayStation 이장치서버역할을수행하고 PC는장치서버에연결하여콘텐츠에서활용할수있는 Move 센서데이터를얻어오는구조로되어있다 (( 그림 5) 참조 ). Move.Me API는 XNA와 Unity3D 등과같은다른그래픽엔진과혼용사용가능하도록설계되어있다. Move.Me SDK 에서 3D 위치, 회전, 속도, 각속도, 가속도, 버튼상태, 트래킹상태등의정보를제공하고있다 [8]. 3. 기타다양한 PUI 인터페이스상용화된 PUI 외에도특정목적에적합하게설계된다양한 PUI 들이개발되고있다. 디지털콘텐츠생성애플리케이션에서 3D 객체를조작하기위한목적으로주로사용되는 SpaceMouse 를대체할수있도록 김용완외 / 실감형가상현실상호작용기술동향 65

다른형태의입력을부드럽게연결할수있는트래킹센서들을내장하고있다. 위치제어기반시점회전이가능한터치패드와비율제어기반시점움직임이가능한탄성체링으로구성되어있다. 가령수직축중심으로시점을회전시키기위해서는탄성체링주위를따라서손가락을움직이기만하면된다. 회전및위치제어가동시에검지및엄지손가락으로도직관적으로가능한장점이있다 [10].

트랙볼의센서는손가락에의한회전조작을검출하고가상객체에반영한다. 또한, 트랙볼을강하게잡는다던지특정방향으로움직이는입력도객체에반영할수있다 [9]. 또한, 조이스틱의기능을하는탄성체링으로둘러싸인터치패드를내장한 Groovepad 라는이름의 PUI 도개발되었다 (( 그림 7) 참조 ). 포인팅과선택등서로 Ⅲ.

5 다른형태의입력을부드럽게연결할수있는트래킹센서들을내장하고있다. 위치제어기반시점회전이가능한터치패드와비율제어기반시점움직임이가능한탄성체링으로구성되어있다. 가령수직축중심으로시점을회전시키기위해서는탄성체링주위를따라서손가락을움직이기만하면된다. 회전및위치제어가동시에검지및엄지손가락으로도직관적으로가능한장점이있다 [10]. ( 그림 6) SpaceMouse를대체하는 GlobeFish 개발된 GlobeFish가그한예이다 (( 그림 6) 참조 ). 6 자유도입력장치로주요사용되는 SpaceMouse의사용자입력행태를분석하여회전과이동입력은동시에사용하는것이드물다는결론을얻고프레임에스프링으로연결된 3자유도트랙볼시스템인 GlobeFish가개발되었다. 트랙볼의센서는손가락에의한회전조작을검출하고가상객체에반영한다. 또한, 트랙볼을강하게잡는다던지특정방향으로움직이는입력도객체에반영할수있다 [9]. 또한, 조이스틱의기능을하는탄성체링으로둘러싸인터치패드를내장한 Groovepad 라는이름의 PUI 도개발되었다 (( 그림 7) 참조 ). 포인팅과선택등서로 Ⅲ. RGB-D 센서기반손가락동작인식기술동향지난 2010년을시작으로컬러영상뿐만아니라깊이정보획득이가능한저가의상용제품이많이출시되었다. 대표적으로 Xbox 360 게임기의동작인식센서로출시된 Microsoft 사의 Kinect[11] 가있으며, 이스라엘업체의 PrimeSense[12], Asus사의 Xtion PRO LIVE[13], SoftKinetic사의 DepthSense 311 [14] 등이있다. 이들제품은고가의장비로만가능했던정밀한 3차원정보를저렴한가격으로획득할수있다. 뿐만아니라사용자의전신관절동작까지도추적할수있다. 이러한상용 3차원정보획득장치는다양한형태의디스플레이장치와더불어컴퓨터와사용자간의새로운상호작용방식을제안하는데활용되고있다. 1. See Through 3D Desktop ( 그림 7) 5 축내비게이션을수행하는 Groovepad 최근 3차원정보획득기술과디스플레이기술이급속도로발전하였음에도불구하고, 컴퓨터데스크톱에서의상호작용은 2차원입출력시스템에서크게나아지지않았다. 데스크톱환경에서의사용자인터페이스를개선하기위하여, MIT에서는 Microsoft 와협력하여최근각광을받고있는차세대디스플레이인투명디스플레이와 Microsoft 사의동작인식센서 66 전자통신동향분석제 27 권제 3 호 2012 년 6 월

손가락상호작용사용자는투명한디스플레이를통해화면을보게되며컴퓨터는사용자의손가락과손동작을인식해서투명디스플레이에표현된가상객체와상호작용하게된다.

화면에펼쳐진폴더및파일등도가상객체로표현하여마치실제폴더함을다루듯파일을 사용자의시선움직임에따라시점에맞는이미지를모니터상에표현하여 3D 효과를제공하기위해서는손동작뿐만아니라사용자의머리위치까지추적할수있어야한다.

6 고를수있다. 나. 다시점영상가시화 ( 그림 8) See through 3D desktop Kinect를접목하여, 투명한컴퓨터화면에띄운가상객체, 파일및프로그램창을맨손으로만지고옮길수있는 See Through 3D Desktop 기술 [8] 을선보였다 (( 그림 8) 참조 ). 가. 손가락상호작용사용자는투명한디스플레이를통해화면을보게되며컴퓨터는사용자의손가락과손동작을인식해서투명디스플레이에표현된가상객체와상호작용하게된다. 사용자의정면상단에위치한 Kinect로부터획득된깊이영상을활용하여손의이진영상을획득하고이로부터사용자의손가락움직임을인식한다 (( 그림 9) 참조 ). 사용자는투명한스크린뒤에서맨손으로조작하여스크린에표시된물체들을집어들거나옮길수있다. 화면에펼쳐진폴더및파일등도가상객체로표현하여마치실제폴더함을다루듯파일을 사용자의시선움직임에따라시점에맞는이미지를모니터상에표현하여 3D 효과를제공하기위해서는손동작뿐만아니라사용자의머리위치까지추적할수있어야한다. 이를위해손을인식하는 Kinect 와별도로추가의 Kinect를설치하고그로부터얼굴의움직임을추적한다. 파일, 프로그램창등의가상객체를가시화하는투명디스플레이장치는삼성전자에서개발되었다 [15]. 2. Omnitouch 미국의카네기멜론대학에서는가까운거리의깊이정보획득이가능한 depth 카메라와웨어러블시스템을접목하여임의의표면에인터랙티브한환경표현이가능한장치를개발하였다. 사용자는 3차원정보획득장치및 projector를어깨에얹어손가락의움직임으로실공간의모든표면에나타난가상객체와상호작용할수있다. 이기술을통해서사용자는일반스마트폰등디지털기기의화면에국한되지않고책상, 종이등일상적인사물뿐만아니라사용자의신체일부까지도화면으로사용하여가상객체와상호작용할수있다 (( 그림 10) 참조 ). ( 그림 9) 손가락검출영상및손가락동작인식 ( 그림 10) Omnitouch 기술활용예 김용완외 / 실감형가상현실상호작용기술동향 67

Omnitouch 기술은카네기멜론대학교학생이 Microsoft 에서인턴과정중개발하였고미국산타바바라에서열린 ACM UIST 2011 학회에서선보였다 [16]. 가. 시스템하드웨어 Microsoft 사의 depth 카메라인경우최근출시된 Kinect for Windows 를사용하더라도깊이정보획득이가능한최소거리는 40cm이다.

이렇게획득된손가락과책상, 종이, 신체일부등의표면이접촉하는순간을검출하여표면에나타난프로젝터영상과손의상호작용을가능하게한다. 야기하지않도록하기위하여 PrimeSense 사에서공 급한최소거리가약 20cm인 depth 카메라를사용하였다.

7 Omnitouch 기술은카네기멜론대학교학생이 Microsoft 에서인턴과정중개발하였고미국산타바바라에서열린 ACM UIST 2011 학회에서선보였다 [16]. 가. 시스템하드웨어 Microsoft 사의 depth 카메라인경우최근출시된 Kinect for Windows 를사용하더라도깊이정보획득이가능한최소거리는 40cm이다. Kinect를웨어러블시스템에적용할경우최소거리확보를위해 Kinect 를머리위로높이위치시켜야하는우스꽝스러운모습이연출된다. Omnitouch 시스템은이러한문제를 ( 그림 12) 손깊이영상의미분영상및손가락인식같이깊이영상의미분영상을해석한다. 이러한해석을통해손가락의특성을가지는점들을이어손가락을인식한다. 이렇게획득된손가락과책상, 종이, 신체일부등의표면이접촉하는순간을검출하여표면에나타난프로젝터영상과손의상호작용을가능하게한다. 야기하지않도록하기위하여 PrimeSense 사에서공 급한최소거리가약 20cm인 depth 카메라를사용하였다. 가상객체를어디서나실공간의표면에나타나도록하기위한가시화장치로는 Microvision ShowWX +laser pico-projector[17] 를사용하였다. 이를 ( 그림 11) 과같이 PrimeSense사의 depth 카메라와함께어깨에얹을수있는웨어러블장치로구성하였다. Ⅳ. RGB-D 기반 3D 복원기술동향 1. RGB-D 기반실환경복원최근에출시되고있는저가의 RGB-D 카메라는픽셀단위에서 depth 정보와 RGB image 정보를빠른속도로획득할수있을뿐만아니라해상도에서도중간정도의정확도를보인다. 이러한이유로 RGB-D 카메라는 mobile robotics 의여러응용분야에서주요주제인실환경모델링 (3D environments maps) 획득에널리활용되고있다. 가. Dense 3D Modeling Intel 연구소는 Washington 대학등과함께 RGB- ( 그림 11) Pico-Projector와 depth 카메라로구성된웨어러블장치나. 멀티터치손가락검출및동작인식 Depth 카메라로부터획득된깊이영상으로부터손영역을검출한후, 손가락을찾기위해 ( 그림 12) 와 D 카메라를이용한실환경복원프레임워크를소개하였고, RGB-D 카메라가 dense 3D modeling 에적합함을보여주었다 (( 그림 13) 참조 )[18]. 사용된 RGB- D mapping 방법은 joint optimization algorithm (combining visual features and shape-based alignment), view-based loop closure detection, pose 68 전자통신동향분석제 27 권제 3 호 2012 년 6 월

( 그림 15) 사용자의움직임에따른복원데이터 ( 그림 13) RGB-D Mapping에의해생성된실시간 3D Point

등이결합된하나의 3D mapping 시스템이다 (( 그림 14) 참조 ).

6DOF pose 실시간추적은 GPU 기반의 ICP 알고리즘을사용하였고, 3D surface 복원과정은 point cloud

KinectFusion Microsoft research 팀은여러대학들과공동으로

8 ( 그림 15) 사용자의움직임에따른복원데이터 ( 그림 13) RGB-D Mapping에의해생성된실시간 3D Point Cloud ( 그림 16) 실시간으로획득된대규모의복원공간 디테일을가진 3D model 을단몇초안에획득할수있다는것이다 (( 그림 16) 참조 ). ( 그림 14) RGB-D mapping에의해서생성된 Allen Center 3D maps optimization 등이결합된하나의 3D mapping 시스템이다 (( 그림 14) 참조 ). KinectFusion의실시간처리는 GPU 기반의구현을통해서가능하였다. 6DOF pose 실시간추적은 GPU 기반의 ICP 알고리즘을사용하였고, 3D surface 복원과정은 point cloud 를결합하는방식대신에 GPU 기반의 TSDF(Truncated Signed Distance 나. KinectFusion Microsoft research 팀은여러대학들과공동으로 KinectFusion이라불리는시스템을개발하여 SIGG- RAPH 2012 학회에소개하였다 (( 그림 15) 참조 )[19]. KinectFusion 시스템은빠르게움직이는 Kinect 카메라로부터 depth 정보를받아들여서기하학적으로 정확한 3D model 을실시간으로생성할수있다. 이시스템의특징은방크기의넓은공간과방내부의 ( 그림 17) 복원된환경과상호작용하는물리기반시뮬레이션활용예 김용완외 / 실감형가상현실상호작용기술동향 69

Functions) 방법을사용하였다. 3D surface 와 volume 렌더링과정또한 GPU 가속레이캐스팅 (raycasting) 방법을사용하였다.

RGB-D 기반 Body Scanner 최근에는저가의 RGB-D 카메라를사용하여소규모공간에서실시간으로물체또는신체를스캔하여 3D 모델데이터를획득하는많은툴들이소개되고있다. 가.

KX-16 Full Body Scanner [TC] 2 는체력단련, 의료, 애니메이션, 게임등의애플리케이션을위한용도로써 KX-16 Full body scanner를소개하였다.

9 Functions) 방법을사용하였다. 3D surface 와 volume 렌더링과정또한 GPU 가속레이캐스팅 (raycasting) 방법을사용하였다. 실환경이실시간으로복원되는시스템의특징을활용하여, 복원된환경과물리시뮬레이션이상호작용하고실환경과가상물체가상호작용하는데모를선보였다 (( 그림 17) 참조 ). 2. RGB-D 기반 Body Scanner 최근에는저가의 RGB-D 카메라를사용하여소규모공간에서실시간으로물체또는신체를스캔하여 3D 모델데이터를획득하는많은툴들이소개되고있다. 가. Faceshift Faceshift 는 Kinect 카메라한대를사용하여마커리스로얼굴움직임을디테일하게캡처하고캐릭터애니메이션에적용하는기술이다 (( 그림 18) 참조 )[20]. ( 그림 19) 3D 복원모델및 3D 프린팅된모델다. KX-16 Full Body Scanner [TC] 2 는체력단련, 의료, 애니메이션, 게임등의애플리케이션을위한용도로써 KX-16 Full body scanner를소개하였다. Kinect 카메라와같은저가형 depth 카메라를 16개사용하여바디전체를한번에스캔하는장치이다 (( 그림 20) 참조 )[22]. ( 그림 20) 네면에 4 개의 RGB-D 카메라장착 ( 그림 18) 얼굴모션캡처및캐릭터움직임에적용 Ⅴ. 결론 나. ReconstructMe ReconstructMe 는 Microsoft Xbox Kinect 또는 Asus Xtion PRO LIVE 를사용하여실시간으로 3D 모델을복원하는소프트웨어툴이다 (( 그림 19) 참조 ) [21]. 본고에서는가상현실시스템의실감형상호작용기술의동향을제시하였다. 이를위해 Physical User Interface(PUI) 및 RGB-D 카메라를이용한 H/W 플랫폼기술, RGB-D 카메라를이용한동작인식기술, RGB-D 센서를이용한 3D 복원기술등을소개하였 70 전자통신동향분석제 27 권제 3 호 2012 년 6 월

10 다. 또한, PUI 기술을이용하여게임등활용한사례를소개하고, RGB-D 센서를이용하여 UI 제어, 멀티터치동작인식등의기술개발현황및활용예를소개하였다. 그리고, RGB-D 센서를이용하여 3D 모델링, body 스캐닝, 사용자주변공간 3D 복원등을제시하였다. 최근, 가상현실시스템구축을위해고가의장비로만가능하였던정밀한 3차원정보획득이저가의시스템으로확대보급됨에따라사용자의전신관절동작추적및 3차원정보표현기술이빠르게개발되고있는추세이다. 향후인간의감성과체험을확대할목적으로사용자가거의느낄수없을정도의 seamless한실세계와가상콘텐츠가시화및상호작용연동기술이미래에나타날것으로전망하며이를위해센서를부착하지않고컴퓨터와상호작용하는장치, 입체콘텐츠가사용자주변공간에표현되는기술등이확대될것으로전망한다. 이를위해고성능및착용편리성이보장된몰입형가시화용 head mounted display(hmd), tangible user interface, 고성능의 depth 기반사용자위치추적장치, eye tracking 등의 H/W 기술이발전할것으로전망한다. 또한, 가상현실, 증강현실, 스마트TV 제어및콘텐츠제어, 제스처인식등 S/W 기술이함께확대및상용화가될것으로전망한다. 오감과관련해서시각 / 청각 / 촉각정보가실제와동일한수준으로고정밀표현및제시되는기술, 아직초보적인수준에머물고있는미각, 후각재생기술등이꾸준히연구개발될것으로본다. 이러한가상현실시스템의실감상호작용, 오감제시인터페이스기술과관련된신개념의인터페이스장치및소프트웨어기술은향후다양한산업, 교육, 의료, 국방, 엔터테인먼트등분야에적용이널리확대될것으로전망한다. 용어해설 PUI(Physical User Interface) 사용자가손에쥐고가상현실및게임콘텐츠를제어하는가속도및자이로등센서가부착된상호작용장치 RGB-D 카메라구조광등의정보를이용하여사용자및공간에있는물체의 depth 정보를추출하고, color 정보획득하는이미지센서가함께부착되어있는하드웨어장치 3D 복원사용자, 사용자의주변의실공간등을 3D 그래픽물체로표현하는기술 약어정리 HMD HRTF MEMS PUI TSDF 참고문헌 Head mounted display Head related transfer function Microelectromechanical System Physical User Interface Truncated Signed Distance Functions [1] [2] augmented-reality-the-ultimate-display-by-ivan-s utherland-1965/ [3] 미래기획위원회, 녹색기술연구개발종합대책, [4] 양웅연외, 산업적용형가상현실기술, 전자통신동향분석, vol. 26, no. 1, [5] D. Bowman et al., 3D User Interfaces: Theory and Practice, Addison-Wesley Professional, Aug [6] [7] [8] -me/ [9] B. Froehlich et al., The GlobeFish and the Globe- Mouse: Two New Six Degree of Freedom Input Devices for Graphics Applications, CHI Proc. SIGCHI conf. Human Factors Comput. Syst., 2006, pp [10] A. Kulik, R. Blach, and B. Froehlich, Two-4-Six - a Handheld Device for 3D-Presentations, Proc. IEEE Symp. 3D User Interfaces, 2006, pp [11] [12] [13] 김용완외 / 실감형가상현실상호작용기술동향 71

11 [14] [15] See Through 3D Desktop (Behind the Screen Overlay Interaction). v=pgo9yygqeow [16] C. Harrison, H. Benko, and A.D. Wilson, OmniTouch: Wearable Multitouch Interaction Everywhere, Proc. UIST, 2011, pp [17] MicroVision. Inc. [18] P. Henry et al., RGB-D Mapping: Using Depth 카메 라s for Dense 3D Modeling of Indoor Environments, Proc. Int. Symp. Exp. Robot. (ISER), [19] S. Izadi et al., KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction, ACM SIGGRAPH 2011 Talks, [20] [21] [22] 72 전자통신동향분석제 27 권제 3 호 2012 년 6 월

Windows Live Hotmail Custom Domains Korea

Windows Live Hotmail Custom Domains Korea 매쉬업코리아2008 컨퍼런스 Microsoft Windows Live Service Open API 한국 마이크로소프트 개발자 플랫폼 사업 본부 / 차세대 웹 팀 김대우 (http://www.uxkorea.net 준서아빠 블로그) Agenda Microsoft의 매쉬업코리아2008 특전 Windows Live Service 소개 Windows Live Service