둘째마당 가상현실시스템을 구성하는요소는? 학습목표 가상현실시스템구조에대해이해한다. 가상현실입력및출력장치의종류와장비들을살펴본다. 가상세계표현을위한시각적콘텐츠제작방법을알아본다. - 16 -
1. 가상현실시스템구성요소 북극에서롤러코스터를타는가상체험을해보면서이러한가상현실시스 템을어떻게만들었을까를상상해보자. 17. 북극에서롤러코스터를타는가상체험 가상현실시스템을개발하기위해서는가상현실엔진, 입력및출력을담당하는인터페이스, 가상세계에대한다양한컨텐츠를저장하고있는데이터베이스가필요하다. 사용자는주어진임무를달성하기위해서다양한가상현실입출력장치를통해가상세계를경험하게된다. 가상현실엔진소프트웨어데이터베이스 입력장치출력장치사용자 신체부위에대한행동추적정보를컴퓨터에게전달한다 ( 입력장치의역할 ) 다섯감각기관에의한느낌을사람에게전달한다. ( 출력장치의역할 ) 임무 18. 가상현실시스템구성요소 - 17 -
2. 가상현실시스템을위한입력장치 가상현실에서의입력장치의역할은사용자의행동을추적하여그정보를 가상세계에반영하는것이다. 예를들어신체의움직임을추적한다면, 컴 퓨터는사용자가무슨행동을하고있는지어떻게알수있을까? 움직임추적에앞서먼저자유도 (Degrees of Freedom : DOF) 를이해 해야한다. 자유도의개념을쉽게이해하기위해서다음은 1자유도 의입력을줄수있는오디오의볼륨조절장치와게임에서자주사용되 는조이스틱을보여준다. 조이스틱은 x축과 y축으로 2개의자유도를갖는 다. 1자유도입력장치 2자유도입력장치 ( 오디오의볼륨조절기) ( 조이스틱) 19. 자유도에따른입력장치예 정확한 3 차원세계를표현하기위해서는위치정보 (x, y, z) 와회전각정 보 (roll, pitch, yaw) 를갖는 6 자유도가필요하다. - 18 -
그럼인간은얼마나많은자유도를가지고있을까? 움직임을제외하면 42 자유도를갖는다. 손가락과발가락의 목 : 6 자유도, 어깨 : 6 자유도, 팔꿈치 : 4 자유도 손목 : 5 자유도, 허리 : 6 자유도, 엉덩이 : 6 자유도 무릎 : 4 자유도, 발목 : 5 자유도 20. 인간의자유도 - 19 -
입력을위한위치추적방식 위치추적을위한가상현실입력장치에는다음과같은것들이있다. - 전자기를이용한추적입력장치 (Electromagnetic) - 기계식추적입력장치 (Mechanical) - 광학식추적입력장치 (Optical) - 초음파를이용한추적입력장치 (Ultrasonic) - 신경( 근육) 을이용한추적입력장치(Neural/Muscular) - 관성추적기 (Inertial) 전자기를이용한추적입력장치는세방향으로자기장을형성하는 " 트랜 스미터" 와위치를표현하는 " 리시버" 를이용한다. ( 21) 의하단 은코일에전류가흘렀을때의자기장의흐름을보여준다. 전세계적을가장널리사용되는추적장비인 Polhemus TM FASTRAK은하 나의트랜스미터와최대 4 개의리시버를장착할수있다. 더많은리시버 가필요한경우에최대 8 개의시스템(32 개리시버) 을연결하여사용할수 있으며, 시스템을추가로장착하여도각각의시스템의업데이트율은같 은속도로작동한다. 그러나자성을띈물체가근처에있을경우추적할 수있는공간에영향을받는다. - 20 -
리시버 트랜스미터 21. 전자기를이용한추적입력장치 기계식추적입력장치는사람의관절부위에서의위치와각도정보를얻기 위해, 저항을감지하는관절이있는철제장치를착용한다. 직렬또는병 렬의물리적인구조로구성된추적기로써센서화된관절들이내부적으로 연결되어있다. 이러한기계식추적입력장치는인간의모션을캡쳐하여 영화에서 3D 모델의움직임에많이이용된다. - 21 -
22. 기계식추적입력장치 광학식추적입력장치는시각적정보를이용하여사용자의위치와방향을 추적하는비접촉식입력장치로비디오카메라와빛을잘반사하는마커를 이용한다. 23. 광학식추적입력장치 초음파를이용한추적입력장치는신체부위에초음파를수신하는마이크 로폰과소리를발생시키는초음파스피커를장착하여사용자의위치를추 적한다. - 22 -
마이크로폰 초음파스피커 컨트롤유닛 컴퓨터 24. 초음파식추적입력장치 신경( 근육) 을이용한추적입력장치(Neural/Muscular) 는손가락의움직임 등을추적하는작업에적합하다. ( 25) 는근육의움직임을감지하는 센서들을이용한입력인터페이스의예를보여준다. 근육의움직임을감지하는센서들 25. 신경추적입력장치 - 23 -
관성을이용한추적은수십년전부터우주선이나항공기그리고잠수함등에사용되어졌던기술로써움직이는비행체의몸체에직접센서를붙여서움직인모션에비례하는센서의출력을측정함으로사용된다. 상업적인분야에사용된예가그리많지않은데, 이는관성센서의가격이비싸고크기가기본적으로크기때문이다. 입력을위한손동작추적 손동작추적이란손바닥과손가락의움직임을추적하는것으로, 가상세계에존재하는물체를가리키거나, 물체를잡고이동하는작업등에사용된다. 손동작추적을위해서는손에착용하는장갑( 글러브) 이필요하다. 사이버글러브의모습 손가락의관절에부착된센서 26. Immersive TM 사이버글러브 먼저사이버글러브를 ( 27) 과같이손에착용한다. 그다음사용자 의손에장갑이착용하기좋도록교정단계즉캘리브레이션단계를거친 다. 즉, 다양한손크기및모양이있으므로초기에지정된손모양을수 행함으로써교정을하게되는것이다. ( 28) 은이러한캘리브레이션 - 24 -
과정을보여준다. 27. 사이버글러브착용 교정이전의손모양 교정이후의손모양 28. 손모양의교정 - 25 -
사이버글러브이전에개발된글러브로는핀치글러브와데이터글러브가있다. 핀치글러브는엄지손가락의끝과나머지손가락의끝의센서들이부딪힘으로제스처를인식할수있는글러브이다. 그모습이마치꼬집는모습이기때문에핀치(Pinch) 글러브가되었다. 데이터글러브는사용자의손의오리엔테이션(pitch and roll) 의굴곡작용 과손가락 (flexture) ( 손가락하나마다하나의센서) 을특징으로한다. 5DT 데이터글러브 5-W는 5DT 데이터글러브 5의무선버전으로 20 미터의거리까지센서의동작이가능하다. Fakespace 핀치글러브 5DT 데이터글러브 29. 손동작입력을위한다양한글러브 - 26 -
( 30) 은세종대학교 GVR 연구실에서사이버글러브를이용하여개발 한 VR 바둑게임시스템이다. 30. VR 바둑게임 사이버글러브를착용하고농구공과축구공을테이블에서떨어뜨려봅시 다.( 체험실습) 31. 사이버글러브체험 - 27 -
3. 가상현실시스템을위한출력장치 가상현실시스템구축을위한그래픽디스플레이로는고정된출력장치, 머리장착형출력장치, 손장착형출력장치등이있고, 사운드디스플레 이는고정형태의소리출력장치, 머리장착형소리출력장치등이있다. 이러한장치들을사진으로살펴보자. 32. 가상현실출력장치 - 28 -
출력 : 시각 스크린과비디오카메라를이용한다양한시각적출력장치들이개발되고 있다. ( 33) 은고정된출력장치로써단일스크린, 다중스크린장치 를보여준다. 단일스크린 다중스크린 33. 스크린의종류 시선의위치에맞게영상을생성하기위해서는머리추적장치가필요하고, 입체영상생성을위해서는좌측및우측영상을동기화하기위해에미터와셔터글래스가필요하다. ( 34) 34. 입체영상생성 - 29 -
스크린과프로젝터를이용한프로젝션기반출력장치에는반사형프로젝 션장치와투과형프로젝션장치가있다. 스크린 거울 프로젝터 35. 프로젝션기반출력장치 투사형태의출력장치의종류에는가상워크벤치, 다중스크린프로젝션, 프로젝션월, 구형프로젝션, 동굴형태의프로젝션(CAVE) 장치등이있 다. 36. 가상워크벤치( 왼쪽) 와다중스크린프로젝션( 오른쪽) - 30 -
36. 프로젝션월, 38. 구형프로젝션 - 31 -
39. 동굴( 케이브) 형태의투사출력장치 머리장착형출력장치(HMD) 에는폐쇄형과개방형두종류가있다. 폐쇄 형출력장치를머리에착용하면눈앞에있는스크린에서가상세계가출력 된다. 개방형머리장착장치는폐쇄형과는달리모두가상세계가출력되진않는다. 실제의세계위에가상의오브젝트가출력되는증강현실세계를구축하는데많이사용되어진다. 40. Stereo3D TM VFX3D 머리장착장치 - 32 -
41. 개방형머리장착형출력장치 42. 개방형머리장착형출력장치를사용한시스템예 - 33 -
손장착형출력장치는사용자가자유롭게손에들고이용하는출력장치이다. 장치내부에신체추적장치를포함하고있다. 43. 손장착형출력장치 - 34 -
출력 : 청각 고정형태의소리출력장치는스피커를이용하고, 머리장착형소리출력 장치로는헤드폰을주로이용한다. 가상현실에서의소리출력장치는 3차 원가상사운드를사용자에게들려줌으로써소리가어디에서발생했는지 를알수있도록해준다. 가상의공간이 HMD 를착용했을때, 눈앞에나타나고, 간단한조작으로 이공간을움직일수있는체험을해보자. 거리에따라물소리등사운드 가 3 차원으로출력된다. 44. 3차원사운드출력 - 35 -
4. 가상세계구축을위한시각적컨텐츠생성 가상세계를만드는작업은실제우리가사는세계를컴퓨터안에다옮기 는작업이다. 즉, 눈으로보는세계, 소리로듣는세계, 손으로느끼는세 계, 냄새, 맛등이있다. 이중에서눈에보이는시각적인면이가장중요 하고전체의 70% 정도를차지한다. 컴퓨터의세계 입력 입출력하드웨어장치출력 몸동작추적 목소리및사운드 물리적힘 시각적디스플레이 목소리디스플레이 햅틱디스플레이 소프트웨어장치가상세계의표현 실세계의가상세계화 컴퓨터생성 45. 가상현실세계구성 - 36 -
3 차원그래픽툴을이용한모델생성 일반적으로 3차원모델을생성하는것은 Aias TM MAYA, Autodest TM 3ds MAX 등과같은모델링저작도구를이용한다. MAYA 또는 MAX와같은 3 차원그래픽툴을이용하여모델을생성하기위해서는먼저무엇을만들 지를정하고스케치한다. 그리고폴리곤으로모델을구성한다. 모델에 색상을입히고, 행동을부여한다. 마지막으로가상공간에위치시킨다. 46. 3차원인물생성절차 - 37 -
47. 행동부여하기 48. 다양한렌더링방법 ( 49) 와같이배경도인물과유사한과정을거쳐제작되어진다. ( 그 림 50) 은같은 3차원모델이라도날씨의변화를잘표현하게하기위해 다르게렌더링된결과를보여준다. 객체를가상공간상에위치시켜합성한다. 최종적으로제작된배경과사람등의 - 38 -
49. 배경제작방법 50. 날씨표현 - 39 -
51. 배경과인물의합성 - 40 -
표정및감정정보를이용한가상인간 가상인간을생성하는절차를좀더자세히알아보자. 신체부위에서가 장중요한얼굴표현을위해서는얼굴형상모델링과표정애니메이션과 정을거친다. 그리고동작정보트랙킹특수효과를이용하여배경및그 림자등을생성하고전체가상공간에합성하게된다. ( 52) 는이러한 가상인간이응용된예를보여준다. 52. 가상인간생성절차 가상인간에게필요한요소를살펴보자. 먼저보고듣고만지는것을통 해세상을느낄수있어야한다. 즉, 감각인식이필요하다. 이러한인식 을통해얻어진정보를분석해서감정및생각을부여할수있다. 생각과 감정을표현하기위해동작과실행을한다. - 41 -
53. 가상인간에필요한요소 ( 54) 는세종대학교 GVR 연구실에서개발한시스템으로인간의눈동 자의움직임을추적하여가상인간의눈동자움직임에적용한다. ( 55) 는같은모델을카툰렌더링으로표현한결과이다. 카툰렌더링은비 사실적인렌더링기법으로써보는이의흥미를유발시키는데사용할수 있다. 54. 사용자눈동자의움직임을가상인간의눈동자에적용 - 42 -
55. 얼굴의카툰렌더링결과 ( 56) 은인간의감정을표현하는사이버공간상의아바타를사실 적렌더링, 비사실적렌더링( 실루엣기반) 으로보여준다. 실제사용자의 눈동자움직임을트랙킹해서아바타에그대로표현한최종결과영상이 다. 56. 얼굴렌더링과눈동자애니메이션 - 43 -
( 57) 은가상인간의다양한사례를보여준다. 57. 가상인간 - 44 -
3 차원스캐너를이용한모델생성 가상세계를구축하기위해서는다양한객체들이필요하다. 3차원스캐너 란실물로부터컴퓨터에서이용가능한정보( 색, 형태) 를획득하는장치 이다. ( 58) 은실제사람의발을 3차원스캐너를통하여입력하여 3 차원모델을생성한결과이다. 이러한스캐너의종류에는실제물체의표면을접촉하면서형태정보를 획득하는접촉식스캐너와물체의표면에레이져광선을쏘아형태및색 정보를획득하는레이져스캐너가있다. 실제사람의발 3D 스캐너로획득한모델 58. 3D 스캐너로획득한모델 ( 59) 와같은 3차원스캐너를통해모델을자동으로획득하려면먼 저, 3 차원스캐너를고정하여배치한다. 그다음 3D 모델로만들고자하 는물체를적당한거리에배치한다. 포커스를맞춘후스캐닝을시작한 다. 마지막으로획득한무수히많은점( 위치값) 들을적절히처리하여 3D 모델로완성한다. - 45 -
59. MINOLTA TM VIVID 910 3D스캐너 - 46 -