그림 3. 입체 VR 촬영카메라 그림 1. 애니메이션 Henry( 상 ) 와뮤직비디오 Graffiti( 하 ) 2015년 3월부터동영상서비스플랫폼인유튜브 (Youtube) 에서는 VR 영상콘텐츠를제공하기위해구글의브라우저인크롬 (Chrome) 을통해 360도재생을가능하게

Size: px

Start display at page:

Download "그림 3. 입체 VR 촬영카메라 그림 1. 애니메이션 Henry( 상 ) 와뮤직비디오 Graffiti( 하 ) 2015년 3월부터동영상서비스플랫폼인유튜브 (Youtube) 에서는 VR 영상콘텐츠를제공하기위해구글의브라우저인크롬 (Chrome) 을통해 360도재생을가능하게"

아현 양
6 years ago
Views:

1 VR 영상콘텐츠제작을위한컨버전스포인트임의조절구현 Implementation of Random Controlling of Convergence Point in VR Image Content Production 요약 진형우 *, 백광호 *, 김미진 ** (Hyung Woo Jin, Gwang Ho Baek, Mijin Kim) 다양한 HMD(Head Mounted Display) 의등장으로입체영상제작은 VR(Virtual Reality) 기술을접목가능하게되었고체감형, 몰입형영상콘텐츠제작의활성화에기여하고있다. VR 기반영상콘텐츠는애니메이션과게임으로시작하여실사영상에이르기까지엔터테인먼트산업전반으로활용성을넓혀가고있으며동시에 VR 영상콘텐츠제작을위한솔루션개발도탄력을받고있다. 그러나기존의제작솔루션중고정된양안카메라기반촬영은사용자의양안시차가고정된다는한계점을가지고있다. 이것은제작자가연출하고자하는표현을제한할뿐만아니라사용자입장에서의시야조건이고려되지않아입체감과공간감을충분히느끼지못할수있다. 본논문은실사 VR 영상콘텐츠제작에서발생하는컨버전스포인트 (Convergence Point) 조절의한계를입체영상제작의후반작업기술을통하여해결하고자한다. 입체영상후반작업에서컨버전스포인트조절에대한유효성을양안시차의시각화를통하여분석하고게임엔진에적용하여컨버전스포인트가사용자임의로조절가능하도록구현한다. 중심어 : 컨버전스포인트 ; 게임엔진 ; 입체영상 ; 가상현실콘텐츠 ; Abstract As a variety of HMD(Head Mounted Display) has come out, the production of 3D images onto which VR(Virtual Reality) technologies are grafted has been contributed to activating the production of image contents depending on a tangible or immersing type. VR-based image contents have enlarged their applicability across the entertainment industry from animation and game to realistic images. At the same time, the solution development for producing VR image contents has also gained elasticity. However, among those production solutions which have been used until now, fixed stereo camera based photographing has a limit that the binocular disparity of a user is fixed. This does not only restrict a way of expression a producer intends to direct, but also may cause the effect of 3D or space not to be sensed enough as view condition is not considered enough in a user s side. This study is aimed at resolving with skills applying in the latter part of 3D image production the problem that convergence points may be adjusted with restriction, which tends to happen at the time of the production of VR image contents. The later stage of the 3D imaging work analyzes and applies to game engines the significance of adjusting convergence points through the visualization of binocular disparity so that it is available to implement a function that the points could be controlled at random by a user. keywords : Convergence Point ; Game Engine ; Stereoscopic ; VR Contents ; Ⅰ. 서론다양한 HMD(Head Mounted Display) 등장은가상의공간을체험하는체감형 VR콘텐츠의개발을가속화시키고있으며사용자에게새로운형태의콘텐츠경험을제공함으로써관심이높아지고있다 [1]. 2014년개봉한영화 < 인터스텔라 (Interstellar)> 는 HMD를활용한우주선내부의무중력체험행사를진행하여체감형 VR 콘텐츠의가능성을시사하였다. 오큘러스스토리스튜디오는 VR 영화 < 로스트 (Lost)> 를제작, 차기작 < 더버지 (The Verge)>, < 헨리 (Henry)> 등다양한 VR 영상콘텐츠를제작중이다. Jaunt VR는폴매카트니 (Paul McCartney) 의공연을구글 (Google) 카드보드기반의 VR 동영상으로제공하였다. 노아닐 (Noa Neal) 의뮤직비디오 < 그래피티 (Graffiti)> 는 4K 고해상도 VR콘텐츠로제작되어다양한동영상서비스플랫폼에서흥행하고있다. * 학생회원, 동서대학교일반대학원영상콘텐츠학과 ** 비회원, 동서대학교임권택영화영상예술대학디지털콘텐츠학부이논문은정부 ( 교육부 ) 의재원으로지원을받아수행된산학협력선도대학 (LINC) 육성사업의연구결과임. 접수일자 : 2012년 03월 23일 ( 학회측사용란 ) 게재확정일 : 2012년 03월 28일 ( 학회측사용란 ) 수정일자 : 1차 2012 년 03월 23일, 2차 2012 년 04월 23일 ( 학회측사용란 ) 교신저자 : 김미진 mjkim@dongseo.ac.kr

이것은나이키 (Nike), 코카콜라 (Coca-Cola), 폭스바겐 (VolksWagen) 등다양한분야의기업들이 VR 광고에관심을갖게하는계기가되었다 [2]. 카메라가고정적이기때문에카메라간의간격과컨버전스포인트 (Convergence Point) * 가고정적이라는한계가있다.

입체영상후반작업의유효성을분석하고스티칭을적용한 VR 영상을게임엔진에적용하여사용자가컨버전스포인트를임의로조절가능하게구현한다. 더불어사용자의 VR 영상활용방식에적합한유저인터페이스를구현하여편의성을향상시키고자한다. Ⅱ. 본론 1. VR 영상콘텐츠제작환경 가.

현재의 VR 촬영솔루션은양안 ( 좌안, 우안 ) 촬영을지원하는다수의카메라가 360도촬영가능한형태로되어있다. 그림 3과같이다수의카메라를동시에제어해야하기때문에모든카메라는고정되도록설정되어있다.

2 그림 3. 입체 VR 촬영카메라 그림 1. 애니메이션 Henry( 상 ) 와뮤직비디오 Graffiti( 하 ) 2015년 3월부터동영상서비스플랫폼인유튜브 (Youtube) 에서는 VR 영상콘텐츠를제공하기위해구글의브라우저인크롬 (Chrome) 을통해 360도재생을가능하게했다. 이것은나이키 (Nike), 코카콜라 (Coca-Cola), 폭스바겐 (VolksWagen) 등다양한분야의기업들이 VR 광고에관심을갖게하는계기가되었다 [2]. 카메라가고정적이기때문에카메라간의간격과컨버전스포인트 (Convergence Point) * 가고정적이라는한계가있다. 이로인해연출자가표현하고자하는공간연출의한계도발생하게된다 [3]. 더불어 VR 영상콘텐츠사용자들의양안거리가각각다르기때문에입체감과공간감을느끼는정도의차이가발생하여시각적피로도가가중된다 [4]. 본논문은현재까지출시된실사 VR 촬영솔루션에서발생하는컨버전스포인트조절의한계를극복하고자한다. 입체영상후반작업의유효성을분석하고스티칭을적용한 VR 영상을게임엔진에적용하여사용자가컨버전스포인트를임의로조절가능하게구현한다. 더불어사용자의 VR 영상활용방식에적합한유저인터페이스를구현하여편의성을향상시키고자한다. Ⅱ. 본론 1. VR 영상콘텐츠제작환경 가. VR 영상촬영솔루션 그림 2. Coca-Cola 프로모션 VR 콘텐츠이러한추세에발맞추어다수의영상솔루션개발사는입체영상제작솔루션을기반으로다양한 VR 촬영솔루션을제공하고있다. 현재의 VR 촬영솔루션은양안 ( 좌안, 우안 ) 촬영을지원하는다수의카메라가 360도촬영가능한형태로되어있다. 그림 3과같이다수의카메라를동시에제어해야하기때문에모든카메라는고정되도록설정되어있다. 초기 VR콘텐츠는 < 행거인로스트앤젤레스 (Hunger in Los Angeles>, < 더로스트벨리 (The Lost Valley)> 같은애니메이션과 <GTA5> 와같은게임이주를이루었으며, 유니티 (Unity) 나언리얼엔진 (Unreal Engine) 과같은게임엔진상에서 VR콘텐츠를구현하는기술에관심이높았다. 다양한입체영상촬영솔루션업체에서개발경험을바탕으로 VR 영상콘텐츠전용솔루션을만들기시작함에따라실사기반의체감형콘텐츠, VR광고, 공연실황과같은실사영상콘텐츠에대한관심이높아지고있다. 현재, Gopro의 360Heros, Lytro의 Immerge 그리고 Nokia의 OZO 등이출시및개발되었으며, 해외대형콘텐츠제작사들은영화용카메라를활용한 * 컨버전스포인트 (Convergence Point) : 사람이양안을통하여사 물을볼때시점이교차하는지점

자체적인인하우스 (In-House) 솔루션을개발, 보유하고있다. 그림 4. 360 Heros( 좌 ), Immerge( 중앙 ), OZO( 우 ) 현재의 VR 촬영솔루션은양안에맺히는각기다른상 (Image) 을통하여입체감과공간감을부여하는입체영상기술의연장이라할수있다.

그결과입체감과공간감표현의한계를발생시키게되며, 사용자가수용할콘텐츠의질에큰영향을미치는요소로작용한다. 그림 6. HMD의구조또한자이로스코프센서 (Gyroscope Sensor) 를내장함으로서사용자의머리움직임에대응하는헤드트래킹 (Head Tracking) 기술이적용되어있다.

HMD 개발현황 개발사 제품 비고 오큘러스 VR 오큘러스리프트 내장디스플레이 소니 HMZ-T3 내장디스플레이 삼성 GearVR 갤럭시노트 4 전용 구글 카드보드 듀로비스 듀로비스다이브 스마트폰전용 소댁마경 소댁마경 카몬 Paper360 Kit 콘텐츠포함 Homido 호미도다이브

그림 6과같이사용자가머리에착용후내장되어있는좌안과우안의디스플레이를확대경을통하여영상을볼수있으며, 좌안과우안의디스플레이에각기다른상을맺히게함으로서공간감을부여한다. HMD 개발현황에서살펴보면오큘러스 VR의오큘러스리프트와소니의 HMZ-T3를제외한나머지 HMD는별도의디스플레이장치를탑재하고있지않다.

3 자체적인인하우스 (In-House) 솔루션을개발, 보유하고있다. 그림 Heros( 좌 ), Immerge( 중앙 ), OZO( 우 ) 현재의 VR 촬영솔루션은양안에맺히는각기다른상 (Image) 을통하여입체감과공간감을부여하는입체영상기술의연장이라할수있다. 과거실사입체영상촬영에서의큰이슈중하나는촬영솔루션이갖는양안의거리와카메라간의수렴각에의하여발생하는양안시차와컨버전스포인트의조절이었다. 반면 VR 촬영솔루션은사용되는리그 (Rig) 의구조상카메라간의거리와수렴각을조절할수없는구조를갖고있다. 그결과입체감과공간감표현의한계를발생시키게되며, 사용자가수용할콘텐츠의질에큰영향을미치는요소로작용한다. 그림 6. HMD의구조또한자이로스코프센서 (Gyroscope Sensor) 를내장함으로서사용자의머리움직임에대응하는헤드트래킹 (Head Tracking) 기술이적용되어있다. 이를통하여관객은체감형, 몰입형콘텐츠를경험할수있다. HMD는오큘러스리프트 (Oculus Rift) 의상용화를시작으로현재디스플레이관련회사들과콘텐츠제조사에서표 1과같이다양한개인용 HMD를개발, 출시하고있다 [6]. 표 1. HMD 개발현황 개발사 제품 비고 오큘러스 VR 오큘러스리프트 내장디스플레이 소니 HMZ-T3 내장디스플레이 삼성 GearVR 갤럭시노트 4 전용 구글 카드보드 듀로비스 듀로비스다이브 스마트폰전용 소댁마경 소댁마경 카몬 Paper360 Kit 콘텐츠포함 Homido 호미도다이브 호미도센터 (app) 보유 그림 5. 양안시차와컨버전스포인트나. HMD(Head-Mounted Display) HMD는다수의관객이콘텐츠를수용하는스크린이나브라운관과달리개인이콘텐츠를수용하는개인용디스플레이형태를갖는새로운디스플레이형식이다 [5]. 그림 6과같이사용자가머리에착용후내장되어있는좌안과우안의디스플레이를확대경을통하여영상을볼수있으며, 좌안과우안의디스플레이에각기다른상을맺히게함으로서공간감을부여한다. HMD 개발현황에서살펴보면오큘러스 VR의오큘러스리프트와소니의 HMZ-T3를제외한나머지 HMD는별도의디스플레이장치를탑재하고있지않다. 별도의디스플레이장치를탑재하지않은 HMD는개인용스마트기기 (Smart Device) 와결합할수있는저가형 HMD 프레임 (Frame) 을공급함으로써개인용 HMD에대한접근성을높이고있다. 저가형 HMD는개인용스마트기기자체의자이로스코프센서를활용하여헤드트래킹기능을구현하였으며고가의 HMD 성능과큰차이를보이지않는다는것이일반적인견해이다. 2. 양안시차의시각화 일반적으로양안시차는좌안과우안의양안에의해서발생한 다. 사람의양안의원리와동일한구조로촬영할경우양안영상 의시차를이용하여공간정보의데이터화가가능하다. 이것은

영상의합성에서주로사용되는깊이지도 (Depth map) 와변위지도 (Disparity map) 로시각화가능하다. 깊이지도는공간상의거리를검은색과흰색의 256단계로표현가능하다. 하지만입체영상에서보여지는컨버전스포인트, 네거티브영역, 포지티브영역의표현이불가능하며단순한깊이감의시각화라는한계를갖는다.

을기준으로음의값은네거티브영역, 양의값은포지티브영역으로표현된다. 음의영역에발생하는레드존 (Red Zone) 과음의영역에발생하는그린존 (Green Zone) 은과도한입체값으로시각피로가발생할가능성이높은영역으로볼수있다. 시각적피로가발생할수있는과도한입체감과공간감은그래프를바탕으로양안시차의조절을필요하다고보여진다.

Red 채널은좌안의 X축값, Green 채널은좌안의 Y축값을나타내며 Blue 채널은우안의 X축값, Alpha 채널은우안의 Y축값으로표현된다. 이를통해좌안과우안의양안시차의정도와변화를시각적으로인지할수있게된다. 도출된변위지도의 Red 채널값과 Blue 채널값이 0에가까울수록양안시차는컨버전스포인트에가깝다고볼수있다.

Gopro를사용하는 360Hero의 3DH3PRO12모델을사용하여직접시범영상을촬영해보았다. 3DH3PRO12는총 6방향의 12 개의카메라를통하여구 (Spherical) 형태의 360도촬영솔루션이다. 현재개발되어있는 VR 촬영솔루션은좌안과우안카메라의카메라간거리와카메라간수렴되는컨버전스포인트의조절이불가능함을확인하였다.

4 영상의합성에서주로사용되는깊이지도 (Depth map) 와변위지도 (Disparity map) 로시각화가능하다. 깊이지도는공간상의거리를검은색과흰색의 256단계로표현가능하다. 하지만입체영상에서보여지는컨버전스포인트, 네거티브영역, 포지티브영역의표현이불가능하며단순한깊이감의시각화라는한계를갖는다. 변위지도의경우 256단계이상의공간표현이가능하기때문에보다세부적인공간정보를갖는다. 모니터상구현가능한정보값이상으로공간값을표현하기때문에깊이지도에비하여직관적이지못하다는단점을갖는다. 그림 7-8은 VR 영상콘텐츠의양안시차값을도출하기위해 The Foundry사의입체영상전문플러그인 (Plug-in) 인 Ocula 를활용하여도출된변위지도와그래프이다. 을기준으로음의값은네거티브영역, 양의값은포지티브영역으로표현된다. 음의영역에발생하는레드존 (Red Zone) 과음의영역에발생하는그린존 (Green Zone) 은과도한입체값으로시각피로가발생할가능성이높은영역으로볼수있다. 시각적피로가발생할수있는과도한입체감과공간감은그래프를바탕으로양안시차의조절을필요하다고보여진다. 변위지도그래프는양안시차에따른각영역의수치만표현하기때문에실제이미지상의특정사물의위치판별이불가능하다. 따라서변위지도와변위지도그래프를상황에맞추어사용하여야한다. 3. VR 영상촬영 가. 문제점 그림 7. 변위지도 ( 좌 ) 와원본이미지 ( 우 ) 변위지도에서의양안시차값은 R,G,B,A의채널 (Channel) 을사용하여표현한다. Red 채널은좌안의 X축값, Green 채널은좌안의 Y축값을나타내며 Blue 채널은우안의 X축값, Alpha 채널은우안의 Y축값으로표현된다. 이를통해좌안과우안의양안시차의정도와변화를시각적으로인지할수있게된다. 도출된변위지도의 Red 채널값과 Blue 채널값이 0에가까울수록양안시차는컨버전스포인트에가깝다고볼수있다. 또한 Red 채널의값이클수록 0점인스크린과관객사이의네거티브영역을의미하며 Blue 채널의값이클수록스크린안쪽영역인포지티브영역의값을나타낸다. Green 채널의값이크거나, Alpha채널의값이클수록이미지의 Y시차의발생을의미하기때문에수직오차의발생을나타내게된다 [7]. Gopro를사용하는 360Hero의 3DH3PRO12모델을사용하여직접시범영상을촬영해보았다. 3DH3PRO12는총 6방향의 12 개의카메라를통하여구 (Spherical) 형태의 360도촬영솔루션이다. 현재개발되어있는 VR 촬영솔루션은좌안과우안카메라의카메라간거리와카메라간수렴되는컨버전스포인트의조절이불가능함을확인하였다. 그림 9와같이촬영된데이터를살펴보면좌측하단에네거티브영역이발생하는것을볼수있다. 그림 9. VR 촬영소스 ( 상 ) 변위지도와변위지도그래프 ( 하 ) 그림 8. 돌출범위표시 ( 좌 ) 와변위지도그래프 ( 우 ) 이러한변위지도의정보값은 Ocula 의 Disparity Viewer 를 통하여수치화및그래프로표현가능하다. 표현된그래프는 0 다수의관객을수용하는극장스크린의경우관객과스크린사이에네거티브영역이존재한다. 이것을해결하기위해연출자와제작자는카메라간의거리와수렴각을조절하여네거티브영역을활용하여돌출효과를구현한다. 하지만 HMD의경우는콘텐츠를수용하는사용자와디스플레이가밀착되어있기때문에네거티브영역이존재하지않는다. 따라서네거티브영역으로

오브젝트가 돌출될 경우 사용자가 느끼는 시각적 피로도가 증 가하게 된다. 이를 방지하기 위해서 HMD 내부의 디스플레이 표 2.

1도 그림 10과 같이 시점이 교차하는 지점인 컨버전스 포인트를 기준으로 네거티브 영역(Negative space)와 포지티브 (Positive space)가 발생한다[8]. 카메라 거리 변화 카메라간 거리 7.5cm / 수렴각 0.1도 카메라간 거리 8.5cm / 수렴각 0.1도 카메라간 거리 6.

5cm / 수렴각 0.4도 컨버전스 뒤쪽 공간으로 스크린 안쪽의 공간을 의미한다. 스크 린 안쪽으로의 공간감을 표현하는 영역이다. 결국 네거티브 영역과 포지티브 영역은 컨버전스 포인트를 기점으로 발생하는 영역이기 때문에 컨버전스 포인트의 변화에 카메라간 거리 6.5cm / 수렴각 0.6도 따라서 그 영역의 크기와 위치가 변화한다.

컨버전스 포인트 임의조절을 통한 VR 영상콘 텐츠 제작 카메라간의 거리를 변화한 경우 공간의 폭과 크기의 변화 없 이 공간 전체가 Z축 방향으로 이동하는 것을 확인 할 수 있다.

5 오브젝트가 돌출될 경우 사용자가 느끼는 시각적 피로도가 증 가하게 된다. 이를 방지하기 위해서 HMD 내부의 디스플레이 표 2. 카메라 거리와 수렴각에 따른 이미지(좌)와 입체값 변화(우) 위치에 컨버전스 포인트를 설정하여 VR 영상콘텐츠를 수용하 이미지 입체값 변화 는 사용자의 편의성을 높일 필요가 있다. 나. 컨버전스 포인트 조절 카메라간 거리 6.5cm / 수렴각 0.1도 그림 10과 같이 시점이 교차하는 지점인 컨버전스 포인트를 기준으로 네거티브 영역(Negative space)와 포지티브 (Positive space)가 발생한다[8]. 카메라 거리 변화 카메라간 거리 7.5cm / 수렴각 0.1도 카메라간 거리 8.5cm / 수렴각 0.1도 카메라간 거리 6.5cm / 수렴각 0.3도 그림 10. 양안시차에 의한 발생영역 네거티브 영역은 카메라와 컨버전스 포인트 사이의 공간으로 서 콘텐츠 상영시 관객과 스크린 사이의 공간이기도 하다. 이 카메라 수렴각 변화 공간으로 사물이 돌출되는 효과를 줄 수 있다. 포지티브 영역은 카메라간 거리 6.5cm / 수렴각 0.4도 컨버전스 뒤쪽 공간으로 스크린 안쪽의 공간을 의미한다. 스크 린 안쪽으로의 공간감을 표현하는 영역이다. 결국 네거티브 영역과 포지티브 영역은 컨버전스 포인트를 기점으로 발생하는 영역이기 때문에 컨버전스 포인트의 변화에 카메라간 거리 6.5cm / 수렴각 0.6도 따라서 그 영역의 크기와 위치가 변화한다. 컨버전스 포인트의 조절은 크게 카메라간의 거리의 조절하는 방법과 카메라간 수 렴되는 각도를 조절하는 방법 두 가지로 나뉜다. 표 2와 같이 두 가지 방법의 차이를 확인할 수 있다. 4. 컨버전스 포인트 임의조절을 통한 VR 영상콘 텐츠 제작 카메라간의 거리를 변화한 경우 공간의 폭과 크기의 변화 없 이 공간 전체가 Z축 방향으로 이동하는 것을 확인 할 수 있다. 카메라 수렴각의 변화를 살펴본 결과 공간의 폭의 변화와 함께 Z축 방향으로 이동이 발생하는 것을 볼 수 있다 따라서 촬영환경이 아닌 후반작업을 통한 컨버전스 포인트 조절의 가능성을 살펴볼 필요가 있다. 이미 촬영된 데이터를 다 루는 후반작업에서는 카메라간 수렴되는 각을 조절하는 것은 현재까지 불가능하기 때문에 카메라간 거리 조절을 후반작업에 서 구현하도록 한다. 가. 후반작업에서 컨버전스 포인트 조절 후반작업에서는 L과 R영상이 갖는 위치값의 x축 이동을 통 하여 컨버전스 포인트를 임의조절 하는 방법을 널리 사용하였 다[9]. 하지만 현업에서 사용하는 방법일 뿐 후반작업에서의 컨 버전스 포인트의 유효성에 대한 연구 자료는 충분하지 않다. 따라서 실제 촬영환경과 후반작업에서의 결과를 변위지도 그

래프로 도출하도록 한다. 도출된 변위지도 그래프를 비교하여 루션의 형태에 맞추어 출력한다[11]. 본 논문에서 사용한 후반작업에서의 컨버전스 포인트 조절의 유효성을 확인하고자 3DH3PRO12모델은 구 형태의 촬영 결과물을 갖는다. 한다. 표 3과 같이 실제 촬영환경과 후반작업을 비교해본 결과, 실사 촬영한 데이터는 360도의 구 형태에 맞추어져 있으므로 실제 촬영환경과 후반작업에서의 컨버전스 포인트 조절에 따른 촬영환경과 동일하게 게임엔진 상에서 구현한다.

영단계와 스티칭 출력물과 동일하게 게임엔진상의 가상공간은 구 모델로 생성하였다. 가상의 2개의 카메라는 카메라를 중심으 표 3. 후반작업과 실제 촬영 환경의 컨버전스 포인트 변 화 비교 후반작업 촬영 환경 0pixel 6.5cm 10pixel 7.5cm 20pixel 10.5cm 나.

6 래프로 도출하도록 한다. 도출된 변위지도 그래프를 비교하여 루션의 형태에 맞추어 출력한다[11]. 본 논문에서 사용한 후반작업에서의 컨버전스 포인트 조절의 유효성을 확인하고자 3DH3PRO12모델은 구 형태의 촬영 결과물을 갖는다. 한다. 표 3과 같이 실제 촬영환경과 후반작업을 비교해본 결과, 실사 촬영한 데이터는 360도의 구 형태에 맞추어져 있으므로 실제 촬영환경과 후반작업에서의 컨버전스 포인트 조절에 따른 촬영환경과 동일하게 게임엔진 상에서 구현한다. 그림 11과 같 공간변화에서 유사성을 찾아 볼 수 있었다. 이것은 VR 영상콘 이 게임엔진에서 가상의 공간을 생성한다. 생성하는 환경은 촬 텐츠 제작시 후반작업에서 임의적으로 컨버전스 포인트를 조절 영환경, 스티칭 출력물에 따라 형태가 결정 될 수 있다. 앞선 촬 하는 것의 가능성을 시사해 준다. 영단계와 스티칭 출력물과 동일하게 게임엔진상의 가상공간은 구 모델로 생성하였다. 가상의 2개의 카메라는 카메라를 중심으 표 3. 후반작업과 실제 촬영 환경의 컨버전스 포인트 변 화 비교 후반작업 촬영 환경 0pixel 6.5cm 10pixel 7.5cm 20pixel 10.5cm 나. 게임엔진을 활용한 컨버전스 포인트 임의 조절 구현 로 360도 촬영되는 실제 환경과 같이 구 모델의 정중앙에 배치 한다. 각각의 구에 영상이 재생될 수 있도록 미디어 텍스쳐 (Media Texture) 형태로 적용한다. 그림 11. 촬영된 VR영상(상)과 게임엔진 내 공간생성 텍스쳐 적용 이후 L카메라와 R카메라를 따로 진행하여 준다. L공간은 고정한 채 R공간을 마이너스(minus) 값으로 상향 벡 터를 기준(Yaw)으로 회전시켜 준다. Yaw의 회전에 대해서는 게임엔진은 게임 개발을 돕기 위해 제작된 어플리케이션으로 디폴트(Default)값인 0에서 1도까지 수치를 제한하도록 하였 실시간(Real-Time) 렌더링을 기반으로 한다. 제작과정에서 발 다. 이는 플러스(Plus) 값으로 넘어갔을 경우 발생하는 시각피 생되는 변화를 실시간으로 확인 가능하다는 장점을 가진다[10]. 로와 지나친 마이너스 값에 의해 발생되는 고스트(Ghost) 현상 HMD 개발사에서는 게임 개발을 위한 게임엔진 전용 SDK를 을 방지하기 위함이다[12]. 표 4를 통해 Yaw의 회전에 따른 결 배포 중이며 쉽게 VR 콘텐츠 개발할 수 있도록 돕고 있다. 후 과를 확인할 수 있었다. 이 후 엔진에서 L과 R의 카메라를 한 반작업에서의 컨버전스 포인트 조절과 더불어 사용자관점에서 개의 화면에서 분할(Split)하여 HMD 장비 상에서 재생한다. 의 시야조건을 고려하기 위해 게임엔진을 활용하여 사용자가 임의로 컨버전스 포인트 조절할 수 있는 기능을 구현하였다. 실사 촬영된 데이터를 스티칭 프로그램 KOLOR사의 AUTOPANO VIDED PRO를 이용하여 VR 영상으로 출력하 였다. 스티칭 프로그램에서는 원통(Cylinder)형, 구(Sphere)형, 평면(Plane)형 등의 형태로 출력가능하며 촬영 당시의 촬영 솔

표 4. 회전 값에 따른 컨버전스 포인트 변화 회전값 이미지 입체값 변화 0 0.1 0.5 그림 12. 게임엔진에서 UI 제작과 표현 다. 사용자 편의를 위한 UI 구현 Ⅲ. 결 론 컨버전스 포인트 임의 조절 구현에서는 게임엔진을 사용하여 0에서 1도 사이의 값을 지정하여 움직일 수 있도록 하였다.

그러나 실시간으로 컨버전스 포인트를 조절하기 위해서는 계가 발생하고 이것은 VR 영상콘텐츠의 공간감 표현, 사용자의 게임엔진을 설치하지 않으면 구동이 불가능하다. 사용자 편의를 몰입감을 방해하는 요소로 지적된다.

오 고 이를 게임엔진에 적용하여 사용자가 임의로 컨버전스 포인트 큘러스나 소니와 같은 내장 디스플레이를 가진 HMD를 컴퓨터 를 조절할 수 있도록 구현하였다. 에 연결하여 직접적으로 볼 수 있다. 2)내장디스플레이를 가지 우선적으로 시범영상 촬영을 통하여 도출된 영상을 분석한 결 지 않은 HMD의 경우이다.

이후 촬영이미 그림12와 같이 게임엔진에서 기초적인 셋팅 후, 이미지를 교 지와 후반작업에서 컨버전스 포인트를 재설정한 이미지를 변위 체하는 방식으로 UI를 구현 하였으며 PC에서 실행파일로 구동 지도 그래프로 비교하여 후반작업 공정의 유효성을 확인하였다.

7 표 4. 회전 값에 따른 컨버전스 포인트 변화 회전값 이미지 입체값 변화 그림 12. 게임엔진에서 UI 제작과 표현 다. 사용자 편의를 위한 UI 구현 Ⅲ. 결 론 컨버전스 포인트 임의 조절 구현에서는 게임엔진을 사용하여 0에서 1도 사이의 값을 지정하여 움직일 수 있도록 하였다. 현재까지 출시되고 있는 VR 촬영 솔루션은 양안카메라가 고 사용자가 컨버전스 포인트를 실시간으로 제어하기 위해서는 프 정되어 있는 형태로 카메라간의 거리와 수렴되는 각을 조절하지 로그램, 혹은 영상 내에서 조작할 수 있도록 UI를 구현하여야 못하는 한계를 갖고 있다. 이로 인해 컨버전스 포인트 조절의 한 한다. 그러나 실시간으로 컨버전스 포인트를 조절하기 위해서는 계가 발생하고 이것은 VR 영상콘텐츠의 공간감 표현, 사용자의 게임엔진을 설치하지 않으면 구동이 불가능하다. 사용자 편의를 몰입감을 방해하는 요소로 지적된다. 위해 영상 파일이 아닌 실행파일을 마지막 결과물로 제작할 수 본 논문은 이러한 VR 촬영 솔루션의 한계를 극복하기 위해 입 있도록 하였다. 여기서 사용자의 VR영상 활용방법은 두 가지로 체영상 후반작업에서 컨버전스 포인트 조절의 유효성을 확인하 구분된다. 1)사용자가 컴퓨터에서 직접 재생하는 방식이다. 오 고 이를 게임엔진에 적용하여 사용자가 임의로 컨버전스 포인트 큘러스나 소니와 같은 내장 디스플레이를 가진 HMD를 컴퓨터 를 조절할 수 있도록 구현하였다. 에 연결하여 직접적으로 볼 수 있다. 2)내장디스플레이를 가지 우선적으로 시범영상 촬영을 통하여 도출된 영상을 분석한 결 지 않은 HMD의 경우이다. 스마트 기기에 어플리케이션의 형 과, 사용자의 시각적 피로도를 증가시킬 수 있는 네거티브 영역 태로 설치하여 재생하는 방식으로 나누어지게 된다. 두 가지 활 이 발생하였다. 이를 해결하기 위해 후반작업에서 이미지 X축 용방법 모두를 고려하여 마지막 결과물을 예측 후 진행하였다. 이동을 통하여 컨버전스 포인트를 재설정하였다. 이후 촬영이미 그림12와 같이 게임엔진에서 기초적인 셋팅 후, 이미지를 교 지와 후반작업에서 컨버전스 포인트를 재설정한 이미지를 변위 체하는 방식으로 UI를 구현 하였으며 PC에서 실행파일로 구동 지도 그래프로 비교하여 후반작업 공정의 유효성을 확인하였다. 되거나 스마트 기기에서 어플리케이션을 실행하는 방식에 공통 스티칭 작업이 적용된 VR 영상을 게임엔진 상에서 구형태의 적으로 적용되도록 구현하였다. 가상공간에 맵핑하여 Yaw 회전값 수정을 통해 사용자가 임의로 일반적으로 UI이미지는 본 영상의 시야를 가리게 된다. 실사 컨버전스 포인트 조절을 가능하게 하였다. 또한 사용자의 VR영 촬영된 영상의 공간 값과 매칭할 때 시각피로가 발생할 가능성 상 활용방식에 적합하게 UI 형태로 구현하여 편의성을 향상시켰 이 생긴다. 이 부분을 보완하고자 컨버전스 포인트를 조절하는 다. 동안 영상을 정지한 후 UI이미지가 처리되도록 하였다. 이러한 결과는 VR 영상콘텐츠의 공간감 표현과 사용자의 몰 입감을 향상시켜 현재 VR 촬영 솔루션의 한계점을 극복할 수 있 는 대안으로 활용될 수 있을 것이다.

2012 년 0 월스마트미디어저널 ( 수정할필요없음 ) 8 참고문헌 [1] 박경세, 입체영상특성및응용, 한국방송영상산업진흥원, 통권, 제 58 호, 1-12 쪽, 2008 년 12 월 [2] R. Neuman, Bolt 3D: a case study," Proc. SPIE 7237, pp. 72370F-72370F, 2009.

Shibata, Head mounted display, Displays, vol. 23, no. 1, pp. 57-64, 2002. [6] M. Bolas, et al, Open virtual Reality, Virtual Reality (VR), pp. 183-184, Lake Buena Vista FL, USA, 2013.

8 2012 년 0 월스마트미디어저널 ( 수정할필요없음 ) 8 참고문헌 [1] 박경세, 입체영상특성및응용, 한국방송영상산업진흥원, 통권, 제 58 호, 1-12 쪽, 2008 년 12 월 [2] R. Neuman, Bolt 3D: a case study," Proc. SPIE 7237, pp F-72370F, [3] 성창경, 정진헌, 입체영상에서입체감극대화를위한연출구도및시각적효과연구, 조형미디어학, 제 13 권제 2 호, 쪽, 2010 년 [4] 이형철, 박종진, 김신우, 시각피로모형 : 카메라의회전오차, 촬영거리, 수렴조건이입체시각피로에미치는영향, 한국방송공학회지, 제 18 권, 제 4 호, 쪽, 2013 년 [5] T. Shibata, Head mounted display, Displays, vol. 23, no. 1, pp , [6] M. Bolas, et al, Open virtual Reality, Virtual Reality (VR), pp , Lake Buena Vista FL, USA, [7] 백광호, 김민서, 한명희, 깊이정보를활용한입체편집프로세스연구, 한국디지털콘텐츠학회논문지, 제 13 권, 제 2 호, 쪽, 2012 년 6 월 [8] 장형욱, 김동현, 손광훈, 영상에최적화된깊이조절을통한편안한입체영상의표현, 한국방송공학회학술발표대회논문집, 서울과학기술대학교, 대한민국, 쪽, 2006 년 [9] W. L. Aylsworth, H. J. Postley, B. B. Sandrew, B. E. Dobrin, and W. Husak, Stereographic digital cinema: production and exhibition techniques in 2012," Proc. of the Institute of Electrical and Electronics Engineers (IEEE). vol. 101, no. 1, pp , [10] 노승석, 박진완, 실시간 3D 게임엔진을이용한영상콘텐츠제작에관한연구, 디자인학연구, 통권, 제 73 호, 쪽, 2007 년 11 월 [11] K. Kwiatek, R. Tokarczyk, Photogrammetric Applications of Immersive Video Cameras, ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 1, pp , [12] 김정현, 시각피로를고려한 3D 그래픽기반의입체카메라조절연구, 한국컴퓨터게임학회논문지, 제 24 권, 제 4 호, 쪽, 2011 년 저자소개 진형우 ( 학생회원 ) 2012 년동서대학교디지털프로덕션전공공학학사졸업 년동서대학교일반대학원영상콘텐츠학과석사과정. < 주관심분야 : VR 콘텐츠, 게임배경모델링, 시각화, 머시니마, 게임엔진설계 > 백광호 ( 비회원 ) 2007 년동서대학교멀티미디어공학과공학학사졸업 년동서대학교일반대학원영상콘텐츠학과공학석사졸업 년동서대학교일반대학원영상콘텐츠학과공학박사수료. < 주관심분야 : 필름 & 비디오합성기술, 시각효과, 입체영상콘텐츠, VR 영상콘텐츠 > 김미진 ( 비회원 ) 1999 년 년 민커뮤니케이션게임개발사업부팀장 년부산대학교대학원영상정보공학과공학박사졸업 년 - 현재동서대학교디지털콘텐츠학부게임전공교수. < 주관심분야 : 게임시스템설계, 게임사용자연구, 사용자경험디자인, 인지과학 >

14.이동천교수님수정

14.이동천교수님수정 28 6 2010 12 pp 547~554 3D Stereo Display of Spatial Data from Various Sensors 1) 2) 3) 4) Abstract Visualization requires for effective analysis of the spatial data collected by various sensors. The best