김철현: 실사 기반 VR 360 콘텐츠 촬영 장치 비교 연구 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 715 그림

Similar documents
09권오설_ok.hwp

< C0CCB6FBB1B85F333630A2AA2E687770>

Print

08원재호( )

08김현휘_ok.hwp

(JBE Vol. 21, No. 1, January 2016) (Regular Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

<5B D B3E220C1A634B1C720C1A632C8A320B3EDB9AEC1F628C3D6C1BE292E687770>

À±½Â¿í Ãâ·Â

1 : 360 VR (Da-yoon Nam et al.: Color and Illumination Compensation Algorithm for 360 VR Panorama Image) (Special Paper) 24 1, (JBE Vol. 24, No

19_9_767.hwp

untitled

06박영수.hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

3 : 3D (Seunggi Kim et. al.: 3D Depth Estimation by a Single Camera) (Regular Paper) 24 2, (JBE Vol. 24, No. 2, March 2019)

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 6, Jun Rate). STAP(Space-Time Adaptive Processing)., -

(JBE Vol. 23, No. 1, January 2018). (VR),. IT (Facebook) (Oculus) VR Gear IT [1].,.,,,,..,,.. ( ) 3,,..,,. [2].,,,.,,. HMD,. HMD,,. TV.....,,,,, 3 3,,

<31362DB1E8C7FDBFF82DC0FABFB9BBEA20B5B6B8B3BFB5C8ADC0C720B1B8C0FC20B8B6C4C9C6C32E687770>

38이성식,안상락.hwp

¹æ¼Û±â¼ú-pdf-Äõ¼öÁ¤

KBS-¹æ¼Û±â¼ú¿¬±¸-1Àå-º°

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp DOI: Awareness, Supports

디지털포렌식학회 논문양식

<B8F1C2F72E687770>

3. 클라우드 컴퓨팅 상호 운용성 기반의 서비스 평가 방법론 개발.hwp

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA

07_Àü¼ºÅÂ_0922

(JBE Vol. 24, No. 1, January 2019) (Regular Paper) 24 1, (JBE Vol. 24, No. 1, January 2019) ISSN 2287

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 27(12),

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: A Study on Organizi

02본문

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: : Researc

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2

30이지은.hwp

감각형 증강현실을 이용한

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

2016_Company Brief

i-movix 특징 l 안정성 l 뛰어난화질 l 차별화된편의성

07변성우_ok.hwp

#Ȳ¿ë¼®

Journal of Educational Innovation Research 2019, Vol. 29, No. 1, pp DOI: (LiD) - - * Way to

공연영상

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 28(3),

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: NCS : * A Study on

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 30(9),

#유한표지F

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

DBPIA-NURIMEDIA

04-다시_고속철도61~80p

(JBE Vol. 23, No. 5, September 2018) (Regular Paper) 23 5, (JBE Vol. 23, No. 5, September 2018) ISSN

<B1B3B9DFBFF83330B1C7C1A631C8A35FC6EDC1FDBABB5FC7D5BABB362E687770>

DBPIA-NURIMEDIA

전용]

V28.

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun.; 27(6),

10박구만_ok.hwp

02손예진_ok.hwp

<BFA9BAD02DB0A1BBF3B1A4B0ED28C0CCBCF6B9FC2920B3BBC1F62E706466>

1. KT 올레스퀘어 미디어파사드 콘텐츠 개발.hwp

02이재원_ok.hwp

09박종진_ok.hwp

(JBE Vol. 23, No. 6, November 2018) (Special Paper) 23 6, (JBE Vol. 23, No. 6, November 2018) ISSN 2

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 29(2), IS

서론 34 2

27송현진,최보아,이재익.hwp

인문사회과학기술융합학회

Journal of Educational Innovation Research 2017, Vol. 27, No. 4, pp DOI: A Study on the Opti

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

Disclaimer IPO Presentation,. Presentation...,,,,, E.,,., Presentation,., Representative...

<35335FBCDBC7D1C1A42DB8E2B8AEBDBAC5CDC0C720C0FCB1E2C0FB20C6AFBCBA20BAD0BCAE2E687770>

AT_GraduateProgram.key

02양은용

사람이 경쟁력이다 디지털 인재양성 대학변화 실무중심 양성 아직 걸음마 디지털시대 정보화시대를 맞아 서울을 비롯해 대전, 부산, 광주 등 전국의 대학들이 디지털 인재를 양성하기 위한 변화를 시도하고 있다. 특히 대학 정원에 비해 학생수가 줄어들면서 생존경쟁에서 살아남기

04김호걸(39~50)ok

국내 디지털콘텐츠산업의 Global화 전략

정보기술응용학회 발표

14.이동천교수님수정

DBPIA-NURIMEDIA

(JBE Vol. 21, No. 4, July 2016) (Regular Paper) 21 4, (JBE Vol. 21, No. 4, July 2016) ISSN

,.,..,....,, Abstract The importance of integrated design which tries to i

歯1.PDF

06_ÀÌÀçÈÆ¿Ü0926

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: 3 * The Effect of H

DBPIA-NURIMEDIA

???? 1

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 26(12),

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

<C5EBB1C73432C8A32835BFF9C8A329B9AEC8ADBFCD20B1E2BCFAC0C720B8B8B3B25FC3D6C1BE2E687770>

10(3)-09.fm

<30362E20C6EDC1FD2DB0EDBFB5B4EBB4D420BCF6C1A42E687770>

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 25(3),

03-16-김용일.indd

6 영상기술연구 실감하지 못했을지도 모른다. 하지만 그 이외의 지역에서 3D 영화를 관람하기란 그리 쉬운 일이 아니다. 영화 <아바타> 이후, 티켓 파워에 민감한 국내 대형 극장 체인들이 2D 상영관을 3D 상영관으로 점차적으로 교체하는 추세이긴 하지만, 아직까지는 관

(JBE Vol. 22, No. 2, March 2017) (Regular Paper) 22 2, (JBE Vol. 22, No. 2, March 2017) ISSN

Transcription:

714 방송공학회논문지제 21 권제 5 호, 2016 년 9 월 (JBE Vol. 21, No. 5, September 2016) 특집논문 (Special Paper) 방송공학회논문지제 21 권제 5 호, 2016 년 9 월 (JBE Vol. 21, No. 5, September 2016) http://dx.doi.org/10.5909/jbe.2016.21.5.714 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 실사기반 VR 360 콘텐츠촬영장치비교연구 김철현 a) A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World Chulhyun Kim a) 요 약 최근 VR 콘텐츠의등장과함께다양한촬영장치를이용한실사기반 VR 360 영상제작이주목을받고있다. 기존 VR 콘텐츠제작은많은작업이필요해연구소수준에서만가능했으나최근카메라의소형화로 VR 실사촬영이콘텐츠제작자들에게보편화되고있다. 본논문은이런상황에서현재 VR 콘텐츠제작에주로사용되는액션캠중심으로다양한콘텐츠제작장비를비교연구하고문제점을제시하고있다. 문제점해결을위해시네마급카메라를사용해 VR 촬영을시도했으며결과양질의 VR 콘텐츠제작을위해서는액션캠보다시네마급카메라사용과표준렌즈기반콘텐츠가만들어질수있도록기술적연구가필요함을알수있다. Abstract With the recent emergence of VR contents, a lot of attention has been drawn on actual image based VR 360 video production using photography system. It was very complicated and difficult to make conventional VR contents. Therefore, such making was performed only in a research level. These days, as cameras have been made smaller, VR live-action has become more common in contents makers. In the circumstance, this study tries to compare a variety of contents making equipment based on action-cam that is mainly used for producing VR contents, and suggest their problems. To solve the problems, this study uses a cinema grade camera to do VR filming. As a result, it is revealed that, in order to make VR contents with quality, it is necessary to use a cinema grade camera, rather than an action cam, and to conduct technical research for standard lens based contents. Keyword : VR, 360 degree, normal lens VR, 360 shooting, real world VR a) 나사렛대학교방송미디어학과 (Dept. of Broadcast&Media, Korea Nazarene University) Corresponding Author : 김철현 (Chulhyun Kim) E-mail: acts@kornu.ac.kr Tel: +82-41-570-1857 ORCID: http://orcid.org/0000-0001-9421-8622 본연구는 2016 년도나사렛대학교교내연구비지원으로이루어졌음. Manuscript received July, 18 2016; Revised September 8, 2016; Accepted September 8, 2016. Ⅰ. 서론최근 VR(virtual reality) 기반영상콘텐츠가본격화되면서, 제작을위한다양한 VR 카메라장치가상품화되고있다. 현재 VR 실사영상콘텐츠제작에사용하는대부분의카메라는 35mm 표준필름기준으로초점거리 18mm 이

김철현: 실사 기반 VR 360 콘텐츠 촬영 장치 비교 연구 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 715 그림 1. 고프로 기반 VR영상 촬영 장치 Fig. 1. VR image capture system based on Gopro 하의 초광각렌즈 혹은 어안렌즈를 사용한다. 360 영상 촬 어지고 있다. 영을 위해 최소 5~8대 이상의 카메라를 독립적으로 사용한 본 논문에서는 먼저 현재 VR 콘텐츠 제작 과정에서 사용 다. 촬영 및 조작은 리모콘 시스템이나 수동 조작으로 이루 하는 여러 VR 실사 영상획득 장치를 비교 연구하고자 한 어진다. 이렇게 획득된 영상은 연결작업(stitching)을 통해 다. 2장에서는 현재 시중에 사용하는 범용적 VR 촬영 장비 하나의 이미지로 만들어지고 배급된다. 이와 같은 VR 영상 를 소개하고 이들 장비의 장단점과 VR촬영에 필요한 기술 획득 장치와 콘텐츠 제작은 경제적 이익이 있다. 무엇보다 요소를 제시한다. 3장에서는 오늘날 VR 콘텐츠에 가장 많 경량형 시스템으로 VR 구현에 용이하다. 그림 1에 현재 보 이 사용되는 액션캠 촬영의 문제점들을 지적하고 있다. 4장 편적으로 많이 사용되는 VR 영상 획득장치가 보인다. 크기 에서는 3장의 문제를 해결하기 위해 시네마급 카메라를 이 가 작아 카메라의 위치가 최소화되어야 되는 VR 콘텐츠 용해 VR촬영을 시도하고 결과를 제시한다. 결론은 현재 [1] 특성에 부합한다. VR 카메라의 한계와 향후 이를 해결하기 위해 필요한 요구 이와 같은 VR 360 실사 영상 획득장치는 초기 VR 콘텐 사항을 제안하고 있다. 본 논문은 실사 영상 획득 장치와 츠 제작에 대부분 사용되었고 지금도 많이 선호되고 있다. 모바일 기반 360 파노라마 시연 장치를 활용한 VR 콘텐츠 현재 유튜브(youtube)에서는 독립적인 360영상채널을 운영 제작을 범위로 하고 있다. CG(computer graphic)기술 기반 중이며 구독자는 약 144만 5천명이다. 이 채널 동영상목록 VR 콘텐츠 구현 및 게임 엔진 기반의 VR 콘텐츠 제작은 에서 확인 가능한 영상 중 90%이상이 이 같은 실사 영상 연구 범위에서 제외하고 있다. 획득 장치로 제작된 콘텐츠이다. 그러나 이런 VR구현에는 몇 가지 문제점이 있다. 가장 큰 문제는 5~8대의 카메라를 사용해 촬영한 영상을 하나로 Ⅱ. VR 360 영상 획득 장치 비교 만드는 연결작업에서 카메라마다 일어나는 불일치이다. 또 다른 문제는 VR이 실감형 미디어라는 점에서 현재의 영상 2장에서는 현재 사용하는 VR 콘텐츠 제작용 카메라들 획득 방식은 단안시 중심이라는 점이다. VR을 가상현실로 을 소개하고 있다. 대부분 VR 360 영상 획득 장치는 작 구현하려면 양안시(stereoscopic vision) 구현이 필수적이 은 카메라를 이용해 부피를 줄이고, 초점 거리가 짧은 초 다. 현재 이런 문제점을 해결하기 위한 다양한 시도가 이루 광각 렌즈 혹은 어안렌즈를 사용하고 있다. 흔히 액션캠

716 방송공학회논문지 제21권 제5호, 2016년 9월 (JBE Vol. 21, No. 5, September 2016) (action cam)으로 알려진 소형카메라를 주로 사용하며, 최 적으로 양산되는 일체형 카메라가 보인다. 근 DSLR(digital single-lens reflex) 카메라를 사용하는 사 례도 늘어나고 있다. 이와 반대로 여러 대의 카메라 운영 이 일반인들에게 어렵다는 점, 그리고 기술적인 문제와 비용 문제 등으로 일체형 360 촬영 카메라의 활용도 늘 어나고 있다. 1. 일체형 360 촬영 카메라 (a) 삼성 기어360 (a) Samsung Gear360 일체형 360 촬영 카메라는 광각의 어안렌즈를 사용하거 나 여러 카메라가 하나의 본체에 붙어있는 경우를 의미한 (b) LG 360캠 R105 (b) LG 360CAM R105 (c) 리코 tehta S (c) Ricoh tehta S 그림 2. 일체형 VR 카메라 Fig. 2. Unified VR camera 다. 대표적으로 리코 세타, 코닥 SP360, LG 360캠, 파 노노 볼 카메라 등이 있으며, 삼성에서도 3D촬영이 가능 한 프로젝트 비욘드 라는 이름의 360 카메라를 출시했다. 일체형 카메라는 신속한 촬영이 가능하고, 일반인들도 이중 프로젝트 비욘드 는 타 카메라들이 360 화면을 촬영 쉽게 VR 영상을 획득할 수 있는 장점이 있다. 하지만 몇 한다고 해도 카메라의 시선과 화면의 오브젝트와의 거리 가지 문제점이 있다. 첫째 동영상 화질이 열악하다는 단점 (Depth)를 표현하지 못하는데 반해, 각각 촬영되는 측면을 이다. 대부분 일체형 카메라는 HD(high definition) 화질로 양안 스테레오 카메라(stereoscopic camera)로 촬영하기 때 동영상 녹화를 지원한다. 현재 VR콘텐츠 제작에 보편적으 [1] 로 사용하는 2160p급 영상에 비해 화질이 열악하다. 문에 거리를 표현할 수 있는 장점이 있다. 그림 2에 대표 (a) 그림 3. LG 360캠의 연결작업 오류 장면 Fig 3. Stitching errors of LG 360Cam (b) (c)

김철현 : 실사기반 VR 360 콘텐츠촬영장치비교연구 717 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 그림 4. 히어로 360 사의 VR 리그 Fig 4. Vr rigs of 360HEROES 둘째카메라조작이모바일디바이스에의존적이다. 이는카메라제작비용을줄이기위해사용된방법이며동시에카메라를소형화해 VR촬영에최적화된외형을가지기위한것이다. 카메라자체만으로단순촬영은가능하나현재촬영장면의모니터, 카메라조절등대부분의기능을모바일디바이스에의존해야한다. 모바일디바이스없이효율적사용이불가능하다. 마지막으로콘텐츠의완성도가떨어진다. 특히일부카메라의경우 VR 콘텐츠제작의핵심요소중하나인연결작업이불안하다. 이로인해획득된 VR 영상은시야투쟁을유발한다. 그림 3에일체형카메라의불안한연결작업결과물이보인다. 그림 3은 LG 360캠 R105 를이용해촬영된정지영상이다. 강화도와석모도를운항하는선박에모여드는갈매기를촬영한장면으로카메라와피사체의거리에따라불안한연결장면을볼수있다. 가까이있는선박의모양도불일치하며 (a) 날아가는갈매기의경우위치에따라심하게왜곡된영상 (b, c) 을볼수있다. 최근새롭게발표되는일체형카메라의경우화질문제는많이개선해서 2160p 화질의동영상획득도가능하다. 그러나자동화된연결처리는피사체거리에따라여전히문제가될수밖에없다. 제작사에서가장많이사용하는방식이다. 그림 1에제시된방식이기본적인촬영시스템이다. 주로 5~6방향그리고상하해서모두 7~8대의카메라를이용한다. 각각촬영된영상은연결작업을거쳐하나의 VR 이미지로가공된다. 이방식의장점은액션캠과리그 (rig) 를결합하는방식으로필요에따라카메라숫자를조절할수있다. 그림 4에 360히어로 (360HEROES) 에서개발한다양한 VR리그가보인다. 리그시스템의또다른장점은병렬식카메라추가를통해양안시입체 3D VR콘텐츠촬영이가능하다는점이다. 약 5, 6시점정도의방향을각각 2대의양안시촬영을통해입체시구현이가능하다. 이경우그림 5처럼최소 12~18 대이상의액션캠이필요하다. 2. 액션캠과 VR 리그시스템 여러대의액션캠을활용한 VR 촬영시스템이현재전문 그림 5. 양안식 VR 리그시스템 Fig 5. Stereoscopic VR rig system

718 방송공학회논문지 제21권 제5호, 2016년 9월 (JBE Vol. 21, No. 5, September 2016) 그러나 여러 카메라로 촬영할 경우 연결 작업에 어려움 로 나가는 경우를 방지하는 것이다. 그림 6에 220도 촬영이 이 있다. 주요 피사체가 카메라와 카메라 사이를 오갈 때 가능한 엔타니아(Entaniya)사의 어안렌즈와 이를 장착한 정확한 연결작업은 피사체의 거리에 따라 달라진다. 광학 고프로 액션캠을 이용한 촬영 예가 보인다. 특성상 근거리 피사체를 기준으로 연결을 하게 되면 원거 이 촬영 장비는 주요 피사체의 행동범위를 많이 확보할 리 피사체의 연결은 어렵다. 양질의 VR 콘텐츠 제작을 위 수 있어 연결작업이 편하다. 또한 양안식 입체 3D VR을 해 카메라 사이 연결은 키(key) 작업과 합성(composition) 구현함에 있어 그림 5 보다 작은 카메라 수로 구현할 수 작업이 필수적이다. 있는 장점이 있다. 그림 6을 보면 모두 8대의 카메라로 360 이런 어려움을 피하기 위해서 최근에는 액션캠에 220도 양안 영상을 획득함을 알 수 있다. 그러나 220도 어안렌즈 어안렌즈를 장착해 촬영하는 방식도 사용한다. 220도 초광 를 사용하게 되면 피사체의 거리감이 심하게 왜곡되는 문 각 어안렌즈를 사용해 주요 피사체가 한 대의 카메라 밖으 제점이 발생한다. 그림 6. 고프로 히어로4에 엔타니아 220도 렌즈를 장착한 VR 촬영 장치 Fig 6. VR shooting system with Entaniya Fisheye 220 and Gopro Hero4 (a) 어안렌즈를 이용한 양안시 DSLR 촬영 시스템 (a) Stereoscopic DSLR VR shooting system using fisheye lens 그림 7. DSLR을 이용한 VR 촬영 Fig 7. VR shooting using DSLR (b) DSLR을 이용한 VR 촬영 (b) 360 VR shooting using DSLR

김철현 : 실사기반 VR 360 콘텐츠촬영장치비교연구 719 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 3. DSLR을이용한촬영액션캠촬영의문제는정확한카메라조절이어렵다는점이다. 대부분액션캠의노출값은수동조작이불가능하며자동방식으로동작한다. 이같은문제점을극복하기위해 DSLR 카메라를 VR촬영에사용한다. 그림 7 (a) 에 DSLR 에 180도어안렌즈를장착한 VR 촬영시스템이보인다. 이시스템은한번에 180도씩입체 VR 촬영이가능하며 360 영상획득을위해 3회에나누어촬영하는단점이있다. 단안시촬영시는 (b) 와같은시스템을주로사용한다. 8mm 정도의어안렌즈를사용하며보통 5대정도의카메라를사용해촬영한다. 현재이시스템은국내에서광고 VR 영상제작에사용중이다. 광고영상의특성상강한색감처리에유리하기때문이다. 또한촬영현장에서대부분촬영감독이 DSLR 조작에능숙해촬영이편리하다는장점도있다. DSLR 을활용한촬영은액션캠에비해뛰어난고화질영상을획득할수있으며, 카메라에대한정확한조작이가능한장점이있다. 그러나아직양산된제품이없어제작사마다필요에따라리그를개발해사용해야한다. 이외에도실험적으로수십대의카메라를연결하는방식을사용하기도하지만이는아직실험적인수준이고실제 VR 콘텐츠제작현장에서, 특히제작비용이작은우리나라의경우사용하기가어렵다. 반드시필요하다 [2]. 카메라동기화장치가없을경우빠른동 작촬영에서카메라는서로다른영상을획득하게된다. 액션캠촬영에서동작불일치를알아보기위해 VR 촬영 실험을실시했다. 표 1 에 VR 촬영실험조건을제시하였다. 실험은 8 방향양안시촬영리그를사용했으며실제카메라 는전방부만촬영해 8 대를사용했다. 현재 VR 촬영은주로 30fps 혹은 60fps 로촬영하지만이실험은 120fps 를사용하 였다. 이는실험의목적이동기화오류를측정하는목적으 로최대한시차를줄이기위해서이다. 표 1. Experimental condition for action cam sync mismatch Table 1. 액셤캠싱크불일치실험환경 Shooting cam system Number of cam VR rig Shooting format Go Pro Hero 4 Black 8ea Heros 360 16cam stereoscopic (Used 8ea) 1280 X 960(4:3) 120fps 실험결과는그림 8 에제시하였다. 그림 8 은 120fps 로촬 영된소스영상파일을어도비프리미어프로 CC(Adobe Premiere Pro CC) 를이용해편집한화면이다. 싱크를최대 한일치시키기위해정렬했으나불일치함을볼수있다. Ⅲ. VR 360 영상획득장치의문제점 3 장에서는앞서소개한장치들중현재 VR 콘텐츠제작 의주류를이루는액션캠촬영의몇가지문제점을실험과 함께제시하고있다. 1. 동기화오류 2장에서소개한촬영시스템중일체형을제외한나머지카메라의경우, 동기화장치가없다는문제점이있다. 이는 S3D(stereoscopic three-dimensional) 영상촬영에서도필수적인부분으로, 여러대의카메라를이용한촬영시스템에서 그림 8. 120fps 로촬영된영상의편집화면 Fig 8. Editing screen of 120fps videos 이처럼동기화장치없는 VR 촬영은영상, 음향에정확한 일치를만들수없다. 음향의경우하나로통일이가능하지

720 방송공학회논문지제 21 권제 5 호, 2016 년 9 월 (JBE Vol. 21, No. 5, September 2016) 만영상의경우각각카메라의영상이일치하지않아빠른동작에서시각투쟁을일으키는요인이되며결국질낮은콘텐츠를만드는원인이된다 [3][4]. 2. 노출불일치오류위실험을통해확인한또다른문제는각각카메라에대한정확한조절이불가능해, 같은방향의두카메라에서도노출, 색상등이서로다른영상을획득하게된다는점이다. 그림 9에동일방향으로나란히붙은두카메라로부터획득한영상의히스토그램비교가보인다. 히스토그램에서보듯이자동노출로이루어진동일장면에서주피사체의색상차이를확연히볼수있다. 특히조명의차이가큰역방향카메라의경우노출값이크게달라진다. 현재는이런차이를후반작업에서모두조절하고있다. 하지만양질의실사기반 VR 콘텐츠를만들기위해서는수동노출이가능 한촬영시스템은반드시필요하다. 액션캠기반촬영의또다른문제는광각렌즈를사용한다는점이다. VR이가상현실이라는점에서광각렌즈사용은현실에위배되는요소이다 [3]. 이를입증하기위해 6대의액션캠을이용해 360 촬영을실시했으며그결과물이그림 10에보인다. 그림 10는한강일몰을액션캠 VR로촬영후기본적인연결작업만한결과물이다. 멀리여의도사이로태양이지고있지만 VR 촬영으로태양을인지하기힘들다. 일반적인이미지사진은일몰을더확대하고강조할수있지만오히려 VR은이와반대되는현상이일어난다. VR촬영에서사용하는대표적인액션캠인고프로의경우약 170도의시야각을가지고있으며이는 35mm 환산기준 12mm 정도이다 [5]. 인간의시야각이 50mm 정도라고할경우 12mm 는심각한수준의광각이며이렇게촬영된영상을가상현실이라고부르는것은어렵다고판단된다. 가상현실은실제그곳에보는것같은화각을제공해야하며, 이를 그림 9. 히스토그램비교 Fig 9. Histograms comparative 그림 10. 한강일몰 VR 촬영 Fig 10. VR shooting for Han River sunset

김철현 : 실사기반 VR 360 콘텐츠촬영장치비교연구 721 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 그림 11. 액션캠의노출불일치 Fig 11. Exposure mismatching of action cam 위해 50mm 표준렌즈를적극적으로활용하는촬영이필요하다. 마지막으로이실험을통해확인할수있는것은 360 영상촬영시각각의방향마다노출값이다르며이로인해색상차이도심하다는점이다. 그림 10을자세히보면각각카메라마다색상차이가심한것을볼수있다. 그림 11에카메라영역을표시하였다. 이실험촬영은태양광을이용한촬영으로전체노출값이대체로균등한상태이다. 하지만카메라마다차이가크며, 무대조명과같이노출차이가심한경우카메라마다차이는더심해진다. 이상과같은두번의실험촬영을통해첫째, 자동노출을이용한촬영은병렬로촬영한카메라에서도색상차가발생하며 360 촬영의경우더심각해진다. 둘째, 동기장치없는촬영은영상의불일치를만들어시각투쟁을유발한다. 마지막으로초광각렌즈를이용하는액션캠중심 VR촬영은현실경험을강조하는 VR과거리가멀다. Ⅳ. 시네마급 360 영상획득실험 3장에서제시한동기오류와노출불일치오류를해결하기위해액션캠, DSLR 이아닌더상위기종의전문카메라를사용해문제해결을시도했다. 1. 시네마급카메를이용한 VR촬영실험 3장에서제시한문제중가장큰문제는동기화해결로추정된다. 색상불일치는후반작업에서조절이가능하지만동작이불일치하는동기문제는해결이어렵다. 사람의시지각특성은눈의동기가완벽하며최대 150fps 에서최소 16fps 정도로알려져있다 [6][7]. 그러므로현재 VR 실사촬영에서가장문제가되는부분은동기화문제라고판단되며, 이를먼저해결해야한다. 문제해결을위해동기화 VR 촬영실험을실시하였다. 여러카메라의동기화는일반사용자용카메라로불가능하다. 외부동기를받을수있고여러대의카메라를동시조작할수있는전문가용콘텐츠제작장비와이를조절하는시스템이필요하다. 이런전문가시스템은상당히고가이다. 360 실사촬영을위해서는최소 7대이상의카메라와이들카메라의동기를조절할수있는장비그리고 VR 촬영에적합한 12mm 이하렌즈가필요하다. 실제실험에서는비용문제로카메라대여와진행이불가능해실험에제한이따랐다. 하지만동기화실험을위해시네마급촬영장비를이용했다. 다만 360 촬영을 180 로줄이고 4회에나누어촬영해하나의콘텐츠로만드는방식으로실험을진행하였다. 실험용콘텐츠의최종포맷은 180 도시야각을가지며, 양

722 방송공학회논문지제 21 권제 5 호, 2016 년 9 월 (JBE Vol. 21, No. 5, September 2016) 그림 12. 시네마급카메라를이용한입체 VR 촬영 Fig 12. Stereoscopic VR shooting using cinema grade camera 안식입체 VR 이가능하고, 범용적인 VR HMD(head mounted device) 에서시연가능한콘텐츠를목표로하였다. 콘텐츠내용은그림 12 와같이여성 4 인조가수의연습장면 을담는것으로하였다. 양질의양안식입체 3D VR 콘텐츠 를위해 S3D 콘텐츠제작전용수평리그를사용해두대의 시네마급카메라를장착했으며, 각각모니터를장착해카 메라를조절하였다. 실험에사용한장치는현재상업용영화, 홍보, TV 드라 마제작에사용중인레드 (red) 사제품을사용했으며렌즈 초점거리는많은화각확보를위해 8mm 렌즈를사용하였 다. 동기화를위해아자 (AJA) 사의젠텐 (GEN10) 이라는장 비를사용해각카메라의동기화 (ref.in) 신호와연결하였 다. 360 촬영리그대신입체촬영을위한수평리그를사용 해 4 회로나누어 180 VR 콘텐츠를제작하였다. 실험에사 표 2. Equipment list of cinema grade VR shooting Table 2. 시네마급 VR 촬영에사용된장비목록 Shooting cam system Number of cam VR rig Shooting format Lens Red One 2 ea Parallel rig Red Code 8mm 용된장비를표 2 에정리하였고실험시스템은그림 13 에 제시하였다. 그림 13. red 카메라를이용한 VR 촬영 Fig 13. VR shooting using red camera 촬영포맷은로그 (log) 모드를사용하기로했으며이는후 반작업에서넓은개조 (dynamic range) 를활용하기위해서 이다. 기존액션캠방식은로그촬영이불가능하다. 실험에 사용한레드카메라의경우레드라우 (red raw) 포맷인 r3d 파일을통해 12 스톱의넓은개조를확보할수있다. 이를 이용해기존액션캠기반제작과정에서불가능했던정밀한 색보정작업이가능했다. 이렇게색보정을거친콘텐츠는 이후연결작업을거쳐 2160p 급화질의동영상포맷으로

김철현 : 실사기반 VR 360 콘텐츠촬영장치비교연구 723 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 제작되었다. 2. 시네마급카메라촬영결과시네마급카메라를사용함으로동기화문제를해결하고, 액션캠의자동노출로인한노출불균형문제도해결할수있었다. 액션캠기반의촬영장치는그림 11에서제시한것과같이자동노출로인해카메라마다노출불일치가심하다. 그러나시네마급카메라는노출에필요한요소들인조리개, 셔터스피드, 감도, 감마, 게인그리고색온도등다양 한요인을촬영자가원하는값으로조절할수있다. 그림 14에시네마급카메라를이용한촬영결과물이보인다. 4대의카메라가연결되었지만노출의차이를육안으로찾기힘들다. 검안에사용된 HMD는삼성사의기어360 과갤럭시 6 핸드폰을이용하였다. 검안결과기존영상에비해동작의일치가자연스럽고통증유발은줄어들었다. 특히입체시구현에서가수들의빠른춤동작도깨끗하게시청할수있었다. 그림 15에최종제작된콘텐츠의마스터물의화면이보인다. 입체영상포맷중하나인톱앤드바텀 (top & bottom) 그림 14. 시네마급카메라를이용한 VR 촬영결과물 Fig 14. VR shooting result using cinema grade camera 그림 15. 시네마급카메라를이용한 180 VR 마스터 Fig 15. 180 VR master using cinema grade camera

724 방송공학회논문지제 21 권제 5 호, 2016 년 9 월 (JBE Vol. 21, No. 5, September 2016) 방식을사용했고 180 외의나머지화면은검정바탕으로처리하였다. 이번실험을통해 VR 촬영에서시네마급카메라를사용할경우노출문제를해결할수있음을확인했다. 액션캠자동모드로촬영된영상에비해화질뛰어나고, 정확한조절을통해전문적인촬영이가능했다. 또한동기화문제를해결해입체영상구현에서도안정적인영상을볼수있었다. 기존촬영은대부분동기문제를해결하지못해시야투쟁의원인이되었다. 시네마급 VR 촬영의또다른점은로그모드사용이가능하다는점이다. 이를응용하면향후 HDR (high dynamic range) 영상을이용한 VR 촬영도가능할것으로보인다. 뿐만아니라 VR 360 촬영특성상조명의어려움이있으나로그촬영으로넓을개조를확보해조명제한으로가지는문제도어느정도해결이될것으로보인다. Ⅴ. 결론시네마급카메라로촬영할경우촬영시스템의크기가증가해기존액션캠의기동성이떨어지고제작비용이크게증가하는문제점이있지만, 콘텐츠의완성도를고려하면시네마급카메라를응용한 VR 제작이필요하다. 콘텐츠제작의궁극적목표가양질의콘텐츠라는점에서비록제작비용의문제는있지만시네마급카메라사용도고려되어야한다. 또한인간의시야각과유사한표준렌즈기반의 VR 콘텐츠제작이필요하다. 하지만이부분은실사동영상획득은현실적으로한계가명백히있다. 현재표준렌즈기반 360 영상은대부분정지영상기반으로구현되고있다. 이를위한다양한시도는 1990 년대부터이루어졌으며특별한상영관을위한콘텐츠로개발되었다 [8]. 동영상의경우현재까지 CG기반으로구현된사례는있으며실사획득만으로이루어진경우는없다. 이는렌즈특성상어려움이있다. 결국 양질의 VR 콘텐츠는실사획득만으로어렵고일정부분 CG 의도움을받아야한다. 양질의 VR 콘텐츠제작을위해광각렌즈획득영상을 일정작업을통해표준렌즈영상으로변환하는기술연구 가영상처리분야에서필요하다. 어안렌즈를사용할경우 렌즈주변부의심각한왜곡과색수차등의문제처리및 자동연결기술의연구도요구된다 [9]. 향후양질의실사콘 텐츠제작을위해서언급한분야에서영상처리분야의실 제적개발이필요하다. 참고문헌 (References) [1] Mi You, The Concept of Virtual Reality Movie and the Analysis of Production Technology, The Korean Journal of animation, Vol. 11, No. 5, pp. 211-229, 2015, December. [2] Bernard Mendiburu, 3D Movie Making: Stereoscopic Digital Cinema from Script to Screen, Focal Press, Burlington, pp. 106-108. 2009. [3] Giseok Kim, Jae-Soo Cho, Gwangsoon Lee, Eung-Don Lee, Real-time Temporal Synchronization and Compensation in Stereoscopic Video, Journal of Broadcast Engineering, Vol. 18, No. 5, pp. 680-690, 2013, September. [4] Youngsoo Park, Dohoon Kim, Namho Hur, A Method of Frame Synchronization for Stereoscopic 3D Video, Journal of Broadcast Engineering, Vol. 18, No. 6, pp. 850-858, 2013, November. [5] Scott Hightom, Virtual Reality Photography - Creating Panoramic and Object Images, VR Photography, San Carlos, pp. 13~25, 2010. [6] Sung Soo Han, HD Shooting for Becoming Professional Cinematographer, Korea Creative Content Agency, Seoul, pp. 60-61, 2007. [7] Read, Paul; Meyer, Mark-Paul, Restoration of motion picture film. Conservation and Museology, Butterworth-Heinemann. Woburn, pp. 24-26, 2000. [8] Boa Rhee, Jusub Kim, The Sutability of VR Artwork as an Immersive Learning Tool, Proceedings of the Korean Society of Computer Information Conference, Vol. 21, No. 1, pp. 223-226, 2016, January. [9] Elisabeth Adelia Widjojo, Jae-In Hwanga, Distortion Calibration and FOV Adjustment in Video See-through AR using Mobile Phones, Journal of Broadcast Engineering, Vol. 21, No. 1, pp. 43-50, 2016, January.

김철현 : 실사기반 VR 360 콘텐츠촬영장치비교연구 725 (Chulhyun Kim: A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World) 김철현 저자소개 - 2007 년 : 중앙대학교첨단영상대학원졸업 ( 석사 ) - 2011 년 : 중앙대학교첨단영상대학원졸업 ( 박사 ) - 2013 년 ~ 현재 : 나사렛대학교방송미디어학과조교수 - ORCID : http://orcid.org/0000-0001-9421-8622 - 주관심분야 : S3D, VR, 뉴미디어제작