Journal of Digital Convergence Vol. 16. No. 2, pp. 335-341, 2018 ISSN 1738-1916 https://doi.org/10.14400/jdc.2018.16.2.335 360 o 카메라영상의효율적인스티칭기법에관한연구 이랑구 1, 정진헌 2* 1 동국대학교영상대학원멀티미디어학과박사과정, 2 동국대학교영상대학원멀티미디어학과교수 A Study on Effective Stitching Technique of 360 o Camera Image Lang-Goo Lee 1, Jean-Hun Chung 2* 1 Dept. of Multimedia, Graduate School of Digital Image and Contents, Dongguk University, Doctor's course 2 Dept. of Multimedia, Graduate School of Digital Image and Contents, Dongguk University, Professor 요약본연구는두개의어안렌즈로구성된이안식일체형 360 카메라로촬영한영상의효율적인스티칭기법에관한연구이다. 먼저, 기본적으로제공되는번들프로그램의스티칭결과물의문제점을찾아보고, 전문스티칭프로그램인 Autopano Video Pro와 Autopano Giga를사용한스티칭결과를비교분석하여, 보다효율적이고완성도높은스티칭기법을찾아내는것에중점을두고연구하였다. 그결과번들프로그램의문제점으로는수평과수직의왜곡, 노출과컬러의불일치, 그리고매끄럽지못한스티칭라인등이나타났으며, Autopano Video Pro와 Autopano Giga의 Automatic Horizon 과 Verticals Tool로수평과수직을, Levels와 Color 및 Edit Color Anchors 로노출과컬러를, 그리고 Mask 기능으로스티칭라인의문제를해결할수있었다. 본연구를바탕으로향후이안식일체형 360 카메라촬영영상의효율적인스티칭기법으로더욱완성도높은 360 VR 영상콘텐츠를제작할수있을것으로기대한다. 주제어 : 이안식일체형 360 카메라, 번들프로그램, 스티칭, Autopano Video Pro, Autopano Giga, 360 VR 영상콘텐츠 Abstract This study is a study on effective stitching technique for video recorded by using a dual-lens 360 camera composed of two fisheye lenses. First of all, this study located a problem in the result of stitching by using a bundled program. And the study was carried out, focusing on looking for a stitching technique more efficient and closer to perfect by comparatively analyzing the results of stitching by using Autopano Video Pro and Autopano Giga, professional stitching program. As a result, it was shown that the problems of bundled program were horizontal and vertical distortion, exposure and color mismatch and unsmooth stitching line. And it was possible to solve the problem of the horizontal and vertical by using Automatic Horizon and Verticals Tool of Autopano Video Pro and Autopano Giga, problem of exposure and color by using Levels, Color and Edit Color Anchors and problem of stitching line by using Mask function. Based on this study, it is to be hoped that 360 VR video content closer to perfect can be produced by efficient stitching technique for video recorded by using dual-lens 360 camera in the future. Key Words : Integral Twin-Lens 360 Camera, Bundle Program, Stitching, Autopano Video Pro, Autopano Giga, 360 VR Image Contents 1. 서론 1.1 연구배경및목적현재전세계적으로 VR은가장큰이슈중하나다. 다양해지고늘어나는 VR 콘텐츠, 플랫폼, 고성능의스마트 폰및 HMD(Head Mounted Display) 와같은디바이스의보급화, 그리고촬영장비및제작기술의발전등으로이제 VR은대중화가되었다. 하지만, 360 VR 영상콘텐츠제작에있어가장중요한핵심요소인스티칭 (Stitching) 기술은아직완벽하지못한것이현실이다. *Corresponding Author : JeanHun Chung(evengates@gmail.com) Received December 15, 2017 Revised January 22, 2018 Accepted February 20, 2018 Published February 28, 2018
336 한국디지털정책학회논문지제 16 권제 2 호 본연구는일반인들도 360 카메라를이용하여비교적손쉽게완성도높은 VR 영상콘텐츠를제작할수있는스티칭기법을찾아제언하는것이목적이다. 1.2 연구범위본연구의범위로는 360 VR 영상콘텐츠의개념과이안식일체형 360 카메라, 그리고스티칭에관한선행연구를기반으로, 이안식일체형 360 카메라의최초격인 Ricoh Theta S의촬영영상과기본번들프로그램인 Ricoh Theta Spherical Viewer를사용한스티칭작업을연구범위로삼았다. 또한, 스티칭작업시발생하는문제점을중점으로분석하고, 기본번들프로그램의문제점을보완하기위해 Kolor 1) 사의 Autopano Video Pro와 Autopano Giga를사용하여해결방법을연구하였다. Fig. 1은 Ricoh Theta S와촬영된원본이미지이다. 집되거나프레이밍되지않은영상을시청자가원하는부분만선택적으로보며즐길수있다 [3]. 2.2 이안식일체형 360 o 카메라이안식일체형 360 카메라는광각의어안렌즈두개가본체하나의앞뒤에붙어있는경우를의미한다. 360 카메라는파노라마의한일종으로 360 모든방향의경치등을카메라에담는다. 여기에사진만이아닌동영상의개념도추가된형태이다 [4]. 앞뒤의어안렌즈두개는각각 180 화면을촬영하여 360 이미지및영상을만든다. Fig. 2는현재시중에판매되고있는일부일체형 360 카메라의종류이다. Fig. 2. Integral Twin-Lens 360 o Camera Fig. 1. Ricoh Theta S Camera and Original Movie Image 2. 이론적배경 2.1 360 o VR 영상콘텐츠 VR 영상콘텐츠는 VR(virtual reality) 의기술로만들어진영상콘텐츠로써가상공간에참여하여공간감을느끼고입체적인영상을감상할수있는콘텐츠이다 [1]. 가장큰특징은몰입감과상호작용성이라할수있다 [2]. 360 VR 영상이란한위치 (Orientation) 2) 을기준으로카메라가 360 를촬영한영상미디어다. 360 VR 영상은머리의위치를분석하는자이로센서가탑재된 HMD를착용한후고개를움직이며주변을둘러보듯시청할수있다. 카메라뒤에숨은제작자의의도에끌려수동적으로정보를받아들이던평면영상에비해 360 영상은편 일체형 360 카메라는신속한촬영이가능하고, 일반인들도쉽게 VR 영상을획득할수있는장점이있다. 하지만몇가지문제점이있다. 첫째, 동영상화질이열악하다는단점이다. 대부분일체형카메라는 HD(High Definition) 화질로동영상녹화를지원한다. 현재 VR 콘텐츠제작에보편적으로사용하는 2160p급영상에비해화질이열악하다. 둘째, 카메라조작이모바일디바이스에의존적이다. 카메라자체만으로단순촬영은가능하나현재촬영장면의모니터, 카메라조절등대부분의기능을모바일디바이스에의존해야한다. 마지막으로콘텐츠의완성도가떨어진다. 특히일부카메라의경우 VR 콘텐츠제작의핵심요소중하나인연결작업이불안하다 [5]. 현재이러한문제점을보완한일체형카메라가속속출시되고있으며, Ricoh Theta 역시올해 9월 4K 동영상이촬영가능한 Ricoh Theta V를새롭게출시했다 [6]. 1) http://www.kolor.com/ 2) 360 VR 영상촬영시카메라를기준으로정의할때 360 방향의기준의의미로오리엔테이션 (Orientation) 이라고한다.
360o 카메라 영상의 효율적인 스티칭 기법에 관한 연구 2.3 스티칭(Stitching) 스티칭(Stitching)이란 단어의 의미는 바느질이다[7]. VR 영상 작업의 핵심 요소이며 가장 중요한 부분이다. 337 3. 연구방법 3.1 연구대상 및 방법 스티칭 기법이란 서로 정반대의 방향에서 찍힌 180 이상 본 연구의 대상으로는 일본 Ricoh사의 Ricoh Theta S로 의 영상들을 서로 조합하여 최종적으로 구(球) 형태로 구 촬영한 영상과 번들 프로그램인 Ricoh Theta Spherical 성하는 기법이다. 180 이상의 어안 렌즈를 통해 찍힌 두 Viewer로 스티칭한 결과물을 대상으로 하였다. 그 이유 영상에는 서로 겹치는 부분이 존재한다. 이 겹치는 부분 로는 Ricoh Theta S는 2013년 세계 최초로 360 카메라 들을 스티칭 포인트 라고 하여 별도의 스티칭 프로그램 로 출시되었고[12], 2016년에는 전 세계 360 카메라 판매 에서 RGB값이나 빛 등을 고려하여 자동 및 수동으로 설 순위 1위를 기록하며, 널리 보급된 대중적인 360 카메라 정해주면 합쳐진 영상이 나타나게 된다[8]. 중요한 것은 라고 판단되었기 때문이다[13]. 하지만, 아직 번들 프로그 영상을 얼마나 자연스럽게 이어붙이고 공백부분을 잘 메 램의 스티칭은 완벽하지 않은 문제점이 있다. 연구방법 꾸어 주는 숙련된 작업과 충분한 시간이 필요하다는 것 으로는 Ricoh Theta Spherical Viewer의 스티칭의 문제 이다. 잘 준비된 사전 기획과 스티칭을 고려한 촬영을 하 점을 알아보고, 그 문제점을 보완하기 위해 Autopano 면 그만큼 스티칭 작업이 수월해진다[9]. 현재 VR 촬영 Video Pro와 Autopano Giga를 사용하여 더 효율적으로 영상의 스티칭 작업에 가장 많이 사용되는 소프트웨어로 완성도를 높일 수 있는 스티칭 기법을 찾아보았다. 는 Video stitch사의 Video stitch studio Fig. 3과 Kolor 사의 Autopano Video Pro와 Autopano Giga Fig. 4가 대 표적이다[10]. Fig. 5. Ricoh Theta Spherical Viewer Stitching Screen Fig. 3. Video stitch studio Work Screen[11] 3.2 연구문제 [연구문제 1] 360 카메라 번들 프로그램에서 스티칭 한 영상의 결과물의 문제점은 무엇인 가? [연구문제 2] 그 문제점을 보완하기 위한 효율적인 스 티칭 기법은 무엇인가? 4. 연구결과 4.1 번들 프로그램 스티칭 분석 기본 번들 프로그램인 Ricoh Theta Spherical Viewer Fig. 4. Autopano Video Pro and Autopano Giga Work Screen 를 사용하여 자동으로 스티칭한 결과물을 분석한 결과, 첫째, 수직과 수평, 둘째, 노출과 컬러, 셋째, 심 라인
338 한국디지털정책학회논문지제 16 권제 2 호 (Seam line) 의 3가지문제점을도출할수있었으며, 그결과는다음과같다. 석한결과물의영상장면은 Fig. 7 과같다. 4.1.1 수평과수직본연구를위해촬영한영상중, 수평과수직을가름할수있는지평선과아파트건물이촬영된영상으로스티칭하고분석한결과물의영상장면은 Fig. 6과같다. Fig. 7. Error in Exposure and Color Fig. 6. Horizontal and Vertical Errors 먼저, 번들프로그램으로스티칭한영상의수평과수직을살펴본결과, 화면의중앙부분 3) F와좌우부분 B1, B2의화면즉, 전체화면에서가로축에위치한지평선의수평이왜곡되어나타났으며또한, 화면의 B1에위치한가로등과 B2에위치한아파트가기울어진모습으로영상의수직이왜곡되어나타났다. 이를 F와 B1, B2가만나는부분을확대한 C1과 C2의이미지를통해좀더확연하게구별할수있었다. 4.1.2 노출과컬러 본연구를위해촬영한영상중, 노출과컬러의차이를확연하게구별할수있는야외영상으로스티칭하고분 3) 본논문에서는스티칭한영상의화면을세부분으로나누어편의상전방카메라렌즈로촬영된중앙부분을 F 로, 후방카메라렌즈로촬영된좌우부분을 B1, B2 로정하고, B1 과 F 가만나는빨강사각형부분을클로즈업한부분을 C1 과 C2 로기술한다. 번들프로그램에서스티칭한영상의노출과컬러를분석한결과, 전방카메라렌즈에촬영된영상 F 부분과후방카메라렌즈에촬영된영상 B1, B2에서노출과컬러가다소다르게나타났으며, F와 B1, B2가만나는부분을확대한 C1과 C2의이미지를통해좀더확연하게구별할수있었다. 이는태양또는, 조명의위치에따라노출의영향을많이받는것으로분석되었고, 컬러역시노출에따라다르게변화된것을확인할수있었다. 4.1.3 심라인 (Seam line) 심라인 (Seam line) 이란인접한두대의카메라결과물이하나로이어질때발생하는선을말한다 [14]. 심라인 (Seam line) 의효과적인분석을위해실내에서촬영한영상으로스티칭하고분석한결과물의영상장면은 Fig. 8과같다. 본영상은이안식카메라렌즈로촬영된영상물로써, 전방과후방영상이만나는경계선인심라인 (Seam line) 은화면에서 B1과 F의사이그리고 F와 B2의사이에두개 4) 의심라인 (Seam line) 이생성되는것을확인할수 4) 스티칭이완성된본영상을 HMD 를통해시청하면구형태의 VR 영상콘텐츠가됨으로, 심라인 (Seam line) 은하나로보인다.
360 o 카메라영상의효율적인스티칭기법에관한연구 339 있었다. 이는전방과후방에서촬영된영상의경계선에서스티칭이잘되지않았음이결과적으로나타났다고볼수있다. 면은 Fig. 9 와같다. Fig. 9. Horizontal and Vertical Calibration Screen Fig. 8. Seam line Error 4.2 효율적인스티칭제작기법연구 360 전방향을둘러싼자연스러운영상으로만들기위해서는스티칭 (Stitching) 이라는영상이어붙이기기법이필수이다 [15]. Ricoh Theta S로촬영한영상은전방과후방의피사체와배경을어안렌즈로촬영한영상으로써, 둥근원모양으로촬영된원본영상을 VR 콘텐츠로만들기위해서는파노라마형태의영상으로스티칭을해야한다. 번들프로그램에서스티칭작업시발생한문제점을보완하기위해 Autopano Video Pro와연동프로그램인 Autopano Giga를사용하여효율적으로스티칭하는방법에관하여연구한결과는다음과같다. 4.2.1 수평과수직기본번들프로그램에서나타난수평과수직의오류를보정하기위해먼저, 번들프로그램에서사용한똑같은원본영상소스를 Autopano Video Pro로불러와기본스티칭을하였다. 그리고연동프로그램인 Autopano Giga로넘어가 Automatic Horizon 기능과 Verticals Tool의기능으로왜곡된수평선상의지평선과왜곡된수직선상의아파트및가로등을보정한결과물의영상장 기본번들프로그램에서스티칭시발생한영상의수평과수직의오류를 Autopano Giga의 Automatic Horizon 기능을사용하여자동으로왜곡된수평을보정할수있었으며, 그리고 Verticals Tool의기능을사용하여왜곡된수직을자동으로보정할수있었다. 또한, 두가지기능은왜곡된영상의수평과수직부분을정밀하게수동으로도조작할수있었다. 4.1.2 노출및컬러기본번들프로그램에서나타난노출및컬러의오류를보정하기위해 Autopano Giga의 Levels 기능과 Autopano Video Pro의 Color 기능을사용하여노출및컬러를보정한결과물의영상장면은 Fig. 10과같다. 기본번들프로그램에서스티칭작업시발생한노출및컬러의오류를보정하기위해먼저, 노출부분에는 Autopano Giga의 Levels 기능을통해영상의 RGB Channel 과 Gamma 값을조정하여노출의오류를보정할수있었고, 컬러부분에서는 Autopano Video Pro의 Color 기능을통해전체적인컬러를설정할수있었으며또한, Autopano Giga의 Edit Color anchors 기능에서자동으로컬러를보정할수있었다.
340 한국디지털정책학회논문지제 16 권제 2 호 기본번들프로그램에서스티칭시발생한심라인 (Seam line) 의오류를해결하기위해 Autopano Giga의 Mask 기능을사용하였고, Blending을조정해주었다. 그결과전방과후방카메라렌즈로촬영된장면이겹치는심라인 (Seam line) 을좀더자연스럽게 Blending 처리하여스티칭의완성도를높일수있었다. 5. 결론 Fig. 10. Exposure and Color Calibration Screen 본연구는기본번들프로그램에서스티칭시나타난오류를 Autopano Video Pro와 Autopano Giga의기능들을사용하여더욱효율적이고완성도를높일수있는스티칭기법을찾는것에중점을두고연구하였다. 본연구를통해분석하고완성된결과물의영상은 Fig. 12의 QR 코드를스캔하여순차적으로확인할수있다. 4.1.3 심라인 (Seam line) 기본번들프로그램에서나타난심라인의오류를보정하기위해 Autopano Giga의 Mask 기능을사용하여심라인 (Seam line) 를보정한결과물의영상장면은 Fig. 11과같다. Fig. 12. QR 1: Bundled program stitching, QR 2: Autopano Video Pro and Autopano Giga Stitching 본연구는 Autopano Video Pro에서기본적인스티칭과정을자세하게기술하지못한부분이한계점으로남았다하지만, 본연구의목적에맞는이안식일체형 360 카메라영상의효율적인스티칭기법을연구하기위해기본번들프로그램의문제점을분석하였고, 그문제점을해결하기위해 Autopano Video Pro와 Autopano Giga의기능들을활용하여스티칭의완성도를높이고좀더나은 VR 영상콘텐츠를제작하는방법을찾아제시하였다는데에의의가있다고할수있다. 본연구를바탕으로향후일반인들도효율적인스티칭기법을통해손쉽게 VR 영상콘텐츠를제작할수있게되기를희망한다. Fig. 11. Seam line Calibration Screen REFERENCES [1] L. G. Lee & J. H. Chung. (2017). A Study on Visual
360 o 카메라영상의효율적인스티칭기법에관한연구 341 Mise-en-Scene of VR Animation <Pearl>. Journal of Digital Convergence, 15(9), 408. [2] L. G. Lee & J. H. Chung. (2016). A Study on Visual and Auditory Inducement of VR Image Contents and the Inducement Components of for Immersion Improvement. Journal of Digital Convergence, 14(11), 496. [3] K. S. Kim & Y. H. Lee. (2016). Comparison and Usage Analysis of 360 Degree VR Video Rigs. The Society of Modern photograpty & Video, 19(1), 90. [4] J. H. Lee & S. W. Jung. (2016). A Comparison and Analysis of 360-degree Camera Devices. THE INSTITUTE OF ELECTRONICS ENGINEERS OF KOREA, 2016(6), 953. [5] C. H. Kim. (2016). A Comparative Study for Virtual Reality 360 Contents Shooting Equipments Based on Real World. The Korean Society Of Broad Engineers, 21(5), 716-717. [6] AViNG(Online). http://kr.aving.net/news/view.php?articleid 1380978&Branch_ID=kr&rssid=naver&mn_name=news [7] Google(Online). https://translate.google.co.kr/?hl=ko#en/ ko/stitching [8] wikipedia(online). https://ko.wikipedia.org/wiki/ 사용자 :IT CTBot/ 연습장 #.E2.91.A1_.EC.8A.A4.ED.8B.B0.EC.B9.AD.28Stitching.29_.ED.8E.B8.EC.A7.91_.EA.B8.B0.EB.B2.95 [9] I. H. Lee. (2016). A Study of Directing on 360 Degree Virtual Reality. KOREA SCIENCE & ART FORUM, 25, 299. [10] techm(online). http://techm.kr/bbs/board.php?bo_table=article &wr_id=1948 [11] orah(online). https://www.orah.co/news/videostitch-studio -v2-beta/ [12] newstown(online). http://www.newstown.co.kr/news/article View.html?idxno=297256 [13] digitaltimes(online). http://www.dt.co.kr/contents.html? article_no=2017041102109932816001 [14] K. S. Kim & Y. H. Lee. (2016). Comparison and Usage Analysis of 360 Degree VR Video Rigs. The Society of Modern photograpty & Video, 19(1), 93. [15] ItShosun(Online). http://it.chosun.com/news/article.html? no=2836616 이랑구 (Lee, Lang Goo) [ 정회원 ] 2012년 2월 : 한국방송통신대학교미디어영상학과 (BA) 2015년 2월 : 홍익대학교영상대학원영상디자인학과 (MFA) 2018년 2월 : 동국대학교영상대학원멀티미디어학과박사수료 관심분야 : VR, Contents Design, 3D Computer Graphic, Broadcast Graphic Design E-Mail : langgoolee@gmail.com 정진헌 (Chung, Jean Hun) [ 정회원 ] 1992년 2월 : 홍익대학교미술대학시각디자인학과 (BFA) 1999년 11월 : 미국 Academy of Art University Computer Arts(MFA) 2001년 3월 ~ 현재 : 동국대학교영상대학원멀티미디어학과교수 관심분야 : VR, Contents Design, 입체영상, 3D Computer Graphic, Computer Animation, Visual Effects 등 E-Mail : evengates@gmail.com