Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.4, April (2016), pp. 31-40 http://dx.doi.org/10.14257/ajmahs.2016.04.16 VR HMD 기반의 스테레오스코픽 깊이 값 적용 연구 손호준 1), 김정호 2), 이승현 3), 하마커 앨러릭 4), 권순철 5) A Study on the Application of Stereoscopic Depth Value in VR HMD Ho-Jun Son 1), Jung-Ho Kim 2), Seung-Hyun Lee 3), Alaric Hamacher 4) and Soon-Chul Kwon 5) 요 약 최근 다양한 가상현실 구현 장치 중 HMD(Head Mounted Display) 기반의 가상현실 구현 기술이 주목받고 있다. 전 세계의 주요 IT관련 회사들의 VR(Virtual Reality) HMD의 연구 개발의 참여로 VR HMD의 대중화 가능성을 높게 평가받고 있다. 특히, 높은 스마트폰 보급률에 따라 스마트폰을 활용 하는 VR HMD 제품의 수요가 늘어나고 있으며, 이에 따라 스마트폰 환경에서의 고품질 가상현실 콘 텐츠 제작이 요구되고 있다. 본 논문은 VR HMD에서의 스테레오스코픽 3D 깊이 값 적용에 연구 목 적을 둔다. 이를 위해 VR HMD의 파라미터 값을 측정하고, 측정한 값을 바탕으로 광학 시스템을 분 석하였다. NPP(Native Pixel Parallax) 계산을 바탕으로 좌/우 영상의 시차에 의해 가상 깊이로 환산 하였다. 환산된 깊이 값을 적용한 스테레오스코픽 이미지를 제작하고, VR HMD에서 적용하였다. 본 논문은 가상현실 내의 깊이 값을 구현하는 고품질의 VR HMD 콘텐츠 제작 분야에 정량적 자료로 활 용될 것으로 기대된다. 핵심어 : 가상현실, HMD, 스테레오스코픽, 3D, 깊이 값 Abstract Recently, technology of Virtual Reality(VR) based on HMD among various kinds of VR implemented products has received widespread attention. Major IT-related companies around the world participated in VR HMD research and development. Therefore, the possibility of the spread of VR HMD has been highly praised. Demands of VR HMD products using Smart Phone has been especially increased so that it is Received (February 6, 2016), Review Result (February 23, 2016) Accepted (March 2, 2016), Published (April 30, 2016) 1 139-701 Dept. Holography 3D Contents, Kwangwoon Univ., Woolgye-dong, Nowon-gu, Seoul, Korea email: granit3520@kw.ac.kr 2 139-701 Dept. Plasma Bio Display, Kwangwoon Univ., Woolgye-dong, Nowon-gu, Seoul, Korea email: jungho2cho@naver.com 3 139-701 Dept. Holography 3D Contents, Kwangwoon Univ., Woolgye-dong, Nowon-gu, Seoul, Korea email: shlee@kw.ac.kr 4 139-701 Dept. Holography 3D Contents, Kwangwoon Univ., Woolgye-dong, Nowon-gu, Seoul, Korea email: stereo3d@kw.ac.kr 5 (Corresponding Author) 100-100 Dept. Holography 3D Contents, Kwangwoon Univ., Woolgye-dong, Nowon-gu, Seoul, Korea email: ksc0226@kw.ac.kr * 본 연구는 미래창조과학부 및 정보통신기술진흥센터의 대학ICT연구센터육성지원사업의 연구결과로 수행되 었음 (IITP-2016-R0992-15-1008) ISSN: 2383-5281 AJMAHS Copyright c 2016 HSST 31
A Study on the Application of Stereoscopic Depth Value in VR HMD required to create a high quality of VR contents. The purpose of study in this paper is to apply the depth value of stereoscopic to VR HMD. To implement it, we analyzed VR HMD optical system and converted an experimental image to virtual depth caused by binocular disparity based on the result of calculating NPP(Native Pixel Parallax). We produced the image of stereoscopic applied with the value converted and applied to VR HMD. This study is expected to be utilized as a VR content creation field of quantitative data. Keywords : Virtual Reality, Head Mounted Display, Stereoscopic, 3D, Depth Value 1. 서론 가상현실은 ICT(Information and Communication Technologies)에서 주요 핵심 분야로써 다양하 게 활용되고 있다. 가상현실 구현 장치 중 VR HMD(Virtual Reality Head Mounted Display)는 3D 입체영상, 게임뿐 아니라 군사, 의료, 교육 등의 훈련분야와 관광, 전시관람 등의 문화산업 등 에서 활용되고 있다[1-3]. VR HMD는 GPS, 지자계, 자이로스코프 등의 센서와 스테레오스코픽 3D 기술을 활용하여 가상 의 입체물체를 구현하는 머리에 착용하는 형태의 디스플레이 장치이다[4]. VR HMD는 PC 또는 콘솔 게임기 등 별도의 컴퓨팅 단말이 필요한 종류와 스마트폰을 이용하는 종류로 분류된다. 최근 에 등장한 스마트폰을 이용한 VR HMD는 별도의 컴퓨팅 단말이 필요 없어 이동성의 제약이 없 고, 스마트폰 스크린과 센서를 이용하기 때문에 제품의 가격이 저렴하다[5]. 스마트폰의 보급이 확 대됨에 따라 스마트폰을 이용한 VR HMD 제품의 수요가 증가하고 있으며, 이에 따라 VR HMD 에서 구현할 고품질의 가상현실 콘텐츠의 제작이 요구되고 있다. 본 논문은 VR HMD에서의 스테레오스코픽 3D 깊이 값 적용에 대해 연구한다. VR HMD의 광 학 시스템을 분석하고, NPP(Native Pixel Parallax) 계산을 통해 좌/우 영상의 시차 값을 가상의 깊이 값으로 환산한다. 환산된 깊이 값을 적용한 스테레오스코픽 이미지를 제작하고, VR HMD에 적용하는 실험을 한다. 본 논문의 구성은 다음과 같이 같다. 2장에서 연구에 사용될 VR HMD의 파라미터를 조사하고 광학 시스템과 스테레오스코픽 깊이 값을 설명한다. 3장에서는 2장의 내용을 바탕으로 깊이 값을 적용시킨 스테레오스코픽 이미지를 제작하고 VR HMD 깊이 값 실험을 한다. 4장에서는 VR HMD 기반의 스테레오스코픽 깊이 값 연구에 대한 결론을 맺는다. 2. VR HMD VR HMD는 사용자가 렌즈를 통해 초근거리의 스크린을 관측하며, 상의 결상 유형에 따라 확대 된 정립 허상으로 맺힌다[6-8]. 본 장에서는 사용자가 관측하는 가상 스크린의 거리를 계산할 수 있는 광학 시스템 분석과 깊이 값 적용에 대해 연구한다. 32 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.4, April (2016) 2.1 VR HMD 광학 시스템 광학 시스템 분석에 사용한 VR HMD는 구글 카드보드와 삼성 갤럭시 노트 3를 사용하였다[8]. 표 1은 스마트폰의 파라미터를 보여준다. [표 1] 스마트폰 파라미터 [Table 1] Smart phone parameters Parameter Value Model Galaxy Note 3 Screen Size 5.7 Resolution 1920 1080 Pixel Per Inch 387 Pixel Pitch 0.07 mm 구글 카드보드에서 분해한 렌즈는 휴비츠사의 자동 렌즈미터(모델명:CLM-3100P)를 사용해 굴절 력을 측정한다. 측정된 렌즈의 굴절력을 통해 식 (1)에 의해 초점거리를 구한다[7]. (1) 식 (1)의 는 굴절력 값, 은 매질, 는 초점 거리이다. 의 값을 식 (2)을 대입해 가상 스크린 거리를 구한다[8]. (2) 식 (2)의 는 초점 거리, 는 물체 거리, 는 상 거리이다. 식 (2)의 의 값과 의 값을 식 (3)에 대입하여 배율을 구한다[7]. (3) 식 (3)의 은 배율, 는 물체 거리, 는 상 거리이다. 그림 1은 배율 이 적용한 픽셀 면적 예시를 보여준다. ISSN: 2383-5281 AJMAHS Copyright c 2016 HSST 33
A Study on the Application of Stereoscopic Depth Value in VR HMD [그림 1] 배율 적용 예시 [Fig. 1] Example of magnification 계산된 는 가상 스크린 거리로 표현되며, 배율을 통해 콘텐츠 제작을 위한 픽셀 기준이 된다. 표 2는 구글 카드보드와 삼성 갤럭시 노트 3의 VR HMD 광학 시스템 파라미터 값을 보여준다. [표 2] VR HMD 파라미터 값 [Table 2] Parameter values of VR HMD Parameter Variable Value Lens Power - 21.50 D Magnification 4.43 Pixel Magnification 2.1 Focal Length 46.51 mm Pupillary Distance 66 mm Screen Distance (Lens-Phone Screen) Virtual Distance (Lens-Virtual Screen) Smart Phone Screen Pixel Size Virtual Screen Pixel Size 36 mm 159.31 mm 0.07 mm 2 0.07 4.43 mm 2 34 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.4, April (2016) 그림 2는 획득된 파라미터 값에 의한 VR HMD 가상 스크린 이미지를 보여준다. [그림 2] VR HMD 가상 스크린 [Fig. 2] Virtual screen of VR HMD 2.2 VR HMD 스테레오스코픽 VR HMD의 구조는 그림 3과 같이 이미지를 출력하는 스크린과 얇은 비구면 렌즈 한 쌍, 스크린 을 좌/우로 분리하는 배리어(barrier)로 이루어져 있다[8]. 배리어에 의해 분리된 좌/우 스테레오 스코픽 이미지는 양안이 각각 받아들인다. [그림 3] VR HMD 구조 [Fig. 3] Structure of VR HMD ISSN: 2383-5281 AJMAHS Copyright c 2016 HSST 35
A Study on the Application of Stereoscopic Depth Value in VR HMD 일반적인 시생활에서는 양안이 받아들이는 이미지가 동공간 거리(Pupillary Distance, PD)로 인 해 차이가 발생하고 뇌의 융합을 통해 하나의 이미지로 인식한다. 스테레오스코픽은 뇌의 융합을 활용해 양안이 받아들이는 이미지에 시차를 적용하여 깊이 값을 구현하는 방법이다[9]. 스테레오스 코픽은 일반적인 시생활과 달리 조절과 폭주가 같은 거리를 기준으로 일어나지 않기 때문에 시각 적 피로감이 발생될 수 있다[10-13]. 융합된 스테레오스코픽 이미지의 객체는 스크린 뒤 또는 스크린 앞에 존재한다. 융합된 이미지 의 객체가 스크린 뒤에 존재하는 경우 양의 시차(Positive parallax)이고, 앞에 존재하는 경우 음의 시차(Negative parallax)이다[9]. 3. 실험 및 결과 그림 4는 가상 스크린에서의 시차에 의해 스테레오스코픽 깊이 값을 보여준다. (a) (b) [그림 4] VR HMD 깊이 값 (a) 양의 시차 (b) 음의시차 [Fig. 4] Depth value of VR HMD (a) Positive parallax (b) Negative parallax 스테레오스코픽 시차 값은 PD 거리, 가상 스크린 거리, 깊이 값에 의해 계산된다[14]. 그림 4(a) 는 양의 시차, 그림 4(b)는 음의 시차이다. 36 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.4, April (2016) (4) 식 (4)에 따라 그림 4의 와 는 닮음 삼각형이다. 닮음 삼각형의 원리를 활 용하여 식 (5)를 적용할 수 있다. 깊이값 가상 시차값 가상 스크린거리 깊이 값 (5) 식 (5)에 그림 4의 변수를 대입한 식 (6)을 이용해 가상 시차 의 값을 구할 수 있다. (6) 식 (6)의 는 가상 스크린 거리, 는 가상 깊이 값, 는 PD의 절반, 는 가상 시차 값이다. 는 배율이 적용되어 있는 가상 스크린의 시차 값이다. 실제 시차 값 을 구하기 위해 식 (7)을 적용한다. (7) 식 (7)의 는 가상 시차 값, 은 실제 시차 값, 는 시차 적용 배율이다. 실제 시차 값 을 식 (8)을 대입한다. 시차 값픽셀수 픽셀사이즈 (8) 식 (8)을 이용해 스크린의 픽셀 사이즈로 나눠 시차 값을 픽셀 수로 환산한다. 환산된 픽셀 수는 단안 기준이므로 양안 이미지에 각각 적용한다. 그림 5는 스테레오스코픽 깊이 값 적용 실험 이미 지이다. ISSN: 2383-5281 AJMAHS Copyright c 2016 HSST 37
A Study on the Application of Stereoscopic Depth Value in VR HMD (a) (b) [그림 5] 스테레오스코픽 깊이 값 실험 이미지 (a) 실험 이미지 (b) 시차 값 적용 이미지 [Fig. 5] Experimental images of stereoscopic depth values (a) Experimental image (b) Experimental image with disparity value 그림 5의 1 은 시차 없음, 2 는 양의 시차, 3 은 음의 시차이다. 그림 5(a)는 깊이 감을 인지하 는 단안요인을 배제하기 위해 색상, 폰트 사이즈, 높이를 동일하게 적용했다[9]. 그림 5(b)의 숫자 이 미지는 좌/우안이 받아들인 이미지를 가시적으로 표현하기 위해 색상을 적용했다. 표 3은 그림 5에 적용된 파라미터이다. [표 3] 실험 적용 파라미터 [Table 3] Experimental values No Parallax Type Depth Virtual Parallax Screen Parallax Pixel 1 Zero 0 mm 0 mm 0 mm 0 2 Positive -20 mm +3.68 mm +1.75 mm 25.04 3 Negative +20 mm -4.47 mm -2.25 mm 32.23 단안 기준의 파라미터로 실제 스크린에 적용할 시에는 양안 이미지가 각각 적용한다. 표 3의 시 차 값 는 시차가 없는 이미지를 기준으로 좌안 이미지는 좌측으로, 우안 이미지는 우측으로 시차 를 적용한다. 시차 값 는 반대로 시차를 적용한다. 38 Copyright c 2016 HSST
Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology Vol.6, No.4, April (2016) (a) (b) [그림 6] 실험 결과 (a) 실험에 사용된 VR HMD (b) 실험 결과 [Fig. 6] Experimental results (a) VR HMD image (b) Result of stereoscopic depth image 그림 6(a)는 그림 5(a)를 실험에 사용된 VR HMD에서 디스플레이 이미지다. 그림 6(b)는 실험에 의해 표현된 스테레오스코픽 깊이 값 적용 이미지를 보여준다. 그림 6(b)의 1 은 시차 없음, 2 는 양의 시차, 3 은 음의 시차, 는 가상 스크린 거리, 는 가상 깊이 값이다. 그림 6(b)와 같이 1 을 기준으로 약 20 mm의 깊이 값이 적용되어 2 는 스크린 뒤로, 3 은 스크린 앞으로 관측되었다. 4. 결론 본 논문에서는 VR HMD 기반의 스테레오스코픽 깊이 값 적용에 대한 연구를 다음과 같이 진행 했다. 첫째, VR HMD의 파라미터 분석과 가상 스크린의 거리를 계산할 수 있는 광학 시스템을 연 구하였다. 둘째, 연구한 광학 시스템을 활용해 스테레오스코픽 3D 깊이 값 적용을 연구하였다. 셋 째, 스테레오스코픽 깊이 값이 적용된 VR HMD 이미지를 제작하고 실험하였다. 추후 연구로는 VR HMD의 시야각에 관한 추가적인 연구가 필요하다. VR HMD의 렌즈와 스크 린의 시야각에 관한 연구를 통해 실생활과 같은 공간감과 깊이감을 적용할 수 있는 고품질의 가상 현실 콘텐츠 제작이 가능하다. 본 연구와 추후 연구를 통해 고품질의 VR HMD 가상현실 콘텐츠 제작에 대한 연구에 정량적 자료로 활용할 수 있을 것이다. 본 연구는 가상현실 게임, 훈련, 교육 과 같이 가상현실 내의 깊이 값을 구현하는 가상현실 콘텐츠 분야에 활용될 것으로 기대된다. ISSN: 2383-5281 AJMAHS Copyright c 2016 HSST 39
A Study on the Application of Stereoscopic Depth Value in VR HMD References [1] Jong-sung Han and Geun-ho Lee, VR Tourism Content Using the HMD Device, KCA Thesis Journal. (2015), Vol. 15, No. 3, pp. 40-47. [2] Choon-sung Shin, Byoung-ha Park and Gwang-mo Jung, A Study of Application Technology and Development Tendency on the Virtual Reality Training, The magazine of KIICE. (2015), Vol. 16, No. 1, pp. 17-23. [3] Jung-yeob Han, Study on the Feature of Mobile HMD-Based VR Experience Contents Design, Journal of Korea Institute of Spatial Design. (2015), Vol. 35, pp. 199-207. [4] Jin-kon Kim, Convergence of Stereo Image on HMD using Smart Phone, Journal of Communication Design. (2015), Vol. 51, pp. 78-90. [5] Min-sik Kang and Young-ho Lee, Development Trend of Virtual Reality Head Mounted Display, The magazine of KIICE. (2015), Vol. 16, No. 1, pp. 38-45. [6] Eugene Hecht, Optics, 4th Ed, Addison-Wesley. (2002), pp. 149-170. [7] P. J. Sung, Geometric Optics for Optometrist, 4th Ed, Daihaks. (2010), pp. 115-149. [8] Alaric Hamacher, Soon-chul Kwon and Taeg-keun Whangbo, Analysis of depth perception in smart phone HMDs, 1st EEECS 2016, (2016) January 20-22, Phuket, Thailand. [9] Benoit Michel, La Stéréoscopie numérique, Eyrolles, Paris. (2011), pp. 27-58. [10] Jung-ho Kim, Deok-young Yun, Kwang-Chul Son, Seung-hyun Lee and Soon-chul Kwon, Change of Total Convergence on Visual Function Case after 3D Images, International Journal of Internet, Broadcasting and Communication. (2015), Vol. 7, No. 1, pp. 57-61. [11] David M. Hoffman, Ahna R. Girshick, Kurt Akeley and Martin S. Banks, Vergence accommodation conflicts hinder visual performance and cause visual fatigue, Journal of Vision. (2008), Vol. 8, No. 3, pp. 1-30. [12] Jung-ho Kim, Jeong-sik Son, Sung-jin Park and Soon-chul Kwon, Clinical Consideration of Visual Fatigue on 3D Images, The Journal of the KICS. (2013), Vol. 38, No. 11, pp. 990-999. [13] Peter A. Howarth, Potential hazards of viewing 3-D stereoscopic television, cinema and computer games: a review, Ophthalmic and Physiological Optics. (2011), Vol. 31, No. 2, pp. 111-122. [14] Byung-jin Park, Jae-woo Jung and Sung-hwan Park, Stereoscopic Depth Fidelity: New Reference For Making Effective and Natural Stereoscopic 3D Content, Journal of Broadcast Engineers. (2012), Vol. 2012, No. 11, pp. 92-95. 40 Copyright c 2016 HSST