가상현실컨텐츠체감피로도저감장치및그방법 기술개요 체감피로를느끼는원리, Neural mismatch model을딥러닝으로모델링하고, VR 시각입력과뇌에서일상경험으로갖고있는시각적차이, 즉, 신경불일치의세기에근거하여체감피로도점수를예측하여체감피로도를정량화하고이를통한체감피로도를저

가상현실컨텐츠체감피로도저감장치및그방법 기술개요 체감피로를느끼는원리, Neural mismatch model을딥러닝으로모델링하고, VR 시각입력과뇌에서일상경험으로갖고있는시각적차이, 즉, 신경불일치의세기에근거하여체감피로도점수를예측하여체감피로도를정량화하고이를통한체감피로도를저감하는기술임 기술의특징 예외적움직임을고려한프레임보간딥네트워크를활용해시간해상도조절기반의가상현실컨텐츠체감피로도를저감함 영상왜곡을고려한고해상도딥네트워크를활용해공간해상도조절기반의가상현실컨텐츠체감피로도를저가함 적용분야 가상현실컨텐츠체감피로도관련분야 관련분야시장규모및예상수요기업 골드만삭스에따르면가상현실시장규모는 2016 년 22 억달러에서 2025 년 800 억달러 (H/W : 450 억달러, S/W : 350 억달러 ) 규모로성장할것으로예견됨 예상수요기업 : 가상현실제공하드웨어기업, 가상현실소프트웨어기업, 가상현실플랫폼기업

가상현실컨텐츠체감피로도저감장치및그방법 2020. 11. 3.( 화 ) 전기및전자공학부노용만교수

가상현실컨텐츠체감피로도저감장치및그방법 Contents 1 2 3 4 종래기술의문제점발명의특징관련논문및특허사업화추진현황

1. 종래기술의문제점 가상현실 (VR) 컨텐츠체감피로도저감 최근 3D display, 5G, HMD 발전과함께가상현실 (virtual reality, VR) 인프라가개선되면서교육, 게임, 방송, 엔터테인먼트등분야로 VR 시장이확대됨 가상현실컨텐츠에대해약 70~80% 의시청자는체감피로 (Cybersickness) 를경험함 가상현실컨텐츠의체감피로도를최소화하고안전한시청및제작을위해가상현실컨텐츠의체감피로도를저감하는기술이매우중요함 기존에는경험적으로체감피로도저감을시도함. 가상현실컨텐츠에대해저감이효과적으로수행되기어려운한계를지님 가상현실컨텐츠로부터자동으로체감피로도를예측하고체감피로도요인들을저감할수있는기술이필요함

2. 발명의특징 체감피로도정량화기술을통한체감피로도저감기술 체감피로도정량화기술을기반으로하는체감피로도저감기술 피로도의크기에따른증감형콘텐츠체감피로도저감기술 시공간해상도조정 입력영상 딥러닝기반영상분석체감피로정량화 s 예측체감피로점수 허용피로 Yes 피로를유발하지않는영상 No 피로도유발인자를고려한저감모듈 저감된출력영상 체감피로도적응적피로도저감기술프레임워크

2. 발명의특징 체감피로도정량화기술을통한체감피로도저감기술 체감피로도정량화기술 체감피로를느끼는원리, Neural mismatch model을딥러닝으로모델링 VR 시각입력과뇌에서일상경험으로갖고있는시각적차이, 즉, 신경불일치의세기에근거하여체감피로도점수를예측 체감피로도예측딥네트워크모델

2. 발명의특징 체감피로도정량화기술을통한체감피로도저감기술 시간및공간해상도조절기반가상현실컨텐츠체감피로도저감기술개요

2. 발명의특징 체감피로도정량화기술을통한체감피로도저감기술 시간해상도조절기반가상현실컨텐츠체감피로도저감기술 예외적움직임을고려한프레임보간딥네트워크 입력 : 증감형비디오, 출력 : 프레임수가증가한피로도저감비디오 예외적움직임을고려한프레임보간딥네트워크구조

2. 발명의특징 체감피로도정량화기술을통한체감피로도저감기술 공간해상도조절기반가상현실컨텐츠체감피로도저감 영상왜곡을고려한고해상도화딥네트워크 사람이실제시청하는뷰포트도메인에서뷰포트고해상도화모듈 입력 : 증감형비디오, 출력 : 해상도가증가한피로도저감영상 공간왜곡을고려한고해상도화모델구조

3. 관련논문및특허 가상현실 (VR) 컨텐츠체감피로도관련논문게재 국제저널논문 (SCI) 4건논문게재 Binocular Fusion Net: Deep Learning Visual Comfort Assessment for Stereoscopic 3D (IEEE TCSVT, IF: 4.133) VRSA Net: VR Sickness Assessment considering Exceptional Motion for 360-degree VR Video (IEEE TIP, IF: 9.340) Deep Virtual Reality Image Quality Assessment with Human Perception Guider for Omnidirectional Image (IEEE TCSVT, IF: 4.133) Robust Video Frame Interpolation with Exceptional Motion Map (IEEE TCSVT, IF: 4.133) 국제학술대회논문 8건게재및발표 Visual Comfort Assessment of Stereoscopic Images using Deep Visual and Disparity Features Based on Human Attention (ICIP 2017) Measurement of exceptional motion in VR video contents for VR sickness assessment using deep convolutional autoencoder (ACM VRST 2017) VR IQA NET: Deep Virtual Reality Image Quality Assessment using Adversarial Learning (ICASSP 2017) Physiological Fusion Net: Quantifying Individual VR Sickness with Content Stimulus and Physiological Response (ICIP 2019) Deep Objective Assessment Model Based On Spatio-Temporal Perception Of 360-Degree Video For VR Sickness Prediction (ICIP 2019, Best Paper Finalist, Top 2% of the accepted papers) Estimating VR Sickness Caused By Camera Shake In VR Videography (ICIP 2020) Video Frame Interpolation via Exceptional Motion-Aware Synthesis (ICASSP 2020) SACA Net: Cybersickness Assessment of Individual Viewers for VR Content. via Graph-based Symptom Relation Embedding (ECCV 2020)

3. 관련논문및특허 가상현실 (VR) 컨텐츠체감피로도관련특허출원 국제특허출원 4건 VR Content Sickness Evaluating Apparatus Using Deep Learning Analysis Of Motion Mismatch And Method Thereof ( 출원번호 : US 15882693) Method For VR Sickness Assessment Considering Neural Mismatch Model And The Apparatus Thereof ( 출원번호 : US 16700834) Method For Video Frame Interpolation Robust To Exceptional Motion And The Apparatus Thereof ( 출원번호 : PCT/KR2019 /018414) Apparatus and Method for Virtual Reality Sickness Reduction Based on Virtual Reality Sickness Assessment ( 출원번호 : US 16985333) 국제특허등록 1건 VR Content Sickness Evaluating Apparatus Using Deep Learning Analysis Of Motion Mismatch And Method Thereof ( 등록번호 : US 10657655) 국내특허출원 5건 VR 피로도유발인자의딥러닝분석을사용하는VR 컨텐츠체감품질정량적평가장치및방법 ( 출원번호 : 10-2017-0107073) 움직임불일치의딥러닝분석을이용한VR 콘텐츠멀미평가장치및그방법 ( 출원번호 : 10-2017-0169844) VR 컨텐츠체감피로도저감장치및방법 ( 출원번호 : 10-2018-0160720) 신경불일치모델기반의딥러닝분석을통한 VR 컨텐츠체감품질예측장치및방법 ( 출원번호 : 10-2018-0160739) 예외적움직임에강인한비디오프레임보간방법및그장치 ( 출원번호 : 10-2019-0137384) 국내특허등록 2건 VR 피로로유발인자의딥러닝분석을사용하는VR 컨텐츠체감품질정량적평가장치및방법 ( 등록번호 : 10-2055481) 움직임불일치의딥러닝분석을이용한VR 콘텐츠멀미평가장치및그방법 ( 등록번호 : 10-2055486)

4. 사업화추진현황 가상현실 (VR) 컨텐츠체감피로도관련사업화추진 ICT R&D 기술예고 가상현실컨텐츠분석기반딥러닝 VR 멀미정량적예측기술 신경불일치모델을고려한가상현실컨텐츠분석기반딥러닝 VR 멀미정량적예측기술개념도

감사합니다