1. Motivation 2014년베를린에서열린 IFA2014에서는삼성전자가오큘러스와합작하여개발한기어 VR을발표하며 VR시장에진출하였고, 구글은누구나손쉽게 VR 및 360 파노라마뷰컨텐츠를즐길수있도록제작된 HMD (Head-mounted Display) 인카드보드를출시

Similar documents
03홍성욱.hwp

03이승호_ok.hwp

19_9_767.hwp

2 : (JEM) QTBT (Yong-Uk Yoon et al.: A Fast Decision Method of Quadtree plus Binary Tree (QTBT) Depth in JEM) (Special Paper) 22 5, (JBE Vol. 2

그림 2. 최근 출시된 스마트폰의 최대 확장 가능한 내장 및 외장 메모리 용량 원한다. 예전의 피쳐폰에 비해 대용량 메모리를 채택하고 있지 만, 아직 데스크톱 컴퓨터 에 비하면 턱없이 부족한 용량이다. 또한, 대용량 외장 메모리는 그 비용이 비싼 편이다. 그러므로 기존

Microsoft Word - PLC제어응용-2차시.doc

13김상민_ok.hwp

1 : MV-HEVC (Jae-Yung Lee et al.: Fast Disparity Motion Vector Searching Method for the MV-HEVC) High Efficiency Video Coding (HEVC) [1][2]. VCEG MPEG

05안용조.hwp

MPEG-4 Visual & 응용 장의선 삼성종합기술원멀티미디어랩

(JBE Vol. 24, No. 2, March 2019) (Regular Paper) 24 2, (JBE Vol. 24, No. 2, March 2019) ISSN

3 : S-JND HEVC (JaeRyun Kim et al.: A Perceptual Rate Control Algorithm with S-JND Model for HEVC Encoder) (Regular Paper) 21 6, (JBE Vol. 21,

(JBE Vol. 20, No. 6, November 2015) ISO/IEC HEVC [1]. LG 7680x4320 8k UHD TV 4 HEVC. HEVC H.264/AVC 3 2 [2]. UHD,,, HEVC.,,. Davinci Resolve

Á¦3ºÎ-6Àå

5 : HEVC GOP R-lambda (Dae-Eun Kim et al.: R-lambda Model based Rate Control for GOP Parallel Coding in A Real-Time HEVC Software Encoder) (Special Pa

01이국세_ok.hwp

$08.Tech&trend

1 : HEVC Rough Mode Decision (Ji Hun Jang et al.: Down Sampling for Fast Rough Mode Decision for a Hardware-based HEVC Intra-frame encoder) (Special P

Ⅰ. 서 론 2016년 초에 열린 ICT 관련 행사의 주요 테마는 가상현실(VR: Virtual Reality)이 었다. 2016년 1월 5~8일 미국 라스베이거스에서 열린 세계 최대 가전 전시회인 CES 에서는 오큘러스, 삼성전자, HTC, 소니 등이 가상현실 관련

특허청구의범위청구항 1 하나의픽쳐를복수개의서브픽쳐들로분할하는단계 ; 상기분할된서브픽쳐를각각매크로슬라이스로매핑하는단계 ; 상기각매크로슬라이스를인코딩하는단계 ; 및상기인코딩에의해발생된비트스트림을다중화하는단계를포함하는것을특징으로하는초고해상도영상인코딩방법. 청구항 2 제1항에

1 : S-JND HEVC (JaeRyun Kim et al.: S-JND based Perceptual Rate Control Algorithm of HEVC) (Regular Paper) 22 3, (JBE Vol. 22, No. 3, May 2017)

02본문

1 : HEVC (Jeonghwan Heo et al.: Fast Partition Decision Using Rotation Forest for Intra-Frame Coding in HEVC Screen Content Coding Extension) (Regular

초고해상도 HEVC 비디오코덱 SoC 기술 Ⅰ. 제안기술개요 기술의내용기술의동향기술의제품화및시장전망 - 4K/8K UHD 급대용량비디오이미지 의실시간압축및복원기술로 2013 년 상반기표준화완료 - 기존 MPEG-4 및 H.264/AVC 대비각 각약 4 배 /2 배의개선

SW

1 SW

600 방송공학회논문지제 22 권제 5 호, 2017 년 9 월 (JBE Vol. 22, No. 5, September 2017) 특집논문 (Special Paper) 방송공학회논문지제 22 권제 5 호, 2017 년 9 월 (JBE Vol. 22, No. 5, Sep

텀블러514

02본문

방송공학회논문지 제18권 제2호

08김현휘_ok.hwp

02손예진_ok.hwp

[Brochure] KOR_TunA

(JBE Vol. 24, No. 1, January 2019) (Regular Paper) 24 1, (JBE Vol. 24, No. 1, January 2019) ISSN 2287


실감미디어 제작 전문인 과정 1기 결과보고서

14최해철_ok.hwp

슬라이드 제목 없음

(JBE Vol. 21, No. 6, November 2016) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ISSN

2 : HEVC (Yongtae Kim et al.: Performance Analysis of Scalable HEVC Coding Tools) (Special Paper) 20 4, (JBE Vol. 20, No. 4, July 2015)

<342DC8A3BFE4BCBA28C3D6C1A4BEC D C3DFB0A134292E687770>

PowerPoint 프레젠테이션

Microsoft Word _1

C# Programming Guide - Types

Chap 6: Graphs

3 : 360 (Dongmin Jang et al.: Implementing Renderer for Viewport Dependent 360 Video) (Special Paper) 23 6, (JBE Vol. 23, No. 6, November 2018

슬라이드 1

(JBE Vol. 20, No. 2, March 2015) (Special Paper) 20 2, (JBE Vol. 20, No. 2, March 2015) ISSN

Microsoft PowerPoint - chap11.ppt [호환 모드]

슬라이드 1

H3250_Wi-Fi_E.book

(JBE Vol. 23, No. 5, September 2018) (Regular Paper) 23 5, (JBE Vol. 23, No. 5, September 2018) ISSN

2 : MMT QoS (Bokyun Jo et al. : Adaptive QoS Study for Video Streaming Service In MMT Protocol). MPEG-2 TS (Moving Picture Experts Group-2 Transport S

참조매뉴얼

4 : (Hyoungyill Park et al.: The Design and Implementation of Multiple Digital Signage Video Sync Technology for Ultra-high Resolution) (Special Paper

IPIU2008_김승환.hwp

제 출 문 환경부장관 귀하 본 보고서를 폐기물관리 규제개선 방안연구 에 관한 최종보고서로 제출합니다 연구기관 한국산업폐기물처리공제조합 연구책임자 연 구 원 연구보조원 이 남 웅 황 연 석 은 정 환 백 인 근 성 낙 근 오 형 조 부이사장 상근이사 기술팀장 법률팀장 기

Chapter ...

Microsoft PowerPoint - 30.ppt [호환 모드]

Sequences with Low Correlation

<4D F736F F F696E74202D20C1A63034B0AD202D20C7C1B7B9C0D3B8AEBDBAB3CABFCD20B9ABB9F6C6DBC0D4B7C2>

À±½Â¿í Ãâ·Â

특허청구의 범위 청구항 1 휴대폰 스트랩 어댑터 결합용 액세서리에 있어서, 휴대폰의 액세서리 연결고리에 줄로 연결된 어댑터 캡과; 상기 어댑터 캡과 착탈식으로 결합 및 분리하는 어댑터; 및 상기 어댑터 캡과 상기 어댑터 사이에 착탈식으로 결합 및 분리하는 적어도 1개

master.hwp

19_9_767.hwp

(JBE Vol. 23, No. 6, November 2018) (Special Paper) 23 6, (JBE Vol. 23, No. 6, November 2018) ISSN 2

,,, 3D, 3D 3D. 3DTV,,, [1][2].,, (frame-compatible) 3D [3][4]. 3DTV, 3DTV, 3DTV DTV [5]. 3DTV,, 3. 3DTV MPEG-2 (ISO/IEC ) [6] 3DTV (dual

세션 Tutorial 1 강연 시간 5/11(수) 09:30-11:30 주 제 5G System: Vision & Enabling Technologies 성 명 강충구 소속기관명 고려대학교 부서/학과명 전기전자공학부 직 위 교수 5G 이동통신의 응용 분야에 따른 기술

2 : HEVC (Woo-Jin Han et al. : Early Decision of Inter-prediction Modes in HEVC Encoder) (Regular Paper) 20 1, (JBE Vol. 20, No. 1, January 201

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

MPEG-I 표준과 360 도비디오콘텐츠생성 표준화로드맵을제시하고논의를진행하고있다 [3] 년부터표준화작업을시작하여 2021년까지표준화작업을완료하는것을목표로하고있으며, 내부적으로 5개의서브파트가존재하며, 각파트별표준화작업은 < 그림 1> 에나타나있듯이연도별로세

PowerPoint Presentation

Microsoft Word - I001_UNIT_ _ doc

3. 운영절차 운영절차 신 청 공 고 분과심사 총괄심사 시 상 식 수상작 전시 기업, 단체, 개인, 추천권자 3월 25일(금) 마감 서류심사 및 프리젠테이션 (4월 첫째 주) 제품 데모 및 프리젠테이션 (4월 셋째 주) 5월 11일, 'World IT Show 2011

미쓰리 파워포인트

디지털TV솔루션 브로셔

NX1000_Ver1.1

(JBE Vol. 22, No. 5, September 2017) (Special Paper) 22 5, (JBE Vol. 22, No. 5, September 2017) ISSN

및 / 또는패킷데이터를인코딩하고압축하는데이용되는하나이상의변환을나타내는데이터를포함함 - 를상기인코딩된입력데이터 (20) 로부터추출하기위해, 상기인코딩된입력데이터 (20) 를프로세싱하고 ; (b) 디코딩된블록및 / 또는패킷콘텐츠를수신하기위해데이터저장장치에데이터필드를준비하며

슬라이드 1

AUTOSAR, 멀티코어와 기능 안전을 추구하다

Microsoft Word - logic2005.doc

LG LG-F540K 스마트폰 LG 볼트 (KT) 720X1280 LG LG-F540L 스마트폰 LG 볼트 (U+) 720X1280 LG LG-F540S 스마트폰 LG 볼트 720X1280 LG LG-F650K 스마트폰 X screen (KT) 720X1280 LG L

1 : UHD (Heekwang Kim et al.: Segment Scheduling Scheme for Efficient Bandwidth Utilization of UHD Contents Streaming in Wireless Environment) (Specia

(JBE Vol. 23, No. 2, March 2018) (Regular Paper) 23 2, (JBE Vol. 23, No. 2, March 2018) ISSN

HTML5* Web Development to the next level HTML5 ~= HTML + CSS + JS API

<4D F736F F D20C3D6BDC C0CCBDB4202D20BAB9BBE7BABB>

SBR-100S User Manual

Editorial MPEG 표준화관련최근동향소개 ETRI 차지훈그룹장 MPEG 표준화관련최근동향소개 많은 ICT 기술들이그러하듯미디어기술도하루가다르게진화하고있다. 10년전만해도모바일단말에서동영상을자유롭게소비하는것이쉽지않았으나, 이제는누구나일상에서즐기는보편화된서비스가되었

목차 1. 개요 3 2. H.264의개발 3 3. 영상압축작동방법 4 4. H.264 프로파일과레벨 5 5. 프래임의이해 5 6. 데이터를줄이는기본적인방법 6 7. H.264의효율성 7 8. 결론 9

Cover Story Oracle Big Data Vision 01_Big Data의 배경 02_Big Data의 정의 03_Big Data의 활용 방안 04_Big Data의 가치

02이주영_ok.hwp

갤럭시윈 SHV-E500S 안드로이드 4.2 신형태그중하 갤럭시노트 3 SM-N900S 안드로이드 4.3 신형태그상 갤럭시 S4 액티브 SHV-E470S 안드로이드 4.2 신형태그중 갤럭시코어어드밴스 SHW-M570S 안드로이드 중 갤럭시그랜드 2 SM-G7

01박기준.hwp

10신동석.hwp

IPTV

Structure and Interpretation of Computer Programs: Assignment 3 Seung-Hoon Na October 4, George (아래 3개의 문제에 대한 구현이 모두 포함된 george.rkt파일을 제출하시오.

EDIUS 7 & DaVinci Resolve 11 Workflow

ez-shv manual

Microsoft PowerPoint - NV40_Korea_KR_2.ppt

Transcription:

KCC2017 SW 구현 / 데모경진대회 ARM SoC 기반의 HMD 를위한 HEVC 병렬처리최적화기법 가천대학교일반대학원 컴퓨터공학전공석사과정 류영일

1. Motivation 2014년베를린에서열린 IFA2014에서는삼성전자가오큘러스와합작하여개발한기어 VR을발표하며 VR시장에진출하였고, 구글은누구나손쉽게 VR 및 360 파노라마뷰컨텐츠를즐길수있도록제작된 HMD (Head-mounted Display) 인카드보드를출시하였다. 최근페이스북또한 17개의카메라가내장되어있는 360 파노라마뷰촬영용카메라인 FACEBOOK SURROUND 360 을선보였다. 이처럼세계의여러 IT 기업및전문가들은 HMD와 360 파노라마뷰를제공하는카메라및컨텐츠에이목을집중하고있다. HMD는영상을출력하는디스플레이가사용자의눈에가까운디바이스의특성상고화질의영상이필요하고, 360 파노라마뷰를지원하기위한큰크기의영상을처리해야만한다. 때문에기존영상컨텐츠에비하여 HMD를위한영상의데이터량은매우증가하였고, 사용자의움직임을추적하며, 딜레이없는영상서비스를지원하기위한연산복잡도또한증가하였다. 한편, 4K, 8K 영상과같은 UHD (Ultra High-Definition) 영상에대한사용자들의요구에발맞춰 ITU-T VCEG (Video Coding Experts Group) 과 ISO/IEC MPEG (Moving Picture Group) 이공동으로조직한 JCT-VC (Joint Collaborative Team on Video Coding) 는 2013년에차세대비디오부호화기술인 HEVC (High Efficiency Video Coding) 를표준화하였다. 이어서 JVET (Joint Video Exploration Team) 는 360 비디오를본격적으로지원하기위한표준인 MPEG-I (Immersive media) 를 2017년현재논의중이다. 본제안서는 ARM SoC 기반의 HMD 시스템상에서증가한비디오디코딩복잡도를지원하기위하여새로운방식의 HEVC 기반비디오병렬처리기법을제안한다. 그림 1. 구글의카드보드와삼성전자의기어 VR 그림 2. 파노라마뷰의예시

2. Background 2.1 JCT-VC HEVC 비디오표준 HEVC는 ITU-T VCEG과 ISO/IEC MPEG이공동으로조직한 JCT-VC에서 2013년에표준화한최신비디오코딩표준이다. HEVC는기존의주요비디오코딩표준들과유사하게블록기반의비디오부호화방식을사용하지만, 4K, 8K와같은 UHD 영상을지원하기위하여향상된비디오압축기술을제공한다. HEVC는기존 H.264/MPEG-2 AVC에비하여대형화면기준약 50% 향상된압축효율을내며, Tile과 WPP (Wavefront Parallel Processing) 와같은새로운병렬처리툴들이추가되었다. 1) Tile: 프레임을하나이상의사각형영역으로분할하여, 각영역을독립적으로인코딩및디코딩하는신택스 (Syntax) 이다. 타일은각쓰레드 (Thread) 간의복잡한동기화이슈없이병렬처리가가능하며슬라이스기법에비해압축효율이조금더높다. 2) WPP: 프레임을구성하는 CTU (Coding Tree Unit) 블록들이행 (Row) 단위로병렬처리가가능하도록정의된신택스이다. 현재 CTU 행의 CTU 두개가처리된뒤에다음행의 CTU들이곧바로처리될수있도록하였는데, 이는화면내압축 (Intra-Picture Coding) 의각 CU (Coding Unit) 처리시, 화면의상단과좌측의코딩정보를이용하는점을고려하였기때문이다. 그림 3. Tile 과 WPP 를활용한병렬처리의예시 2.2 ARM big.little Architecture 최근 ARM 계열 CPU에는처리하야할작업량에따라서각각서로다른처리능력을갖는 Big 코어와 Little코어에작업을효율적으로할당해전력낭비를줄이고, 성능을향상시키는 big.little 기술이적용되고있다. 서로다른성능을갖는하드웨어로구성된시스템에서는특정쓰레드를어느코어에할당해야하는지결정하고, 멀티미디어응용서비스제공시연산복잡도가서로다른비디오처리작업을최적의비대칭코어에할당하는기법이필요한다.

그림 4. big.little 구조의비대칭멀티코어 CPU의예시 2.3. 360 Immersive media를위한 Projection 기법일반적으로 360 Immersive media의경우, 구 (Sphere) 형상으로영상을렌더링하여사용자에게제공하며, 마치영상속에위치한것과같은몰입감을사용자에게제공한다. 하지만이러한구형상의영상은기존사각형형상의비디오를위한인 / 디코더에서의처리가제한적이다. 때문에구형상의영상을사각형형상의영상으로프로젝션 (Projection) 해야할필요가있다. 이를지원하기위하여여러프로젝션기법들이제안되었으며, 그중가장보편적으로활용되는기법으로는 ERP (Equirectangular projection) 및 CMP (Cube Map Projection) 이있다. 이러한프로젝션기법들은다양한카메라로부터취득된영상들을하나의영상으로맵핑을하게되는데, CMP의경우사용자가현재바라보고있는정면영상과그외방향의영상크기를다르게하여프로젝션한다. (a) ERP (b) CMP 그림 5. 최근제안되고있는 360 비디오를위한프로젝션기법 3. Proposed Method HMD를위한 360 파노라마뷰영상은영상의화질과해상도 (Resolution) 가기존 FHD (Full High-Definition) 해상도영상에비하여매우높기때문에디코딩복잡도또한매우높다. 이렇게높은디코딩복잡도로인하여디코딩속도가사용자의움직임에따른시점변화속도를따라가지

못하는시점변화지연현상을개선하기위하여, 본제안서는 ARM SoC 기반의 HMD를위한 360 파노라마뷰비디오병렬디코딩최적화기법을제안한다. 제안하는기법은 HEVC Tile-level Parallel Processing 기법에기반한다. 3.1 균등 (Uniform) 타일분할방식의문제점그림 6은그림 7의 (a) 와같이프레임을균등하게 6개의타일로분할한 PeopleOnStreet 시퀀스의타일별평균디코딩시간을보여주는그래프이다. 그림 6에서볼수있듯이비대칭멀티코어환경에서균등하게분할된타일을활용하여비디오병렬디코딩을진행하면, Big core에서디코딩이진행된타일 1, 2와 Little core에서디코딩이진행된타일 3, 4, 5, 6의평균디코딩타임이균등한것이아니라상당한차이가발생하게된다. 이는각타일의디코딩타임이해당타일각각의연산복잡도와쓰레드가할당된 CPU 코어의처리능력에영향을받기때문이다. 이러한현상은디코딩타임이가장짧은타일이먼저디코딩완료되어도디코딩타임이가장긴타일의디코딩이완료되기를기다려야하는상황을발생시키며, 병렬처리성능을저하시키게된다. 그림 6. 균등한 6 개의타일로분할된 PeopleOnStreet 의타일별평균디코딩타임 (a) 균등한크기의타일분할 (b) 각코어의처리능력을고려한타일분할 그림 7. 서로다른방법으로 6 개의타일로분할된 PeopleOnStreet의모습 3.2. Proposed Method: ARM SoC 기반의 HMD를위한 HEVC 병렬처리최적화기법본연구가제안하는타일분할방식은사전연구를통하여산출된영상의해상도와비디오디코딩연산복잡도사이의상관관계를나타내는다중회귀분석모델을활용하여다음과같이진행한다. 그후, 그림 8과같은과정을거쳐 Big코어와 Little코어의성능비에기반하여각코어에할당할타일의디코딩연산복잡도비를산출하고, 해당연산복잡도비율에매핑 (Mapping) 되는크기의타일을각코어에할당한다.

이와같은방식으로타일을분할하면그림 7의 (b) 와같은형태로타일이비균등하게분할되며, 그림 7의 (b) 의경우, 크기가큰 2개의타일은 2개의 Big 코어에각각할당되며, 크기가작은 4개의타일은 4개의 Little 코어에각각할당되게된다. 그결과, 모든타일의디코딩타임이거의비슷하게평준화되기때문에 CPU 코어들의성능을고려하지않고균등하게타일을분할하였을때보다병렬처리효율이향상되며, 그림 9는그예시를보여준다. 그림 8. 제안하는비대칭멀티코어처리능력기반타일분할방식 (a) 비대칭코어의처리능력을고려하지않은경우의디코딩타임 4. Demonstration (b) 코어의처리능력기반타일분할방식을적용한경우의디코딩타임그림 9. 균등타일분할과제안하는타일분할방식의비교 제안하는방식은비디오영상을여러개의비균등한크기의타일로분할하고, 각분할된타일을 Big 코어와 Little 코어에할당한다. 그림 10은제안하는방식의 HEVC 인 / 디코딩구조를블록다이어그램으로설명한다.

그림 10. 제안하는 HEVC 인 / 디코딩시스템의블록다이어그램 (2 Big core와 4 Little core를고려한경우 ) 본데모에서는두개의삼성갤럭시 S7 엣지안드로이드스마트폰을활용하여 Side-by-side로제안하는방식과기존방식의성능차이를비교하여설명한다. 삼성갤럭시 S7 엣지스마트폰의프로세서는비대칭멀티코어아키텍쳐에기반하여설계되었으며, 본래 4개의 Big코어와 4개의 Little코어를가지고있으나, 배터리효율을위하여 2개의 Big코어는평상시에는오프라인상태로유지된다. 그러므로본데모는 2개의 Big코어와 4개의 Little코어만을고려하여진행한다. 그림 11은본데모진행을위해구현된비디오디코더를삼성갤럭시 S7 엣지스마트폰에서구동시킨화면이며, 그림 12는 Side-by-side 데모의진행시나리오를보여준다. 해당데모시나리오, 4K UHD 테스트시퀀스 (PeopleOnStreet, Traffic) 그리고 JCT-VC의 CTC (Common Test Condition) 을적용하여실험을진행하였을때에는그림 13 (a), (b) 와같이평균 25% 의성능향상을확인하였다. 그림 11. 제안된비디오디코더의구동화면

그림 12. Side-by-side 데모시나리오 (a) PeopleOnStreet (b) Traffic 그림 13. 4K UHD 영상을대상으로한실험결과 4. Conclusion 본제안서는비대칭멀티코어시스템상에서 HEVC 병렬디코딩최적화를위하여, 각 CPU 코어각각의처리능력에적합한디코딩연산복잡도를갖는크기로타일들을분할하여해당코어에할당하는방식을제안하였다. 제안하는방식은삼성갤럭시 S7 엣지스마트폰을위하여구현되었으며, Side-by-side로기존방식과성능비교를위한데모를진행한다. 기존방식인각코어의처

리능력을고려하지않고균등한크기의타일로프레임을분할하는방식과비교실험하였을때, 제안하는방식을사용하였을때평균 25% 의성능향상이발생함을확인하였다.