그림 2. 최근 출시된 스마트폰의 최대 확장 가능한 내장 및 외장 메모리 용량 원한다. 예전의 피쳐폰에 비해 대용량 메모리를 채택하고 있지 만, 아직 데스크톱 컴퓨터 에 비하면 턱없이 부족한 용량이다. 또한, 대용량 외장 메모리는 그 비용이 비싼 편이다. 그러므로 기존



Similar documents
03이승호_ok.hwp

19_9_767.hwp

2 : HEVC (Woo-Jin Han et al. : Early Decision of Inter-prediction Modes in HEVC Encoder) (Regular Paper) 20 1, (JBE Vol. 20, No. 1, January 201

03홍성욱.hwp

3 : S-JND HEVC (JaeRyun Kim et al.: A Perceptual Rate Control Algorithm with S-JND Model for HEVC Encoder) (Regular Paper) 21 6, (JBE Vol. 21,

1 : HEVC Rough Mode Decision (Ji Hun Jang et al.: Down Sampling for Fast Rough Mode Decision for a Hardware-based HEVC Intra-frame encoder) (Special P

13김상민_ok.hwp

5 : HEVC GOP R-lambda (Dae-Eun Kim et al.: R-lambda Model based Rate Control for GOP Parallel Coding in A Real-Time HEVC Software Encoder) (Special Pa

2 : (JEM) QTBT (Yong-Uk Yoon et al.: A Fast Decision Method of Quadtree plus Binary Tree (QTBT) Depth in JEM) (Special Paper) 22 5, (JBE Vol. 2

05안용조.hwp

2힉년미술

1 : S-JND HEVC (JaeRyun Kim et al.: S-JND based Perceptual Rate Control Algorithm of HEVC) (Regular Paper) 22 3, (JBE Vol. 22, No. 3, May 2017)

14최해철_ok.hwp

슬라이드 제목 없음

1 : HEVC (Jeonghwan Heo et al.: Fast Partition Decision Using Rotation Forest for Intra-Frame Coding in HEVC Screen Content Coding Extension) (Regular

(JBE Vol. 24, No. 2, March 2019) (Regular Paper) 24 2, (JBE Vol. 24, No. 2, March 2019) ISSN

<3130BAB9BDC428BCF6C1A4292E687770>

1 : MV-HEVC (Jae-Yung Lee et al.: Fast Disparity Motion Vector Searching Method for the MV-HEVC) High Efficiency Video Coding (HEVC) [1][2]. VCEG MPEG

Left Center Right 3차원 L 비디오 C 부호화시스템 R LCR 가상시점영상 N- 시점영상출력 깊이정보맵생성 L C R 깊이정보맵 가상시점영상합성 1. 3 N- Fig. 1. N-view system with the 3-view configuration.


??

(JBE Vol. 20, No. 2, March 2015) (Special Paper) 20 2, (JBE Vol. 20, No. 2, March 2015) ISSN

01이국세_ok.hwp

방송공학회논문지 제18권 제2호


10 서석용(69~79)_수정.hwp

MPEG-4 Visual & 응용 장의선 삼성종합기술원멀티미디어랩

À±½Â¿í Ãâ·Â

(JBE Vol. 20, No. 6, November 2015) ISO/IEC HEVC [1]. LG 7680x4320 8k UHD TV 4 HEVC. HEVC H.264/AVC 3 2 [2]. UHD,,, HEVC.,,. Davinci Resolve

입장

뉴스레터10월-본

DBPIA-NURIMEDIA

과 위 가 오는 경우에는 앞말 받침을 대표음으로 바꾼 [다가페]와 [흐귀 에]가 올바른 발음이 [안자서], [할튼], [업쓰므로], [절믐] 풀이 자음으로 끝나는 말인 앉- 과 핥-, 없-, 젊- 에 각각 모음으로 시작하는 형식형태소인 -아서, -은, -으므로, -음

untitled

<C0CEBCE2BABB2D33C2F7BCF6C1A420B1B9BFAAC3D1BCAD203130B1C72E687770>

6±Ç¸ñÂ÷

¸é¸ñ¼Ò½ÄÁö 63È£_³»Áö ÃÖÁ¾

민주장정-노동운동(분권).indd

177

최우석.hwp

<C3D6C1BE5FBBF5B1B9BEEEBBFDC8B0B0DCBFEFC8A C3D6C1BEBABB292E687770>

E1-정답및풀이(1~24)ok

제주어 교육자료(중등)-작업.hwp

< BDC3BAB8C1A4B1D4C6C75BC8A3BFDC D2E687770>

초등국어에서 관용표현 지도 방안 연구

<C1B6BCB1B4EBBCBCBDC3B1E2342DC3D6C1BE2E687770>

0429bodo.hwp


교사용지도서_쓰기.hwp

cls46-06(심우영).hwp

伐)이라고 하였는데, 라자(羅字)는 나자(那字)로 쓰기도 하고 야자(耶字)로 쓰기도 한다. 또 서벌(徐伐)이라고도 한다. 세속에서 경자(京字)를 새겨 서벌(徐伐)이라고 한다. 이 때문에 또 사라(斯羅)라고 하기도 하고, 또 사로(斯盧)라고 하기도 한다. 재위 기간은 6

時 習 說 ) 5), 원호설( 元 昊 說 ) 6) 등이 있다. 7) 이 가운데 임제설에 동의하는바, 상세한 논의는 황패강의 논의로 미루나 그의 논의에 논거로서 빠져 있는 부분을 보강하여 임제설에 대한 변증( 辨 證 )을 덧붙이고자 한다. 우선, 다음의 인용문을 보도록

01Report_210-4.hwp

<C3D1BCB15FC0CCC8C45FBFECB8AE5FB1B3C0B0C0C75FB9E6C7E D352D32315FC5E4292E687770>



교육 과 학기 술부 고 시 제 호 초 중등교육법 제23조 제2항에 의거하여 초 중등학교 교육과정을 다음과 같이 고시합니다. 2011년 8월 9일 교육과학기술부장관 1. 초 중등학교 교육과정 총론은 별책 1 과 같습니다. 2. 초등학교 교육과정은 별책

시험지 출제 양식

우리나라의 전통문화에는 무엇이 있는지 알아봅시다. 우리나라의 전통문화를 체험합시다. 우리나라의 전통문화를 소중히 여기는 마음을 가집시다. 5. 우리 옷 한복의 특징 자료 3 참고 남자와 여자가 입는 한복의 종류 가 달랐다는 것을 알려 준다. 85쪽 문제 8, 9 자료

상품 전단지

::: 해당사항이 없을 경우 무 표시하시기 바랍니다. 검토항목 검 토 여 부 ( 표시) 시 민 : 유 ( ) 무 시 민 참 여 고 려 사 항 이 해 당 사 자 : 유 ( ) 무 전 문 가 : 유 ( ) 무 옴 브 즈 만 : 유 ( ) 무 법 령 규 정 : 교통 환경 재

2

DBPIA-NURIMEDIA

화이련(華以戀) hwp

ÆòÈ�´©¸® 94È£ ³»Áö_ÃÖÁ¾

歯1##01.PDF

<5BC1F8C7E0C1DF2D31B1C75D2DBCF6C1A4BABB2E687770>

120229(00)(1~3).indd

<342DC8A3BFE4BCBA28C3D6C1A4BEC D C3DFB0A134292E687770>

1. 3DTV Fig. 1. Tentative terrestrial 3DTV broadcasting system. 3D 3DTV. 3DTV ATSC (Advanced Television Sys- tems Committee), 18Mbps [1]. 2D TV (High

03허영수.hwp

(JBE Vol. 21, No. 6, November 2016) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ISSN

늘푸른세상4월-136호

지속가능경영보고서도큐_전체

(JBE Vol. 7, No. 4, July 0)., [].,,. [4,5,6] [7,8,9]., (bilateral filter, BF) [4,5]. BF., BF,. (joint bilateral filter, JBF) [7,8]. JBF,., BF., JBF,.

2 : MMT QoS (Bokyun Jo et al. : Adaptive QoS Study for Video Streaming Service In MMT Protocol). MPEG-2 TS (Moving Picture Experts Group-2 Transport S

2 : HEVC (Yongtae Kim et al.: Performance Analysis of Scalable HEVC Coding Tools) (Special Paper) 20 4, (JBE Vol. 20, No. 4, July 2015)

<C5F0B0E82D313132C8A328C0DBBEF7BFEB292E687770>

PowerPoint 프레젠테이션

알람음을 출력하는 이동통신 단말기에 있어서, 실시간 알람음을 출력하는 음향 출력 수단; 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting, 이하 'DMB'라 칭함) 신호를 수신하면 오디오 형태로 변 환하여 DMB의 음향을 전달하는

단계 소요 시간 요소 교수 활동 형태 자료 1 동기유발 활동 도입 5분 20분 동기유발 목표 제시 활동1 청기, 백기 게임을 시청하고 청기 백기 게임을 해보기 - 학생들을 두 팀으로 나누어 청기, 백기로 정하기 게임을 해본다. 두 가지 상태로 표현할 수 있는 것이 어떤

$08.Tech&trend

(JBE Vol. 24, No. 1, January 2019) (Regular Paper) 24 1, (JBE Vol. 24, No. 1, January 2019) ISSN 2287


V28.

Microsoft Word - 김정훈

02손예진_ok.hwp

특집-5

Contents Why DMB? When DMB? Where DMB? What DMB? Who DMB? How DMB? Demonstration Conclusion 2/ 27

상기 DVD 플레이어는 거의 거치형(톱니형)으로 개발되어 텔레비젼, AC3 앰프 및 6개의 스피커 또는 단순 히 스테레오 시스템 등에 연결되어 영화 재생용으로만 특징지워지고, 반면에 상기 DVD-롬 드라이브는 컴 퓨터에 장착되어 소정의 인터페이스 방식을 통해 컴퓨터 테

레이아웃 1

< B5BFBEC6BDC3BEC6BBE E687770>

<근대이전> ⑴ 문명의 형성과 고조선의 성립 역사 학습의 목적, 선사 문화의 발전에서 국가 형성까지를 다룬다. 역사가 현재 우리의 삶과 긴밀하게 연결되었음을 인식하고, 역사적 상상력을 바탕으 로 선사 시대의 삶을 유추해 본다. 세계 여러 지역에서 국가가 형성되고 문 명

ȲÀμº Ãâ·Â

11민락초신문4호

(최종)2013년 방송통신광고비 조사_0609v2.hwp

제1절 조선시대 이전의 교육

사진 24 _ 종루지 전경(서북에서) 사진 25 _ 종루지 남측기단(동에서) 사진 26 _ 종루지 북측기단(서에서) 사진 27 _ 종루지 1차 건물지 초석 적심석 사진 28 _ 종루지 중심 방형적심 유 사진 29 _ 종루지 동측 계단석 <경루지> 위 치 탑지의 남북중심

새만금세미나-1101-이양재.hwp

652

Transcription:

스마트폰을 위한 A/V 신호처리기술 편집위원 : 김홍국 (광주과학기술원) 스마트폰을 위한 동영상 압축 기술 호요성, 최정아 광주과학기술원 요 약 스마트폰이 대중화되면서 이동통신 시장은 일대 혁신을 맞이 했다. 최근 출시되는 스마트폰이 크고 선명한 화면과 빠른 프로 세서를 잇따라 탑재하면서 고해상도 및 고품질 영상에 대한 사 용자들의 수요가 급증하고 있다. 하지만 고해상도 및 고품질 영 상은 데이터의 양이 방대하므로 실제 서비스 적용을 위해서는 데이터 통신 트래픽의 증가 및 저장 공간의 한계로 인한 문제를 해결해야 한다. 이에 따라 MPEG과 VCEG은 JCT-VC(joint collaborative team on video coding)를 설립하고 차세대 비 디오 압축 표준인 HEVC(high efficiency video coding)의 국 제 표준화 작업을 시작했다. 2010년 4월에 시작된 JCT-VC 회 의는 최근 제7차 회의까지 진행되었으며, 향후 2013년 1월까지 최종 국제 규격안(final draft international standard, FDIS) 이 제정될 예정이다. 이 논문에서는 HEVC의 표준화 과정, 요 구사항, 실험 영상 및 부호화 모드, 응용 분야, 최신 표준화 동 향 등을 알아본다. Ⅰ. 서 론 스마트폰이란 음성 통화는 물론 화상 통화 및 전송, 인터넷 정 보 검색, 일정 관리, MP3 기능을 통한 음악 감상, 동영상 콘텐 츠 시청, DMB, 게임, 소셜 네트워크 등 다양한 기능을 가진 휴 대용 단말기를 말한다 [1]. 기존의 휴대전화는 내장된 응용 프로 그램만을 사용할 수 있어서 사용자들이 응용 프로그램을 선택 할 수 없다. 하지만, 스마트폰은 사용자들이 개인의 생활 방식 및 직업에 따라 필요로 하는 응용 프로그램을 선택하고, 설치해 사용할 수 있다. 2007년 애플(Apple)사가 세련된 디자인, 멀티터치 터치스크 린, 앱스토어(app store)를 통한 방대한 애플리케이션, 카메라, GPS(global positioning system)와 결합된 새로운 위치기반 서비스 등을 앞세운 아이폰(iPhone)을 출시함에 따라, 많은 단 말기 제조사가 스마트폰을 출시하고 있다. 여러 가지 편리한 기 능으로 인해 사용자들은 더 이상 데스크톱 컴퓨터가 아닌 손안 의 작은 컴퓨터라 할 수 있는 스마트폰을 선호하기 시작했고, 이로 인해 이동통신 시장은 일대 혁신을 맞이했다 [2]. 2011년 상반기 스마트폰의 가장 큰 특징이 얇은 두께였다면, 2011년 하반기에 새롭게 출시된 스마트폰의 가장 큰 특징은 빠 른 속도와 큰 화면이다. 이는 동영상, 게임, 인터넷, e-book 등 스마트폰의 다양한 기능을 사용하는 사용자들을 위한 것이다. 그림 1. 스마트폰의 데이터 통신 트래픽의 원인 [3] 하지만, 멀티미디어 데이터를 전송하기 위한 비용 증가 및 대 역폭 부족은 아직 해결해야 할 문제점으로 남아있다. <그림 1> 은 스마트폰에서 발생하는 데이터 통신 트래픽(traffic)의 원인 을 보여준다 [3]. <그림 1>에서 살펴볼 수 있듯이, 다양한 원인 이 존재하지만 그 중 가장 큰 원인은 비디오임을 알 수 있다. 스마트폰은 과거의 피쳐폰과 달리 사용자가 원하는 응용 프로 그램을 자유롭게 설치할 수 있다는 장점이 있다. 하지만, 자유 롭게 설치한다는 것은 응용 프로그램을 무제한으로 설치할 수 있음을 의미하지는 않는다. 일반 데스크톱 컴퓨터에 프로그램 을 설치하려면 하드디스크에 해당 프로그램의 용량 이상의 빈 저장 공간이 확보되어야 하는 것처럼 스마트폰 역시 자신이 원 하는 응용 프로그램을 설치하기 위해서는 이를 위한 공간이 필 요하다 [4]. <그림 2>와 같이, 최근 출시되는 스마트폰들은 내장 메모리 외에도 최대 32 GB의 마이크로 SD라 불리는 외장 메모리를 지 22 정보와 통신

그림 2. 최근 출시된 스마트폰의 최대 확장 가능한 내장 및 외장 메모리 용량 원한다. 예전의 피쳐폰에 비해 대용량 메모리를 채택하고 있지 만, 아직 데스크톱 컴퓨터 에 비하면 턱없이 부족한 용량이다. 또한, 대용량 외장 메모리는 그 비용이 비싼 편이다. 그러므로 기존의 비디오 압축 표준보다 더 나은 압축 성능을 가지는 새로운 비디오 압축 표준이 필요하다. 최근 MPEG과 VCEG은 모바일을 포함한 다양한 응용 분야를 위한 차세대 압 축 표준인 HEVC(high efficiency video coding)를 개발하기 시작했다. 현재 HEVC는 기존의 H.264/AVC 표준 기술 대비 거의 두 배에 가까운 압축 효율을 보이고 있으며, 2013년 1월에 표준화 작업이 완료될 예정이다. 이 논문의 2장에서는 지금까지 진행된 HEVC 표준화 과정과 요구사항, 실험 영상 및 부호화 모드, 시험 모델을 소개하고, 3 장에서 HEVC의 응용분야를 살펴본다. 4장에서는 표준화 과정 에서 최근 논의되고 있는 기술 및 국내외 연구 동향을 살펴본다. Ⅱ. 차세대 동영상 압축 기술 HEVC 현존하는 최신 코덱인 H.264/AVC[5]는 기존의 MPEG-2 또 는 MPEG-4 대비 두 배 이상의 부호화 효율을 달성했지만 스 마트폰을 위한 고해상도 및 고화질 영상 서비스를 지원하기에 는 한계가 있다. 그러므로 기존의 코덱에 비해 더 개선된 압축 률과 더 낮은 복잡도를 가지는 새로운 차세대 동영상 압축 기술 이 필요하다. 1. HEVC 표준화 과정 동영상 압축의 양대 국제 표준화 그룹인 ITU-T VCEG(video coding experts group)과 ISO/IEC MPEG(moving picture experts group)은 2000년대 중반 이후부터 차세대 영상 압축 표준 개발과 관련된 기술 탐색 작업을 지속해왔다. MPEG은 제86차 회의에서 새로운 고성능 비디오 코덱의 표 준화를 준비하기로 결정하고, 표준 작업 시작의 당위성을 판 단하기 위한 CfE(call for evidence) 문서와 고성능 비디오 코 덱(high performance video coding, HVC)에 대한 비전 및 요구사항[6] 문서를 발행했다. 한편, VCEG은 NGVC(next generation video coding)이라는 이름으로 차세대 비디오 표준 화를 진행 중이었다. 2010년 1월, MPEG과 VCEG 두 표준화 단체는 H.264/ AVC 표준을 제정했을 때처럼 공동으로 표준화 작업을 수행하 기로 결정하고 JCT-VC(joint collaborative team on video coding)라는 협력팀을 설립했다. JCT-VC의 운영은 ToR(team on reference)을 따르며[7], MPEG에서 한명, VCEG에서 한명, 총 두 명의 공동 의장이 선 정되었다. 후에, 두 기관이 공동으로 CfP(call for proposal)을 발표하고[8], 2010년 4월 제1차 JCT-VC 회의에서 새로운 표 준의 이름을 HEVC(high efficiency video coding)로 지칭하기 로 협의했다. 그림 3은 HEVC 표준화가 시작되기까지의 과정을 간략하게 정리한 것이다. 이후 제2차 회의까지 시험 모델 선정을 위해 27개의 기관에 APRIL 2012 23

서 제안한 기술에 대해 성능 평가를 수행했고, 제3차 회의에서 working draft (WD) 1과 HEVC 시험 모델인 HM 1.0을 결정 했다. 3) 색 공간 및 깊이 HEVC 표준은 일반적으로 사용되는 YCbCr 4:2:0의 색 공간 (color space)에 각 색 성분 당 8비트 색 깊이(bit depth)는 반드 시 지원해야 한다. 또한, 다양한 응용에 이용되기 위해서 YCbCr/ RGB 4:4:4의 색 공간과 14비트까지의 색 깊이를 지원하도록 권 장한다. YCbCr 4:2:2의 색 공간의 경우, 아직 규정되지 않았지 만 스튜디오 응용을 위해 확장될 가능성도 있다. 넓은 색 영역 (gamut) 및 투명 (transparency) 채널 지원을 권장하고 있다. 그림 3. HEVC 표준화의 시작 현재 제7차 JCT-VC 회의까지 개최되었으며 향후 HEVC 표 준화 일정은 다음과 같다. 2012년 1월 committee draft(cd) 를 제출하고, 2012년 7월 draft international standard(dis) 를 배포할 예정이다. 최종 표준인 final draft international standard(fdis)는 2013년 1월로 예정되어 있다. 2. HEVC 표준의 요구사항 JCT-VC는 압축 효율, 해상도, 색 공간 및 깊이, 프레임율, 복잡도, 부호화 모드 등 HEVC 표준을 위한 다양한 요구사항을 정의했다 [6]. 요구사항에는 반드시 만족되어야 하는 필수 항목 과 권장 항목이 있다. 1) 압축 효율 HEVC는 기존 H.264/AVC보다 두 배 이상의 압축 효율 향상 을 목표로 하고 있다. 단순히 특정한 환경에서의 압축 효율 향 상이 아닌, 모든 비트율 범위에서 기존의 코덱보다 성능이 좋아 야 한다. 또한, 무손실 기능 및 시각적 무손실 기능을 지원하도 록 권장하고 있다. 2) 해상도 HEVC는 TV, 모바일 등 여러 응용 분야에서의 고화질 영상 부호화를 목표로 하고 있는 만큼 다양한 해상도를 지원해야 한 다. 따라서, 일반적으로 많이 사용되는 VGA(832 480)에서 4k UHD(4k 2k)의 해상도는 필수적으로 지원해야 하고, 최대 QVGA(416 240)에서 UHD(8k 4k)까지의 해상도를 지원해 야 한다. 4) 프레임율 프레임율은 디스플레이 장치가 하나의 화면에 해당하는 데이 터를 표시하는 속도를 의미한다. HEVC는 다양한 응용 분야에 서의 폭넓은 활용을 위한 일반적인 프레임율인 초당 24 ~ 60 프레임을 지원해야 한다. 5) 주사 방식 HEVC 표준은 모든 프로파일과 모든 레벨에 대해 순차 주사 방식(progressive scanning)을 지원해야 한다. 여기서, 순차 주사 방식이란 화면에 표시할 내용을 처음부터 끝까지 순서대 로 표시하는 영상의 표시 방법이다. 대부분의 디지털 영상 표시 장치에서 기본 주사 방식으로 순차 주사 방식을 사용하고 있다. 6) 복잡도 요구사항에서 정의하는 복잡도는 전력 소모량, 계산량, 메모 리량 등을 포함한다. HEVC 표준은 표준이 사용될 것으로 예 상되는 시점의 기술 수준으로 구현 가능해야 한다. 따라서, 복 잡도와 부호화 효율의 득실(trade-off)을 따져야 한다. 즉, HEVC 표준은 기존의 H.264/AVC 표준에 비해 낮은 복잡도를 가지면서 더 나은 압축 효율을 가지거나, H.264/AVC 표준에 비해 상당한 복잡도 증가를 가지면서 그에 상응하는 압축 효율 증가를 가져야 한다. 또한, 병렬 처리 지원을 권장하고 있다. 7) 부호화 모드 HEVC 표준은 부호화 및 복호화에 대한 시간 지연이 적어 야 한다. 즉, 저지연 (low delay) 모드를 지원해야 한다. 또 한, 저장된 비디오 스트림의 특정 위치로의 임의접근(random access) 및 멀티 채널의 경우 고속 채널 전환을 지원해야 한다. 저장된 비디오 스트림에 대한 일시정지, 빨리 감기, 빨리 되감 기 등의 기능과 화면내 부호화(intra-only) 모드 지원은 권장 사항이다. 각 부호화 모드에 대한 설명은 뒤에서 자세히 다룰 것이다. 24 정보와 통신

8) 오류 강인성 오류 강인성(error robustness) 향상을 위해 목표 대상 네트 워크에 대한 비디오 비트스트림 분할 (segmentation) 및 패킷 화 (packetization) 방법을 반드시 개발해야 한다. 즉, 비디오 계 층과 네트워크 계층의 비디오 인터페이스에 적절한 오류 강인성 방법이 효율적으로 적용이 될 수 있는 구조를 개발해야 한다. 9) 계위성 HEVC 표준의 초기 디자인에 계위적 부호화 기술이 추가될 수 있어야 한다. 계위성에 대한 정확한 정의는 명시되어 있지 않지만, 표준화 시작 단계에서부터 계위성 확장에 대한 고려를 하고 있는 것이 특징이다. 이전의 비디오 압축 방식에 비춰볼 때, SNR 계위성, 공간적인 계위성, 시간적인 계위성, 복잡도 계위성, 시점 계위성 등 과 같은 다양한 종류의 계위성이 고려 될 수 있다. 클래스 A는 2560 1600, 클래스 B는 1920 1080, 클래스 C는 832 480, 클래스 D는 416 240, 클래스 E는 1280 720 크기를 가진다. 현재 성능 평가에 사용하고 있는 실험 영 상은 YUV 4:2:0 색 공간의 8비트 색 깊이 형식이다. <표 1>은 HEVC 표준의 실험 영상과 그 특성을 정리한 것이다. 2) 부호화 모드 HEVC 표준에서는 다양한 응용 분야에 적합한 부호화를 위해 그림 4와 같이 화면내, 저지연, 임의접근 모드의 총 세 개의 부 호화 모드를 사용한다. <그림 4>에 표시된 숫자는 영상의 디스 플레이 순서가 아닌 부호화 순서를 의미한다. 3. 실험 영상 및 부호화 모드 1) 실험 영상 HEVC 표준화에서는 다섯 개의 클래스로 구분된 다양한 실험 영상[9]을 사용한다. 현재 표준화 작업에서 권고하고 있는 실험 영상은 영상의 해상도, 프레임율, 장면의 복잡도, 카메라의 움 직임 등을 고려해 선정되었다. 표 1. HEVC 표준의 실험 영상 클래스 해상도 fps 영상 A 2560 1600 30 Traffic PeopleOnStreet B1 1920 1080 24 Kimono ParkScene B Cactus 50 B2 1920 1080 BasketballDrive 60 BQTerrace 50 BasketballDrill C 832 480 60 BQMall 50 PartyScene 30 RaceHources 50 BasketballPass D 416 240 60 BQSquare 50 BlowingBubbles 30 RaceHorses E 1280 720 60 Vidyo1 Vidyo3 Vidyo4 그림 4. HEVC의 세 가지 부호화 모드 화면내 부호화 모드에서는 모든 프레임이 화면내 프레임으로 부호화 한다. 시간적 참조 화면은 사용하지 않는다. 저지연 모 드는 실시간 응용을 위한 것으로, 첫번째 프레임은 화면내 프레 임으로 부호화하고, 연속된 나머지 화면은 GPB(generalized P and B)로 부호화된다. <그림 5>는 GPB 기술의 개념을 보여준다. 기존의 비디오 압 축 표준에서는 디스플레이 순서상 과거의 프레임을 참조 프레 임으로 이용하는 P 프레임과 과거와 미래의 프레임의 평균값 을 참조 영상으로 사용하는 B 프레임이 존재한다. GPB는 과거 의 참조 영상 버퍼에 있는 t0과 t1 참조 영상을 미래의 참조 영 APRIL 2012 25

상 버퍼인 t3과 t4 로 복사해 양방향 예측을 수행하는 방식이다 [10]. 즉, 사실상 과거의 참조 영상만을 사용하는 P 프레임이지만, 최대 두 장의 과거 영상을 이용해 양방향 예측을 수행할 수 있 는 P 프레임과 B 프레임의 특성이 혼합된 방식이다. 그 결과, 2011년 1월 한국 대구에서 개최된 제4차 회의에서 는 HM 2.0, 2011년 4월 스위스 제네바에서 개최된 제5차 회의 에서는 HM 3.0, 2011년 7월에 이탈리아 토리노에서 개최된 제 6차 회의에서는 HM 4.0에 포함될 기술을 결정했다. 최근 스 위스 제네바에서 개최된 제7차 회의의 결과로 최근에는 WD 5.0[12] 및 HM 5.0이 배포되었다. Ⅲ. HEVC 응용 분야 그림 5. GPB 기술의 개념도 [10] 임의 접근 모드는 저장된 비디오 스트림의 특정 부분에 자유 롭게 접근하기 위한 것으로, 화면내 프레임을 1초에 한번 주기 적으로 삽입한다. 전체적인 형태는 계층적 부호화 구조와 유사 하다. 4. 시험 모델 2010년 4월에 독일 드레스덴에서 개최된 제1차 JCT-VC 회 의에서 CfP(call for proposals)[8]에 대한 응답으로 제안된 27 개의 코덱에 대한 성능 및 주관적 화질이 평가되었다. 이 회의 의 결과로 주관적 화질 평가에서 상위를 차지한 5개의 코덱과 가장 낮은 복잡도를 보인 1개의 코덱 기술을 조합해 최초의 시 험 소프트웨어인 TMuC(test model under consideration)[11] 이 결정되었고, 개별 툴 단위 비교를 위한 TE(tool experiment) 가 시작되었다. 2010년 7월에 스위스 제네바에서 개최된 제2차 회의에서 TMuC 문서 및 소프트웨어가 공개되었고, 공통 실험 조건 및 여 섯 가지 기준 환경이 확정되었다. HM에서는 최고의 압축 효 율을 얻고자 하는 기술 조합인 고효율 (high efficiency) 구성 과 낮은 복잡도를 목적으로 하는 기술 조합인 저복잡도 (low complexity) 구성이 존재한다. 또한, 성능 평가에서는 이러한 구성 하에 위에서 언급한 인트라, 저지연, 임의접근 부호화 모드 를 모두 이용한 6가지 기준 환경에서 부호화 성능을 평가한다. 2010년 10월에 중국 광저우에서 개최된 제3차 회의에서 TE 를 통한 개별 기술 평가의 결과로 HEVC 시험 모델인 HM 1.0 을 결정했다. 차기 회의에서 HM 1.0을 기반으로 제안된 기술 중 유망한 기술을 경쟁시키는 CE(core experiment)를 수행해 시험 모델을 업데이트하기로 했다. HEVC는 차세대 비디오 압축 표준인만큼 다양한 응용 분야를 예상해 볼 수 있다 [13]. 본 장에서는 HEVC의 응용 분야를 살 펴본다. 1) 디지털 방송 최근 디지털 방송을 위한 신호처리 기술이 급속하게 발전함에 따라 차세대 방송 서비스에 대한 관심이 높아지고 있다. 현재 서비스 중인 HDTV 이후의 차세대 방송 서비스로 거론되고 있 는 것이 UHDTV와 3DTV이다. UHD급 영상을 디스플레이할 수 있는 대화면 TV 및 안경/무 안경식 3DTV의 보급으로 인해 고해상도 영상 서비스에 대한 소비자의 기대치가 높아지고 있으며, 특히, 3DTV는 이미 초기 기술 개발이 완료되어 시험 방송 중이다. 하지만, 이러한 차세대 방송 서비스는 기존의 방송 서비스 에 비해 처리해야 할 데이터의 양이 방대하기 때문에 현재의 H.264/AVC보다 더 높은 압축 효율을 가지는 비디오 압축 표 준을 필요로 한다 [14][15]. 따라서, 현재 H.264/AVC보다 약 40% 이상의 높은 압축 성능을 보이는 HEVC는 실감 미디어 전 송 데이터량 절감을 위한 좋은 해결책을 제시할 것이다. 그림 6. 디지털 방송 분야 26 정보와 통신

2) 비디오 스트리밍 가정뿐만 아니라 공공장소 등에서 유무선 네트워크 환경이 보 편화되면서 네트워크와 연동하는 멀티미디어 콘텐츠가 대중화 되고 있다. 스마트폰, 타블렛과 같은 휴대용 기기의 보급 확대 로 인해 비디오 스트리밍에 대한 요구 또한 급속도로 증가하는 추세이다. 인터넷 스트리밍, VOD 서비스, 모바일 기기에서의 비디오 스트리밍, 화상 전화 등이 네트워크에 기반을 둔 비디오 스트리밍의 예이다. 데스크톱 및 휴대용 기기들의 하드웨어의 발전으로 인해 고 화질 영상을 디스플레이하는 것이 가능해졌지만 이러한 영상을 실시간 스트리밍하기 위해서는 큰 데이터량으로 인한 스트리밍 지연을 해결해야 한다. 따라서, 낮은 복잡도를 가지면서 높은 압축률을 제공하는 HEVC 표준은 실시간 비디오 스트리밍 서 비스에서 높은 활용도를 가질 것으로 보인다. 그림 7. 비디오 스트리밍 분야 3) 전문 분야 전문분야는 디지털 시네마, 의료 영상, 위성 영상 등과 같이 초고해상도 및 초고화질 비디오 신호를 다루는 응용 분야를 의 미한다. 이러한 전문 분야에서는 데이터의 크기보다 복호된 영 상이 포함하고 있는 데이터를 더 중요하게 생각한다. 따라서, 전문 분야에서는 고화질의 복호 영상을 얻을 수 있는 무손실 또는 근접 무손실 부호화를 주로 사용한다. 차후 HEVC 표준에서 요구사항에서 권장하고 있는 무손실 부호화 및 시각 적 무손실 부호화 기능이 지원이 추가되면 이러한 응용 분야에 서 HEVC 표준을 사용할 수 있을 것이다. 현재까지의 성능 평가 결과, HEVC 표준은 이전의 영상 압축 표준에 비해 손실 부호화 환경에서 높은 압축율을 보이고 있으 므로, 무손실 또는 근접 무손실 부호화 환경에서도 높은 압축율 을 보일 것으로 기대된다. 그림 8. 전문 분야 Ⅳ. 최신 기술 동향 제1차 JCT-VC 회의는 약 40개의 기술 기고로 시작되었으나, 최근 진행된 제7차 JCT-VC 회의에서는 약 1000개가 넘는 기 술이 기고되었다. 제7차 회의에 기고된 기술들은 그 상당수가 CE 보고서 문서이나 비디오 압축 표준화 활동 사상 이처럼 많 은 기고서가 제출된 것은 이전에 없던 일이다. 따라서, 이처럼 많은 기고서 수는 성공적인 HEVC 표준화 활동을 증명하는 것 이다. 최근 많은 기술들이 안정화되면서 JCT-VC 회의의 핵심 논의 사항은 코덱의 골격 변화가 아닌 성능 및 복잡도 관점에서 최적 의 기술을 찾는 것이다. 따라서 전체적인 골격을 유지하면서 각 각의 요소 기술들의 계산 복잡도를 감소시키는 기술들이 상당 수 채택되었다. 또한, 버그 수정 및 각 기술들 간의 상호 동작에 서 발생하는 문제들, 기술들 간의 불일치 해소, 유사한 기술의 통폐합 등이 기고되었다. HEVC 표준화가 중반을 넘어감에 따라, HEVC 확장기술 (extension)에 대한 논의도 시작되었다. HEVC 계위성 확장 (scalable extension, SE) 표준이 그것이다 [16]. 이전 표준화 활동의 전례를 살펴볼 때, SE 표준뿐만 아니라 다시점 [17] 확 장(multiview extension)에 대한 필요성 역시 제기될 것으로 예상된다. 한편, 이전의 비디오 부호화 표준에서 다루지 않았던 스크린 콘텐츠 부호화 기술 (screen contents coding) [18] 역시 전문 가들의 관심을 끌고 있다. 따라서, 표 2와 같은 4개의 스크린 콘텐츠 영상이 HEVC 실험 영상에 클래스 F로 추가되었다. 스 크린 콘텐츠 부호화는 자연 영상을 부호화하는 것이 아닌 컴퓨 터 화면에 보여지는 문서 또는 웹페이지, 일반 영상에 텍스트가 섞인 뉴스 영상 등을 효율적으로 부호화하기 위한 것이다. APRIL 2012 27

표 2. 스크린 콘텐츠 영상 클 래 스 F 해상도 fps 영상 1280 720 30 SlideEditing 1280 720 20 SlideShow 1024 768 30 ChinaSpeed 832 480 50 BasketballDrillText 스크린 콘텐츠 부호화와 함께 다루어지고 있는 기술이 무손실 부호화 및 근접 무손실 부호화 기술이다 [19][20]. 앞에서 설명 한 것과 같이, 무손실 및 시각적 무손실 부호화 지원은 HEVC 표준의 요구사항에도 권장되어 있다. 최근, JCT-VC는 무손 실 부호화 기술 개발을 위한 AdHoc 그룹 22을 신설했다. 현재 Huawei를 포함한 다양한 기관에서 무손실 부호화를 위한 새로 운 화면내 부호화 기술 및 엔트로피 부호화 방법이 제안되었다. 또한, CABAC(context-based adaptive binary arithmetic coding)과 CAVLC(context-based adaptive variable length coding) 엔트로피 부호화기 통합을 위한 이슈가 제기되어 관련 이슈를 CE 1에서 연구한 결과 CABAC을 기반으로 한 하나의 엔트로피 부호화 툴을 사용하기로 결정했다 [21]. Ⅴ. 맺음말 HEVC (high efficiency video coding) 표준화는 2013년 1월 최종 국제 규격안(final draft international standard, FDIS) 이 마련될 예정이다. HEVC 표준은 완성 후 모바일을 포함한 방송, 전문 분야에서의 고화질 및 고품질 영상 서비스에 광범위 하게 사용될 것으로 예상된다. 통상 표준 완성 후 제품 적용에 4년 정도의 시간이 소요되지만 국내외 여러 코덱 전문가들이 적극적으로 HEVC 표준화 활동에 참여하는 것을 볼 때, 표준화 완성 후 그보다 빠른 시일 내에 HEVC 표준을 적용한 제품이 시장에 출시될 것으로 기대된다. 따라서, HEVC 표준이 완성되 기까지 국내외 학계와 산업계의 지속적인 관심이 필요하다. Acknowledgement 이 논문은 2011년도 정부(교육과학기술부)의 재원으로 한국연 구재단의 지원을 받아 수행된 연구임(NO. 2011-0030822). 참 고 문 헌 [1] 정현우, 스마트폰과 미래의 변화, 한국콘텐츠학회지, 제 8권 제2호, pp. 28-33, 2010년 6월. [2] 전수용, 박영수, 스마트폰의 기술동향 및 군적용 방안, 한국통신학회지, 제28권 제4호, pp. 28-34, 2011년 3월. [3] http://www.cisco.com/en/us/solutions/collateral/ ns341/ns525/ns537/ns705/ns827/white_paper_c11-520862.html [4] 김문기, 이민석의 이동통신 따라잡기: 스마트폰 메모리의 구조 (RAM, 주메모리, 설치메모리, 외부메모리), 아이티 투데이, 2011년 7월 16일. [5] T. Wiegand, G. Sullivan, G. Bjontegaard, and A. Luthra, Overview of the H.264/AVC video coding standard, IEEE Trans. Circuits Syst. Video Technol., vol. 13, no. 7, pp. 560-576, July 2003. [6] ISO/IEC JTC1/SC29/WG11, Vision, application, and requirements for high performance video coding (HVC), MPEG document, N11096, Kyoto, JP, January 2010. [7] ISO/IEC JTC1/SC29/WG11, Terms of reference of the joint collaborative team on video coding standard development, MPEG document, N11112, Kyoto, JP, January 2010. [8] ISO/IEC JTC1/SC29/WG11, Joint call for proposals on video compression technology, MPEG document, N11096, Kyoto, JP, January 2010. [9] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, Common test conditions and software reference configurations, JCT-VC document, D600, Daegu, KR, January 2011. [10] 심동규, 차세대 비디오 표준 압축 기술 HEVC, IDEC Newsletter, 2011년 07월. [11] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, Test model under consideration, JCT-VC document, A205, Dresden, DE, April 2010. [12] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, WD5: working draft 5 of high-efficiency video coding, JCT-VC document, G1103, Geneva, CH, November 2011. [13] 김제우, 박지호, 김용환, 최병호, HEVC 비디오 코덱 기 술의 응용 및 전망, 방송공학회지, 제15권, 제4호, pp. 135-145, 2010년 12월. [14] 호요성, 강민구, 3차원 비디오 서비스를 위한 MPEG 표준 화 기술, TTA 저널, 제129권, pp. 73-79, 2010년 6월. 28 정보와 통신

[15] 황수진, 호요성, 3차원 비디오 서비스를 위한 MPEG 표 준화 기술, 한국통신학회 논문지, 제36권, 제12호, pp. 721-726, 2011년 12월. [16] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCT-VC AHG Report: scalable coding investigation (AHG 17), JCT-VC document, G017, Geneva, CH, November 2011. [17] 호요성, 정재일, 다시점 3차원 실감방송을 위한 MPEG 표준화 기술, 정보과학회지, 제28권, 제8호, pp. 38-45, 2010년 8월. [18] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCT-VC AHG report: screen content coding (AHG 13), G013, Geneva, CH, November 2011. [19] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCT-VC AHG report: lossless coding (AHG22), G031, Geneva, CH, November 2011. [20] 최정아, 호요성 HEVC 근접 무손실 깊이 영상 부호화를 위한 향상된 CABAC 설계, 방송공학회 추계 학술대회, pp. A4-1(1-2), 2011년 11월. [21] ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, CE1: summary report of core experiment on entropy coding, G031, Geneva, CH, November 2011. 호 요 성 최 정 아 약 력 1981년 서울대학교 전자공학과 학사 1983년 서울대학교 전자공학과 석사 1995년 한국전자통신연구소 선임연구원 1989년 University of California, 전기전산공학과 박사 1993년 미국 필립스 연구소 선임연구원 1995년 현재 광주과학기술원 정보통신공학부 교수 2003년 현재 광주과학기술원 실감방송연구센터 센터장 관심분야: 디지털 영상신호 처리 및 압축, 디지털 TV, MPEG 표준, 3차원 TV, 실감방송, HEVC 2007년 한국항공대학교 전자 및 항공전자공학과 학사 2008년 광주과학기술원 정보기전공학부 정보통신공학과 석사 2008년 현재 광주과학기술원 정보기전공학부 정보통신공학과 박사과정 관심분야: 디지털 영상처리, H.264/AVC, HEVC APRIL 2012 29