초고해상도 HEVC 비디오코덱 SoC 기술 Ⅰ. 제안기술개요 기술의내용기술의동향기술의제품화및시장전망 - 4K/8K UHD 급대용량비디오이미지 의실시간압축및복원기술로 2013 년 상반기표준화완료 - 기존 MPEG-4 및 H.264/AVC 대비각 각약 4 배 /2 배의개선된압축효율을가 지며초고해상도비디오압축에특화 - 실시간고속비디오데이터압축복원 처리위해멀티코어기반병렬처리 (WPP, Tile) 표준기술적용 상용화단계 핵심키워드 일반 의약바이오 한글 영문 Ⅱ. 기술개발자정보 [ 국내동향 ] - 국내기술성장률은 20% 의높은수 준으로, 산학연을중심으로관련 연구가활발히이루어지고있음 [ 해외동향 ] - 2013 년기준, 세계시장은 438 억 달러규모이며 UHD 급컨텐츠및 4K 지상파방송송출과함께이를전송 처리하기위한 HEVC 코덱분야의기 술개발이활발히이루어지고있음 (Gartner, 2014) 1 아이디어 2 연구단계 3 개발단계 4 개발완료 ( 시제품 ) ➎ 제품화단계 1 라이센싱 2 개발단계 3 제품화단계 에이치브이씨, 비디오압축, 비디오복원 HEVC, H.264, video compression, video codec - 2014 년세계반도체시장 3,324 억달러 중비디오코덱관련시장의규모는 4 38 억불이며비디오디바이스세계판 매량규모는연평균 24% 의성장예측 - H.264/AVC 에서차세대 HEVC 코덱으 로세대교체가이루어지는시기로초 고해상도디스플레이를장착한기기들 의보급이이를가속화 - HEVC 코덱내장멀티미디어기기기 의소비파급효과는 2015~2020 년간 총 4.9 조원의생산성유발기대 기관명한국전자통신연구원부서멀티미디어프로세서연구실 성명변경진외 7 명직급책임연구원 전화 / 핸드폰 042-860-5831 이메일 kjbyun@etri.re.kr Ⅲ. 수행과제정보 지원지관명산업통상자원부연구사업명산업융합원천기술개발사업 연구과제명초고해상도비디오코덱 SoC 수행기간 2011.5.1. ~ 2016.2.29 주관기관한국전자통신연구원공동연구기관 KAIST, 실리콘그라피, 칩스앤미디어 Ⅳ. 특허정보 특허현황사업화대상기술관련특허총 3 건 상세현황 구분 상태 출원 ( 등록 ) 일자 특허번호 대상기술 출원 등록 2013.09.10 US8532409 관련기술 출원 등록 2013.11.20 관련기술 출원 등록 2012.11.26 2013-0141599 2012-0134287 특허명 ADAPTIVE MOTION SEARCH RANGE DETERMINING APPARATUS AND METHOD 고속인트라예측을위한영상부호화방법및장치 율 - 왜곡비용의확률분포를이용한비디오부호화기의고속예측모드결정방법
1. 기술성분석 1. 기술의내용및특징 초고해상도이미지의고압축을위한 HEVC는고화질, 고프레임율의영상압축이가능하고 H.264 대비약 2배의압축효율로전송효율을높이며스토리지절감이가능한기술 4K/8K UHD 급초고해상도비디오데이터의전송또는저장을위하여비디오데 이터를고효율로실시간압축및복원하는하드웨어기반 HEVC 비디오코덱 SoC 설계기술 < 초고상도 HEVC 비디오코덱 SoC 기술개념도 > 본기술은크게 3가지의세부기술로나눌수있음 HEVC 영상복원기술 ; 화면내보상을위한 Intra Prediction IP 설계기술 ; 움직임보상을위한 Inter Prediction IP 설계기술 ; In-loop Filter IP 설계기술 ; 엔트로피복호화를위한 CABAC IP 설계기술 ; 저전력 CPU 기반 Firmware 설계 HEVC 영상압축기술 ; 화면내예측을위한 Intra Prediction IP 설계기술 ; 움직임예측을위한 Inter Prediction IP 설계기술 ; 엔트로피부호화를위한 CABAC IP 설계기술 ; 변환 / 양자화와최적모드결정 RDO IP 설계기술 ; 저전력 CPU 기반 Firmware 설계 4K UHD 급 HEVC 영상코덱기술 ; WPP (Wavefront Parallel Processing), Tile 병렬처리기술 ; 멀티코어기반병렬처리 SoC 설계기술 - 2 -
< 멀티코어기반 HEVC 코덱확장성예시도 > 2. 기술의수준 ETRI HEVC 코덱지원해상도 : 4K@60fps( 디코더 )/FHD@60fps( 인코더 ) ETRI HEVC 고압축최대비트레이트 : 12Mbps@38dB (FHD@30fps) 실시간 HEVC (H.265) 구현 저전력멀티 CPU 코어내장 전용하드웨어기반의인코더및디코더 IP <ETRI HEVC 디코더 : 슈퍼노바 (Supernova)> - 3 -
<ETRI HEVC 인코더 : 하이퍼노바 (Hypernova) 3. 기술의필요성 2014 년 4K UHD 급지상파, IPTV, 케이블 / 위성시험방송으로 HEVC 코덱에대한 수요급증 < 초고해상도비디오코덱세계시장동향 > 4K UHD 급 HEVC 코덱은국내대기업및팹리스업체중심으로개발중이며 4K 급디코더는이미양산중이나인코더와통합된코덱개발은극히초기단계로 ET - 4 -
RI 코덱상용화시큰상업적성공이기대됨 UHDTV, SmartTV, IPTV 셋톱박스등의가전분야, 모바일스마트폰, 스마트패드, 태블릿 PC, 캠코더등의휴대기기분야, 차량용블랙박스, 방범용카메라, 스토리 지등의보안분야에폭넓게적용이가능 < 초고해상도비디오코덱 SoC 응용분야 > 4. 기술의차별성 기술측면의촉진요인 고화질과제한된대역폭에서 UHD급서비스에대한급격한요구증가 높은압축효율과멀티코어기반병렬처리를통한 HEVC코덱의확장성을바탕으로기존코덱기술을대체해나갈것으로예상되며 H.264/AVC와비교했을경우같은화면을동일화질로압축시 50% 의압축효율우위로인한스토리지절감으로인한멀티미디어응용시스템의저가화가능 HEVC 코덱국산화로시스템반도체위상제고및기술력주도 - HEVC 코덱기술은시장진입초기로해당방송통신사업자뿐만아니라디지털방송, 스마트가전및산업계에서도입하고있는영상표준기술이나해당시스템은전량수입에의존하고있는실정이며이를극복하기위하여해당모듈및장비의국산화가시급함 - 5 -
- 이러한문제점을해결하기위한본초고해상도 HEVC 비디오코덱기술은고가의외산장비를저렴하게공급가능하게하고대등한성능치를제공하는동시에사용자의편의성을증진시킨인터페이스개발을통하여해당장비의국산화개발을촉진시킬수있음 기술측면의저해요인 차세대비디오표준에따른코덱시장의변화 - MPEG-2/4 및 H.264/AVC 기술은고해상도의영상압축표준으로자리잡아왔으며현재까지디지털방송에서사용되는영상압축표준임 - 2013년상반기초고해상도의영상을위한차세대비디오코덱표준 (HEVC) 이제정되었지만도입초기이며상용화까지는아직구현의복잡도로인하여해결해야할문제들이많이남아있음 - HEVC 기술이성숙기에접어들기까지는이미성숙된기술인 H.264/AVC 기술이더많이활용될것으로예상되며이러한기술의발전과시장변화는다양한적용분야의니즈에부합되어이를필요로하는대상분야가확장될것으로예측 - 이에따라후발장비업체에서는서로호환가능한형태의모듈을생산해야하며데이터의특징을파악되면개선이가능하므로이를반영한신속한시장진입이필요함 선도기업들의시장선점으로인한진입장벽 - 현재상용코덱을적용한제품이대부분의외산장비이고이미많은 Reference Site에서검증받은제품이기에이러한외산외주의제품과경쟁하는부분이시장의진입장벽임 - 하지만이러한장비는고가의비용이요구되며시장에서의다양한단점들도보고되고있으므로해당기술을개발하여기술의우위선점이절실함 - 6 -
< 초고해상도비디오코덱 SoC 분야의 NET 분석 > 촉진요인 저해요인 - 국내연구기관및사업자의서비스실적을통하여관련기술개발및경험이축적되어있으며높은신뢰도와인지도를바탕으로방송장비개발에경쟁력을가지고있음 - 최근 HEVC 표준이완료되었지만해당기술의성숙도가초기단계이므로표준화참여와코덱설계기술 (HW/SW) 에관련된축적된기술력을활용하면기술개발의성공확률이비교적높음 - HEVC 코덱기술과전송 / 저장솔루션기술에대하여국산화개발을진행하고있음 - 국내는방송과통신의융합된형태인미디어압축기술과전송기술개발할충분한기술인프라를확보하고있음 - 시장내선두진입한기존국제선도업체들에비해기업규모와인력구성, 기업인지도, 개발장비등의측면에서다소불리함 - 시장선점기업들과의기술경쟁력및원천기술축적등이현재로서는아직미흡한상황임 - 관련표준기술및정보공유등의인프라가부족하여기술개발의어려움 - 본질적인영상코덱연구투자와네트워크등의미흡함이있음 - 7 -
2. 특허성분석 1. 국내외특허동향 비디오코덱은국가간호환성을고려하여국제표준을공동으로제정하고이를준수하는것이일반적이며현재특허풀형태로 MPEGLA에서운용됨 삼성전자, LG전자, SK텔레콤, ETRI, KAIST 등의국내산업계, 연구소, 대학이차세대비디오코덱 HEVC의국제표준화에지속적으로참석하여표준화문서를기고함 ETRI에서는 4K HEVC 영상디코더를 JTC-VC 표준화회의에서시연하였고초고해상도실시간영상압축을위한하드웨어및병렬처리소프트웨어특허기술을확보 국내에서는 삼성전자 ( 주 ), LG 전자, SKT 등이 HEVC 코덱기술과관련한출원이활발하게이루어지고있음 국내에서는 삼성전자 ( 주 ), LG 전자, ETRI 등이슈퍼매크로블록단위의병렬처리파이프라인기술, 화소비트확장처리기술, Adaptive Quantization 기술과관련한출원이활발하게이루어지고있음 매크로블록단위의병렬처리파이프라인기법이적용될수있음을적시한선행기술문헌은검색범위내에서는거의조사되지않았는바표준화이전및실용화단계에접어들지않은기술발전단계의영향일수있을것으로추측 화소비트확장처리기술분야는해외및국내에서유사도가높은특허를찾지못하였으므로국내외기술수준및기술격차가비교적크지않다고볼수있음 < 대상기술의국가별등록분포 > - 8 -
2. 선행특허분석 < 대상기술의정의및관련키워드 > 기술분야 기술명 키워드 UHD 해상도, 고해상도의움직임탐색방법, 영상 인터폴레이션영상필터, DCT, 화면내예측 H.264/H.265/HEVC 고정밀 internal bit-depth, UHD CODEC 고성능larger transform 및 quantization 고프레임율지원제어기술외 < 대상기술의특허검색식 > 영문 검색어 검색식 ((( 높은고초울트라 ) adj ( 해상도화질 )) 고해상도고화질 ((high ultra super) adj (resolution definition))).key. and ((inter adj prediction) ( 움직임 adj ( 탐색 * 추정 *)) (interpolation near FIR near filter) (( 보간에프아이알 FIR) near 필터 ) ((discrete near cosine near transform) DCT) (intra near prediction) (( 인트라화면 *) adj 예측 *)) 한국등록특허 한국공개특허 미국공개특허 미국공개특허 특허번호 제 2010-0059362 호 제 2010-006734 호 US2012046287 US20130266063 특허명 (2010.06.04) 초고해상도영상의프레임레이트변환장치및방법 (2011.04.07) 가변블록사이즈코딩정보를이용한관심영역코딩방법및장치 (2014.03.12) PIXEL-BASED INTRA PREDICTION FOR CODING IN HEVC (2013.10.10) VIDEO ENCODING METHOD AND APPARATUS FOR FAST INTRA PREDICTION 출원인삼성전자 ( 한국 ) SKT( 한국 ) Huawei( 중국 ) ETRI( 한국 ) 기술요약 초고해상도영상의가변블록사이즈코딩현재블록을포함하는영상부호화장치의 - 9 -
프레임레이트변환장치 정보를이용한 영상프레임을 처리속도를개선하기 및방법이제공되며 관심영역코딩 코딩하기위해원 위한인트라예측 고해상도영상의프레임 방법으로하나의 픽셀을포함하고있는 방법에관한것으로 레이트변환장치는 이미지에서얻어진 현재블록과 영상부호화방법은 N 개로분할된입력 최대코딩유닛블록을 복원픽셀을기반으로 현재예측유닛 (current 영상에대한경계영역의 코딩유닛블록으로 다수의참조픽셀을 prediction unit) 에대한 이전프레임과현재 분할하고코딩유닛 생성하고예측화소를 복수의인트라예측 프레임을각각저장하고 블록의양자화 연산하기위해인트라 모드각각의 SATD 상기저장된경계영역의 파라메터를얻기 예측모드를사용하는 (Sum of Absolute 이전프레임과현재 위하여코딩유닛 방법 Transform Difference) 프레임사이에보간 블록의사이즈와 기반부호화비용을 프레임을삽입하여상기 연관된깊이정보와 계산하는단계, SATD N 개로분할된입력 상기코딩유닛블록의 기반부호화비용에 영상에대한프레임 파티션에따라 기반하여현재예측 레이트를각각변환할수 대응적으로나타나는 유닛에대한적어도 있는방법 예측유닛블록의 하나이상의제 1 후보 사이즈를이용한 HEVC 부호화모드를 코딩방법 결정하는단계및제 1 후보부호화모드 중에서최종부호화 모드를결정하는방법 관련도 분석 A A A A * 관련도 : X - 관련높음, Y - 관련있음, A - 관련은없으나참고할자료 * X, Y - 주요참증에해당, A - 참고참증에해당 본연구과제의제안기술은초고해상도비디오코덱 SoC 기술에관한것으로, 이와관련한선행특 조사결과 허문헌조사결과, [ 한국등록특허 2010-0059362], [ 한국공개특허 010-006734], [ 미국공개특허 2012-046287], [ 미국공개특허 2013-0266063] 가선행특허문헌으로조사됨 - 10 -
3. 사업성및시장성분석 1. 사업화제품화 비디오코덱시장은외산 SoC를기반으로하는제품군들이점유하고있으나, 경쟁력과기술우위의솔루션을제공하여국내중소중견업체의시장진입가능성타진 2013년상반기 HEVC 표준화완료이후사업화시장은도입기이므로외산경쟁제품대비차별화된핵심 IP제공으로성장기에가격경쟁력확보 초고해상도 HEVC 코덱 SoC 관련기술이전으로국내개발업체로의핵심기술전수및국내및세계시장경쟁력확보 상용화기술개발초기부터개발기관과수요기업이협력가능하므로공동으로요구사항을정의하고상용화에주력하여시장상황에부합한제품개발필요 2. 사업화방법및성공요인 국내카메라 SoC 시장공략 - 기존 FHD급카메라 SoC 에서사용된 H.264/AVC 인코딩기술은본연구개발에서제안하는 HEVC 코덱을이용한고효율영상처리코덱 SoC 와비교하여해상도, 압축률등에서경쟁력이떨어지며기존카메라 SoC 기술과의차별화를통하여가격부담감및기존의영상압축기술이지니던단점개선 - 기존업체들이해외칩기반으로솔루션을개발함으로써기술적인종속성, 기술지원의어려움, 국내시장의협소함에따른가격경쟁력저하등을겪고있으므로이를마켓팅전략으로적극활용 스포츠캠시장공략 - 스포츠캠은움직임이많은영상에서고수준의영상획득과최대한장시간촬영이가능하여야하나카메라의해상도가증가함에따라기존 H.264/AVC 압축기술의해상도, 압축률에한계점에이름 - 이를해결하기위하여 HEVC 비디오코덱 SoC기술을도입하고소비전력최적화기술을도입하여기존제품과의차별화를통한기술적인해결가능 3. 국내외시장전망 1) 국내외시장규모및동향 블랙박스, 스포츠캠, 초선명네트워트카메라에적용할수있는 HEVC 응용시스템시장의 14년국내판매량규모는약 5조전망, 연평균 20% 성장률 - 11 -
( 출처 : IMS, Yano Research, 2013) 2014년 4K 지상파, 케이블, 위성, IPTV, UHDTV 시험방송으로 HEVC 코덱에대한수요급증 국내대기업및팹리스업체중심으로 4K급 HEVC 코덱개발 4K 디코더는양산중이나인코더통합된코덱은아직개발미미 2) 시장의구조, 경쟁강도및진입장벽 4K/8K UHD급초고해상도컨텐츠및 UHDTV 디스플레이출현으로기존 H.264/AVC가처리하지못하는초고해상도영상을 HEVC 코덱이대체 VP9 코덱은처리속도빠르나객관적화질면에서는 HEVC가우위에있으므로 HEVC는초고선명영상, VP9은스트리밍서비스에적합 < 경쟁기술 / 대체기술대비우수성 > 4. 사업화성공가이드 1) 사업화후보기업요건 비디오코덱기술보유업체 ISP 기술보유업체 영상인식및차량용비젼기술보유업체 2) 사업화투자비용 수요기술맞춤형 HEVC 코덱상품화개발투자비용 초고해상도 HEVC 비디오코덱 SoC 제작투자비용 3) 법적검토사항 기술이전및실시권계약범위 / 라이센싱및공동연구범위협의 수익성배분협의등 4) 희망파트너쉽 1 기술이전 ( ) 2 라이센싱 ( ) 3 공동연구 ( ) 4 기술출자 ( ) 5 기타 ( ) - 12 -