슬라이드 1

Transcription

1 지상파 UHDTV 실험방송 현황 KBS 기술연구소 함상진

2 KBS Technical Research Institute UHDTV I. UHDTV 개요 II. 지상파 UHDTV 동향 I. NHK SHV 기술 동향 II. 국내 동향: 지상파 4K UHDTV 실험방송 I. Big DATA II. III. HEVC & DVB-T2 실험방송 추진 현황 III. 결론 Q&A

3 I. UHDTV KBS Technical Research Institute UHD(Ultra high Definition) : 주사선수가 현재 HD의 2배인 2000개 이상의 영상 규격

4 UHDTV, KBS Technical Research Institute

5 , KBS Technical Research Institute NHK Presentation in KOBA2012

6 UHDTV - Home KBS Technical Research Institute

7 KBS Technical Research Institute 7 4K UHDTV vs 2K HDTV

8 KBS Technical Research Institute II. UHDTV : NHK UHDTV Roadmap 1995년 차세대 HDTV 연구시작 2000년 SHV 개발 프로젝트 착수 2002년 NHK 기술연구소 공개대회에서 SHV 처음 공개(2.5 4CCD 카메라) 2004년 Dual-G CMOS 카메라 2008년 8K-UHDTV IP &위성송수신 실험 & H.264 코덱 2009년 Full resolution 프로젝터 2010년 Full resolution 2.5 3CMOS 카메 라 & 고효율 H.264 코덱 2011년 Full resolution 85 LCD 2012년 Full resolution 150 PDP 2012년 런던올림픽 공공시연 2012년 22.2채널 음향 채집 시스템 2015년 CMOS 카메라 & 100 PDP & Full resolution codec & 스튜디오 제작 시스템 2020년 위성 실험방송

9 SHV Video Spec. KBS Technical Research Institute 9 NHK UHDTV = SHV : Super High Vision NHK Presentation in KOBA2012

10 NHK UHDTV KBS Technical Research Institute NHK Presentation in KOBA

11 NHK KBS Technical Research Institute 11

12 NAB 2012 NHK UHDTV KBS Technical Research Institute 12

13 NHK UHDTV Codec KBS Technical Research Institute NHK Presentation in KOBA2012

14 NHK UHDTV Program KBS Technical Research Institute NHK Presentation in KOBA2012

15 NHK UHDTV Exhibition and public viewing KBS Technical Research Institute NHK Presentation in KOBA2012

16 NHK UHDTV: KBS Technical Research Institute NHK Presentation in KOBA2012

17 NHK UHDTV: 전송 KBS Technical Research Institute NHK Presentation in KOBA2012

18 NHK UHDTV: SHV 비디오 중계차 KBS Technical Research Institute NHK Presentation in KOBA2012

19 NHK UHDTV: SHV 사운드 중계차 KBS Technical Research Institute NHK Presentation in KOBA2012

20 NHK KBS Technical Research Institute NHK Presentation in KOBA2012

21 NHK KBS Technical Research Institute NHK Presentation in KOBA2012

22 KBS Technical Research Institute UHDTV Big Data!

23 KBS Technical Research Institute UHDTV Video Data 가로 세로 Frame Rate 화소당 비트수 /pixel bps Gbps HD 1,920 1, Y/CbCr 4:2:2 각 10비트 1,244,160, ,840 2, Y/CbCr 4:2:2 각 10비트 4,976,640, ,840 2, Y/CbCr 4:2:2 각 12비트 5,971,968, ,840 2, RGB 4:4:4 각 10비트 7,464,960, K 3,840 2, RGB 4:4:4 각 12비트 8,957,952, ,840 2, Y/CbCr 4:2:2 각 10비트 9,953,280, ,840 2, Y/CbCr 4:2:2 각 12비트 11,943,936, ,840 2, RGB 4:4:4 각 10비트 14,929,920, ,840 2, RGB 4:4:4 각 12비트 17,915,904, ,680 4, Y/CbCr 4:2:2 각 10비트 39,813,120, K 7,680 4, Y/CbCr 4:2:2 각 12비트 47,775,744, ,680 4, RGB 4:4:4 각 10비트 59,719,680, ,680 4, RGB 4:4:4 각 12비트 71,663,616,

24 UHDTV Video Data KBS Technical Research Institute HD 60i 1,920X1,080 3D 60i Left 1,920X1,080 Right 1,920X1,080 (HDx2) UHD 30p 4K 3,840X2,160 UHD 60p 4K-UHD 4K 3,840X2,160 (3,840X2,160) (HDx4) (HDx8) UHD 60p 8K-UHD 8K 7,680X4,320 (7,680X4,320) (HDx32)

25 KBS Technical Research Institute UHDTV Video Data HD-SDI : 1.5Gbps(60i, 30p) 3G-SDI : 3Gbps(60p) 4K 60i,30p UHDTV : HD-SDI x 4, 6Gbps 4K 60p UHDTV : 12Gbps 10G-SDI 화면 해상도 프레임 레이트 10G-SDI 3,840X2, , 24, 25, 29.97, 30 Single Link 50, 59.94, 60 Dual Link 7,680X4, , 24, 25, 29.97, 30 Quad Link 50, 59.94, 60 Octa Link

26 KBS Technical Research Institute UHDTV Big Data! 새로운 비디오 압축 : HEVC 새로운 전송 방식 : DVB-T2

27 UHDTV Bitrate KBS Technical Research Institute 27 MPEG-2 Video 50% Bitrate saving H.264/AVC 50% Bitrrate saving target HEVC (?)

28 HEVC (4) KBS HD HD 1920x p 2940 frames 98초 뉴스, 스포츠, 공연, 드라마 등으로 구성 db HEVC AVC Kbps KBS Technical Research Institute 28

29 db HEVC (6) Main profile 4K 3840x p 500 frames 10초 MPEG 제공 Test sequence Main Profile 10% 성능하락 HEVC HEVC Main AVC KBS Technical Research Institute Kbps 29

30 HEVC NAB 2012 Conference Ericsson 발표 KBS Technical Research Institute 30

31 UHDTV 2세대 유럽 지상파 디지털방송표준(DVB-T2) 유럽의 DTV방식인 DVB-T의 성능을 개선 LDPC 부호화 기법과 256QAM 변조 전송용량과 전송효율을 높임 현재의 DVB-T2 기술에 향후 MIMO(Multi Input Multi Output)기술을 접목하여 전송성능을 개선함 MIMO(Multi Input Multi Output)기술 복수의 송,수신안테나를 이용하여 전송성능(Data Rate)을 향상 방송망 설계 OFDM방식을 기반으로 SFN(Single Frequency Network)을 고려 현재의 DMB방송망과 유사하게 설계 KBS Technical Research Institute 31

32 4K-UHDTV HD = HDTV 전송비트율 MPEG-2 13Mbps 가정 압축효율 가정 HEVC = H.264 x 0.5 = MPEG-2 x MHz 대역 DVB-T2의 전송성능 41Mbps가 상한(CNR=22dB) 화소수 4K, 주사율 60p, 화소당 10bits 압축방식 4:4:4 4:2:2 4:2:0 MPEG-2(현재) 20HD(260Mbps) 15HD(195Mbps) 10HD(130Mbps) H.264(MP4 AVC) 10HD(130Mbps) 7.5HD(98Mbps) 5HD(65Mbps) HEVC 5HD(65Mbps) 3.75HD(49Mbps) 2.5HD(32.5Mbps) KBS Technical Research Institute 32

33 III. UHDTV : 4 지상파 UHDTV 실험방송 MOU 체결 방송4사 공동참여 및 기술교류 업무 분담 방송4사 : 4K 콘텐츠 제공 KBS : 송출시스템 구성 및 통합 편성 관리 KBS 실험방송 TF 구성 정책, 콘텐츠, 송신 분과 구성 KBS Technical Research Institute 33

34 KBS Technical Research Institute 34 KBS UHDTV UHDTV (4K) On-Air 실험방송 2012년도 4분기(9, 10, 11, 12) 압축코덱 : HEVC, 4K 30p 전송방식 : DVB-T2, Single PLP, 256QAM 7월 실험국 허가 완료 송신기 설치 송신기 임대 후 연구소 내 실험용 사용 구매 송신기 9월 말 설치 완료 송출 계획 10/9(화) 송출 시작 66번, DVB-T2 100W, Single PLP 대전 민방에서 충청도 지역 혼신을 고려하여 1KW->100W

35 UHDTV KBS Technical Research Institute 35 구분 4K UHDTV 8K HDTV 비고 관련표준 화소수 3,840 2,160 7,680 4,320 1,920 1,080 4K 4배, 8K 16배 주사율 60 Hz(60 progressive) 30Hz 2배 ITU-R BT.1769 (LSDI) 화소당 비트수 bits 20 bits 1 1.5배 BT.1361 (colorimetry) 샘플링형식 4:4:4, 4:2:2, 4:2:0 4:2:0 1 2배 가로세로비 16:9 16:9 동일 오디오채널수 배 SMPTE SMPTE 수평시야각 배 시청거리 1.5H 0.75H 3H H:화면높이

36 KBS Technical Research Institute 36 UHDTV DVB-T2의 전송성능(6MHz 대역으로 환산) Gaussian Noise DVB-T2 DVB-T ISDB-T ATSC CNR = 20dB 35Mbps 21.8Mbps 18.8Mbps CNR = 22dB 41Mbps 23Mbps 23Mbps 19.39Mbps

37 KBS UHDTV KBS Technical Research Institute 37 UHD(4K) 카메라 4K 콘텐츠 편집 및 색 보정(MOV) - YUV변환 UHD(4K) 콘텐츠 서버 HD-SDI 4 File 4K HEVC 인코딩 - ES HEVC 인코더 File 4K ES + Audio Muxing - TS TS 발생기 Modulation - DVB-T2 전송 관악산송신소 DVB-T2 Ch# W TX HD-SDI 4 or HDMI 1.4 4K HEVC 디코딩 - YUV HEVC 디코더 ASI Demod ulation - TS RF 수신기 KBS IBC KBS

38 4K UHDTV KBS(RED One, RED Epic) 추노, 각시탈, 공주의 남자, 여수엑스포, 영상포엠 MBC(RED EPIC) 아랑사또, 길 SBS(Sony F65) GLAM, Soul in Seoul EBS(Sony F65) 제주, 서울 풍경 영상 KBS Technical Research Institute 38

39 4K KBS Technical Research Institute Shoot Ingest Edit Finish Camera Storag e NLE Color correction Sony F65 Sony SR-R4 (MXF, HDCAM SR) FCP(Apple) Davinci Resolve(BMD) RED One RED file format (R3D, RED-CODE) Transcoding Premiere(Adobe) Pablo(Quantel) RED EPIC

40 KBS Technical Research Institute UHDTV Demo Room - DVB-T2 수신기 & HEVC Decoding 시스템 4K Display & 2CH audio

41 UHDTV 4K 30p 실시간 디코더 국책과제 결과물 - ETRI, KBS, 카이미디어 HM6.0 기반 고속화 알고리듬 개발 KBS Technical Research Institute 41

42 IV. 지상파 : HDTV/3DTV 이후 UHDTV로! 시청자의 Needs 증가, 기술의 발전, 정부의 의지 2012년 ASO 및 정부의 새로운 정책기조에 기대 KBS 차세대방송 UHDTV 지속적 준비 중 UHDTV 제작 워크플로우 구상 및 구성 UHDTV를 위한 새로운 콘텐츠 제작 예정 대화면에 맞는 UHDTV 촬영/편집 기법 필요 차세대 코덱 및 전송 방식 연구 KBS Technical Research Institute 42

43 KBS Technical Research Institute Q&A cashy@kbs.co.kr

44 Smart & Green Technology Innovator 한국전자통신연구원 신 민 수

45 목 차 디지털 방송 발전방향 UHDTV 기술개발 동향 UHDTV 관련 표준화 동향 Ka대역 UHD 위성방송 개발동향 2

46 디지털방송 발전방향 à 현장감/사실감 전달하는 실감방송 1세대 흑백 방송 2세대 컬러 방송 3세대 디지털방송 4세대 3D/UHD 실감방송 Black & White Color HDTV 3DTV Ultra HDTV UHD 방송 및 3D 영화를 통한, 고품질 실감방송에 대한 소비자 요구 증가 실감나는 3차원 입체영상 4~16배 선명한 초고화질 영상 실감형(4D/5D) 방송 HDTV 1920 UHDTV(8K) deg UHD/3D TV 100deg. 3

47 디지털방송 발전방향 à 현장감/사실감 전달하는 실감방송 UHDTV Concept 4

48 UHD(초고선명) 방송 기술 HDTV가 제공하는 화질보다 4~16배 선명한 초고선명 비디오로, 가정에서 70mm 영화보다 뛰어난 비디오 화질(8K; 7680x4320)과 다채널(22.2 ch) 초고 음질을 이용하여 시청자에게 현장감과 사실감을 향상시키는 차세대 실감방송 기술 Full HDTV 4K UHDTV 8K UHDTV 화면당 화소수 (pixel/frame) 1920x1080 (2M pixels) 3840x2160 (8M pixels) 7680x4320 (33M pixels) 4K : 4xHD 8K : 16xHD 화면 주사율 (frames/sec) 화소당비트수 (bits/pixel) 30Hz (Interlaced) 60Hz (Progressive) 24 bits 24 ~ 36 bits 화면비 16:9 16:9 칼라샘플링형식 2~4xHD 1~1.5xHD bit depth 4:4:0 4:4:0, 4:4:2, 4:4:4 1~2xHD 오디오 채널수 수평 시야각 표준시청거리 ~ ~4.4xHD ~3.3 times wider 3H 1.5H 0.75H 1/2~1/4 5

49 화질 선명도에 따른 시청거리, 시야각, 화면크기 비교 SDTV, HDTV, D-Cinema and UHDTV의 크기에 따른 적정 시청거리 34.6만 화소 207만 화소 17deg. 3,318만 화소 885만 화소 50 (62.3cm 높이) TV 기준 시청거리 : 436cm(SD), 186.8cm(HD), 93.4cm(4k UD), 46.7cm(8k UD) 100 (124.5cm 높이) TV 기준 시청거리 : 872cm(SD), 374cm(HD), 186.8cm(4k UD), 93.4cm(8k UD) 6

50 실감방송 오디오 22.2ch Sound System SHV s sound system is basically But if there are reduced speakers in the home, Sound reproduction is available. 7 <NGSCA 2012, NHK Presentation>

51 4K/8K UHD급 카메라 기술 동향 4K UHD Digital Camera 는 Digital Cinema 촬영에 사용되기 시작 Full HD Display 이후 UHD Display 를 새로운 시장 창출 제품으로 인식 Digital Cinema 용 에서 방송용으로 발전 전망 ( à 가정용? à 개인휴대용?) - NHK/Sony (2002) : 8M pixel, CCDx4, 80Kg - Red One (2007, IBC) : 4,520 x 2,540(~60fps), 12bits/pixel - Full Resolution color Camera (2010, NHK/Sony) : 33M pixel CMOS x optical camera, 65kg - Phantom 65 (Vision Research, 07, IBC) : CMOS, 4096x2440(~125fps) : 1920x1800@1000fps, 10~ 14bits/pixel -NHK/Sony (2012) : 33M pixel CMOS x optical camera, 4kg 8

52 UHD 디스플레이 기술현황 4K 비디오 디스플레이 05년 세계 최초로 CMO가 4K LCD를 전시한 이후 경쟁적 개발 - 56 LCD (CMO, 05, FPD International) : 3,840 x 2,160(4k) - 82 UD LCD TV (SONY, 08, CES) : 3,840 x 2,160(4k) UD PDP TV (Panasonic, 08 CES) : 4,096 x 2,160(4k) - 82 UD LCD TV (Samsung, 08, CES) : 3,840 x 2,160(4k) D UDTV (LG전자, 12년 9월 세계최초 상용 출시) : 3,840 x 2,160(4k) 9

53 UHD 디스플레이 기술현황 SHARP(&NHK), 8K LCD TV 출시 (2011.5) 샤프는 2011년 5월 세계 최초로 8K 해상도를 지원하는 초고화질 디스플레이 공개함 85 LCD TV 이며, 영상은 1,920x1,080 의 16배 해상도 Panasonic(&NHK), 145 8K PDP Display 개발(2012.4) 세계 최초 8K 해상도 지원 PDP 개발 완료 145인치(3.2m x 1.8m), 8K(7,680x4,320) 해상도 지원 85 8K Super Hi-Vision LCD(SHARP, ) 145ʼ 8K Super Hi-Vision plasma display(panasonic, ) 10

54 일본 UHD 기술 개발 동향 UHDTV 방송도 HDTV( 64년)의 경우와 같이 일본 NHK에서 SHV(Super High Vision)으로 개념제시, 1995년부터 UHD 전분야에 대해 연구개발 착수함 일본은 HDTV의 전철을 밟지 않기 위해 UHD 방송의 국제 표준화를 목표로 연 구개발 추진, 2005년부터 매년 국제전시회에 UHD 방송 관련 장비 시연 NHK 주도로 개발된 UHD 영상포맷을 12년 ITU-R BT.2020으로 승인 받음 2008년 BBC(영국), RAI(이탈리아)와 함께 국제 협력하여 8K급 UHD 방송을 시연 2005~2012년까지 IBC, NAB 등의 국제전시회에 매년 UHD 서비스를 시연하며 기술을 진전시킴 Live video through IP from LONDON in IBC

55 UHDTV Satellite Transmission (NHK) Demodulator Modulator SHV Satellite Transmission (2009) ISDB-S2, AVC/H.264 codec - 100Mbps x 3CH WINDS : Ka-band 12 Item Modulation method Transmission Bandwidth Symbol Rate Transmission information bit rate FEC SHV Signal multiplexing method Video Encoding Audio Encoding TS rate after compression encoding Value QPSK/8PSK 300MHz 250Mbaud 370Mbps (QPSK 3/4) 500Mbps (8PSK 2/3) LDPC+BCH Time Division Multiplexing MPEG-4 AVC/H.264 MPEG-2 AAC 100Mbps (for each program)

56 UHDTV London Olympic Public Viewing (NHK) 2012 London Olympic games : SHV Transmission Jul. 27 ~ Aug. 12, 2012 Live and Non-live Production Cooperate with OBS and BBC IP transmission to Japan Confirmation of needs for SHV 13

57 UHDTV London Olympic Public Viewing (NHK) 2012 London Olympic games : SHV Transmission Country City Site Size Display Capacity Viewers Japan 4 sites Tokyo Fureai Hall Studio Park Akihabara Projector Multi LCD Projector ,757 97,455 Fukushima NHK Studio 350 Projector ,973 UK 4 sites London Bradford BBC House IBC Media Museum Projector PDP Projector 200 5,518-4, ,765 Glasgow BBC 350 Projector 100 3,472 USA Washington DC Comcast 85 LCD <NGSCA 2012, NHK Presentation> 14

58 UHDTV London Olympic Public Viewing (NHK) 2012 London Olympic games : SHV Transmission Shibuya NHK Fureai Hall (520 ) NHK Studio Park (360 ) Akihabara (300 ) <NGSCA 2012, NHK Presentation> 15 NHK Fukushima (350 )

59 국외 UHD 기술 개발 동향 미국은 헐리우드 메이저 영화사가 중심이 된 DCI(Digital Cinema Initiative)에 서 4K/2K 디지털 시네마 표준 수립 및 영화 제작중 (아바타 : 4K급 3D) 디지털 시네마는 2K à 4K로 보급이 증가, 8K급에 대한 검토도 시작 AMC (American Multi-Cinema)의 모든 상영관(5,325개)이 09년~ 12년 동안 4K 상 영관으로 전환 추진중 (NYT, ) 현재 영화용으로 제작하는 3D는 대부분 4K이며, 8K급 비디오 서비스 검토 시작 SMPTE에서 4K/8K용 디지털방송 A/V 포맷 표준화 완료 ( 08~ 09) HDMI에서는 4K 디지털 영상의 TV 인터페이스 기술 표준화 완료 (v1.4, 09) 영국은 일본 다음으로 UHD방송에 가장 적극적이며, Dirac 을 이용한 코덱 개발 08년, 10년 BBC가 촬영한 콘텐츠를 NHK와 함께 8K UHD로 Live 중계 12년 런던 올림픽 경기를 UHD로 촬영하여 중계 유럽연합은 UHD 콘텐츠를 위성을 통해 전송할 계획으로, 방송표준인 DVB를 통해 600MHz 대역폭의 초광대역 방송전송 표준 개발중 (DVB-S3?) 16

60 국내 UHD 기술 개발 동향 기술개발 현황 4k급 UHD 디스플레이 외 UHD 관련 연구 및 기술 개발은 초기 단계임 한국전자통신연구원에서 UHDTV를 위한 AV 압축부호화 및 전송 핵심 기술 개발 시작 ( 08년) 산업체 현황 UHD 디스플레이 장치는 기술적으로 국내업체가 선도하고 있음 삼성전자는 120Hz, 82 의 4K급 디스플레이를 08년 CES 전시회에서 발표 LG전자는 12년 9월 세계 최초로 84 3D 4K-UHDTV를 출시 정부의 신성장동력 발굴 노력 지경부는 융합신산업분야 신성장동력 사업으로 방송통신융합 미디어 선정, 방통위는 10대 미래유망 방송통신서비스로 4G방송(3D/UHDTV) 을 선정함 표준화 현황 차세대방송표준포럼 내의 3DTV 분과위원회 아래 UHDTV WG을 발족하여 이를 중심 으로 기술개발 협력 및 국내외 표준화 대응( 08.02) 17

61 시연계획 및 서비스 로드맵 일본 정부의 정책 UHD 방송의 연도별 서비스 로드맵 수립하여 추진 UHD(SHV) 개념 도입하고, 1995년부터 기술개발 착수 12년 런던 올림픽, 16년 리오 올림픽 경기 8K UHD로 중계 계획 15년 8K SHV 위성 실험방송 추진 20년 위성을 통해 가정 대상 SHV 시험방송 추진(상용급) SHV 방송 실현을 위해 정부/연구기관/대학/산업체가 연대하는 URCF(Ultra Realistic Communication Forum) 구성 및 운영중 런던올림픽 경기 시범중계(2012년) Ka대역 WINDS 위성을 이용한 8k급 초고화질 위성방송 시연(2009년) 21GHz 광대역 위성방송전송방식 개발 8k SHV 위성 실험방송(2015년) 가정용 실감 디스플레이 판매, 가정대상위성 시험방송(2020년) 18

62 시연계획 및 서비스 로드맵 미국 정부의 정책 디지털 시네마를 축으로 군수산업에 이은 제2의 수출적략으로 실감미디어 엔터테인먼 트 산업을 육성, 세계시장 70% 점유 목표 추진 미국 헐리우드는 대부분 4K급 디지털시네마로 촬영(3D도 대부분 4K급) ISO MPEG과 ITU-T VCEG는 10년 초 HEVC 표준화 착수하여 12년 말 완료 영국 등 유럽 정부의 정책 영국은 소스 압축 부호화기(HEVC) 분야의 표준화 주도 및 조기 실용방송 추진 12년 런던올림픽 경기를 NHK와 함께 8K UHD로 중계 17년에 UHD 시험방송 추진 계획 발표 유럽의 방송표준단체인 DVB에서는 600MHz 대역폭의 Ka대역 전송방식 필요성 제기(DVB-CM 1127/1136, 10.6) DVB는 UHD 방송을 위한 초고속 위성방송 전송방식 연구 착수 19

63 위성방송 관련 국제표준 - DVB DVB-S(EN ) 유럽의 지역표준화기구인 DVB에서 Ku대역(11/12GHz) 위성방송을 위한 국제규격 최초승인( ), 월 1차 개정으로 표준화 완료 DVB-S2(EN ) DVB-S규격 이후의 기술발전을 반영하여 전송속도를 높이고자 하는 것이 목적 월 v1.1.1 공표, 월 v1.1.2, 월 v1.2.1 최종 항목 기존 기술(DVB-S) DVB-S2 기존 DVB-S의 변복조 방식 -QPSK(2bits/sec/Hz)의 전송효율 -Roll-off factor = 0.35 대역폭 극대화를 위한 변복조 방식 -Q/8/16/32APSK 변조 지원(5bits/sec/Hz) -Roll-off factor = 0.20, 0.25, 0.35 DVB-S대비 30%이상 전송효율 증가 변복조/ 채널코덱/ 베이스밴 드 기술 기존 DVB-S의 변복조방식: -채널 상태에 무관하게 단일 변조방식 전송 -CCM 기존 DVB-S 채널 부호화 알고리즘 -Reed-Solmon 부호와 길쌈부호 연접 -가변 부호율을 제공, 그러나 실제 시스템에서는 고정 부호율 사용 채널 적응적 변복조 방식 지원 -QPSK/8PSK/16APSK/32APSK 등 선택적 전송 -CCM/VCM/ACM 현존채널부호 중 샤논 한계에 가장 근접한 방식 -BCH/LDPC 연접 부호 사용 -채널상태에 따라 다양한 부호율(11개) 제공 20

64 Wideband/High-speed Transmission Modem Ka대역 위성방송 필요성 대두 SD의 HD방송 전환과 3D/UHD 등과 같은 광대역 방송 수요 증가 Ku대역 위성방송 중계기의 포화 KT스카이라이프의 경우 방송중계기 6기와 통신용 중계기 12기를 모두 포화되어 있어 신규 방송을 위한 새로운 주파수 자원 필요 ITU-R에서는 2007년부터 21.4~22GHz(600MHz대역폭) 전파자원을 방송용으로 할당 Ka대역 중계기 전송에 적합한 전송방식 개발에 대한 요구 증대 DVB CM-BSS(Broadcasting Satellite Services) 그룹 결성( ) 목적 Ka대역 250MHz(Eutelsat), 500MHz/600MHz(Astra) 등 광대역 중계기 대역의 효율 적인 사용을 위한 필요성 제기 문제점: 기존 Ka 대역 중계기를 single carrier로 전송하기 위해서는 chipset이 아주 높은 심볼율로 동작하므로 복잡하고 값비싼 수신기 처리 기술이 요구됨 최근 진행 상황 전체 데이터의 경우 최소 200Msps, 600Mbps 지원 (Time Slicing 전송방식) 개별적 송수신기 개념으로 최대 20~50Mbps 정도로 분할하여 송수신 방법 2012년 Q4까지 신규규격 개발완료21 예정

65 DVB-S3(?) preliminary CR Low roll-off Roll-off : 0.05, 0.1, 0.15 (DVBS: 0.35, DVB-S2: 0.35, 0.25, 0.2) New Modulation and FEC combinations BPSK(for low CNR), 64APSK(for high data rate) LDPC : 1/5, 1/6 추가 QPSK(DVB-S), QPSK/8PSK/16APSK/32APSK(DVB-S2) Wideband for 300MHz, 500MHz bandwidth New PL header scheme, more and new modcods, time sliced frame(modulation) Pre-distortion Wide transponder: BW=200 MHz To compensation for non-linear satellite transponder Other enhancements Wideband DVB-S2 Optimized of framing and coding Specific ACM(Adaptive Coding & Modulation) implementation, Spreading 22

66 위성방송 관련 국내표준화 TTA / 차방포럼 TTA PG-805(위성방송) 에서 위성방송 관련 기술 논의 월, Ka대역 위성 UHDTV 기술보고서 작성 위성 UHDTV 실험방송/채널 적응형 위성방송 송수신 연구 위성 UHDTV 실험방송 송수신 정합연구 기술보고서( ) Transmission System: DVB-S2 Multiplexing and Service Info.: MPEG-2 TS and DVB-SI Audio: MPEG2/4 AAC Video: H.264, H.264 Scalable Video Coding, HEVC Source Format Source Codec Multiplexing & Transmission System Size (Video) 4K: 3,840x2,160 8K: 7,680x4,320 Video Codec high compression, max. 150Mbps, trick-mode, mis-match free Multiplexing ES mux., program mux., sync., random access, multiple program mux., PSI Quant./Rates (Video) 8, 10, 12 bits/pixel 29.97, 30, 59.97, 60 4:2:0, 4:2:2 and 4:4:4 Audio 44.1kHz, 48kHz, 96kHz 5.1ch, 22.2ch Audio Codec transparent quality, flexible inputs, multi-channel, error resilience Transmission System transmission efficiency, flexibility and adaptivity, backward compatibility Near Future Systems Shall be Considered Service Requirements Shall be Met UHDTV System Requirements 23

67 국내 위성방송 현황 KT스카이라이프 국내 유일의 위성방송 사업자 선정 : 한국디지털위성방송 2000년 국내 위성방송 사업자로 선정(KDB 콘소시엄) 2001년 한국디지털위성방송 창립(3.30) 2002년 본 방송 개시(3.1) 2011년 사명 변경(3.30) : 한국디지털위성방송 à KT스카이라이프 국내 최초 HD 서비스 개시 2003년 HD서비스 본 방송 개시(9.29) : 1개 채널/24시간 편성 2004년 국내 최초 24시간 HD 전문 채널 SkyHD 설립(2.26) 2008년 다채널 HD방송 개시 : H.264/DVB-S2 기반(4.1) 세계 최초 24시간 3D 서비스 제공 2010년 세계 최초 24시간 3D 전문채널 Sky3D 개시(1.1) 2011년 3D PPV 채널 론칭(3.1) 24

68 국내 위성방송 현황 KT스카이라이프 중계기 사용 현황 올레 1호(Koreasat-6) 총 18기(BS 6기, CS 12기) 중계기 사용 1기 중계기당 SD: 15개 채널 내외 배정, HD: 10개 내외 배정 동경 116도 적도상공 36,000Km 정지궤도, Ku대역(상향14GHz/하향12GHz) 가시청범위 : 한반도 전역 및 주변지역 상향주파수(BS) 225MHz 38.36MHz 11.36MHz 45 cm 1m 4m 3MHz MHz GHz 하향주파수(BS) (LHCP) 3MHz GHz 38.36MHz 11.36MHz 3MHz MHz GHz 25 (LHCP) 3MHz GHz

69 UHDTV 위성방송 서비스 시나리오 UHDTV 위성 실험방송을 위한 서비스 시나리오 수립 위성방송 수신기 정의 세부 소요 기술에 따른 기술 분류 비디오 압축 기술 : H.264/AVC, HEVC 비디오 품질 계층화 기술 : SVC(Scalable Video Coding), Simulcasting 전송 기술 : DVB-S2 CCM, VCM(Dual Mode Transmission) 주파수 대역 : Ku-band(14/12GHz), Ka-band(30/20GHz) 26

70 UHDTV 위성방송 서비스 시나리오 UHDTV 위성 실험방송을 위한 서비스 시나리오 수립 단일계층 서비스 방식 (CCM) 다중계층 서비스 방식 (CCM or VCM) 구분 SVC Simulcasting H.264/AVC HEVC 동일코덱 이종코덱 동일코덱 이종코덱 단일 대역 시나리오1 UD: AVC (비호환) 시나리오2 UD: HEVC (비호환) 시나리오3 Base/Enh : HEVC (비호환) 시나리오4 Base: AVC Enh: HEVC (비호환) 시나리오7 Base/Enh : AVC or HEVC (비호환) 시나리오8 Base: AVC Enh: HEVC (비호환) 다중대 역 X X 시나리오5 Base/Enh : HEVC (비호환) 시나리오6 Base: AVC Enh: HEVC (호환) 시나리오9 Base/Enh : AVV(호환) or HEVC (비호환) 시나리오10 Base: AVC Enh: HEVC (호환) *CCM : Constant Coding & Modulation *Base : Base Layer Stream *VCM : Variable Coding & Modulation *Enh. : Enhancement Layer Stream 27

71 UHDTV 위성방송 서비스 시나리오 4K UHD 위성방송 서비스 : 단일계층 서비스 Ka 또는 Ku대역을 통해 한가지 계층의 서비스 제공 비호환 서비스 신규 UHDTV 수신기로만 UHD 서비스 수신 프리미엄 서비스의 일반적인 형태 지원 신규가입자만 서비스 수신 기존 HDTV 수신기는 H.264/AVC HP@L5.1 또는 HEVC 지원안됨 28

72 UHDTV 위성방송 서비스 시나리오 4K UHD 위성방송 서비스 : 다중계층 서비스(1) Ka대역(또는 Ku대역)을 통해 2개 계층 서비스 UHD/HD program simulcasting 으로 방송 UHD : Enhancement layer HD : Basement layer 비호환 서비스 Ka대역에서의 강우감쇠 효과 극복을 위한 위한 시나리오 기존 HDTV 수신기는 DVB-S2 VCM 방식 수신 못함 29

73 UHDTV 위성방송 서비스 시나리오 4K UHD 위성방송 서비스 : 다중계층 서비스(2) Ka대역과 Ku대역을 통해 2개 계층 서비스 UHD/HD program simulcasting 으로 방송 시나리오 10은 기존 HDTV 수신기에서도 UHD 프로그램을 수신가능함(HD급) à 역방향 호환성 제공 30

74 Ka대역 위성 UHDTV 전송시험 : 천리안 위성 통신중계기 통신 채널수 : 3기(예비채널 1개 포함), 운용궤도 : 동경 128.2도(정지궤도) 운용기간 : ~ (7.7년) à 통신중계기 설계수명 : 12년 채널 번호 상향링크(GHz) 하향링크(GHz) 비고 ~ ~ 공공용 ~ ~ 실험용 ~ ~ 공공용 중계기 #2 20MHz 400MHz 100MHz 30MHz 100MHz 30MHz 100MHz 20MHz Ka 대역 7.2m 안테나 CH1 (V) CH2 (H) CH3 (V) 대전 DVB-S2 UHD 위성방송 수신 set-top box #1 29.6GHz Beacon CH1 (V) Uplink CH2 (H) CH3 (V) 30.0GHz DVB-S2 기반 UHD 위성방송 송신국 DVB-S2 UHD 위성방송 수신 set-top box#2 19.8GHz Downlink 20.2GHz 중계기 #1, #3 남부 빔 : CH1 & CH3, 중북부 빔 : CH2 31

75 Ka대역 위성 UHDTV 전송시험 천리안 위성을 이용한 UHDTV 위성방송 전송시험 50MHz Uplink 29.62GHz GHz 50MHz Donwlink 19.82GHz GHz 천리안 위성 21GHz(Ka Band) 송신 안테나 수신 안테나 구분 파라미터 비고 Video Format 3840x2160 4:2:0, 8bits H.264/AVC 5.1CH Bit rate 40Mbps UHD 1CH Symbol rate 27MBaud Roll-off 0.2 MODCOD 8PSK 3/4 DVB-S2 VCM 변조기 DVB-S2 VCM 복조기 음성/영상 소스 ASI ch.1 (40Mbps) ASI ch.2 (10Mbps) Simulcast 스트리밍 서버 UHD stream HD stream H.264/AVC S/W 디코더 UHD급 화질 / HD급 화질 HDMI UHDTV 32

76 중계기 및 코덱에 따른 4k UHD 위성방송의 예상 채널수 중계기 당 대역폭 36MHz (올레1호) 100MHz (천리안위성) 600MHz (21GHz 위성) H.264(40Mbps, 22.04MHz)기준 1.63 CH 4.54 CH CH HEVC(16Mbps, 8.82MHz)기준 4.08 CH CH CH u36mhz 중계기 기준 UHD 및 HD 방송 최적 채널할당 vh.264 코딩경우 : UHD 1개 채널과 HD 4개 채널(HD는 6Mbps로 가정함) vhevc 코딩경우 : UHD 4개 채널 현재 UHD 상황은 초기 HD 서비스(DVB-S/MPEG-2) 상황과 비슷함 (H.264 코덱 사용 경우) 33

77

78 D-Cinema 4K 서비스 현황과 전망 영화기술연구소 장 영 욱

79 목 차 국내외 D-Cinema Screen 현황 국내 영화관 사업 환경 4K DCP Release 현황 2K & 4K의 비교 2K Projector의 Image Re-Size 기능 영화관 D-Cinema 이슈 국내 4K D-Cinema 활성화를 위한 제언

80 DCI의 목표 ( 1. Digital Cinema 시스템 규격서는 제품 개발의 호환성. 2. Digital Cinema 시스템 규격서는 그 호환성을 위해 한가지 접근성 제시. 3. Digital Cinema의 도입은 극장 관객, 극장 소유주, 영화제작자, 영화배급사에게 실질적인 이득 제공. 4. 그 실질적인 이득 제공을 위해 Digital Cinema 산업 전반의 표준이 필요. * Software는 Open Source : DCDM (Image Magic), MXF DCP (asdcplib), Certificate (OpenSSL), KDM (Apache xml-security-c)

81 미국 주도의 Digital Cinema CineCert CTP 1.2 장비 표준 Test 표준 동영상 CTP 0.9 보안 Test 인증 장비 스펙 표준 DC21 FIPS : Acronym for Federal Information Processing Standard (연방 정보 처리 표준)

82 D-Cinema Workflow

83 DCP 와 상영 Workflow RGB CPL ID AES 128bit Key Key Type Key ID Play Server Pem KDM Generator Server Private Key Public Key Certification Chain RGB

84 4K DCP Release (배급, 상영) 2004 : Ocean's 12, Spiderman 2, Tim Burton's Corpse Bride (3) 2005 : Casanova, Batman Begins, Harry Potter and the Goblet of Fire, Jarhead, V for Vendetta (5) 2006 : 007-Casino Royale, Poseidon, The Da Vinci Code, The Black Dahlia (4) 2007 : Spiderman 3-230GB, Ocean's 13 (2) 2008 : Che, Dark Knight, Hancock-150GB (3) 2009 : The Informant, Beyond a Reasonable Doubt, X Men Wolverine, Did You Hear About the Morgans? (4) 2010 : The Social Network, Blue Valentine, True Grit, The Tourist, Eat Pray Love, Inception, Salt (7) 2011 : The Girl with the Dragon Tatto, Contagion, Moneyball, Pirates of the Caribbean, The Book of Eli, Red State, Margin Call, Taxi Driver, Green Hornet (9) Sintel 2012 : Men in Black 3, Haywire, Premium Rush, Avengers, Prometheus Underworld Awakening, Magic Mike, 007-Skyfall, Argo (9)

85 Resolution(해상도) 2K : 2048 x 1080 = 2,211,840 Pixel 4:4:4 Dual Link (HD-SDI) 12 bit 4K : 4096 x 2160 = 8,847,360 Pixel 4:4:4 Quad (Dual-Dual) Link (HD-SDI) 12 bit (2K의 4배)

86 2K DCP & 4K DCP의 비교(Sintel) 2K, 8.1GB 4K, 25.6GB

87 Imax의 차별화 2008년 Dark Knight Imax의 차별화 일반 35 Camera & 65mm Imax Camera The Dark Knight Rises: 2.40:1 and 1.43:1 Imax 65mm Imax MSM 9802, 35mm Panaflex Millennium XL, Arri 235, Beaucam Mamiya, Hasselblad, Panavision C-Series, E-Series, High Speed Kodak Vision3 500T 5219, 250D 5207

88 4K Projector & 2K Projector 비교 (밝기의 중요성)

89 Digital Cinema Projector Device (2K, 4K) 2K DLP (Barco, Christie, NEC) 2048 x 1080 DMD 3 Chip 사용.(1.2 inch) 2048 x 1080 DMD 3 Chip 사용.(0.98 inch) 4K DLP (Barco, Christie, NEC) 4096 x 2160 DMD 3 Chip 사용.(1.38 inch) 4K SXRD (Sony) 4096 x 2160 LCoS 3 Panel 사용.

90 국내 D-Cinema Screen 현황 Site 2D Digital 3D Digital 35mm Film 비 고 CGV 750 (Christie, Qube) 400 (Master Image) 50 전관 Silver Screen으로 3D 전관 이동 상영 가능 Lotte 740 (Christie, GDC) 370 (Real-D) 0 Megabox 350 (Sony 일체형) 170 (Sony) 10 전체 4K Projector (sony) 4K DLP (2, Christie Duo) Primus 50 (Christie, Qube) 25 (Master Image) 5 기 타 145 (Barco, NEC, Qube) 50 (Dolby, Nestri, XPand) 50 합 계 2,035 1, D Digital은 2D Digital안에 포함 됨. (3D Digital은 2D Digital의 약 50%)

91 국내 D-Cinema 전환 2012년 9월 기준 국내 약 2,150개 Screen (약 115개는 None Digital) 115개의 Film 상영관에서 2012년 6월 스파이더맨 : 어메 이징 65벌 자막 제작 상영. 115개의 Film 상영관에서 2012년 8월 도둑들 50벌 상영. 115개의 Film 상영관에서 약 50%는 일반 상영관이고 나머 지 50%는 예술, 독립 영화관. 위험한 관계 35mm Print 자막 50벌 제작(Cinemate) * 국내 스크린 2,541개(540개 상영관), 764,246(좌석수)

92 국내 영화관 사업 환경 상영 편수 상영 회수 매출 관람객 기타 사항 384 2,359 1,191,030,653, ,229, 년 1월 ~ 10월 440 2,157 1,235,799,464, ,724, 년 1월 ~ 12월

93 World Wide Digital Screen (2012년 10월 말) 전세계 약 125,000 Screen. - 약 13,700 Site에 80,000 screen이 Digital 상영관. (유럽 23,000 Screen) 3D는 약 40,000 Screen. Series 2 System - 10,000 Site에 32,000 Screen (DLP, 2012년 7월) Series 1 System - 3,700 Site에 26,200 Screen (DLP, 2012년 7월) Sony D-Cinema System - 6,000 Screen (2012년 7월) 북아메리카만 볼 때 3,250 Site에 30,000 screen이 Digital 상영관이고 그 가 운데15,300 Screen이 3D를 설치했음. 미국 전체 39,200 Screen중에서 약 50%인 19,600개가 Digital Screen이다. (2012년 7월) 2011년 7월 노르웨이는 국가 전체가 Digital Screen으로 전환한 첫 번째 국가.

94 2K DLP의 Input & Output Interfaces DLP Cinema Projector 100BaseT Dual 292M Local Link Decrypt Resizer Color Management DMD R DFP 2 Serial Ports GPI 8 In Stream Parser Frame Store System Control Subtitle / Caption Insertion Fingerprint Insertion Formatter DMD DMD G B GPI 8 Out Future Fibre ch RTC Key Memory Input Cinema Data Processing Formatter

95 TI Series 1 과 Series 2 비교 Series 1 Series 2 Interface Board Cinema Proc. Input, Link Decryptor, Projector Control Resizing, Color Processing, Subtitles OEM Interface Board Link Decryptor FIPS Image Media Blk. 서버 제조사 F-FIB 3D- triple Flash DMD Formatting Integrated Cinema Proc. Sat. Sat. Sat. DMD Controller Sat. Sat. Sat.

96 영화관 Cinema DLP

97 최근 D-Cinema 이슈 3D Multi Channel Sound (Ticket Price를 올릴 수 있는 명분이 분명) - Barco Auro 3D 11.1Ch (국내 2개 설치, Lotte) - Imm Sound (전세계 30개 설치 2012년 6월 Dolby 인수) - IOSONO (국내 2개 설치, CGV) - Dolby ATMOS (영화 Hobbit 제작, CGV 영등포 4관 ) - Sonic Tear (국내 6개 설치, CGV) HFR (Ticket Price를 올릴 수 있는 명분이 분명) - Sony (Software Up-Grade로 가능: 1 Screen $3,000, 스크린 밝기의 문제는 어떻게 극복?) - Series 2 DLP + (IMB + Server, 최소 $3,000에서 최대 $120,000 비용 발생) - 영화 Hobbit 3D 48fps, 3D 24fps, 2D 48fps (3가지 형태로 개봉 예정) 2D, 3D, IMAX, IMAX 3D, HFR 3D(스크린 크기 14.5미터 이상) Laser Projector (Ticket Price를 올릴 수 있는 명분이 분명) - Barco - Christie - NEC - Sony - Laser Light Source 사용의 대형 상영관 추천

98 DCI의 HFR(High Frame Rate) Frame Rates DCSS 1.2(0). Proposed(P, 제안) fps 2K2D 2K3D 4K2D 비고 P P 60 P P P 72 P 96 P 120 P 년 9월 28일 발표 - JPEG2000 D-Cinema 표준 * cinema2k profile3-24 & 48fps 250Mbps * cinema4k profile4-24fps 250Mbps 3D 48 Frame이 Series 1에서 구현이 안되기 때문에 24 Frame으로 Down 시켜 제 작 상영시 48 Frame이 가지고 있는 영상의 전달은 불가능 하다.

99 JPEG2000 압축의 비교 Maximum bit rate is 250 Mbit/s (1.3 MBytes per frame at 24 frame/s) 1.3 Megabytes x 24 = 31.2 Megabytes/second x 8 = Mbps (bits) 250 Mbps (bits) / 8 = Megabytes/second / 48 = 0.65 Megabytes (3D) 1.3MB*24*8*12 = 3Gbps Maximum bit rate is 500 Mbit/s (1.04 MBytes per frame at 60 frame/s) 1.04 Megabytes x 60 = 62.4 Megabytes/second x 8 = Mbps (bits) 500 Mbps (bits) / 8 = 62.5 Megabytes/second / 96 = 0.65 Megabytes (3D) 500 Mbps (bits) / 8 = 62.5 Megabytes/second / 72 = Megabytes 500 Mbps (bits) / 8 = 62.5 Megabytes/second / 120 = Megabytes 1.04MB*60*8*12 = 6Gbps

100 007-Skyfall 4K(4096x1714) 24fps DCP JPEG2000 Bit Rate Reel No Intrinsic Duration Frame Entry Point Frame Duration Frame File Size (KB) 1 24, ,124 25,138, , ,415 34,729, , ,240 31,887, , ,803 35,097, , ,327 27,228, , ,346 30,645, , ,001 23,014, , ,629 6,635,293 Sum 207,806 1, , ,375, Skyfall DCP 전체 212GB, 실제 상영시간은 = (2시간 22분 58초) 214,375,939/1024*1024 = 204GB (Audio는 7.4GB) 8758초 x 186Mbps = 203.6GB (8758초 x 250Mbps = 273.7GB)

101 007-Skyfall 4K DCP

102 영화관이 4K System에 소극적인 이유 4K DLP의 전환은 관객에게 Ticket Price를 올릴 수 있는 명 분이 부족. CGV, Lotte는 4K DLP 장비 전환의 비용적 부담으로 인해 대 형관 위주(Screen 크기 약 15미터)로 차 후 설치하는 것으로 보고 있음. 4K DCP를 2K DLP System에서 상영이 가능하기 때문에 추 가 비용을 들여 전환하려 않는 것 임. (007:skyfall)

103 국내 Post Production이 4K System에 소극적인 이유 추가 비용 부담(Projector 전환, 저장 공간, Data 전송) - 후반 제작 업체의 경쟁 과열 - 영화 제작의 비용 절감에 따른 설비 투자 한계 4K, 5K 촬영 원본 Source의 2K 전환 작업 - 원본이 가지고 있는 Detail은 살아 있다. - 영화 1편 촬영 원본 약 100TB (2TB x 50개) - Back Up 필요. - 영화 도둑들 70TB 원본 영화관 4K 전환이 극히 제한적 이다. - 국내 350 ~ 400개 - Worldwide 6,000개

104 Red One _ File Format RAW file (R3D) R3D (2:1) SCOPE 4K FILM (4:3) Full 4K FILM (2.35:1) Full 2K FILM (2.35:1) SCOPE 2K FILM (1.85:1) FLAT 2K 해 상 도 4096 X X X X X 990 용 량 1.09 MB 48 MB 12 MB 6.8 MB 7.08 MB 촬영 분량 R3D (2:1) SCOPE 4K R3D (16:9) FLAT 4K DPX (2:1) SCOPE 4K DPX (16:9) FLAT 4K DPX (16:9) SCOPE 2K DPX (16:9) FLAT 2K 4096 X X X X X X frame 1.09 MB 1.5 MB 28 MB 32 MB 7 MB 8 MB 1 min 1.57 GB 2.16 GB 40.3 GB 46.1 GB 10.1 GB 11.5 GB 100 min 157 GB 216 GB 4.03 TB 4.61 TB 1.01 TB 1.15 TB 2500 min 3.9 TB 5.4 TB TB TB 25.2 TB 28.8 TB 5000 min 7.9 TB 10.8 TB TB TB 50.5 TB 57.6 TB

105 국내 Post Production 업체현황 점유율 순 업체명 주요 시스템 DI Scanner Recoder DCP 비고 DLP SETTING 1 파워캐스트 Baselight(ver 3.?) Scratch Northright Fury Doremi (LUT 적용) 현상소 + DI + CG RGB 2 스타이스트 3 2L Baselight(ver.3.2) Scratch IQ-Pablo Davinci Resolve Davinci Resolve Northright Director Producer 4 Fury Fury Qube (Gamma 2.6) DI + CG DCDM X X DI + CG??? 4 상상마당 (CineLab) Baselight(Ver.4.2) Davinci Resolve X X EasyDCP (Gamma 2.2) DI REC MOFAC Scratch X X Clipster (Gamma 2.6) DI + CG DCDM 6 C47 Scratch X X X DI + EDIT + Audio MIXING??? 7 서울현상소 X X ATON X 현상소 X 8 씨네메이트 Baselight(Ver.4.2) X X Clipster (Gamma 2.6) DI + CG REC 709

106 국내 4K D-Cinema 활성화를 위한 제언 4K 미디어 활성화를 위한 정책적 지원 (2K의 4배 이상 구현을 위해) - 압축 Codec의 개발 지원 - 대용량 Data 전송을 위한 System 개발 지원 2K & 4K 영화의 차이를 극명하게 느낄 수 있는 영화가 없다. - 헐리우드도 이 부분에 고민이 있어 HFR의 선택이 있지 않을까? - 2K 3D 48, 60 fps의 영상 (질감, 선명도, 잔상 제거 탁월) - 4K 3D는 아직은 아니다.(4K 2D 영화의 검증이 필요하다) - 4K Contents의 제작 지원 인간의 눈은 영상의 Detail 또는 컬러 보다 밝기에 먼저 반응 한다. - 영화관은 기준 밝기(14 fl)를 구현하기 위해 최선을 다해야 한다. - 영진위의 영화관 표준화 실행.

107

108 Multi-media IP Research Center UHD 콘텐츠 획득 및 편집 기술 전자부품연구원 멀티미디어IP연구센터 김 제 우

109 Contents Multi-media IP Research Center v UHD 콘텐츠 획득/편집? v UHD 영상신호 규격 v UHD 고속 인터페이스 기술 v UHD 편집용 코덱 기술 v 대용량 고속 저장 기술 v KETI UHD 저장 및 편집 시스템 v 요약/결론

110 UHD 콘텐츠 획득/편집? Multi-media IP Research Center v UHD 미디어 서비스 생태계 v 획득, 제작, 전송, 수신/재생

111 UHD 영상 신호 규격 (1/2) Multi-media IP Research Center v 국제 표준 v SMPTE : 2007, 2009 v UHDTV - Image Parameter Values for Program Production v ITU-R BT.2020 v Parameter values for UHDTV systems for production and international programme exchange Parameter value Picture aspect ratio 16:9 Pixel count (H x V) 7680x x2160 Sampling lattice Pixel aspect ratio Pixel addressing Orthogonal 1:1 (square pixels) from left to right, from top to bottom Frame frequency (Hz) 120, 60, 60/1.001, 50, 30, 30/1.001, 25, 24, 24/1.001 Scan mode Progressive Bit depth 10,

112 UHD 영상 신호 규격 (2/2) Multi-media IP Research Center v TTAK.KO v 초고선명 디지털 TV 영상 신호 규격 Parameter value Picture aspect ratio 16:9 Pixel count (H x V) 7680x x2160 Sampling lattice Pixel aspect ratio Pixel addressing Orthogonal 1:1 (square pixels) from left to right, from top to bottom Frame frequency (Hz) 60, 60/1.001, 30, 30/1.001 Scan mode Progressive Bit depth 8, 10, 12 Sampling format 4:2:0, 4:2:2, 4:4:

113 UHD 고속 인터페이스 기술 (1/5) Multi-media IP Research Center v SDI (Serial digital interface) (1/3) v SMPTE 표준 v digital video I/F for broadcast-grade video v SDTV, HDTV 지원 standard Name bitrate Example video format SMPTE 259M SD-SDI 270Mbps, 360Mbps, 143Mbps, and 177Mbps 480i, 576i SMPTE 344M ED-SDI 540Mbps 480p, 576p SMPTE 292M HD-SDI 1.485Gbps, and 1.485/1.001Gbps 720p@60, 1080i@60 SMPTE 372M Dual link HD- SDI 2.970Gbps, and 2.970/1.001Gbps 1080p@60 SMPTE 424M 3G-SDI 2.970Gbps, and 2.970/1.001Gbps 1080p@60 [ref. : ]

114 UHD 고속 인터페이스 기술 (2/5) Multi-media IP Research Center v SDI (Serial digital interface) (2/3) v 10G-SDI (SMPTE 435) v 4K UHD video 및 다채널 오디오 신호 인터페이스 지원 v Basic stream : SMPTE 292M (Max. 8 basic stream 지원) [10G-SDI 인터페이스에서의 4K video 영상 구성 방법, 예 ]

115 UHD 고속 인터페이스 기술 (3/5) Multi-media IP Research Center v SDI (Serial digital interface) (3/3) v UHDTV video mapping into 10G-SDI v SMPTE ST : UHDTV1 Class Image sample interleave division HDTV Class Images Sub Image 1 Sub Image 2 Sub Image 3 Sub Image 4 (System 1.1, 2.1~2.5, 4.1~4.3 defined in SMPTE [ UHDTV video mapping into 10G-SDI 방법 ]

116 UHD 고속 인터페이스 기술 (4/5) Multi-media IP Research Center v HDMI (High-definition multimedia I/F) v Published by HDMI Forum (HDMI Founder) v a compact audio/video interface for consumer multimedia devices v HDMI 1.4a : ~ 4K@30fps v Be going on HDMI 2.0 spec. (2012말 예정) v Display and Receiver Ecosystem Improvements v Higher resolutions v Higher refresh rates v Deeper more lifelike color v Content Ecosystem Changes v High-resolution 3D gaming v Management of our social networks v Streaming services

117 UHD 고속 인터페이스 기술 (5/5) Multi-media IP Research Center v DisplayPort v Digital display I/F developed by VESA v Primarily used for computer monitor, though it can be used to transmit audio, USB, and other data v Ver 1.2 : Dec Resolution x color frame rate CVT CVT-R CEA-861-E 1280 x 720 x 60Hz 1.79Gbps 1.54Gbps 1.78Gbps 1920 x 1080 x 60Hz 4.15Gbps 3.33Gbps 3.56Gbps 1920 x 1080 x 60Hz 5.81Gbps 4.62Gbps x 1600 x 60Hz 10.46Gbps 8.06Gbps x 2160 x 60Hz 21.39Gbps 16.00Gbps - [ref. : ]

118 UHD 편집용 부호화 기술 (1/5) Multi-media IP Research Center v 편집용 부호화 기술? v 카메라 저장, or 획득용 저장 장치에서 사용 v RAW 대신 저장 효율 극대화 v 초고품질 부호화 지향 v 각 프레임별 편집 가능 지원

119 UHD 편집용 부호화 기술 (2/5) Multi-media IP Research Center v Apple ProRes v a lossy video compression format for use in post production v DCT based intra-frame-only codecs v ProRes 422 (HQ) v Resolutions: HD, SD v 4:2:2 chroma sampling, 8-bit or 10-bit depth, v VBR encoding, up to 251 Mbps v ProRes 4444 v Resolutions: 4K, 2K, HD & SD v RGB, YCbCr 4:4:4 chroma sampling, up to 12-bit depth v VBR encoding, up to 377 Mbps, Alpha Channel Support

120 UHD 편집용 부호화 기술 (3/5) Multi-media IP Research Center v AVC-Intra/Ultra v Developed by Panasonic v SMPTE RP v Based on H.264/AVC Intra only coding v 4K supports 항목 AVC-Intra 특징 IT affinity / Tapeless IS / P2 file recording Highly Efficient comp. High 10 / High 4:2:2 Profile Editing/operation Intra-Frame only coding Full Resolution HD mode 100Mbps 10bit) ENG / Economy HD mode 50Mbps 10bit) [ref. : AVC-Intra compression technical overview, Jan, 2007] [ref. : P2HD LINE-IP CATALOG, Apr by Panasonic ]

121 UHD 편집용 부호화 기술 (4/5) Multi-media IP Research Center v REDCODE RAW(R3D) : RED.com Inc. v a variable bit rate wavelet codec (lossy) v Based on JPEG2K v Which allows raw sensor data to be compressed sufficiently for practical on-camera recording. v Video streams within a R3D file are stored with four channels (1 for red, 2 for green, 1 for blue) v Audio streams (mono, stereo, or 4-channels) are coded, uncompressed, in plain 48 khz, 24-bit PCM. v Compression rate (3 modes) v Maximum data rate 1: 28 MB/s (224 Mbps) => 12:1 v Maximum data rate 2: 36 MB/s (288 Mbps) => 9:1 v Maximum data rate 3: 42 MB/s (336 Mbps) => 8:

122 UHD 편집용 부호화 기술 (5/5) Multi-media IP Research Center v Avid DNxHD v a lossy high-definition video post-production codec v Implementation of VC-3 codec (SMPTE ~3) v Included in FFmpeg project (open source codec) v Be stored in MXF, or QuickTime(MOV) format v Max. Resolution : 1920x1080 Format DNxHD 36 DNxHD 100 DNxHD 145 DNxHD 220 DNxHD 444 Bit Depth 8-bit 8-bit 8-bit 8-, 10-bit 10-bit [ VC-3 Encoder 블록도 ] Sampling 4:2:2 4:2:2 4:2:2 4:2:2 4:4:4 Bandwidth 36Mbps 100Mbps 145Mbps 220Mbps 440Mbps [ref. : Avid DNxHD Technology ] [ VC-3 Decoder 블록도 ] [ref. : SMPTE : 2008 ]

123 대용량 고속 저장 기술 (1/2) Multi-media IP Research Center v PCI-e (by PCI-SIG (special interest group)) v a computer expansion bus standard v be based on point-to-point topology v Lane (Max. 32 lane) v two differential signaling pairs v Receive, Transmit v Each lance is used as a full-duplex byte stream PCIe 구 조 Release spec. Available Raw bit rate Interconnect bandwidth Bandwidth per lane per dir. Total bandwidth for x16 link PCIe 1.x 2003 Y 2.5GT/s 2Gbps ~ 250MB/s ~ 8GB/s PCIe 2.x 2007 Y 5GT/s 4Gbps ~ 500MB/s ~ 16GB/s PCIe 3.x 2010 Y 8GT/s 8Gbps ~ 1GB/s ~ 32GB/s PCIe 예정 N 16GT/s 16Gbps ~ 2GB/s ~ 64GB/s

124 대용량 고속 저장 기술 (2/2) Multi-media IP Research Center v SATA(serial ATA) v a computer bus interface for connecting host bus adapters to mass storage devices v Hotplug v Advanced host controller interface v Capacity v SATA 1.0 : ~ 1.5Gbps v SATA 2.0 : ~ 3.0Gbps v SATA 3.0 : ~ 6.0Gbps v HDD (SSD) v Read/write performance v ~ 500MB/s

125 UHD 콘텐츠 저장 제품들 Multi-media IP Research Center v 4K UHD 콘텐츠 지원 제품 KiPro Quad Hyperdeck Studio Pro Gemini RAW HR-7510 제조사 AJA video systems Inc. Blackmagic Design Pty. Ltd Convergent Design, Inc. ASTRODESIGN Inc. 해상도 / 프레임율 4K/Quad HD/2K/HD ~ 4K@30fps ~ 4K (Canon C500 30fps ~ 60fps 컬러포맷 / 비트심도 4:2:2, 4:4:4 / 10 4:2:2 / 10 4:4:4 / 10 4:2:2 / 10 (2K 4:4:4 / 12) 인터페이스 SDI, HDMI, Thunderbolt HD/3G-SDI, HDMI, Thunderbolt, USB HD/3G-SDI HD/3G-SDI 저장매체 SSD SSD SSD SSD 특징 RAW 지원, Debayer 기능 지원, ProRes422 코덱 지 원, 4K 모니터링 출력 지원 RAW 지원, PreRes422 코덱 지원, DNxHD 코덱 지 원, Quicktime 및 MXF 파일 포맷 지 원 RAW 지원, 다양한 RAW 포맷 지원(ARRIRAW, Canon RAW, 등) DNxHD 코덱 지 원, 4K 모니터링 지원 RAW 지원, Canon RAW 포맷 지원, Debayer 기능 지 원, 4K 모니터링 출력 지원

126 KETI UHD 저장 및 편집 시스템 (1/5) Multi-media IP Research Center v 4K UHD 실시간 획득/저장 모듈 (1/2) v UHD 콘텐츠 데이터 처리 v 디지털입출력부, A/V프로세스부, PCIe프로세스부 v 입출력 HW 제어 : MCU제어부, 제어S/W부 v 부복호화부 : 무손실 UHD 콘텐츠 코덱 HW IP 블록 [ 4K UHD 실시간 획득/저장 모듈 구성도 ] [ 4K UHD 실시간 획득/저장 모듈 블록도 ]

127 KETI UHD 저장 및 편집 시스템 (2/5) Multi-media IP Research Center v 4K UHD 실시간 획득/저장 모듈 (2/2) v 4K 60fps 입출력, 저장/재생 v 무손실 AV 압축 및 복원 지원 v JPEG-LS video codec v MPEG-4 ALS audio codec [ 제어 S/W API 구성 블록도 ] [ 구현된 4K UHD 실시간 획득/저장 HW B/D ] [ UHD 실시간 획득/저장 모듈 제어 S/W ]

128 KETI UHD 저장 및 편집 시스템 (3/5) Multi-media IP Research Center v UHD 편집 S/W 모듈 (1/2) v 상용 편집 SW 기반 프레임워크 선정 및 구조 설계 v 보편성이 뛰어난 Adobe 사의 Premiere Pro 선정 v Import / Export / Recorder / Effects 플러그인과 UHD AV 라 이브러리 및 HW 연동 [ 상용 편집 SW기반 UHD 콘텐츠 편집 시스템 ] [ UHD 콘텐츠용 편집 S/W를 위한 UHD 컴포넌트 구성 ]

129 KETI UHD 저장 및 편집 시스템 (4/5) Multi-media IP Research Center v UHD 편집 S/W 모듈 (2/2) v UHD 실시간 획득/저장 모듈과 연동 지원 v Capture, Playback, Acceleration 지원 v Thumbnail, preview 기능 지원 [ UHD 콘텐츠용 편집 S/W와 획득/저장 모듈과 연동 구조 및 모습 ]

130 KETI UHD 저장 및 편집 시스템 (5/5) Multi-media IP Research Center v UHD 저장 및 편집 시스템 v 워크스테이션 기반 시스템 v Windows 7 64bits OS v 680x680x500mm 사이즈 분류 항목 사양 CPU Intel i7 990X 시스템 OS Windows7 64bit 입출력 지원포맷 저장 통신/UI 입력 출력 해상도 오디오 영상 오디오 저장매체 저장용량 통신 UI 광리시버, 3G/HD-SDI 광트랜스미터, 3G/HD-SDI 2K, 4K, 8K x 2K 22.2채널 22.2채널 16bit 48kHz SATA-3 지원 매체 19.2TB RS-232, PCIe GUI 기타 사이즈 about 680 x 680 x 500 전원 110/220Vac 2개 [ 개발된 UHD 콘텐츠 저장 및 편집 시스템 모습과 사양 ]

131 요약/결론 Multi-media IP Research Center v UHD 획득/저장 기술은 발전 중 v 현재는 4K UHD 콘텐츠까지 지원 v UHD 콘텐츠 제작 워크플로우는 아직 초기 단계 v 실시간 저장/획득 v 고속 저장 및 멀티채널 지원 v 편집용 코덱 및 실시간 코덱 v 전송 등 개발 이슈가 많음

132 Multi-media IP Research Center 감사합니다. 연락처 jwkim@keti.re.kr H.P :

133 IT R&D Global Leader Mobile Research Activites of ETRI 2012년 11월 16일 방통융합미디어연구부 실감음향연구팀

134 Contents l 3D Audio l MPEG-H 3D Audio l Audio Coding l Conclusion 1 ETRI, The Future Wave

135 3D Audio 3차원 오디오란? 인간이 실제 환경에서 경험하는 모든 소리 방향감, 거리감, 공간감 요인에 의하여 좌우됨 3차원 오디오 기술이란? 원음장을 충실하게 재현하고, 음의 방향감 및 거리감을 재생하여 현장감을 가지게 하는 기술 음의 방향감, 거리감 등 음향공간의 입체적인 인상과 현장감을 주는 기술 음원이 발생한 공간에 위치하지 않은 청취자가 음향을 들었을 때 방향감, 거리감 및 공간감을 느낄 수 있도록 공간정보를 부가하는 기술 3차원 오디오 판별기준 음상정위(sound localization) 지각되는 음원의 위치감 Sound spaciousness and envelopment 음향에 의하여 생기는 공간감과 포위감 2 ETRI, The Future Wave

136 3D Audio Sound Localization Azimuth cues: ITD, ILD ITD: 양 귀 사이의 시간차에 의한 cue로 1,200Hz에서 dominant ILD: Head의 영향에 의한 양 귀 사이의 레벨차 Elevation cue 귓바퀴의 형태 Head Related Transfer Function(HRTF) HRTF는 청취자의 모든 sound cue를 반영 일반적으로 dummy head를 통해 측정 3 ETRI, The Future Wave

137 3D Audio Sound Spaciousness and Envelopment Reverberation 음원이 공간에 반사되어서 청취자가 느끼는 공간에 대한 효과 Early Decay Time(EDT): 음압이 -10dB 이하로 떨어지는데 걸리는 시간 Reverberation time(t60): 음압이 -60dB 이하로 떨어지는데 걸리는 시간 Sound Source Listener Direct & reflected sounds Sound absorption 4 ETRI, The Future Wave

138 3D Audio Multichannel Audio Configuration Lvh Rvh Top layer 6.1 C, L, R, Ls, Rs, Cs, LFE Ls L Lc C Rc Rs TV Screen R Middle layer 7.1 Surround Back (Blu-ray Disc) C, L, R, Ls, Rs, Lrs, Rrs, LFE 7.1 Front C, Lc, Rc, L, R, Ls, Rs, LFE Lrs Cs Rrs LFE layer 7.1 Front Height C, L, R, Lvh, Rvh, Ls, Rs, LFE LFE <5.1ch> <10.2/14.2ch> 10.2ch: Left/Right Center, Left/Right Upper, Back Center 14.2: 10.2ch + Left/Right Point Surround <Dolby 11.1> <Auro 9.1/10.1> 5 ETRI, The Future Wave

139 3D Audio Multichannel Audio Configuration <NHK 22.2ch> <NHK 3.1ch> <NHK 8.1ch> <NHK WFS> 6 ETRI, The Future Wave

140 3D Audio Multichannel Audio Configuration <시네마 13.1ch> <시네마 14.2ch> <시네마 30.2ch> <ETRI/SAMSUNG 10.2ch> 7 ETRI, The Future Wave

141 3D Audio Multichannel Audio Configuration <Ambisonics> <WFS> 8 ETRI, The Future Wave

142 MPEG-H 3D Audio - CfP MPEG-H ISO/IEC High efficiency coding and dynamic media delivery관련 새로운 표준 진행 중(System/Video/Audio 3개 part) A/V 모두에 대해 몰입감/현장감이 현저하게 증가한 새로운 기술 개발 비디오의 경우 HD를 넘어서는 UHD 환경을 고려 오디오의 경우 다수의 스피커/채널을 이용하여 공간상 임의의 위치에 음원을 위치시킬 수 있고, 정확한 localization(direction/distance)를 제공하는 immersive 3D Audio 기술 스피커를 user 귀 주위 high/mid/low에 배치 * UHDTV 품질 척도 HDTV UHDTV 비고 SDTV HDTV 화소 수 1,920x1,080 (2K) 3,840x2,160 (4K) 7,680x4,320 (8K) 프레임율 30Hz 60Hz 공간적으로 4~16배 선명 시간적으로 2배 선명 UHDTV (4K) UHDTV (8K) 화소당 비트수 8 bits 8 ~ 12 bits 1~1.5배의 색 깊이 오디오 채널수 ~ ~4.4배 채널 9 ETRI, The Future Wave

143 MPEG-H 3D Audio - CfP Application Scenarios - 5.1채널을 넘어서는 몰입감/현장감 제공 모든 시나리오에 대해22.2채널과 같은 다채널 오디오 신호의 부호화와 다양 한 재생환경에 따른 rendering이 필요 Use Cases Home Theatre Personal TV TV for SmartPhone Multi-channel Audio Program Characteristics 2m 이상 UHD display 환경에서 FOV(Field of View)의 증가에 따른 몰입감/현장감 증대 오디오는 User 주위를 스피커로 둘러싼 환경에서, 기존보다 더 많은 채널을 제공하여 비디오와 동일한 수준의 몰입감/현장감 제공 이러한 환경에서 audio cue와 비디오 cue는 tightly link 필요 헤드폰 환경에서도 다채널 스피커와 동일한 수준의 몰입감/현장감 제공 고화질을 제공하는 개인형 3D device 환경에서 Home Theatre에 비해 상대적으로 작은 display 주위에(상/하, 좌/우) 스피커를 배치하여 향상된 몰입감/현장감 제공 헤드폰 환경에서도 고려할 필요 현대인의 삶에서 handheld smartphone은 매우 중요, 이러한 smartphone 환경에서 비디오 청취는 자연스러운 일이기 때문에, MPEG-H 3D Audio도 이를 고려해야 함 MPEG-H 3D Audio는 다채널 환경이 기본 이므로, 이를 cellular network와 같은 lower bandwidth로 전송하기 위해 저 비트율, 저 복잡도 오디오 기술이 필요 헤드폰 환경이 일반적이지만, 스피커 기술의 발달에 따라 smartphone에도 다수개의 스피커 장착 가능 비디오가 없는 오디오 단일 청취환경에 대한 고려도 필요 Visual/audio consistency는 고려할 필요가 없고, 더 높은 수준의 몰입감/현장감을 제공하여야 함 10 ETRI, The Future Wave

144 MPEG-H 3D Audio - CfP Primary requirements Requirements Primary requirements는 모두 만족하여야 하며, secondary를 만족하는 경우 RM 선정 시 고려 Characteristics High quality Localization and Envelopment Rendering on setups with fewer loudspeakers Flexible Loudspeaker Placement Audio/Visual Alignment and Consistency Latency Transcoding for low bandwidth devices Audio Program inputs to be submitted encoding system 고음질 application을 위해 비트율을 증가시키면 Perceptually transparent 한 음질을 제공해야 함 주어진 청취환경에서 정확한 음상정위(position, distance)와, 높은 몰입감/ 현장감을 제공해야 함 비트스트림은 reference rendering 보다 더 적은 수의 스피커 환경에서 decoding/rendering을 제공하고 reference와 비슷한 quality를 제공해야 함 Reference rendering과는 다른 위치에 있는 스피커 배치에서도 높은 몰입감/현장감을 제공해야 함 비디오 장면(Scene)과 동기화된 오디오를 제공해야 함 생방송을 고려하여 충분히 low latency를 제공해야 함 저 대역폭을 가지는 device에서도 재생 가능한 신호를 생성하기 위해 비트스트림에서 lower bandwidth signal을 추출할 수 있어야 함 Channel input: 22.2/9.1/8.1/7.1/5.1과 같은 스피커 구성에 따른 입력 Object input: Next-generation production format으로 오디오 음원 입력 Scene-based input: 전체 오디오 scene을 표현하기 위한 입력 11 ETRI, The Future Wave

145 MPEG-H 3D Audio - CfP Secondary requirements Primary requirements는 모두 만족하여야 하며, secondary를 만족하는 경우 RM 선정 시 고려 Requirements Efficiency for decoding on different setups Computational complexity Issues of backward compatibility Interactivity Characteristics 다양한 형태의 콘텐츠를 simulcast 형태로 전송하는 것을 피해야 하고, 다양한 형태의 재생환경에서 최소의 complexity로 rendering 인코더의 complexity는 크게 고려하지 않지만, 디코더는 decoding/rendering이 low complexity로 가능해야 함 Transcoding을 하지 않고 비트스트림 레벨에서 5.1채널과 호환 개인의 interactive application을 위해 audio object 제어 12 ETRI, The Future Wave

146 MPEG-H 3D Audio - CfP Timetable CfP와 Evaluation Guidelines에 대한 추가 논의가 필요해서 1 term 씩 delay Meeting / Date Action 103 rd meeting, January 2013 Issue Call for Proposals on 3D Audio Issue Evaluation Guidelines for 3D Audio April 12, 2013 TBD TBD Contributions to 105 th meeting Proponents must register intention to participate in Call Proponent processed test items due Conduct evaluation listening tests Proponent written documentation due 105 th meeting, July 2013 Selection of Reference Model 0 technology 106 th meeting, October 2013 Proponent of Reference Model 0 submits Working Draft text and Reference Software. 13 ETRI, The Future Wave

147 MPEG-H 3D Audio - CfP CfP submission은 아래 2개 input 중 하나 혹은 모두를 제출 Channel-based, Object-based, Combination or HOA(High Order Ambisonics) Single submission이 2개의 input 모두에 대해 우수한 경우 RM0 선정 2개의 test set에서 다른 시스템이 선정된 경우 unified structure로 merge Test set 1: channel-based, object-based or a combination signals Test set 2: HOA signals Final 3D Audio standard Shall support channel-based and object-based inputs Should have a unified architecture to the greatest extent possible Should re-use existing MPEG technology Home Theatre/Multichannel Audio Program use case에 대한 RM0 선정 후 Personal TV/Smart Phone TV use case에 대한 phase 2 evaluation 실시 96kbps 이하의 low-bitrate 환경에서 22.2채널 오디오 신호 압축 및 재현 Technology merge 이후 phase 2 예정 14 ETRI, The Future Wave

148 MPEG-H 3D Audio - CfP Test Set Test sets 2013년 1월 16/17일에 FhG에서 전문가들이 모여 test item 선정 예정 Description A representative set of channel-based, object-based or a combination of channel-based and object-based signals. Channel-based signals use perloudspeaker PCM representation. Object-based signals use PCM representation with associated positional (azimuth, elevation and distance) metadata. Test Set 1 Channel 22.2/12.1/9.1 NHK, FhG-IIS, Swissaudec, Auro, ETRI Object Object + metadata FhG-IDMT Channel + Object Channel + object + metadata ETRI Test Set 2 A representative set of Higher Order Ambisonics (HOA) signals. Orange Labs, Technicolor, Qualcomm 15 ETRI, The Future Wave

149 MPEG-H 3D Audio - CfP Evaluation Test 1.1 Home theater application scenario에서 성능을 평가 MUSHRA 방법으로 NHK 22.2ch 환경에서 평가 High Quality Test 1.2 Localization and Envelopment 청취자가 sweet spot에서 벗어나 있는 경우에 대한 성능을 평가 MUSHRA 방법으로 NHK 22.2ch 환경에서 평가 High Quality Test 1.3 Localization TBD 방법으로 headphone 환경에서의 청취평가 Test 1.1에서 사용한 비트스트림과 동일한 비트스트림으로 binaural decoding High Quality Localization and Envelopment Total Coded Bitrate Mb/s kb/s Total Coded Bitrate Mb/s kb/s kb/s kb/s Total Coded Bitrate Mb/s kb/s kb/s kb/s 16 ETRI, The Future Wave

150 MPEG-H 3D Audio - CfP Evaluation Test 1.4 비트율(TBD)을 고정하고 실제 환경과 같은 다양한 형태의 스피커 구성에서 재현 성능 평가 Test 1.1에서 사용한 비트스트림과 동일한 비트스트림 사용 High Quality Localization and Envelopment Rendering on Setups with Fewer Loudspeakers Flexible Loudspeaker Placement Rand는 22.2ch에서 front, left/right에서 임의로 선정 Label Configuration Description as mid ITU-R 5.1; high front left, right; high back left, right; top as mid ITU-R 5.1 (without center); high front left, center, right; low center as mid ITU-R 5.1; high front left, right as ITU-R 5.1 mid Stereo as mid front left, right 6 Rand1 Random (1) selection of 10.0 speakers from all possible speakers, as shown in Annex 3 7 Rand2 Random (2) selection of 5.0 speakers from all possible speakers, as shown in Annex 3 17 ETRI, The Future Wave

151 MPEG-H 3D Audio Evaluation Procedures Annex A: Room Acoustics Properties for Test Sites BS 을 기준으로 기본적인 room의 특성을 규정 룸의 크기, 주변 잡음(NR 15), 잔향 시간, 초기 반사음 등의 특성 Annex B: Loudspeaker Setup Tolerances for Test Sites Loudspeaker placement precision 모든 스피커는 level과 delay에서 규정 값을 만족하도록 설정되어야 함 스피커의 위치는 azimuth와 elevation이 규정 값 이내에 있어야 함 Loudspeaker 스피커의 주파수 특성이 규정 값을 만족하여야 하며, 전면과 후면에 다른 스피커를 사용하는 경우 주파수 특성을 match 시켜야 함 Dynamic range Annex C, D, E: Channel/Object/Scene-based Audio Input Format 과 Test item 기술 예정 Object와 Scene-based는 Reference Renderer에 대한 issue가 있음 모든 콘텐츠에 대해 동일한 것 사용? 각자 사용? 18 ETRI, The Future Wave

152 MPEG-H 3D Audio Evaluation Procedures MPEG-H 3D Audio Listening room 22.2ch calibration Sound Pressure Level Full-band pink noise(-18db)에 대해 각 loudspeaker는 78 ± 0.5dB SPL (A-weight) Frequency Response FIGURE 2 Tolerance limits for operational room response curve Full-band pink noise(-18db)를 이용하여 1/3 octave band analyzer 3 db 3 db L m 2 db/octave 1.5 db/octave f (Hz) L m : average value of the sound pressure level Time Alignment: ±20 us(±1 sample in 48 khz sampling rate) Phase: Opposite-phase problem caused by misconnection must be checked Subwoofer: 다른 채널에 비해 20~120Hz까지 10dB 높게 SPL 설정 Level LFE channel 10 db Single normal channel 20 Hz 120 Hz Frequency 19 ETRI, The Future Wave

153 MPEG-H 3D Audio Evaluation Procedures MPEG-H 3D Audio Loudspeaker Position No. LS Label Az Az. Tol. El. El. Tol M ±2 0 ±2 X X X X 2 M ±2 0 ±2 X X X X X X 3 M ±2 0 ±2 X X X X X X 4 M ±2 0 ±2 X 5 M ±2 0 ±2 X 6 M ±5 0 ±2 X 7 M ±5 0 ±2 X 8 M ±5 0 ±2 X X X X 9 M ±5 0 ±2 X X X X 10 M ±5 0 ±2 X 11 M ±5 0 ±2 X 12 M ±5 0 ±2 X 13 U ±2 35 ±10 X X 14 U ±5 35 ±10 X 15 U ±5 35 ±10 X 16 U ±5 35 ±10 X X X 17 U ±5 35 ±10 X X X 18 U ±5 35 ±10 X 19 U ±5 35 ±10 X 20 U ±5 35 ±10 X 21 U ±5 35 ±10 X 22 U ±5 35 ±10 X 23 U ±5 35 ±10 X 24 U ±5 35 ±10 X 25 T ±2 90 ±10 X 26 L ± X X 27 L ± X 28 L ± X 29 LFE1 45 ±15-15 ±15 X X X X X 30 LFE2-45 ±15-15 ±15 X M: Middle U: Upper T: Top L: Lower layer 20 ETRI, The Future Wave

154 MPEG-H 3D Audio Evaluation Procedures 오디오 품질 평가 오디오 신호의 품질은 절대적으로 정의할 수 없고 원음과 평가할 음원을 비교하는 상대적 품질로 측정, 즉 평가음이 원음 대비 얼마나 음질이 저하되었는지를 평가 주관적(Subjective) 평가: 원음과 평가음을 사람이 직접 듣고 평가하는 방법 개인별 선호도나 편견을 배제하기 위해 가능한 많은 평가자가 참여해야 함 오디오 신호의 특성에 따라 다른 결과가 나올 수 있으므로 다양한 종류의 오디오 신호를 평가해야 함 주관적 평가는 정확한 품질 평가 결과를 제공하지만, 많은 시간과 노력이 필요 객관적(Objective) 평가: 수학적으로 원음과 평가음의 차이를 분석하여 측정 평가자가 필요 없으므로 빠르게 품질을 측정할 수 있음 수학적으로 청각 모델을 완벽하게 할 수 없기 때문에 정확도가 많이 저하됨 객관적으로 높은 평가를 받은 오디오 신호도 실제 청취하면 품질저하를 느끼는 경우 발생 ITU-R의 주관적 오디오 품질평가 기준 ITU-R BS.1116: Method for the subjective assessment of small impairments in audio systems including multichannel sound system <- 품질 저하가 매우 적을 때 ITU-R BS.1534: Method for the subjective assessment of intermediate quality level of coding systems <- 품질 저하가 중간 이상일 때 21 ETRI, The Future Wave

155 MPEG-H 3D Audio Evaluation Procedures 오디오 품질 평가 BS.1116 약간의 품질저하가 발생하는 고품질의 오디오 시스템의 품질 측정 Double-Blind Triple Stimulus with Hidden Reference 품질 측정 진행에서 시간에 대한 제약이 없고, 평가자는 A, B, C 중에서 하나를 선택하여 청취가 가능하며, 각 신호의 재생을 임의의 시점에서 시작 가능 미세한 품질차이를 인지해야 하므로, 높은 수준의 청각능력을 가지는 전문가 참여 평가 진행 전에 청취능력을 점검하여 기준 만족하지 못하는 평가자는 평가에서 배제 평가 후에도 평가결과를 바탕으로 신뢰도에 문제가 있는 평가자의 모든 점수는 배제 20명 정도의 평가자를 권고, 오디오 신호는 10 ~ 25초 정도 스피커와 헤드폰 모두 가능 스피커를 청취하는 경우 청취공간의 크기, 모양, 반사특성, 청취자의 위치를 고려 22 ETRI, The Future Wave

156 MPEG-H 3D Audio Evaluation Procedures 오디오 품질 평가 BS.1543 중간 정도 이상의 품질저하가 발생할 때 사용 MUSHRA(Multi Stimulus test, Hidden Reference with Anchor) 여러 시스템의 품질을 비교 평가할 수 있음 BS.1116으로 단독 평가하면 상대 비교가 불가능함 중간 이상의 품질 저하에 대한 기준을 잡기 위해 3.5kHz/7kHz Anchor 신호 사용 품질 측정 진행에서 시간에 대한 제약이 없고, 평가자는 A, B, C 중에서 하나를 선택하여 청취가 가능하며, 각 신호의 재생을 임의의 시점에서 시작 가능 BS.1116에 비해 평가자의 청각 능력에 대한 조건이 완화되지만, 훈련 단계에서와 평가 결과에 이상이 있는 경우 배제하는 것은 동일 20명 정도의 평가자 권고, 오디오 신호는 10 ~ 25초 정도, 평가 시스템은 12개 이하 23 ETRI, The Future Wave

157 MPEG-H 3D Audio Possible technologies Possible MPEG Technology for MPEG-H 3D Audio Possible Technologies MPEG-D USAC MPEG Surround MPEG-4 ALS, SLS MPEG-4 IM AF MPEG-D SAOC Characteristics 8kbps ~ perceptually transparent quality Flexible rendering Lossless coding Object-based multi-track sound content Compression for object-based sound content 24 ETRI, The Future Wave

158 Audio Coding How big is audio data? What is the bitrate? Sampling rate: Fs samples/second(e.g. 8,000, 44,100 or 48,000) Channel number: C channels/frame(e.g. 1, 2, 5.1, 7.2, 10.2 or 22.2 channels) Bit resolution: B bits/sample(e.g. 8, 16, 20 or 24) Bitrate: Fs X C X B bits/second(e.g. 64kbps or 1.4Mbps) UHD Audio: 22.2ch * 24bit * 48kHz = 28Mbps How to reduce? Lower channel number -> no stereo image Lower sample size -> quantization noise Lower sampling rate -> less bandwidth(muffled) Or use data compression 25 ETRI, The Future Wave

159 Audio Coding Audio Coding Technology Basic Goal: 오디오 신호를 최소한의 비트수로 표현하면서 최대한의 음질을 유지하는 것 Audio Coder 설계 Fidelity, Bit-rate, Complexity, Coding delay Mega Trend PCM (CD, DAT) Waveform Coding (DPCM, ADPCM) Sub-band Coding (G.722, MUSICAM) Perceptual Coding (MP3, AAC, BSAC, AC-3) Parametric Coding (SBR, PS, MPS, SAOC) Hybrid Coding (AMR-WB+, USAC) 26 ETRI, The Future Wave

160 Audio Coding History of MPEG Audio MPEG-D USAC MPEG Surround MPEG SAOC HE-AAC v1 Amd1 SBR HE-AAC v2 Amd2 PS Amd3 ALS/SLS MPEG-S MPEG-4 v1 MPEG-4 v2 Audio Lossless Scalable Lossless AAC :2001 MPEG-2 BC MPEG-2 AAC MP MPEG ETRI, The Future Wave

161 Audio Coding Perceptual Audio Coding Encoder t 8bit 4bit5bit 3bit 1bit 2bit f f Digital Audio Input Analysis Filter Bank Bit/Noise Allocation Bitstream Formatting Encoded Bitstream Psychoacoustic Model Signal to Mask Ratio (SMR) Decoder Bitstream Bitstream Unpacking Dequantization & Reconstruction Synthesis Filter Bank Decoded PCM Data 28 ETRI, The Future Wave

162 Audio Coding 음성/오디오 부호화 기술 동향 Quality Narrow band Wide band Super Wide band Excellent Good Fair AMR USAC AMR-WB HE-AAC HE-AAC V2 AMR-WB+ AAC Quality Saturation (Speech & Audio) MPEG-2 BC MPEG-1 MPEG Poor Bad G.729 CS-ACELP ITU-T Enormous Quality Degradation (speech) Speech & Audio Coding Source: Speech & Audio - Below 24kbps: High quality for Comm. - Near 32kpbs: CD-like quality - Over 64 kbps: Transparent quality 10k 24k Bitrate/channel Applications Telephony Mobile Broadcasting High Quality AV Service for Convergence Network 29 ETRI, The Future Wave

163 Audio Coding MPEG-D USAC CfP 배경 모바일 기기가 다양한 기능을 가지고, 다양한 기기를 하나의 모바일 기기로 융합하는 방향으로 기술이 발전하면서, 음성 및 오디오 모두에 대해 우수한 품질을 제공하는 부호화 기술에 대한 시장의 요구가 증대 응용분야 Multi-media download to mobile device User-generated content such as podcasts Digital radio Mobile TV Audio books 30 ETRI, The Future Wave

164 Audio Coding 표준화 현황 nd CfP, th RM0, th WD1 ~ nd WD rd CD, th DIS, th FDIS, IS Meeting Output Action 85차 RM0 선정 FhG/VoiceAge System10(System11) 86차 WD1 87차 WD2 Arithmetic Coder update(rom saving: 109,329 -> 16,900 word) 88차 WD3 LPC Quantization(VQ 방식 변경, ROM saving: 19,456 -> 4,671 word), Phase Coding 89차 WD4 Base post filter(wd와 RE의 implementation 차이 보정) Bug fix in esbr module(patching mode signaling <- core_more x) 90차 WD5 Unified Stereo Coding(High bitrate에서 parametric stereo 사용), The informative encoder description of esbr part 91차 WD6 Unification of window transitions, esbr(harmonic transposer) module(transition 신호에 효과적) Arithmetic Coder update 92차 WD7 Corrections to WD6/Unified Stereo Coding, Encoder description of FAC coding 93차 CD Improved low/high bitrate stereo coding, Enhanced Temporal Envelope Shaping(Inter/Intra subband 방식, impulsive 신호의 음질 개선), Improved Noiseless Coding(ROM saving: 16,900 -> 1,444 words, 압축률 2.51% 개선) 94차 Study on CD Improved SBR, Improved harmonic transposer 95차 DIS Increased structural flexibility in SBR, Enhanced performance at Mid Bitrates 96차 Study on DIS 97차 FDIS Verification Test Report 98차 ~ Amendment Conformance, Reference SW 진행 중 31 ETRI, The Future Wave

165 Audio Coding MPEG-D USAC 구조 FD mode LPD mode USAC Encoder USAC Decoder 32 ETRI, The Future Wave

166 Audio Coding Verification Test Mono low bit rate, Stereo low/high bit rate 12kbps Mono 16kbps Stereo 64kbps Stereo 33 ETRI, The Future Wave

167 Audio Coding Baseline Profile Excludes these tools Time warped filterbank, DFT based harmonic trans poser in esbr Fractional delay decorrelator in MPS212 Level 1: mono, 48kHz, 2: stereo, 48kHz 3: 5.1ch, 48kHz, 4: 5.1ch, 96kHz HE-AAC v3 Profile ->Extended High Efficiency AAC profile HE-AAC v2에 USAC을 추가하여 low bitrate에서 성능향상 도모 Extended High Efficiency AAC Decoder는 HE-AAC v2 bit stream에 대해 full backward compatible USAC Baseline Profile의 level 1/2를 포함 34 ETRI, The Future Wave

168 Conclusion 3차원 오디오는 인간이 실제 생활에서 느끼는 일반적인 소리로 방향감 /거리감/공간감을 가지고 있음 MPEG에서는 MPEG-H 3D Audio라는 주제로 표준화를 시작 NHK의 22.2ch과 같은 다채널 오디오 신호를 256kbps에서 1.5Mbps까지 압축 NHK의 22.2ch을 포함하여 2.0/5.1/7.1/8.1/10.2ch 등 다양한 재생환경과 임의의(random) 재생환경에 적응 가능한 오디오 랜더링 Binaural rendering, Personalized HRTF 등 headphone 지원 Channel/Object/Scene을 지원 현재까지 표준화 된 모든 MPEG 오디오 부호화 기술(USAC, MPS, SAOC 등)을 모두 활용할 것으로 예상 지금까지와는 달리 오디오 부호화 기술 뿐 아니라 rendering도 표준화 예정 35 ETRI, The Future Wave

169 Overview of the High Efficiency Video Coding (HEVC) Standard Kwangwoon University Donggyu Sim November 12,

170 Contents Market requirements and new video services High-resolution videos Evolution of video codecs HEVC (high efficiency video coding) Requirements History Profiles and levels Technical tools Conclusion 2

171 Market requirements Ultra resolution and quality The digital video services over network are expected to steadily grow The overall amount of video data rate will grow at a very fast pace It is difficult to carry HDTV resolution device and to transmit data economically to the end user over current networks. Bigger resolution and data rates will make pressure on the network Displays and cameras High-definition 4k-UHD and 8k-UHD contents and devices Mobile terminals QCIF 720p FHD -> more 3G network 4G network 3

172 Data rates of various video formats Raw data (YUV 4:2:0, progressive, 30Hz) Resolution Width Height Frame-rate Bit-rate (Mbps) Ratio to CIF CIF VGA SD HD720P HD1080P K-UHD , K-UHD , Raw data : 332 Mbps HD 1280x720 H.264/AVC Encoder Raw data : 2,986 Mbps 4K-UHD 3840 X 2160 Bit-depth : 12bit Color format : 4:4:4 Frame-rate : 60 Hz ~ 540 Mbps 8 ~ 10 Mbps H.264/AVC Encoder 72 ~ 90 Mbps 4

173 Evolution of video codecs and video services Video standards : storage : mobile and internet : broadcasting in Korea HD-DVD (2006) HEVC (MPEG-H part2/h.265) ( ) VCD (1993) MPEG-1 (1991) Cable TV (1991,95) DVD (1996) MPEG-2 (1994) MPEG-4 (1999) Mobile VoD (2001) AVC/H.264 (2003) Satellite TV (2002) Digital TV (2001) T-/S-DMB (2004) IPTV (2008) AT-DMB (2013) 3DTV (201x) UDTV? (201x)

174 New standard and JCT-VC Why new standard? An increasing diversity of service The growing popularity of HD The emergence of beyond-hd formats (4K-UHD or 8K-UHD resolution) Stronger needs for coding efficiency superior to H.264/AVC s capabilities ITU-T and ISO/IEC standards Jointly produced the H.262/MPEG-2 Video and H.264/MPEG-4 AVC The two standards that were jointly produced have had a particularly strong impact JCT-VC (joint collaborative team on video coding) A group of video coding experts from ITU-T Study Group 16 (VCEG) and ISO/IEC JTC 1/SC 29/WG 11 (MPEG) High efficiency video coding (HEVC) SHVC (scalable video coding) MHVC (3D/stereo/multi-view video coding) 6

175 Progress of JCT-VC meeting Meeting history and plan No. Location Participants Documents Output 1 st Dresden ( ) TMuC0.1 2 nd Geneva ( ) TMuC0.6 3 rd Guangzhou ( ) WD1, HM1.0 4 th Daegu ( ) WD2, HM2.0 5 th Geneva ( ) WD3, HM3.0 6 th Torino ( ) WD4, HM4.0 7 th Geneva ( ) WD5, HM5.0 8 th San Jose ( ) CD, HM6.0 9 th Geneva ( ) CD, HM th Stockholm ( ) DIS, HM th Shanghai ( ) HM th Geneva ( )?? FDIS 7

176 HEVC requirements 표준 개발 시 요구사항 분야 압축 성능 픽쳐 형식 컬러 공간 및 표본화 프레임 율 스캐닝 복잡도 저지연 임의접근 및 트릭모드 오류 강인성 버퍼 모형 시스템 계층 인터페이스 계층적 부호화 요구사항 요약 (M: 필수, R: 권고) [M] AVC High Profile 대비 상당히 큰 비트량 감소; 모든 bitrate에서 기존 표준 이상의 성능. [M] 주관적 화질 측면에서 무손실 압축 지원. [R] 무손실 압축 지원. [M] 통상 많이 사용되는 형식을 모두 포함하는직사각 픽쳐 형식 지원: 최소한 QVGA에서 8Kx4K 크기까지 지원. [M] Level별 한계치 내에서 임의 크기의 픽쳐 형식 지원 [M] YCbCr 4:2:0, 8 bits-per-component [R] YCbCr/RGB 4:4:4 and YCbCr 4:2:2 [R] Up to 14 bits-per-component, Wide gamut color [R] Transparency channel [M] 고정 및 가변 rational frame rates (0Hz부터 시작) [M] 모든 Profile과 Level에 대해 프로그레시브 스캐닝 지원 [M] 표준의 예상 사용 시점에서 구현 가능한 수준의 부/복호화기 [R] 복잡도와 압축효율간 더 나은 trade-off 지원; AVC 대비 상당히 감소된 복잡도에서 더 나은 압축 효율 제공, AVC보다 증가된 복잡도에서 이를 보상할 만큼 증가된 압축 효율 제공 [R] 병렬 처리 [M] 저지연 operation [M] 저장된 스트림상 특정 위치로의 임의접근 (random access) [M] 다채널 서비스에서의 빠른 채널 스위칭 [R] 저장된 스트림을 대상으로 트릭모드 지원: pause, fast forward, normal speed reverse, fast reverse access [R] Intra-only coding [M] 전송 대상 네트워크에 대한 비트스트림 segmentation 및 packetization [R] 다음을 만족하는 비디오 계층 및 이의 네트워크 계층과의 인터페이스: 오류 복원이 필요한 네트워크에 대해 적절한 오류 강인 수단을 효과적이고 유연하게 적용 가능 [M] HRDs (Hypothetical Reference Decoders: 가상 참조 복호기)를 포함한 버퍼 모형을 목표 응용분야들에 대해 명시 [M] 부/복호화기를 목표 시스템 계층 및 전달 계층들에 효과적으로 적응 및 통합 가능 [R] 압축효율에 비정상적인 영향 없이 다음의 계층적 부호화 툴을 추가할 수 있는 설계: Temporal, spatial, and quality scalability 8

177 Overview of HEVC (1/2) The HEVC standard is designed to achieve multiple goals: Coding efficiency Reduction of 50% bit-saving compared to the H.264/AVC High profile Transport system integration Data loss resilience Implementability using Parallel processing architectures Joint standard ISO/IEC JTC1: ISO/IEC (MPEG-H Part 2) ITU-T: ITU-T Recommendation H.265 9

178 Overview of HEVC (2/2) The HEVC design follows the classic block-based hybrid video coding approach Intra-picture prediction, inter-picture prediction, transform coding, quantization, entropy coding, and in-loop filters F n (Current) ' Fn 1 (reference) (1 or 2 previously encoded frames) ME 8-tap filter MC Choose Intra prediction 35 modes Intra prediction + - PU, AMP Inter Intra P D n Merge, AMVP T DST RQT Q Reorder Entropy encode CABAC ' Fn (reconstructed) SAO DF Two in-loop filters ' uf n + + ' D n 1 T Q 1 10

179 Profiles & levels Profiles (3 profiles) It defines a set of coding tools or algorithms Main profile Main 10 profile Supports 10-bit coding Main Still Picture profile Only one picture Levels and tiers Level : constraints on certain key parameters of bitstream Tiers Maximum bit rate and CPB capacities A Main tier for most applications 1080 HD Level MaxLumaPS (samples) Max luma picture size Max CPB size MaxCPB (100 0 bits) Main tier High tier picture Max slice segments per MaxTileRows Max # of tile rows MaxTileCols Max # of tile columns 11

180 Summary of HEVC tools (1/2) High-level structure Main High efficiency 10 (HE10) Main Still Picture High-level support for frame rate temporal nesting and random access Clean random access (CRA) support - Rectangular tile-structured scanning Wavefront-structured processing dependencies for parallelism Slices with spatial granularity equal to coding tree unit Coding unit quadtree structure (square coding unit block sizes 2Nx2N, for N=4, 8, 16, 32; i.e., up to 64x64 luma samples in size) Coding units, Prediction units, and Transform units Prediction units (for coding unit size 2Nx2N: for Inter, 2Nx2N, 2NxN, Nx2N, and,for N>4, also 2Nx(N/2+3N/2) & (N/2+3N/2)x2N; for Intra, only 2Nx2N and, for N=4, also NxN) Prediction units (2Nx2N and, for N=4, also NxN) Transform unit tree structure within coding unit (maximum of 3 levels) Transform block size of 4x4 to 32x32 samples (always square) Spatial Signal Transformation and PCM Representation DCT-like integer block transform; for Intra also a DST-based integer block transform (only for Luma 4x4) Transforms can cross prediction unit boundaries for Inter; - not for Intra PCM coding with worst-case bit usage limit 12

181 Summary of HEVC tools (2/2) Main High efficiency 10 (HE10) Main Still Picture Intra-picture Prediction Angular intra prediction (35 directions ) Planar intra prediction Luma motion compensation interpolation: 1/4 sample precision, 8x8 separable with 6 bit tap values - Inter-picture prediction Chroma motion compensation interpolation: 1/8 sample precision, 4x4 separable with 6 bit tap values - Advanced motion vector prediction with motion vector competition and merging - Entropy Coding Picture Storage and Output Precision In-Loop Filtering 8 bit-per-sample storage and output Context adaptive binary arithmetic entropy coding RDOQ on 10 bit-per-sample storage and output Deblocking filter Sample-adaptive offset filter 8 bit-per-sample storage and output 13

182 Sampled representation of pictures Coding tree unit (CTU) Coding unit (CU) Prediction unit (PU) Transform unit (TU) 14

183 Coding tree units and coding tree block structure Picture partitioning Previous standards Picture slices macroblocks Division of the picture into macroblock Macroblock : a 16x16 block of luma sample and two corresponding 8x8 blocks of chroma samples HEVC Picture slices CTUs Division of the picture into coding tree units (CTU) CTU : a luma coding tree block (CTB) and the corresponding chroma CTBs 16x16, 32x32, 64x64 luma CTB CTU CTU CTU Slice#1 Slice#2 15

184 Macroblock vs. CTU macroblock (16x16 pixels) CTU (64x64 pixels) CTU of HEVC HEVC supports a partitioning of the CTBs into smaller blocks using a tree structure and quadtree-like signaling Multi-level recursive partition into 4 square CUs CU 32x32 CU 8x8 CU 16x16 16

185 Coding units and coding blocks A CTB may contain only one CU or may be split to form multiple CUs The splitting of a CTU into luma and chroma coding blocks (CBs) is signaled jointly Intra-/inter- prediction is made at the CU level split_cu_flag(1) 64x64 CU split_cu_flag(1) 32x32 CU split_cu_flag(0) split_cu_flag(0) split_cu_flag(1) 16x16 CU split_cu_flag(1) 8x8 CU 64x64 CTB (form multiple Cus) No flags (minimum CU) 17

186 Coding units The size of coding block is signaled We can control the size of coding block according to the video resolution seq_parameter_set_rbsp( ) { log2_min_luma_coding_block_size_minus3 log2_diff_max_min_luma_coding_block_size Descriptor ue(v) ue(v) 18

187 Prediction unit and prediction block A prediction unit (PU) partitioning structure has its root at CU level Each PU has prediction mode (intra prediction) In the case of intra prediction, only 2Nx2N and NxN (when N=4) are supported Each PU has reference index, motion vectors (inter prediction) CU 2NX2N N=32 64x64 CU N=16 32x32 CU N=8 16x16 CU N=4 8x8 CU Asymmetric motion partitioning (AMP) PU PU PU PU PU PU PU PU PU 2NX2N 2NXN NX2N NXN nlx2n nrx2n 2NxnU 2NxnD 64x64 32x16 32x16 16x32 16x32 32x32 32x32 32x32 32x32 48x64 16x64 16x64 48x64 64x16 64x48 64x48 64x16 19

188 Transform units and transform blocks A transform unit (TU) tree structure has its root at the CU level Quadtree-like signaling A CB can be recursively partitioned into transform blocks (TBs) The largest possible TB size is equal to the CB size Contrary to PU partitioning, only square partitioning is specified HEVC allows a TB to span across multiple PBs for inter-predicted Cus Transform kernels of HEVC Integer basis functions similar to those of a discrete cosine transform (DCT) Only for the square TB sizes 4x4, 8x8, 16x16, and 32x32 For the 4x4 transform of intra-picture prediction residual, an integer transform derived from a form of discrete sine transform (DST) is alternatively specified 20

189 Summary of block structure in HEVC Three block structures are defined in HEVC Coding unit (CU) ; square shape Prediction unit (PU) ; square/non-square shape Transform unit (TU) ; square shape CTU 64 CU CU CU N 2N 2NxN Nx2N N N CU 8 8 CU 8 8 CU 8 8 CU 8 8 CU NxnU 2NxnD nlx2n nrx2n CU 8 8 CU 8 8 CU 8 8 CU 8 8 CU CU CU 8 8 CU 8 8 CU 8 8 CU 8 8 CU CU CU CU 8 8 CU 8 8 CU 8 8 CU 8 8 TU TU CTU CTU CTU 64 depth 0 depth 1 depth 2

190 HEVC video coding techniques intra prediction inter prediction transform quantization entropy coding in-loop filters 22

191 Intra prediction of HEVC The basic elements in the HEVC intra coding Quadtree-based coding structure following the HEVC block coding architecture Angular prediction with 33 prediction directions Planar prediction to generate smooth sample surfaces Adaptive smoothing of the reference samples Filtering of the prediction block boundary samples Prediction mode dependent residual transform and coefficient scanning Intra mode coding based on contextual information Luma Intra_Planar, Intra_DC, Intra_Angular (35 modes) Chroma Intra_Planar, Intra_DC Horizontal, Vertical, DM Intra prediction mode Associated names 0 Intra_Planar 1 Intra_DC Otherwise (2..34) Intra_Angular 23

192 Intra_Planar prediction mode The values of the prediction samples predsamples[x, y], with x, y = 0 ns-1, are derived by An average of two linear predictions ns : PB size predsamples[ x, y ] = ( ( ns 1 x ) * p[ -1, y ] + ( x + 1 ) * p[ ns, -1 ] + ( ns 1 y ) * p[ x,-1 ] + ( y + 1 ) * p[ -1, ns ] + ns ) >> ( k + 1 ) with x, y = 0..nS-1 where k = log 2 ( ns ) 24

193 Intra_DC prediction mode 1) Calculate DCVal Neighboring samples ns DCVal x' 0 where k log 1 p[ x', 1] 2 ( ns) ns 1 y' 0 p[ 1, y'] ns ( k 1) Neighboring samples DCVal 2) PU boundary filtering Case of 4x4 block predsamples[ 0, 0 ] = ( p[ -1, 0 ] + 2*DCVal + p[ 0, -1 ] + 2 ) >> 2 predsamples[ x, 0 ] = ( p[ x, -1 ] + 3*DCVal + 2 ) >> 2, predsamples[ 0, y ] = ( p[ -1, y ] + 3*DCVal + 2 ) >> 2, predsamples[ x, y ] = DCVal, with x,y = 1..nS-1 25

194 Intra_Angular prediction HEVC supports a total of 33 directional intra predictions Each PB is predicted directionally from spatially neighboring samples which are reconstructed (but not yet filtered by the in-loop filters) The projected reference sample location is computed with 1/32-pel accuracy (Bi-linear interpolation) N For a PB of size NxN, a total of 4N+1 spatially neighboring samples may be used for the prediction Samples from lower left PBs can be used for prediction in HEVC 26

195 Reference sample substitution and smoothing Reference sample substitution The neighboring reference samples are not available at the slice or tile boundaries When a constrained intra prediction is enabled, the neighboring inter-coded PB are also considered not available (to avoid error propagation) Pixel repetition from the closest available reference samples Reference sample smoothing Smoothing filter ([1 2 1]/4) for blocks of size 8x8 and larger The filtering operation is applied for each reference sample using neighboring reference samples The first reference sample R 0,2N and R 2N,0 are not filtered 27

196 Fractional sample interpolation for inter prediction DCT-based interpolation filter Luma (8-tap) Position Filter coefficients 1/4 {-1, 4, -10, 58, 17, -5, 1, 0 } 1/2 { -1, 4, -11, 40, 40, -11, 4, -1 } Chroma (4-tap) Position Filter coefficients 1/8 { -2, 58, 10, -2 } 1/4 { -4, 54, 16, -2} 3/8 { -6, 46, 28, -4} 1/2 { -4, 36, 36, -4} 28

197 Inter prediction Prediction block partitioning 2Nx2N, 2NxN, Nx2N, (NxN), 2NxnU, 2NxnD, nlx2n, and nrx2n NxN mode is only supported when the CB size is equal to the smallest allowed CB size Inter coding Reference index, motion vector, residual Skip : Merge skip (CU level) Sending only merge index No reference index, no motion vector, no residual Non-skip Merge (PU level) Merge flag, merge index No reference index and motion vector Residual is encoded AMVP To decrease bit for sending motion vector Reference index, motion vector difference, and residual 29

198 Merge mode Merge mode? Derive the motion information (mv, reference picture indices) from spatially or temporally neighboring block It transmits index information to select one out of several available candidates Candidates in the merge mode Spatial neighbor candidates (a 1 b 1 b 0 a 0 b 2 ), a temporal candidate (H C 3 ) and generated candidates X X (2Nx2N) (2NxN) (Nx2N) Temporal candidate 30

199 Motion vector prediction for non-merge mode When the inter-coded CB is not coded in the skip or merge mode, the motion vector is differentially coded using a motion vector predictor Multiple predictor candidates The difference between the predictor and the actual motion vector, and the index of the candidate are transmitted to the decoder Only two spatial motion candidates The first spatial motion candidate {a 0, a 1 } The second spatial motion candidate {b 0, b 1, b 2 } HEVC only allows a much lower number of candidates to be used in the motion vector prediction, since the encoder can send a coded difference to change the motion vector The number of motion vector predictors is two Only a coded flag is necessary to identify which motion vector is used 31

200 Transform unit The residual block is partitioned into multiple square TBs Residual Quad-tree Transform (RQT) 4x4, 8x8, 16x16, 32x32 Transform NSQT (Non square quad-tree transform) does not used in Main profile Core transform Two-dimensional transforms are computed by applying onedimensional transforms in both the horizontal and vertical directions The elements of the core transform matrices were derived by approximating scaled discrete cosine transform (DCT) basis function For the transform block size of 4x4, An alternative integer transform derived from a discrete sine transform (DST) is applied to luma residual blocks for intra prediction modes 32

201 Quantization and entropy coding Quantization The uniform-reconstruction quantization (URQ) scheme controlled by a quantization parameter (QP) The range of the QP value is defined from 0 to 51 An increase by 6 doubles the quantization step size Quantization scaling matrices are also supported Entropy coding Only one entropy coding method context adaptive binary arithmetic coding (CABAC) Adaptive coefficient scanning Three coefficient scanning methods, diagonal up-right, horizontal, and vertical scans 33

202 In-loop filter In HEVC, two processing steps, a deblocking filter (DBF) and a sample adaptive offset (SAO) operation are applied DBF: similar to the DBF of the H.264/AVC standard SAO: applied adaptively to all samples satisfying certain conditions (while the DBF is only applied to the samples located at block boundaries) On/off syntaxes for in-loop filters 1. slice_disable_deblocking_filter_flag : slice-level on/off 2. slice_sao_luma_flag : slice-level on/off for the luma component 3. slice_sao_chroma_flag : slice-level on/off for the chroma component

203 Deblocking filter (DBF) Basically, deblocking filter of HEVC is similar to that of H.264/AVC In-loop filtering Coding performance for inter frame Frame-based filtering On/off control is provided Adaptive filtering Boundary strength Filtering on the block boundaries Transform and prediction boundary Sequential filtering for vertical and horizontal edges Sample values modified during filtering of vertical edges are used as input for the filtering of the horizontal edges

204 Filtering order of HEVC deblocking filtering Filtering order H.264/AVC : macroblock (horizontal filtering vertical filtering) HEVC Frame (horizontal filtering vertical filtering) loopfilterpicture { for( CTU =0; CTU < maxctuinframes; CTU++) CUbasedDF( CTU, EDGE_VER ) for( CTU =0; CTU < maxlcuinframes; CTU++) CUbasedDF( CTU, EDGE_HOR ) } 1 vertical edges -> horizontal filtering 2 horizontal edges -> vertical filtering [current frame] [current frame] 36

205 Flowchart of HEVC deblocking filter Deblocking filter process is performed for each CU with the same order as decoding process All filtering is applied to 8x8 block boundaries which is determined to be filtered for both luma and chroma A boundary can have three type of filtering no filtering, weak filtering and strong filtering Decision of filtering type is based on boundary strength, β, and t c.

206 Overview of sample adaptive offset (1/2) Artifacts Blocking artifacts, ringing artifacts, color biases, and blurring artifacts A larger transform could introduce more artifacts HEVC : 4x4 ~ 32x32 transform Artifacts are exist at medium and low bit rates A large number of interpolation taps can also lead to more serious ringing artifacts HEVC : 8-tap (luma), 4-tap (chroma) Sample adaptive offset To reduce sample distortion (reconstructed pixels original pixels) Average 3.5% BD-rate reduction (with 1% encoding time increase, 2.5% decoding time increase)

207 Overview of sample adaptive offset (2/2) SAO features Each color component may has its own SAO parameters Two SAO types Edge offset (EO; 4 EO classes) Band offset (BO; 1 BO class) SAO merging (left CTU or above CTU) SAO merge information is shared for three color components SAO is enabled (QP=32) Table : SAO object and subjective results Anchor: Disabling SAO Test: Enabling SAO CTU size in Luma: 64x64 CTU Boundary: option 1 All intra (AI) Random access (RA) Y DB-rate Low delayb (LB) Low delay P (LP) Overall Summary All -0.7% -1.7% -2.5% -9.2% Enc. Time(%) 101% 100% 100% 100% Dec. Time(%) 103% 103% 102% 102% SAO is disabled (QP=32)

208 pixel level pixel level pixel level pixel level pixel level pixel level Edge offset of SAO Four 1-D directional patterns horizontal, vertical, 135 diagonal, 45 diagonal a a a a c b c c c b b b Fig. Four 1-D directional patterns for EO sample classification Only one EO class can be selected for each CTB of which EO is enabled Each sample inside the CTB is classified into one of five categories One edge offset is encoded for each category (4 offsets are transmitted in the case of EO) No information for classification of five categories (encoder and decoder use same rules) category 1 category 2 category 3 category 4 Category Condition 1 c < a && c < b x-1 x x+1 pixel index x-1 x x+1 pixel index x-1 x x+1 pixel index x-1 x x+1 pixel index 2 (c < a && c == b) (c==a && c < b) 3 (c > a && c == b) (c==a && c> b) 4 c > a && c > b Positive edge offset x-1 x x+1 pixel index x-1 x x+1 pixel index Negative edge offset 0 None of the above (SAO is not applied)

209 Band offset of SAO BO implies one offset is added to all samples of the same band The sample value range is equally divided into 32 bands For 8-bit samples ranging from 0 to 255, the width of a band is 8 Only offsets of four consecutive bands and the starting band position are signaled to the decoder The average difference between the original samples and reconstructed samples in a band is signaled to the decoder Four offsets are transmitted in the case of BO 0 max The first band for which offset is transmitted Four offsets are transmitted for four consecutive bands

210 Parallel processing for in-loop filters