MPEG-2 TS UHDTV a), a), a), b), b), b) Multiplexing of UHDTV Based on MPEG-2 TS Euy-doc Jang a), Dong-Il Park a), Jae-Gon Kim a), Eung-Don Lee b), Suk-Hee Cho b), Jin Soo Choi b) UHDTV(Ultra HDTV) MPEG-2 Transport Stream(TS) SW. UHD. 4K( 8K) UHD 4 H.264/AVC, 2 5.0 AC-3 UHDTV TS. H.264/AVC AC-3 TS MPEG-2 (Systems) PES TS. T-STD(TS System Target Decoder) T-STD, TS H/W (emulation). UHDTV (Re-multiplexing) UHD TS UHD 2. TS. Abstract In this paper, a method of MPEG-2 Transport Stream (TS) multiplexing for Ultra HDTV (UHDTV) and its design and implementation as a SW tool is described. In practice, UHD video may be divided into several HD videos and each video is encoded in parallel. Therefore, it is necessary to synchronize and multiplex multiple bitstreams encoding each HD video for transmitting and storing UHD video. In this paper, it is assumed that 4 HD videos partitioning a UHD spatially are encoded as H.264/AVC and two 5.0 channel audios are encoded by AC-3. Therefore, 4 H.264/AVC elementary streams (ESs) and 2 AC-3 ESs is mainly considered in the TS multiplexing of UHD. For the carriage of H.264/AVC and AC-3 over MPEG-2 TS, PES packetization and TS multiplexing are designed and implemented based on the extended specification of the MPEG-2 Systems and ATSC (Digital audio compressed standard), respectively. The implemented UHD TS multiplexing tool emulates real time HW operation in the time unit corresponding to the duration of one TS packet transmission in a given TS rate. In particular, in order to satisfy the timing model, the buffers defined in the TS System Target Decoder (T-STD) are monitored and their statuses are considered in the scheduling of TS multiplexing. For UHD multiplexing, two kinds of multiplexing structures, which are UHD re-multiplexing and UHD program multiplexing, are implemented and their strength and weakness are investigated. The developed UHD TS multiplexing tool is tested and verified in terms of the syntax and semantics conformance and functionalities by using a commercial analyzer and real-time presentation tools. Keywords: UHDTV, MPEG-2 Transport Stream, Multiplexing, H.264/AVC
I. HD (UHD) HDTV UHDTV [1]. HDTV UHDTV 8K (7680x4320) UHD 16 MPEG-2 H.264/AVC [2][3]. UHD, UHD (ES: Ele- mentary Stream). MPEG-2 (Systems) AV ES PS(Program Stream) TS. MPEG-2 TS ES PES(Packetized ES) PES 188 TS. TS (PSI: Pro- gram Specific Information) AV AV. PES (PTS/DTS: Presentation/Decoding Time Stamp), (PCR: Program Clock Reference) 0.1. UHDTV MPEG-2 TS a) School of Elec., Telecom. & Computer Eng., Korea Aerospace Univ. b) Realistic Media Research Team, ETRI : (jgkim@kau.ac.kr) ( ) [2008-F-011-02, DTV ] (GRRC) [GRRC 2009-B01]. (2009 12 29 ), (2010 2 25 ), (2010 2 25 ) SW. 4K(3840x2160) UHD 4 H.264/AVC [4], 2 5.0 AC-3 [5] UHDTV TS. (sub) 4 H.264/ AVC ES MPEG-2 [6] PES, TS. H.264/ AVC NAL(Network Abstraction Layer) (NAL Unit: NALU) (Access Unit: AU) PES. UHDTV AC-3 2 5.0 ES. AC-3 ATSC AC-3 [5] AC-3 ES PMT(Program Map Table) [5][7], AC-3 AU AU PES. TS (T-STD: TS System Target Decoder) STD TS. TS TS HW SW, MPEG-2 TS [9][10] SW [11]. TS Null.. SW UHDTV HW.. 2 H.264/AVC AC-3. 3 UHDTV TS SW. 4 TS 5.
II. H.264/AVC AC-3 2. H.264/AVC 1. UHDTV 1 4K UHD 4 HD H.264/AVC. 4 3 PCR (Program Clock Reference), PTS/DTS(Presentation Time Stamp/Decoding Time Stamp) HD., UHDTV 10.0 2 5.0 AC-3 ES. 1. UHDTV Fig. 1. UHDTV codec based on parallel processing MPEG-2 H.264/AVC ES TS AU STD [6]. H.264/AVC. H.264/AVC TS [4]. 2 AU NALU NALU NALU SCP(Start Code Prefix) 3. TS ES AU AU PES [8]. PES H.264/AVC AU. AUD(AU Delimiter) NALU AU AU NALU AU AUD NAL. ES AUD NAL., 2 (zero) (0x00) 1 SCP(0x000001) 3, AUD NAL(NAL_unit_type = 9) NAL AU., HDTV UHD MPEG-2 [6]. UHD 4 HD. MPEG-2 3 (aspect ra 2. H.264/AVC ES (AU ) Fig. 2. Syntax of H.264/AVC ES(Structure of AU)
3. Fig. 3. Split-screen descriptor tio) (target_background_grid_descriptor) (video_window_descriptor) PMT. 3. AC-3 tration) AC-3 PMT. AC-3 stream_type (user private) 0x81 ID, AC-3 ES,,. AC-3 MPEG ATSC AC-3 [5][7]. AC-3 ES PMT AC-3 AU AU PES. AC-3 AU 4 (sync frame). SI( ) BSI( ). 5.1 6 AB( ), Aux CRC. AC-3 AU SI syncword(0x0b77) 2 AU, frmsizecod AU. PES stream_id (private stream) 0xBD [5]. ATSC AC-3 (Regis- 4. AC-3 ES ( ) Fig. 4. Syntax of AC-3 ES(Sync frame) 4. T-STD MPEG-2 STD, H.264/AVC STD [6]. STD 5 TBn( ), MBn ( ), EBn(ES ). MBn EBn
5. H.264/AVC T-STD Fig. 5. T-STD model for H.264/AVC (Leak method). STD /, TS TS. III. TS SW MPEG-2 UHDTV TS. 4K(3840x2160) UHD HD(1920x1080) H.264/ AVC ES 4 5.0 AC-3 ES 2 TS. HD UHDTV. 1. HD AC-3 ES 6 TS, PSI(Program Specific Information),, (OMB: Output Monitoring Block). PCR, PTS/DTS (end-to-end). ES, TS, DTS. TS. H.264/AVC, AC-3 1, 1 ES 6 PES TS. PES 6. Fig. 6. Architecture of Program multiplexer
PTS/DTS. PES TS 188. PSI PCR. TS. TS TS T-STD MPEG- 2 TS. 2. (CBR) TS TS. TS ES TS, TS PSI TS, Null TS. PSI PAT PMT TS. MB, PCR, PSI T-STD, TS. PAT, PMT, PCR ES,. 초기 state mux_sel = PAT packet mux_sel = PMT packet mux_sel = PCR packet goto to 동작 state 동작 state IF pcr_request THEN mux_sel = PCR packet ELSE IF psi_request THEN mux_sel = PAT packet mux_sel = PMT packet ELSE IF a_ready & a_grant THEN mux_sel = audio packet ELSE IF v_ready & v_grant THEN mux_sel = video packet ELSE mux_sel = null packet TS T-STD. 7 TS T-STD 7. Fig. 7. Architecture of Scheduler and multiplexer
. ES MB v/a_ready, PCR, PSI pcr/psi_request, T-STD v/a/psi_grant TS. 3. UHDTV HD UHD 1) HD TS 2) 4 HD 2. 8(a) HD 4 4 TS TS. UHD HD 4 TS., TS PCR, PSI PID PSI. HD 4 ES 2 ES 8(b). 6 ES., PES PTS/DTS ES PSI ES., TS (a) UHD TS 8. UHD Transport Stream Fig. 8. Structure of UHD Transport Stream (b) UHD TS
장의덕 외 : MPEG-2 TS 기반의 UHDTV 다중화 212 툴과 마찬가지로 확장된 ES에 대해 동일한 패킷 우선 순위 와 추가된 MB 버퍼들의 상태에 따라 다중화되고 발생되는 TS를 최종 출력 단에서 출력 관측부를 통해 TS 패킷을 출 력시키는 형태로 구현된다. 따라서, ES들의 MB 버퍼 상태 와 T-STD 버퍼 상태를 고려하여 출력하는 활성화 신호도 확장시켜 주었으며 이를 통해 추가된 비디오와 오디오에 대한 TS 패킷 출력이 이루어진다. 본 논문에서 가정하는 형태의 병렬처리 기반의 UHDTV 코덱에서는 재다중화 없이 프로그램 다중화 기법으로 UHD 다중화가 충분함을 알 수 있다. 표 1과 같다. 2. UHD TS 다중화 성능분석 위의 실험 조건에 따라서 본 논문의 TS 다중화 툴로 다중 화된 분할된 4 개의 부 HD TS를 재다중화한 UHD TS를 재생 툴(VLC player) 에서 정상적으로 재생됨을 확인하 였고 TS 분석 툴 을 이용한 신택스/시맨틱스 및 타이밍 적합성 검증에서도 규격을 만족함을 확인하였다. 이와 같 은 재다중화에 기반한 구조는 각 프로그램 TS를 PSI 갱신 없이 균일하게 다중화함으로써 PSI 및 PCR 패킷의 중복 [11] [9][10] Ⅳ. 실험 및 검증 본 장에서는 앞에서 설계한 다중화 툴을 이용하여 병렬 처리 기반의 UHDTV 코덱을 위한 다중화를 실험하고 재다 중화의 사용 여부에 따른 장단점에 대해서도 고찰한다. 또 한, 구현한 TS 다중화 툴을 상용 검증 툴 및 재생 툴 을 통하여 규격의 적합성 및 그 기능을 검증한다. [9][10] 1. [11] 실험 조건 다중화 구현에 사용한 TS와 PES 패킷화의 규격은 다음 그림 9. 다중화된 UHD TS 재생 확인 Fig. 9. Real-time presentation of UHD TS 표 1. 다중화 실험 조건 Table 1. Test condition of Multiplexing Video ES PES TS Audio Spatial-Temporal Resolution: - UHD: 3840x2160, 24p - sub HD: 1920x1080, 24p (YUV 4:2:0, 24 bits/pixel) H.264/AVC - Main@Level 4.2 - JM 15.0 Bitrate: 10 Mbps Duration: 30 sec (720 frames) 5.0 ch(l, R, C=L, SL=L, SR=R)*2 Sampling rate: 48 khz, 32ms AC-3 - ATSC - Stereo L, R 32 bits/sample Wav Bitrate: 448 kbps Duration: 29.942 sec (1,437,255 samples) AU length: variable Timestamp: PTS, DTS PTS/DTS AU interval: 3750-1/24 * 90,000 AU length: 1792 bytes Timestamp: PTS PTS AU interval: 2880-32ms * 90,000 TS Rate: 48 Mbps (12 Mbps for sub HD video)
., HD UHD TS. 9 TS VLC player UHD TS 4 HD. 2 UHD TS, 10(a), (b) TS 70 ms TS. PCR 0.08 TS 0.16 %, 0.04 % 0.1 T-STD PSI 0.25 %, 0.06 %. TS 10(a) 10(b) TS PSI PCR. UHD TS 4 TS PCR PSI. TS Null 12.63 % ES., UHD UHD. 2. UHD TS Table 2. All per packet composition of implementation UHD TS (%) PSI PCR Video Audio Null UHD TS 0.25 0.16 85.32 1.96 12.32 UHD TS 0.06 0.04 85.32 1.96 12.63 11 UHD TS PCR PSI, T-STD. 11(a) PCR 27 MHz, 11(b) PCR (Jitter). 11(c), (d) T-STD PSI 0.1., 11(e), (f) PES. 24 fps H.264/AVC 48 khz AC-3 ES PES PTS. (a) UHD TS (b) UHD TS 10. UHD TS (TS 70 ms ) Fig. 10. Packet composition of UHD TS(over 70 ms duration)
(a) System clock frequency(27 MHz ± 810Hz) (b) PCR jitter (c) Main Buffer(Bsys) (d) Transport Buffer(TBsys) (e) H.264/AVC PES (PTS ) (f) AC-3 PES (PTS ) 11. UHD TS Fig. 11. Compliance validation of generated UHD TS 3. HW UHD TS TS H.264/AVC AISC [13]. UHD TS PMT PID PID., H.264/AVC ES 4 AC-3 ES 2 MPEG-2 TS 4 PID PCR/PTS/DTS 4 HD-SDI., PMT 4 4K UHD HD. UHD TS / UHD ASIC UHDTV. V. MPEG-2 UHDTV SW
. 4K( 8K) UHD 4 HD H.264/AVC, 2 5.0 AC-3., H.264/AVC AC-3 TS PES. UHD 2 TS., UHD UHD. UHD TS TS. UHDTV HW. [1],,,,, " (UHD),", 24, 3, pp. 69-71, 2009 6. [2],,,,,, "UHDTV,", 36, 4, pp. 427-435, 2009 4. [3] S. Sakaida et al., "The super hi-vision codec," In Proc. IEEE ICIP, vol. 1, pp. I-21-I-24, Sep. 2007. [4] ISO/IEC 14496-10: Information technology - Coding of audio-visual objects - Part 10: Advanced video coding, 2008. [5] Digital Audio Compression Standard (AC-3, E-AC-3) Revision B, ATSC A/52B, Advanced Television Systems Committee, 2005. [6] ISO/IEC 13818-1: Information technology - Generic coding of moving pictures and associated audio information: Systems, 2007. [7] B. J. Lechner et al., "The ATSC transport layer, including program and system information protocol (PSIP)," In Proc. IEEE, vol. 94, pp. 77-101, Jan. 2006. [8] J. G. Kim, H. K. Lee, J. W. Kim, and J. H. Jeong, "Design and implementation of an MPEG-2 transport stream multiplexer for HDTV satellite broadcasting," IEEE Trans. Consumer Electronics, vol. 44, pp. 672-678, Aug. 1998. [9] MP2TSAE-Transport Stream Analyzer, http://www.manzanitasystems.com [10] MPEG2 TS packet analyzer, http://www.pjdaniel.org.uk/mpeg/ [11] VLC media player, http://www.videolan.org [12] tsmuxer, http://www.smlabs.net [13] STMicroelectronics, http://www.st.com - 2009 2 : - 2009 3 ~ : - : /, SVC, MPEG - 2010 2 : - 2010 3 ~ : - :, UHDTV, High-performance Video Coding
장의덕 외 : MPEG-2 TS 기반의 UHDTV 다중화 216 저자소개 김재곤 - 년 2월 : 경북대학교 전자공학과 학사 년 2월 : KAIST전기 및 전자공학과 석사 년 2월 : KAIST전기 및 전자공학과박사 년 3월 ~ 2007년 2월 : 한국전자통신연구원(ETRI) 선임연구원/팀장 년 9월 ~ 2002년 11월 : 뉴욕 콜롬비아대학교 연구원 년 9월 ~ 현재 : 한국항공대학교 항공전자 및 정보통신공학부 조교수 주관심분야 : 비디오 신호처리/부호화, 디지털방송 미디어, 미디어 컨버전스, 멀티미디어 통신 1990 1992 2005 1992 2001 2007 이응돈 - 년 2월 : 경북대학교 전자공학과 학사 졸 년 2월 : 경북대학교 전자공학과 석사 졸 년 8월 : 충남대학교 정보통신공학과 박사 졸 년 3월 ~ 1999년 11월 : (주)대우전자 VCR사업부/정보통신사업부 년 12월 ~ 2010년 현재 : 한국전자통신연구원 방송통신융합연구부문 선임연구원 주관심분야 : MPEG 시스템 기술, AV 부호화 기술, 멀티미디어 전송 기술(OFDM, WFMT, MIMO) 1994 1996 2009 1996 1999 조숙희 - 년 2월 : 부경대학교 전자계산학과 학사 년 2월 : 부경대학교 대학원 전자계산학과 석사 년 9월 : 요코하마국립대학교 대학원 전자정보통신공학과 박사 년 11월 ~ 현재 : 한국전자통신연구원 방통융합미디어연구부 선임연구원 년 11월 ~ 2005년 10월 : 캐나다 CRC (Communications Research Centre) 연구원 년 6월 ~ 2009년 12월 : 차세대방송표준포럼 UHDTV WG 의장 주관심분야 : Video Coding, UHDTV, MPEG-2/4 System 1993 1996 1999 1999 2004 2008 최진수 - 년 2월 : 경북대학교 전자공학과 공학사 년 2월 : 경북대학교 전자공학과 공학석사 년 2월 : 경북대학교 전자공학과 공학박사 년 5월 ~ 현재 : 한국전자통신연구원 책임연구원 재직 년 2월 ~ 2005년 3월 :한국전자통신연구원 데이터방송연구팀장 년 3월 ~ 현재 : 한국전자통신연구원 실감미디어연구팀장 년 10월 ~ 2006년 3월 : TTA 데이터방송프로젝트 그룹 의장 주관심분야 : 영상통신, UHDTV, 데이터방송 1990 1992 1996 1996 2001 2008 2004