3DTV a), a), a), a), b) Development of High-definition 3DTV Experimental System based on Dual Stream Method Gwangsoon Lee a), Kwanghee Jung a), Won-Sik Cheong a), Namho Hur a), and Kyungsoo Pyo b) 3DTV. 2010 3DTV,, 3,. MPEG-2,. 3DTV 3DTV, 3DTV. Abstract This paper introduces an development of high-definition(hd) 3DTV experimental broadcasting system and its experimental service that has been launched via three broadcasting network including terrestrial, cable and satellite in the late of 2010. This 3DTV experimental broadcasting service employs an innovative 3DTV broadcasting mechanism, called as dual stream method in which left and right images are encoded by using each video encoder and multiplexed using MPEG-2 system technology for guaranteeing backward-compatibility with legacy DTV. This paper specifically describes the developed experimental broadcasting system, concentrating on 3DTV re-multiplexer and 3DTV receiver. Finally, implementation and terrestrial 3DTV experimental broadcasting service results will be introduced from the point of objective and subjective evaluation. Keyword : 3DTV, stereoscopic video, dual stream, trial service I. a) Broadcasting System Research Department, Electronics and Telecommunications Research Institute b) Department of Electronic Engineering, Dong-A University : (gslee@etri.re.kr) (2011 3 5 ), (2011 4 29 ), (2011 5 6 ) 3DTV DTV,,, IPTV 3. 3D,
,,, 3D, 3D 3D. 3DTV,,, [1][2].,, (frame-compatible) 3D [3][4]. 3DTV, 3DTV, 3DTV 2010 3DTV [5]. 3DTV,, 3. 3DTV MPEG-2 (ISO/IEC 13818-1) [6] 3DTV (dual stream). HD. DTV HD 17~18Mbps. MPEG-2 [7] MPEG-4 AVC ITU-T H.264 ( : H.264) [8]. 2 3DTV., 3DTV 3DTV. 3 3DTV, 4. II. 3DTV 1. 3DTV 1 3DTV 1. 3DTV Fig. 1. Configuration of HD 3DTV Experimental broadcasting system
이광순 외 듀얼스트림 방식에 기반한 고화질 : 도를 보여주고 있다. 지상파 방송의 경우 방송사에 3DTV 실험방송을 위한 헤드엔드 장비를 설치하고 마이크로웨이 브(M/W)를 통해 관악산 송신소로 신호를 전송, 증폭 후 방 송 송출한다. 헤드엔드 장비로는 종래의 주파수 대역폭 (6MHz)을 이용하여 기존 TV와의 호환성을 유지하면서 고 화질 3DTV 전송스트림(transport stream) 생성이 가능한 3DTV 인코더가 개발된다. 케이블방송은 디지털미디어센터 또는 SO에 3DTV 실험방송 헤드엔드 장비를 설치하고, 위 성방송은 목동 방송센터에 헤드엔드 장비를 설치하여 케이 블망 및 위성망을 통해 3DTV 전송스트림이 송출된다. 수신 측에서 보면 각 실험방송 대상가구에 설치된 고화질 3DTV 수신기는 지상파, 케이블 및 위성방송 신호를 선택적으로 수 신하며, 고화질의 2D 방송 혹은 3D 방송을 시청하게 한다. 그림 2는 본 고화질 3DTV 실험방송을 위해 채택된 듀얼 스트림(dual stream) 3DTV 전송방식의 개념도를 보여주고 있다. 역방향 호환성 및 고화질의 방송을 동시에 보장하기 위해, 좌영상 및 우영상을 기본 비디오 인코더(base video encoder) 및 부가 비디오 인코더(additional video encoder) 를 통해 각각 인코딩한다. 여기서 지상파 방송용 기본 비디 오 인코더는 기존의 DTV 방송과 호환성을 보장하기 위하 여 MPEG-2 비디오규격을 따르며 케이블 및 위성 방송용은 H.264 비디오 규격을 따른다. 부가 비디오 인코더는 지상 파방송의 경우에도 고화질을 제공하기 위하여 H.264 비디 3DTV 실험방송 시스템 개발 오 규격을 따른다. 인코딩된 각각의 기본스트림(elementary steam)은 MPEG-2 시스템 규격에 따라 각각 PES 패킷화 (packet elementary stream packetization)된 후 서로 다른 PID (packet identifier)값을 갖도록 전송스트림으로 분할되 어 다중화한다. 여기서 좌우영상의 동기화 재생을 위해 PES 패킷에 AU(access unit)단위로 삽입되는 PTS (presentation time stamp)는 동일한 값을 가지도록 하며, 좌우영상 을 인코딩한 기본스트림은 한 프로그램(program)내에 별도 의 프로그램 요소(program element)로 구성되도록 한다. 이 에 따라 프로그램의 구성정보 및 부가정보를 기술하기 위 한 PMT (program map table)는 표준규격 범위 내에서 확장 하며, 그 기본구조는 표 1에서와 같다. 좌영상 및 우영상이 각각 인코딩된 기본영상 기본스트림 및 부가영상 기본스트 림은 한 프로그램내에 다중화되므로, 각각 PMT내 두 번째 루프에서 고유의 PID 및 인코딩 규격에 부합되는 스트림 타입(stream_type)값을 가진다. MPEG-2 시스템 규격에 따르면, 수신기는 하나의 전송스 트림으로부터 원하는 PID 값의 기본스트림을 필터링할 수 있다. 따라서, 기존의 2차원 DTV수신기는 좌영상을 인코 딩한 기본스트림(예; PID=0x0101)만을 필터링한 후 디코 딩함으로써, 기본영상만을 재생하게 되어 역방향 호환성을 보장한다. 또한 기존의 2차원 DTV수신기는 우영상을 인코 딩한 기본스트림의 타입(예: stream_type=0x1b)을 인식하 Single Program Encoder Base Video Encoder Left Images Right Images Terrestrial, Satellite and Cable: H.264 TS-Multiplexer Additional Video Encoder PES Packetizer Terrestrial: MPEG-2 Video Satellite, Cable: H.264 Channel Encoder & 8-VSB Modulator HPA 2D HDTV Audio Encoder (AC-3) Audio PAT PMT (extended) 3DTV Receiver 3DTV PSI/PSIP Generator 그림 2. 듀얼스트림 방식의 고화질3DTV 실험방송 전송 개념도 473 Fig. 2. Conceptional diagram of HD 3DTV experimental system in dual stream method
PMT. 3DTV ( ; PID=0x0102, stream_ type=0x1b), 3DTV. PMT (1st descriptor loop) 2D/3D, (2nd descriptor loop). 2D/3D 2 3DTV. 2D 3D. 2. 3DTV 3DTV 3DTV PC, (dualchannel) AV 3DTV. AV MMS(MultiMode service) MPEG-2 H.264 AV,.,., 3DTV, PMT, 3. 1. 3DTV PMT Table 1. PMT configuration in terrestrial 3DTV experimental broadcasting TS_program_map_section() { } : 8 program_info_length 12 descriptor() 2D or 3D 프로그램구분정보기술 // (Left image) stream_type 8 0x02 (MPEG-2 video stream) Reserved 3 elementary_pid 13 ) 0x0101 Reserved 4 ES_info_length 12 descriptor() 기본영상에대한정보기술 // (Right image) stream_type 8 0x1B (AVC video stream) Reserved 3 elementary_pid 13 ) 0x0102 Reserved 4 ES_info_length 12 descriptor() 부가영상에대한정보기술 :
3DTV Re-Multiplexer. PSI Analyzer PSI Geneartor Dual channel AV Encoder UDP /IP MPEG- 2 TS TS De-Multiplexer PES De-Packetizer Synchronizer PES Packetizer TS De-Multiplexer DVB- ASI Card De-Multiplexer Multiplexer 3. 3DTV Fig. 3. Block diagram of 3DTV re-multiplexe 3 AV UDP/IP (De-Multiplexer),. (synchronizer) (stereo- scopic pair), PTS PCR. (Multiplexer), PTS PCR. PSI (generator) PSI (parser) PAT PMT. DVB-ASI. 3. PC 3DTV 3DTV 4 PCI (windows) PC. RF, TV RF,, MPEG-2 TS, PCI SW. PC SW TS (TS De-multiplexer) MPEG-2 PAT, PMT PSI,, (PES). PES (PES De-Packetizer),. PES, AU(access unit) PTS. (base video decoder) MPEG-2, H.264, (additional video decoder) H.264. 3D (3D video formatter) 3D. (interlaced scanning), (de-interlacing) (progressive scanning)., side-by-side, top&bottom, 2D. 3DTV
. 4. 3DTV Fig. 4. Block diagram of HD 3DTV receiver for experimental service. 3DTV 3DTV HDMI 1.4 [9] 1,920x1,080p @30Hz(Frame packing).,, (HDMI 1.3, 1,920x 1,080p @60Hz) HDMI 1.4, 1,920x1,080p @30Hz(Frame packing) PCI. 5, 3DTV 3DTV, 3DTV. (1920X1080i, @60Hz) 1920X 1080p @60Hz (Frame Sequential). 60p 30p., HDMI 1.4 1920X1080p @30Hz(Frame packing) 3DTV Receiver HDMI 1.4 Card 3DTV HDMI 1.3 to 1.4 Conversion 540 540 1080 i 1080 i 1 2 3? 1 2 3? 3D Image Format Conversion 1920 L L (Primary Video) 1920 R R (Additional Video) Dual Stream 1920X1080, 60i 1080 P 1 2 3? L 1920 (Primary Video) R (Additional Video) Frame Sequential 1920X1080, 60P (HDMI 1.3) 1080 P 45 HDMI 1.4 Format 1 2 3? L (Primary Video) Active space R 1920 1080 P (Additional Video) 1920X1080, Frame packing 30P Frame packing (HDMI 1.4). 5. PC 3DTV 3DTV Fig. 5. Interface between PC-based 3DTV receiver and 3DTV set 1080 Display Format 1920 L Line-by-Line R Frame-by-Frame Glasses-type 3DTV (shuttering, polarized)
. HDMI 1.4 PCI 1,920x1,080p @30Hz(Frame packing) 5. 3DTV 240Hz Frame-by-Frame, 60Hz Line-by-line. III. 1. 3DTV 3DTV, 3DTV 3DTV. 6., (dual-link) 3Gbps HD-SDI(serial digital interface) VCR, 3D 3DTV. SW 3DTV, 2.3 3DTV, AV 3DTV 3DTV. AV 5. 3DTV, 3~4., 3DTV RF (RF tuner card),,, HDMI 1.4 PCI HDMI 1.4 1,920x1,080p @30Hz(Frame packing) 3DTV 3DTV., 3DTV,. 100 3DTV 3DTV 3DTV. 3DTV 2010 10, 7 L Terrestrial TV Broadcaster M/W Link 2D HDTV 3G VTR R MPEG-2/H.264 AV Encoder 3DTV Re-Multiplexer Transmitter 3DTV Receiver 3DTV. 6. 3DTV ( ) Fig. 6. Developed HD 3DTV experimental broadcasting system (Terrestrial) RF Tuner Card HDMI 1.4 PCI Card
DTV 3DTV. 3DTV 2. 2D 3D., 3DTV. 3,,., DTV side-by-side 3DTV 3DTV PSNR(Peak signal to noise ratio). 7. 3DTV Fig. 7. Verification of 3DTV experimental broadcasting service guaranteeing backward-compatibility 3. Table 3. Test condition for objective picture quality evaluation 2. 3DTV,, (19.39Mbps) 3DTV 3, MPEG-2 ( ) DTV : MPEG-2 Video, 18Mbps Side-by-side : Side-by-side MPEG- 2 Video(18Mbps) / : MPEG-2 Video, 12Mbps 2. 3DTV Table 2. Test environment for HD 3DTV experimental broadcasting Broadcasting Standard Terrestrial Cable Satellite ATSC OpenCable DVB-S2 Frequency CH 66 CH 97 12.59 GHz Bandwidth 6MHz 6MHz 36MHz Modulation 8 VSB 256 QAM 8 PSK FEC (code rate) TCM (2/3) TCM (38/40) LDPC (3/4) Effective data rate 19.39 Mbps 38 Mbps 35 Mbps Bit-rate allocation for 3D video (video codec) Left : 12 Mbps (MPEG-2) Right: 6 Mbps (H.264) Left : 17.5 Mbps (H.264) Right: 17.5 Mbps (H.264) Left : 17.5 Mbps (H.264) Right: 17.5 Mbps (H.264)) Image Resolution 1920x1080 @ 60i 1920x1080 @ 60i 1920x1080 @ 60i Service area Local (Seoul) Local (Seoul) Nationwide
2D. 2D 3DTV 2D. 3 DTV MPEG-2 (18 Mbps), side-by-side MPEG-2 (18 Mbps), MPEG-2 (12 Mbps). 8 (a) (b) (c) 8. DTV, Side-by-side PSNR Fig. 8. PSNR comparison of left view images among DTV, side-by-side and experimental broadcasting method
PSNR. 8 DTV, Side-byside 1~2dB 9. Side-by-side 3DTV 2D., 3DTV DTV Side-by-side. 3DTV DTV. Side-by-side 3D 2D, 2010 11 23 24 100 ( 49, 51 ) Gang survey. Gang survey 3D 3D 3D,, 3. 10. 10 3D (, Side-by-side, ) 3D,. 11. Side-by-side. (a) (b) Side-by-side (c) 9. Fig. 9. Comparison of picture quality among 3DTV methods 10. Fig. 10. Configuration of image sequence for subjective evaluation
(a) (b) (c) 11. (Gang Survey) Fig. 11. Results of subjective evaluation(gang Survey) 3D,. Sideby-side., Side-by-side 0.2. 3D. 3DTV 3DTV, 73% 58%. 3DTV, 77%, 3DTV 35%. 3DTV, 3DTV, 3DTV. TV 132 3DTV 91 3D 2D 3DTV. IV. 3DTV. 3DTV, 3DTV 3DTV 3DTV., 100 3DTV. (side-by-side). 2011. [1] Discussion forum "3D in the Home: How Close are We?", Stereoscopic Displays and Applications XVIII, San Jose, California, USA, 2007. [2] 3D@Home Consortium (http://www.3dathome.org) [3] N. Hur et al., "An HDTV-compatible 3DTV broadcasting system," ETRI Journal, vol. 26, no.2, pp.71-82, 2004 [4] ISO/IEC JTC1/SC29/WG11, "A Frame Compatible System for 3D Delivery", Doc. M17925, Geneva, Switzerland, July 2010. [5] 3DTV, ETRI, 2010. 1.
[6] ISO/IEC 13818-1, Information Technology Generic Coding of Moving Pictures and Associated AudioInformation: System, Dec. 1997. [7] ISO/IEC 13818-2, Information Technology Generic Coding of Moving Pictures and Associated Audio: Video, Feb. 1994. [8] ITU-T Rec. H.264 ISO/IEC 14496-10 AVC, Advanced Video Coding for Generic Audiovisual Services, Mar. 2003. [9] "HDMI Specification 1.3a Section 6.3,"HDMI Licensing, LLC, 2006. - 1993 : - 1995 : - 2004 : - 2001 ~ : - : 3DTV,, - 2007 : - 2009 : - 2009 ~ : - : 3DTV, 3D,. -1992 2 : ( ) -1994 2 : ( ) -2000 2 : ( ) -2000 5 ~ : / - : 3DTV,,, MPEG - 1992 2 : - 1994 2 : - 2000 2 : - 2000 4 ~ : - 2005 9 ~ : - :, 3DTV, - 2003 2 : - 2005 2 : - :,