차세대디지털 TV 기술동향 -Smart TV 중심 - 2011. 12. 7. 연세대학교전기전자공학부최윤식 (yschoe@yonsei.ac.kr) 1 디지털 TV 성장동향 2 1
디지털 TV 발전비전 발전비전디지털컨버전스가속화 Inteligence, Interaction, 개인화, 고품질 Always In, Invisible, 편리성, 고품질 융복합형디지털 TV/ 방송기기인터넷망디지털 TV DMB D-STB, PVR, 복합기능단말기 유비쿼터스지향형디지털 TV/ 방송기기언제어디서나접속가능한 Broadband 망 IPv6, Mobile 융합기기 실감형입체형디지털 TV/ 방송기기, 지능네트워크 입체실감정보수신기차세대 TV/ 방송기기스마트 HCI( 자동인식, 번역, 해석 ) Active Network 2003 2010 2012 3 디지털영상통신기기기반미래환경 Multimedia Conference Air-flow Controller T-Commerce Analog TVDBS STB Converter CATV VCR Video on Demand Remote Learning 안방 TV Wireless Monitor (wireless AV RX) Home Media Center 무선 AV Receiver (wireless AV RX) PC (TX+RX) 작은방 TV Portable DVD Security Monitoring Visitor Notification 4 2
디지털영상정보기기성장전망 (DTV/DMB/BcN) 5 디지털 TV 방송 고선명영상과고품질음향의방송콘텐츠를언제어디서나자유롭게선택하여시청하고, 데이터방송등다양한부가서비스를제공하는디지털방송서비스, 시스템및단말 어디서나시청가능 언제나시청가능 지상파 누구나, 개인취향의프로그램시청가능 TV 유무선통신망게임기 디지털 TV = 홈플랫폼 위성 컴퓨터정보가전가전정보화 케이블 T-Government, T-Commerce 6 현장감있는실감영상 / 음향제공 출처 : Cahners In-Stat(2003.2), ETRI(2003. 10) 3
DTV/ 방송서비스발전전망 Quality 2010 년고화질 2000 년실감 T V T 컬 T V 컬러 TV 러 V 방송흑 T 흑백 TV 백 V 방송음 Radio 향방송 UDTV 방송 HDTV 방송 디지털 TV T V 방송 CATV 방송 DAB 3DTV 방송 양방향데이터방송 DMB Internet 오디오방송 지능형방송등 Internet TV 방송 실감방송 Interactivity 단순시청형정보선택형정보맞춤형정보창조형 7 지상파미국방식 Digital TV 카메라 마이크 영상부호화 음성부호화 Data 부호화 다 중 화 채널 부호화 Digital 변조 Digital 복조 채널 복호화 역다중화 영상복호화 음성복호화 Data 복호화 SD : 216Mbps HD : 1.2Gbps SD : 3-4Mbps (MPEG2 MP@ML) HD : 17-18Mbps (MPEG2 MP@HL) SDTV SD 급 e.g. 미국디지털방송영상규격 HD급 6종류의 HD 방송규격 SD 급 12 종류의 SD 방송규격 HD 프로그램상호교환규격 : 1080 x 1920, 24p/50i/60i 모든포맷의영상복호화 + 디스플레이장치를고려한영상포맷변환 Display HDTV HD급 Display 8 4
개선된미국방식 E-VSB Dual Stream 19.4 Mbps HDTV * Many Different Mixes Available SDTV / Data / Fallback-Audio Services 9 지상파유럽방식 DVB-T Nearly the same conditions for portable reception as well as mobile reception The only difference is the value of Doppler frequency Broadcast standards has to be use more then 15 years A new TV transmission system has also support mobile reception 10 5
지상파유럽방식 DVB-T (OFDM Modulation) a f Q Q Q Q I I I I QPSK 16-QAM 64-QAM QPSK in 64-QAM 11 지상파유럽방식 DVB-T (SFN Capability) Problems Shadows High Loss Doppler Shift Solution SFN High ERP 12 6
각국별디지털 TV 동향 미국, 캐나다 : ATSC, HD 중심, E-VSB 대화면디스플레이 (LCD, PDP, DLP), 국내업체선전 영국 : 1998 DVB-T, SD 방송, 16QAM 독일 : DVB-T SD Multi-channel, 16QAM Mobile 호주 : DVB-T, 64QAM Triplecast, Low resolution HD or ED 싱가폴 : DVB-T, QPSK Mobile, SFN 대만 : DVB-T, SD, 16QAM 일본 : ISDB-T, DVB-T 의변형, 13 segments Low resolution HD + Mobile 13 DMB 의특징요소 14 7
DMB 방식종류 지상파 DMB T-DMB: Eureka-147 기반의국내방식 DVB-H : DVB-T와호환 Nokia가주도 위성파 DMB System-E : Toshiba, 삼성전자주도 이동통신용 Multimedia 방송 Qualcomm MediaFLO 15 통신방송융합 통신방송융합 세계 통신방송융합망기술 - ITU-T 에서 Digital Convergence 에대비한차세대네트워크 (NGN : Next Generation Network) 표준화완성 멀티미디어프레임워크기술 - 인터넷환경에서의 N-screen Service 를위해서 MPEG 에서 DASH(Dynamic Adaptive Streaming with HTTP) 규격제정중국내 통신방송융합기술 - Digital Convergence 에대비한차세대통합네트워크 (BcN : Broadband convergence Network) 구축중 - 양방향 DMB 데이터방송을위한 DMB 망과이동통신망과의연동기술개발중 - 인터넷을결합한 Smart TV 출시 16 8
디지털 Convergence (BcN) Concept Many person One Machine One person Some machine BcN 초기 One person Many machine smart dust..................... BcN 완성기 Network Service Mainly wire line 1980-1990 2004~ 2010 Wire/wireless/satellite converged network Ubiquitous network Each services provided Converged and ubiquitous service (Interindustry service such as m-commerce,home individually (Wire service, Wireless service) network, USN, etc.) 17 BcN(Broadband convergence Network) 광대역서비스제공을의한통합네트워크 ( Broadband + Convergence ) BcN -BcN 은유비퀴터스네트워크구현을위한기본인프라 - 광대역네트워크통합 : 유무선및방송망의광대역화및통합환경구축 - 광대역서비스통합 : 광대역통합멀티미디어서비스제공 DMB cdma2000 1x/Ev-Do M-Commerce Multimedia Applications Bankin g Home Broadcasting Game Appliance BcN (Broadband convergence Network) New Air Interface xdsl/ftth WCDMA DAB : Digital Audio Broadcasting DVB : Digital Video Broadcasting WCDMA : Wideband CDMA Home NetworkRG AP AP WLAN AP WiBro WiBro : Wireless Broadband FTTH : Fiber To The Home WLAN : Wireless LAN 18 9
BcN 의구성요소 무선네트워크종류 WPAN(Wireless Personal Area Network) : 1~10m Bluetooth RFID UWB Zigbee WLAN(Wireless Local Area Network) : 10~20m IEEE802.11b/g/a (11Mbps/54Mbps[2.4GHz]/54Mbps[5GHz]) : Wi-Fi 인증제도운영 WWAN(Wireless Wide Area Network) : 수 Kilometer CDMA ( 미국중심 ) GSM ( 유럽 ) GPRS ( 유럽 / 중국중심 ) 19 지상파 DMB 20 10
Overview of DAB Eureka-147 DAB A reliable multi-service digital broadcasting system for reception by mobile, portable and fixed receivers with a simple, non-directional antenna. Can be used on terrestrial, satellite, hybrid (satellite with complementary terrestrial) and cable broadcast networks 21 Concept of Korean T-DMB Personal 시청 / 청취 기존방송 공동고정시청 / 청취 Mobile 자동차 이동단말 통신 + TV 시청 + 오디오청취 TV/Radio 별도 platform Multimedia platform 비디오, 오디오, 데이터등다양한멀티미디어컨텐츠를동일플랫폼에서제공 DMB기반방송통신융합서비스종합서비스 Eureka-147 기반의 듣는방송 에서 보고듣는멀티미디어방송 으로의전세계에서최초로시도되는새로운서비스 기존아날로그 AM, FM 라디오방송에서디지털멀티미디어방송방식으로의전환 방송과통신서비스가융합된단일종합서비스시스템 22 11
Concept of Korean T-DMB M C I & S I TDC EW S 2 Ch Multi Ch D L S T D C MOT Broadcasting Web Site Interactive Service JPEG Slide Show Video Audio PAD NPAD TPEG.DGPS etc IP MPEG4 Tunnelling TDC A/V MPEG4 Data MPEG4 LIVE TV Block Code FIDC Audio Service Data Service Video Service FIC DAB(Eureka-147) DMB MSC 23 Concept of Korean T-DMB MPEG-4 AVC Video MPEG-4 SL Encapsulation MPEG-4 BSAC Audio MPEG-4 SL Encapsulation MPEG-4 BIFS Interactive Contents MPEG-4 SL Encapsulation MPEG-2 TS Multiplexing Forward Error Correction Eu-147 Stream Mode 24 12
DVB-H DVB-H is meant for IP-based services via MPE insertion DVB-H can share DVB-T multiplex with MPEG2 services Portable/indoor coverage should be built to the network for fully exploit the DVB-H possibilities business-wise 25 Media FLO 26 13
27 3-D TV ( 국내방식 ) 28 14
듀얼스트림 (dual stream) 방식 좌우영상을각각인코딩하여 MPEG-2 시스템규격에부합되도록다중화하여전송 : 역방향호환성보장 29 3-D TV 실험방송환경 30 15
실험방송환경별 3-D TV 방송규격 31 Smart TV 32 16
Smart TV 제품현황 소니와인텔의 Google TV 삼성 App. Store TV 화면 33 Smart TV 제품현황 Google TV Overview 34 17
Smart TV 제품현황 Apple 의 N-Screen 전략 35 국내 외시장 (Smart TV) 최근 IT 산업의핵심인스마트폰시장은매년엄청난성장률을보임. 스마트모바일단말기기의고성능화는고품질 고해상도의비디오콘텐츠감상을가능하게함. 이에따른모바일데이터사용량은매년급증하고있음. 따라서고화질 고해상도화되어가는비디오콘텐츠를위한비디오스트리밍서비스기술확보가시급한상황임. IDC 의전세계휴대폰및스마트폰출하량추이및전망 전세계모바일데이터사용량전망 36 36 18
국내 외시장 (Smart TV) 최근스마트 TV 의등장으로인해 N 스크린서비스가좀더용이해짐. 아직초기단계인스마트 TV 시장은국내시장의경우에는 2010 년약 13% 에서, 2013 년엔전체 TV 시장의절반을차지할만큼급격히성장할것으로예측됨. 스마트 TV 시장의성장률 스마트 TV 에서는 TV 디스플레이의크기및해상도의특성상, HD 이상의고해상도비디오콘텐츠의스트리밍서비스가요구됨. 37 37 Smart TV 기술동향서비스시스템표준 세계 유럽 - HbbTV(Hybrid broadcast broadband TV) : 지상파방송및 Web 기반의 Internet 망을모두사용하는서비스표준제정중 MPEG - DASH (Dynamic Adaptive Streaming over HTTP): HTTP 망에구현된 VoD, 실시간동영상스트리밍을효율적으로전송하기위한표준규격제정중 미국 - ATSC-NRT, ATSC-2.0 : 3-D TV 방송까지를포함한서비스규격제정중 국내 KBS - OHTV(Open Hybrid TV): 지상파와 Internet 망을상호연동하는서비스규격제정중 Analog-Digital 전환기에사용하기편함. 38 19
Smart TV 기술동향 TV 경쟁원천의이동 TV Content/Service : CP(Content Provider), SP( 방송국 ) Terminal : TV Network : 방송망 IPTV Content/Service : CP(Content Provider), SP( 방송국 ) Platform : 제한된플렛폼 Terminal : 셋탑박스 Network : 인터넷 ( 전용망 ) 39 Smart TV 기술동향 Smart TV Content/Service : CP(Content Provider), SP( 방송국 ), SP(Internet Service Provider) Platform : 개방형플렛폼 (Clouding Server 포함 ) Terminal : 일체형 TV/ 셋탑박스 Network : 방송망, 유무선인터넷 기타 : N-Screen 서비스, 지능형 UI, 고화질서비스로의진화 40 20
Smart TV (TV + Internet) 41 Home Network Server 개요 방송망전송망유선망댁내망 satellite DMB WiBro Broadcasting CATV 무선망 Main server CP/PP/SP ISP CATV Company Ethernet PLC WLAN 802.15.4 (ZigBee). Digital appliance VOD, A/V CDMA 2000 1X 1x EV-DO W-CDMA Telematics WLAN AP Wireless BcN 기타서비스 FTTH HFC xdsl Home G/W STB Devices Communication Care, Education, Infortainmerced, etc. 정통부 IT839 전략중하나 42 21
서버형 DTV 43 NDR(Networked Digital Recorder) 이용시나리오 44 22
커뮤니티로의 NDR 확장 2 차소비 1 차소비 NDR User Group HOME 휴대형미디어기기 1 개인컨텐츠발행 HOME NDR 방송 / 저장컨텐츠스트리밍 휴대형미디어기기 2 방송컨텐츠 NDR (Networked Storage Device 역할수행 ) 컨텐츠전송 / 공유 (MPEG-21 DID 기반컨텐츠패키징 ) 컨텐츠아카이빙서버형 NDR 에저장 HOME NDR NDR User Group CAS (CableCard) + Embedded DRM Security 45 IP-NDR 플랫폼기반공유형콘텐츠활용 APPLICATION TV Community ( 공유그룹설정 ) TV Community ( 공유그룹관리 ) TV Blog ( 드라마 TV 블로그 ) TV Blog ( 개인형 TV 블로그 ) 46 23
개방형 IP 컨버전스오픈미디어서비스기반 NDR 플랫폼기술 오픈미디어채널서비스 NDR 플랫폼협업형VOD 서비스 NDR 커뮤니티케스팅서비스 NDR 커뮤니티 TV 서비스 47 오픈미디어서비스 NDR HW 플랫폼개발 (HW 측면 ) NDR HW 플랫폼 (SMP 8634 기반 ) NDR HW 플랫폼 (SMP 8654 기반 ) NDR HW 플랫폼기능블록 48 48 24
Internet 기반 P2P 스트리밍서비스 (Live 방식과 VoD 방식 ) 49 Advanced Smart TV (N-Screen Service & Clouding) 50 25
국내 외연구현황 (Advanced Smart TV) 스마트모바일기기의발전, 스마트 TV 의등장, 클라우드컴퓨팅의등장으로인해통합형멀티미디어서비스의활성화가가능하게됨. 스마트모바일기기의발전 스마트 TV 클라우드컴퓨팅 통합형멀티미디어서비스의활성화 51 51 국내 외연구현황 (Advanced Smart TV) 클라우드컴퓨팅또한 N스크린서비스의핵심기술이라할수있음. 클라우드컴퓨팅을통해서버에저장되어있는하나의멀티미디어콘텐츠를서로다른컴퓨터, 단말기, TV에서모두공유하는것이가능해짐. 클라우드컴퓨팅과 N 스크린개념도 52 52 26
클라우드컴퓨팅기반의고화질비디오스트리밍서비스를위한요구사항 고화질, 고해상도의콘텐츠제공 제한된대역폭내에서다수의사용자들에게고화질비디오데이터를전송하기위해서는비디오부호화효율을높이거나많은비디오데이터의동시처리, 전송대역폭을효율적으로사용해야하는기술적지원이뒷받침되어야함. 저비용고효율서비스시스템구축 클라우드서버는고가의장비이기때문에, 시스템구축비용자체가서비스사업의걸림돌이될수있음. 따라서제한된서버자원의효율적관리및최적화등의기술적지원이필요함. 고품질의스트리밍서비스제공 고화질비디오스트리밍은 QoS 및신뢰성보장이어려우며, 따라서이러한변화를최소화하고상황에따라적응적으로스트리밍서비스가이루어지기위한기술적지원이필요함. 53 53 N-Screen 스마트 TV 서비스개념도 54 27
SVC 를이용한 N-Screen VoD 서비스개념도 55 H.264/AVC 에서 SVC 로변환하는트랜스코더 56 28
Advanced Smart TV ( 초고화질 TV: HEVC) 57 Introduction Motivation Large quantity of video material over broadcast channels, digital networks Demand for increased resolution and higher quality Evolution of video acquisition and display technologies faster than network capabilities New video coding standard with higher efficiency than H.264/AVC is needed! Goals Better coding efficiency at higher resolutions Suitability to a wide variety of applications (mobile HD, home cinema, UHDTV) 58 29
Introduction Case Study: UHDTV Resolutions and Data Rates Video Formats Date Rates HD 1920x1080, YUV4:2:0, 8 bits, 30fps 746Mbps 3840x2160, YUV4:2:0, 8bits, 30fps 3Gbps 4K UHD 3840x2160, YUV4:2:2, 10bits, 30fps 5Gbps 3840x2160, YUV4:4:4, 12bits, 60fps 18Gbps 7680x4320, YUV4:2:0, 8bits, 30fps 12Gbps 8K UHD 7680x4320, YUV4:2:2, 10bits, 30fps 20Gbps 7680x4320, YUV4:4:4, 12bits, 60fps 72Gbps 4 times 16 times 59 Overview : HEVC Standardization Applications 60 30
Overview : HEVC Standardization Responses to CfP and Evaluation of Proposals Anchor : H.264/AVC High Profile Proposals Constraint set 1 (%) Constraint set 2 (%) Average Bit-rate reduction (%) JCTVC-A124 39.49 39.48 39.49 JCTVC-A121 30.85 32.92 31.89 JCTVC-A114 31.64 30.58 31.11 JCTVC-A125 31.95 29.97 30.96 JCTVC-A109 28.45 28.38 28.42 JCTVC-A117 28.77 26.05 27.41 JCTVC-A127 28.58 24.03 26.31 JCTVC-A116 29.79 22.17 25.98 JCTVC-A123 22.00 22.13 22.07 JCTVC-A118 22.11 21.94 22.03 Constraint set 1 : Random access per 1 second, Hierarchical-B structure Constraint set 2 : Low delay, No picture reordering 61 HEVC Standardization Roadmap 2009 2010 2011 2012 2013 2014 Requirements on new video coding standard for UHD. 2009.04 : Call for Evidence (CfE). 2009.07 : Responses to CfE and Evaluation. 2010.01 : Call for Proposals (CfP), JCT-VC establishment. 2010.04 : Responses to CfP and Evaluation. Test Model under Consideration (TMuC). 2010.10 : Release HEVC Test Model (HM) 1.0 and Working Draft (WD) 1 Core Experiments and Reference software upgrade. 2011.01 : Release HM 2.0 and WD 2 62 2012.02 : Committee Draft (CD). 2012.07 : Final Committee Draft (FCD) / Draft International Standard (DIS). Develop S/Wbased application 2013.01 : Final Draft International Standard (FDIS) Design Profile and Level 2013.04 : International Standard (IS) expectation Discuss Amendment on HEVC (Scalability, Develop H/Wbased Multi-view ) application f Release products supporting HEVC baseline decoder. H/W and S/W products 31
Advanced Smart TV ( 지능형 UI, DRM) 63 지능형 TV Intelligent streaming 개인프로파일이동 Intelligent Scalability 인터액티브 DTV BcN Adaptive Protocol Transformer 개인형 DTV 단순히시청상황을센싱 인터액티브한시청환경제어 64 64 32
지능형마우스 동작인식모듈 감지영역 마우스영역 영상획득부 영상전처리부 손끝위치정보추출부 Camera 손끝궤적수정 / 분석부 마우스영역재설정부 클릭명령결정부 DTV 커서위치결정부 최종커서위치 / 클릭명령전달부 65 65 2 차원기반지시동작인식및반응기술 Detection Area Active Detection Area Hand Tip Viewer Camera DTV 실시간영상처리에의한신규진입물체의최선단검출 66 66 33
프로그램추천기술 원격프로파일충전 DMB EPG data 외부채널서버 센서보드 USN Smart Phone Smart TV NDR NDR 프로파일이동 Internet/Local Network 범례시청프로그램로그프로파일 / 추천프로그램상황데이터액츄에이터실행데이터 글로벌커뮤니티프로파일서버 User Profile Recharger 센서데이터인코딩 / 디코딩모듈 실시간데이터스트림마이닝모듈빈발항목연관규칙클러스터링집합 67 67 시청패턴프로파일생성을위한시청자 / 커뮤니티별선호시청내역 선호시청내역 사용자 장소 시간 키워드 아버지 집 저녁 뉴스, 바둑, 드라마 새벽 영화, 공포 직장 오후 뉴스, 증권, 경제 어머니 집 오전 드라마, 홈쇼핑 오후 요가 저녁 요리, 드라마 아들 집 저녁 게임, 오락 학교 오후 교육 커뮤니티산악회연세대축구단 선호시청내역키워드스포츠, 골프연예, 버라이어티스포츠, 축구 68 68 34
프로파일이동기법및원격프로파일충전기술 ( 스마트폰인터페이스 ) 69 69 NDR 플랫폼오픈미디어서비스보안기술 오픈미디어서비스플랫폼용라이센스관리시스템 NDR 오픈미디어채널콘텐츠라이센스 NDR 플랫폼용라이센스 Broker 오픈미디어채널콘텐츠재생라이센스처리 NDR용라이센스생성및발급처리 라이센스권한처리 라이센스파서내장 외부 NDR 단말혹은시스템과의연동 NDR 오픈미디어채널콘텐츠라이센스발급 70 35
감사합니다 Q & A 71 71 36