스마트 TV 기술동향 2011. 9. 2. 연세대학교전기전자공학부최윤식 (yschoe@yonsei.ac.kr) 1
순서 스마트 TV 의기술동향 스마트 TV TV+ Internet ( 예 : Networked Digital Recorder(NDR)) Advanced Smart TV Cloud & N-Screen Service 초고화질 TV : HEVC 지능형 UI, DRM 2
DTV/ 방송서비스발전전망 Quality 고화질실감 T V T V 음향 2010 년 2000 년 컬 T 컬러 TV 러 V 방송흑 T 흑백 TV 백 V 방송 Radio 방송 UDTV 방송 HDTV 방송 디지털 TV T V 방송 CATV 방송 DAB 3DTV 방송 양방향데이터방송 DMB Internet 오디오방송 지능형방송등 Internet TV 방송 실감방송 Interactivity 단순시청형정보선택형정보맞춤형정보창조형 3
Smart TV 기술동향서비스시스템표준 세계 유럽 - HbbTV(Hybrid broadcast broadband TV) : 지상파방송및 Web 기반의 Internet 망을모두사용하는서비스표준제정중 MPEG - DASH (Dynamic Adaptive Streaming over HTTP): HTTP 망에구현된 VoD, 실시간동영상스트리밍을효율적으로전송하기위한표준규격제정중 미국 - ATSC-NRT, ATSC-2.0 : 3-D TV 방송까지를포함한서비스규격제정중 국내 KBS - OHTV(Open Hybrid TV): 지상파와 Internet 망을상호연동하는서비스규격제정중 Analog-Digital 전환기에사용하기편함. 4
Smart TV 기술동향 TV 경쟁원천의이동 TV Content/Service : CP(Content Provider), SP( 방송국 ) Terminal : TV Network : 방송망 IPTV Content/Service : CP(Content Provider), SP( 방송국 ) Platform : 제한된플렛폼 Terminal : 셋탑박스 Network : 인터넷 ( 전용망 ) 5
Smart TV 기술동향 Smart TV Content/Service : CP(Content Provider), SP( 방송국 ), SP(Internet Service Provider) Platform : 개방형플렛폼 (Clouding Server 포함 ) Terminal : 일체형TV/ 셋탑박스 Network : 방송망, 유무선인터넷 기타 : N-Screen 서비스, 지능형 UI, 고화질서비스로의진화 6
Smart TV (TV + Internet) 7
서버형 DTV 8
NDR(Networked Digital Recorder) 이용시나리오 9
커뮤니티로의 NDR 확장 2 차소비 1 차소비 NDR User Group HOME 휴대형미디어기기 1 개인컨텐츠발행 HOME NDR 방송 / 저장컨텐츠스트리밍 휴대형미디어기기 2 방송컨텐츠 NDR (Networked Storage Device 역할수행 ) 컨텐츠전송 / 공유 (MPEG-21 DID 기반컨텐츠패키징 ) HOME NDR 컨텐츠아카이빙서버형 NDR 에저장 NDR User Group CAS (CableCard) + Embedded DRM Security 10
개방형 IP 컨버전스오픈미디어서비스기반 NDR 플랫폼기술 오픈미디어채널서비스 NDR 플랫폼협업형 VOD 서비스 NDR 커뮤니티케스팅서비스 NDR 커뮤니티 TV 서비스 11
오픈미디어채널서비스 ( 기술개념 ) 다종도메인콘텐츠 입력 (META INFO) 실시간방송 VOD 콘텐츠아카이버 NDR 플랫폼 NDR 로컬 웹포털 오픈미디어채널콘텐츠 NDR 플랫폼단대단전송 다종도메인콘텐츠기반오픈미디어채널생성 12
IP 컨버전스오픈미디어서비스기반멀티미디어스트리밍기술 IP 컨버전스오픈미디어서비스기반의 QoS 보장기법 피어 (Peer) 협업형실시간비디오서비스를위한스트리밍기법 피어 (Peer) 협업형 VoD 서비스를위한스트리밍기법 전체서비스구성 13
Internet 기반 P2P 스트리밍서비스 (Live 방식과 VoD 방식 ) 14
이종네트워크접속망을지원하는 P2P 전송과 SVC 기반의고화질 IPTV 서비스 15
Advanced Smart TV (N-Screen Service & Clouding) 16
국내 외연구현황 (Advanced Smart TV) 스마트모바일기기의발전, 스마트 TV 의등장, 클라우드컴퓨팅의등장으로인해통합형멀티미디어서비스의활성화가가능하게됨. 스마트모바일기기의발전 스마트 TV 클라우드컴퓨팅 통합형멀티미디어서비스의활성화 17 17
국내 외연구현황 (Advanced Smart TV) 클라우드컴퓨팅또한 N 스크린서비스의핵심기술이라할수있음. 클라우드컴퓨팅을통해서버에저장되어있는하나의멀티미디어콘텐츠를서로다른컴퓨터, 단말기, TV 에서모두공유하는것이가능해짐. 클라우드컴퓨팅과 N 스크린개념도 18 18
연구의필요성 최근고해상도비디오의클라우드컴퓨팅기반스트리밍서비스에대한필요성이높아지고있으며, 이를위한기술연구및기술확보가시급함. 클라우드컴퓨팅기반의고화질비디오스트리밍서비스를위한요구사항 19 19
클라우드컴퓨팅기반의고화질비디오스트리밍서비스를위한요구사항 고화질, 고해상도의콘텐츠제공 제한된대역폭내에서다수의사용자들에게고화질비디오데이터를전송하기위해서는비디오부호화효율을높이거나많은비디오데이터의동시처리, 전송대역폭을효율적으로사용해야하는기술적지원이뒷받침되어야함. 저비용고효율서비스시스템구축 클라우드서버는고가의장비이기때문에, 시스템구축비용자체가서비스사업의걸림돌이될수있음. 따라서제한된서버자원의효율적관리및최적화등의기술적지원이필요함. 고품질의스트리밍서비스제공 고화질비디오가유무선네트워크를통해언제어디서나지연시간없이서비스되어야함. 높은대역폭을요구하는고화질비디오스트리밍은 QoS 및신뢰성보장이어려우며, 따라서이러한변화를최소화하고상황에따라적응적으로스트리밍서비스가이루어지기위한기술적지원이필요함. 20 20
N-Screen 스마트 TV 서비스개념도 21
국내 외연구현황 (N-Screen 서비스 ) N 스크린서비스를통해서로다른단말기간에동일한비디오콘텐츠를공유하는기술이이슈화되고있음. 동일한비디오콘텐츠를다양한단말기에제공할수있는다매체비디오스트리밍서비스가점차이슈화되고있다. SVC 기술에의한구현 Transcoder 에의한구현 N 스크린서비스 22 22
N-Screen 시스템핵심구현요소 23
SVC 를이용한 N-Screen VoD 서비스개념도 24
H.264/AVC 에서 SVC 로변환하는트랜스코더 25
N- 스크린을지원하는 SVC 기반 DASH 프로토타입 개념도 26
Advanced Smart TV ( 초고화질 TV: HEVC) 27
Introduction Case Study: UHDTV Resolutions and Data Rates Video Formats Date Rates HD 1920x1080, YUV4:2:0, 8 bits, 30fps 746Mbps 3840x2160, YUV4:2:0, 8bits, 30fps 3Gbps 4K UHD 3840x2160, YUV4:2:2, 10bits, 30fps 5Gbps 3840x2160, YUV4:4:4, 12bits, 60fps 18Gbps 7680x4320, YUV4:2:0, 8bits, 30fps 12Gbps 8K UHD 7680x4320, YUV4:2:2, 10bits, 30fps 20Gbps 7680x4320, YUV4:4:4, 12bits, 60fps 72Gbps 4 times 16 times 28
Overview : HEVC Standardization Joint Collaborative Team on Video Coding (JCT-VC) ITU-T Study Group 16 (VCEG) : NGVC (Next Generation Video Coding) ISO/IEC JTC1/SC29/WG 11 (MPEG) : HVC (High-performance Video Coding) JCT-VC : HEVC A JCT-VC was established by VCEG and MPEG on January, 2010. The JCT-VC standardization effort is being referred to as High Efficiency Video Coding (HEVC). N11096 : Vision, Applications and Requirements N11113 : Joint Call for Proposals (CfP) on Video Compression Technology 29
Overview : HEVC Standardization Requirements Requirements Mandatory (shall) Option (should) Compression performance Picture Formats Color Spaces & Sampling Substantially greater bitrate reduction over MPEG-4 AVC High Profile for the target application Subjective visually lossless compression Rectangular picture formats ranging at least from QVGA to 8K 4K Picture formats of arbitrary size within limits specific to each Level YCbCr 4:2:0, 8bits per component Frame Rates Fixed and variable rational frame rates from 0Hz Scanning Progressive scanning for all Profiles and Levels Complexity Feasible implementation of encoding and decoding within the constraints of the available technology at the expected time of usage Low Delay Low latency operation Misc. Random Access & Trick Modes Error Resilience Buffer Models System Layer Interface Lossless compression YCbCr/RGB 4:4:4, YCbCr 4:2:2 Up to 14bits per component, up to 16bits per component for specific application Wide gamut color & Transparency channel Capability of trading-off complexity and compression efficiency Parallel processing Intra-only coding Scalable Video Coding for temporal, spatial and quality scalability 30
Advanced Smart TV ( 지능형 UI, DRM) 31
지능형 TV Intelligent streaming 개인프로파일이동 Intelligent Scalability 인터액티브 DTV BcN Adaptive Protocol Transformer 개인형 DTV 단순히시청상황을센싱 인터액티브한시청환경제어 32 32
지능형마우스 동작인식모듈 감지영역 마우스영역 영상획득부 영상전처리부 손끝위치정보추출부 Camera 손끝궤적수정 / 분석부 마우스영역재설정부 클릭명령결정부 DTV 커서위치결정부 최종커서위치 / 클릭명령전달부 33 33
2 차원기반지시동작인식및반응기술 Detection Area Active Detection Area Hand Tip Viewer Camera DTV 34 실시간영상처리에의한신규진입물체의최선단검출 34
프로그램추천기술 원격프로파일충전 DMB EPG data 외부채널서버 센서보드 USN Smart Phone Smart TV NDR NDR 프로파일이동 Internet/Local Network 범례시청프로그램로그 프로파일 / 추천프로그램 상황데이터 액츄에이터실행데이터 글로벌커뮤니티프로파일서버 User Profile Recharger 실시간데이터스트림마이닝모듈 빈발항목집합 연관규칙 센서데이터인코딩 / 디코딩모듈 클러스터링 35 35
글로벌커뮤니티서버 글로벌커뮤니티서버 커뮤니티시청패턴 / 상황프로파일전송 글로벌커뮤니티서버로부터실시간마이닝결과전송 NDR 시청로그전송모듈 추천프로그램수신모듈 커뮤니티시청 패턴 / 상황로그 커뮤니티맞춤형 추천프로그램 실시간데이터스트림마이닝모듈 빈발항목집합탐사 데이터스트림입력모듈 인코딩된시청로그 시청로그수신모듈 추천프로그램전송모듈 연관규칙탐사 클러스터링 마이닝결과전송모듈 시청상황데이터 1. 개인 / 커뮤니티시청프로파일인코딩 / 디코딩모듈 2. 개인 / 커뮤니티선호도연관규칙 추천프로그램생성모듈 글로벌커뮤니티마이닝서버 36 36
프로파일이동기법및원격프로파일충전기술 사용자의이동시선호프로파일이동 / 충전을통한프로파일활용기술개발 프로파일을이동기기로휴대할수있는프로파일이동기법개발 인터넷을통한원격프로파일충전기술개발 범례 시청목록 NDR Group Mobile Device Group 추천채널목록 프로파일 NDR 1 NDR 2 NDR 2 Smart Phone DMB Player 프로파일충전 프로파일이동 프로파일충전 글로벌 커뮤니티서버 NDR 1 프로파일 추천채널 생성 NDR 2 프로파일 추천채널 생성 Smart Phone 프로파일 추천채널 생성 DMB Player 프로파일 37 37 추천채널 생성
시청패턴프로파일생성을위한시청자 / 커뮤니티별선호시청내역 사용자 선호시청내역장소시간키워드 아버지 집 저녁 뉴스, 바둑, 드라마 새벽 영화, 공포 직장 오후 뉴스, 증권, 경제 어머니 집 오전 드라마, 홈쇼핑 오후 요가 저녁 요리, 드라마 아들 집 저녁 게임, 오락 학교 오후 교육 커뮤니티산악회연세대축구단 선호시청내역키워드스포츠, 골프연예, 버라이어티스포츠, 축구 38 38
개인 / 커뮤니티별 NDR 인터페이스 < 현재방송중인프로그램목록및세부정보 > < 추천프로그램목록 > 39 39
프로파일이동기법및원격프로파일충전기술 ( 스마트폰인터페이스 ) 40 40
오픈미디어서비스보안기술 오픈미디어서비스플랫폼용라이센스관리시스템개발 MPEG-21 XrML type 라이센스포맷 NDR 오픈미디어채널콘텐츠라이센스 NDR 플랫폼용라이센스 Broker 오픈미디어채널콘텐츠재생라이센스처리 NDR 용라이센스생성및발급처리 라이센스권한처리 라이센스파서내장 외부 NDR 단말혹은시스템과의연동 NDR 오픈미디어채널콘텐츠라이센스발급 41
감사합니다. yschoe@yonsei.ac.kr 010-3715-0961 42