(JBE Vol. 19, No. 5, September 2014) (Regular Paper) 19 5, 2014 9 (JBE Vol. 19, No. 5, September 2014) http://dx.doi.org/10.5909/jbe.2014.19.5.736 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a), a), a), a), b) Metadata Design and Verification Test Bed System for Augmented Broadcasting Bumsuk Choi a), Suncheol Kim a), Youngho Jeong a), Jinwoo Hong a), and Wondon Lee b).. TV TV, TV /, TV.,,,.,,. Abstract In this paper we introduce augmented broadcasting service scenarios which combines augmented reality service with broadcasting environment. As the broadcasting environment is different from mobile service environment, there are many restrictions in developing full AR services in TV. However TV has strong benefit of large screen, high quality contents, advanced user interface for motion and voice, and smart TV applications, which means that they will enhance the possibility of success for augmented broadcasting service. This paper proposes metadata structure containing information for augmentation region, time, augmented contents, and registration information for natural composition. We also implemented test bed system comprised of authoring server, broadcasting server, and user terminal for verifying metadata in broadcasting system. Keyword : Augmented Broadcasting, Metadata, Augmented Reality a) (ETRI) b) (Chungnam National University) Corresponding Author : (Bumsuk Choi) E-mail: bschoi@etri.re.kr Tel: +82-042-860-1574 Manuscript received August 21, 2014 Revised September 23, 2014 Accepted September 23, 2014. PC.,,,,.
최범석 외 인 증강방송 메타데이터 설계 및 검증용 테스트 베드 시스템 구현 4 : (Bumsuk Choi et al. : Metadata Design and Verification Test Bed System for Augmented Broadcasting) (a) (b) 737 (c) 그림 1. 증강현실 서비스(a, b) 예제와 기존의 증강방송(c) 예제 Fig. 1. Example of AR service(a, b) and traditional augmented broadcasting(c) 이미지 출처: (a) http://ge.ecomagination.com/smartgrid/#/augmented_reality (b) http://blog.naver.com/riksa0/30106647087 (c) korea broadcast system Emerging issue report" 명하자면 실세계를 사용자가 카메라를 통하여 비춰보면서 증강 콘텐츠를 오버레이 형태로 제공받는 서비스이다. 이 분 야에 대한 전문가들은 증강현실(AR)을 가상현실(VR)과는 다른 개념으로 보고 있다. 가장 큰 차이점은 가상현실에서 는 실세계와 인터액션이 존재하지 않지만 증강현실은 존재 하며 심지어 실세계에 영향을 미치는 점이라고 설명한다. 모 바일 환경에서 증강현실 앱들이 인기를 끄는 이유는 터치스 크린과 같은 사용자 인터페이스와 방향, 가속도, GPS 센서 등을 제공하기 때문이다. 그림 1의 a 와 b 두 개의 그림은 증강현실 서비스의 대표적인 예로서 마커(marker) 위에 증강 콘텐츠를 오버레이 하여 디스플레이 하는 방식을 보여준다. 한편 방송 시청환경은 모바일 환경과는 다르게 방송 서 버에서 일방적으로 미디어를 전송하는 방식으로 사용자가 자신의 의지대로 카메라의 방향을 바꿀 수 없다. 또한 모바 일 디바이스에는 기본 장착되고 있는 다양한 센서들이 TV 단말에는 제공되지 않는다. 다시 말하면 증강현실 서비스 를 제공하기 위하여 기본적으로 갖추어야 할 요소들이 방 송환경에는 빠져있다. 그럼에도 불구하고 TV에서도 부분 적으로 증강방송을 제공하고 있다. 그림 1의 c 그림과 같이 스포츠 경기 방송에서 실물의 그라운드나 전광판에 광고물 을 오버레이 하는 증강광고가 그것이다. 그러나 이러한 증 강방송 서비스는 방송사에서 일방적으로 고정된 위치에 미 리 정의한 그래픽 광고 콘텐츠를 오버레이 한 영상을 송출 하는 방식이므로 진정한 증강방송이라고 보기 어렵다. 한편 최근 TV의 발전도 놀랍다. 최근 TV의 대명사로 알 려진 스마트TV는 인터넷 연결을 필수화하고 있으며 스마 [1] [2] 트폰과 동일하게 다양한 스마트TV 애플리케이션들을 제공 하고 있다. 또한 스마트 리모컨, 음성인식, 그리고 모션인식 도 기본적으로 제공하고 있기 때문에 기존 TV 단말에 비하 여 사용자 인터페이스가 대단히 편리해 졌다. 또한 셋탑박 스의 성능이 점차 높아지면서 증강방송 서비스에 필요한 복잡한 연산이 가능해지고 있다. 마지막으로 방송환경의 가장 큰 장점인 대 화면과 고화질의 콘텐츠로 말미암아 적 절한 증강방송 서비스를 개발한다면, 향후 TV에서도 다양 한 증강현실 서비스를 제공받을 수 있을 것이다. 본 논문에서는 방송환경에서 증강현실을 적용할 수 있는 몇 가지 응용사례를 제안하고 이를 제공하기 위한 증강방 송 메타데이터를 설계하였다. 일반적으로 방송환경은 매우 보수적인 시스템 환경으로 시스템의 안정성을 가장 중요한 요소로 고려하기 때문에 가능한 기존의 방송환경을 수정하 지 않는 것이 요구되며, 이러한 요구 사항을 만족시키며 증 강현실을 구현하는 방법으로 메타데이터를 통한 방법을 제 안한다. 본 논문에서 제안하는 증강방송과 가장 유사한 형 태의 방송기술은 데이터 방송 기술이라 할 수 있으나, 데이 터 방송 기술과 본 증강방송 기술의 차이는 자연스럽게 화 면에 오버레이 되어 표현되는 증강객체와 인식과 트랙킹 기술을 활용하는 측면, 그리고 GPS와 같은 센서 데이터를 활용하는 면에 있다고 할 수 있다. 본 논문의 구성은 다음과 같다. 2 절에서는 증강방송을 위한 서비스 시나리오에 대해 살펴본 후, 3 절에서는 이러 한 서비스를 제공하기 위한 증강방송 메타데이터에 대하여 설명한다. 4절에서는 증강방송 메타데이터를 검증하기 위
(JBE Vol. 19, No. 5, September 2014), 5..., TV. 1.... 2..,. [3]. 2. 2. Fig. 2. Example of augmentation region based service (a) 3. (a) (b) Fig. 3. Example of interactive augmented braodcasting service(a) and Layar application(b) (b)
4 : (Bumsuk Choi et al. : Metadata Design and Verification Test Bed System for Augmented Broadcasting).. 3 TV 3D.... TV. 3.. TV, TV.? GPS. GPS GPS.,. GPS. TV, TV.. Layer Reality Browser ( 3 b).,,. [4]. TV.. 4..,,,,,, XML.,.. (Scene), (Reference region), (Augmented region), (Augmented object) [5].. (Scene) : (Reference region) :
(JBE Vol. 19, No. 5, September 2014) (Augmented region) : (Augmented object) : ( ).. time stamp, time stamp (instruction).,.. (first instruction),, ( ), (following instruction). instruction ID. 4 [6]. 5 (a). keyinstflag instruction first instruction. first instruction instruction. keyinstnum first instruction following instruction instruction. keyinstnum following instruction. pts instruction. duration instruction. pts duration. timescale pts duration. timescale 1000, pts. numinstruction 4. Fig. 4. Basic concept of augmented broadcasting metadata
4 : (Bumsuk Choi et al. : Metadata Design and Verification Test Bed System for Augmented Broadcasting) (a) 5. (a) XML (b) Fig. 5. Top level structure of augmented broadcasting metadata(a) and example of XML(b) (b) following instruction. numinstruction following instruction. priority.. MarkerImage. TV.,. ARRegion [7].,, 3. ARObject,,. EnvironmentInfo,. 5 (b). first instruction, ( : como.x) (pts) 90 200. 4,,, (tx, ty), (sx, sy), (rx, ry, rz). first instruction, following instruction. following instruction. First instruction following instruction augnum
(JBE Vol. 19, No. 5, September 2014) [8].. PC,,. 6. PC TV (,,, ).. 7. 6. Fig. 6. System components of test bed system for verifying augmented broadcasting system 7. Fig. 7. Screen shot of authoring server
4 : (Bumsuk Choi et al. : Metadata Design and Verification Test Bed System for Augmented Broadcasting), ( )..,. following instruction. instruction. instruction, instruction. publish. UDP/RTP. /. 8 /.,.,, ID,,., VLC / RTP. OpenGL. TV. (pts). 6,,,,.,., 3D... 8. Fig. 8. Sequence of transmission process for augmented broadcasting metadata. TV TV.
(JBE Vol. 19, No. 5, September 2014)... PC,, PC.,,,. (Reference) [1] Tobias Daniel Kammann, Interactive Augmented Reality in Digital Broadcasting Environments Diploma Thesis, November, 2005. [2] digitalfernsehen.deinteraktivität: Japaner setzen auf Open TV http://www.digitalfernsehen.de/news/news_46594.html, Sept., 2005. [3] ISO/IEC JTC1/SC29/WG11, m22476, B. S. Choi, Young Ho Jeong, Geneva, Swiss, November 2011. [4] Layar application product description; http://www.layar.com, May, 2012. [5] ISO/IEC JTC1/SC29/WG11, m23635, Junghak Kim, Bum-suk Choi, San jose, USA, February 2012. [6] ISO/IEC JTC1/SC29/WG11, m23837, Bum-suk Choi, Junghak Kim, San jose, USA, February 2012. [7] ISO/IEC JTC1/SC29/WG11, m24724, Bum-suk Choi, Young Ho Jeong, Switzerland, Geneva, April 2012. [8] ISO/IEC JTC1/SC29/WG11, m21494, B. S. Choi, Young Ho Jeong, Geneva, Swiss, November 2011. [9] JeongLak Ha, YoungHo Jeong, JinWoo Hong, Augmented broadcasting service platform implementation, 2013 summer conference of the korean society of broadcast engineers, July 2013. [10] SunCheol Kim, YoungHo Jeong, JinWoo Hong, Design and implementation of re-multiplexer for augmented broadcasting system based on DTV, 2013 summer conference of the korean society of broadcast engineers, July 2013. [11] JeongLak Ha, YoungHo Jeong, JinWoo Hong, Augmented broadcasting service techology for smart TV, Journal of the korean society of broadcast engineers, May 2013. [12] SunCheol Kim, YoungHo Jeong, JinWoo Hong, Augmented broadcasting service for smart media, Journal of the korean society of broadcast engineers, February 2013. [13] BumSuk Choi, YoungHo Jeong, JinWoo Hong, WonDon Lee, Augmented broadcasting technology based on hybrid broadcasting service, Journal of the korean society of broadcast engineers, July 2014. - 1997 : ( ) - 2001 : ( ) - 2001 ~ : - : 3D, DRM, 4D, TV
4 : (Bumsuk Choi et al. : Metadata Design and Verification Test Bed System for Augmented Broadcasting) - 1998 : ( ) - 2000 : ( ) - 2000 ~ : - :, TV, CAS - 1992 : ( ) - 1994 : ( ) - 2006 : ( ) - 1994 ~ : TV - 2011 ~ : (UST) - :, TV,, DCAS, DMB, OFDM - 1982 : ( ) - 1984 : ( ) - 1993 : ( ) - 1984 ~ : TV - :, TV,, - 1979 : ( ) - 1982 : U. of Illinois ( ) - 1986 : U. of Illinois ( ) - 1987 ~ : - :,