(JBE Vol. 23, No. 2, March 201).,,, 360 Video, VR,. UWV [1]. UWV, [2]. UWV Stitching, [3]. UWV. UWV, MMT. (Spatial Adjacency Matrix) [4][5],. MMT CI L

Transcription

1 3: MPEG Media Transport UWV (Regular Paper) 23 2, (JBE Vol. 23, No. 2, March 201) ISSN (Online) ISSN (Print) MPEG Media Transport UWV a), a), a), a) Signaling Method for Spatial Adjacency Matrix of UWV media in MPEG Media Transport Environment Junsik Kim a), Dongjin Kang a), Euisang Lee a), and Kyuheon Kim a),, Ultra Wide Viewing(UWV). UWV,,. MPEG-CI Layout UWV. Abstract As progress on image processing, computer vision and display technologies aroused market s interests on generation and consumption of various types of media, interests on UWV media are also increasing. In context of consumption of UWV media, to effectively manage load of servers and resources of end terminal devices and provide user-derived services, technology which enables users to select and consume interested regions of media seems to be needed. Here, this paper proposes a method for description and transmission of spatial relationships among media, which composes UWV, by expanding MPEG-CI and Layout signaling to enable users selective consumption of UWV media. Keyword : MMT, CI, Signaling, UWV, PI a) (Department of Electronic Engineering, Kyung Hee University) Corresponding Author : (kyuheon Kim) kyuheonkim@khu.ac.kr Tel: ORCID: (). (No , Ultra-wide viewing ) This work was supported by Institute for Information & communications Technology Promotion(IITP) grant funded by the Korea government(msit) (No , Development of generation and consumption of Jigsaw-liked Ultra-Wide Viewing Spacial Media) Manuscript received August 2, 2017; Revised January 1, 201; Accepted February 22, 201. Copyright 20 Korean Institute of Broadcast and Media Engineers. All rights reserved. This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND ( which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.

2 (JBE Vol. 23, No. 2, March 201).,,, 360 Video, VR,. UWV [1]. UWV, [2]. UWV Stitching, [3]. UWV. UWV, MMT. (Spatial Adjacency Matrix) [4][5],. MMT CI Layout.. 2 MMT MPEG CI, 3 MPEG CI Layout ROI(Region of Interest) Signaling Message. 4, MMT Signaling Message MMT IP MPEG(Moving Picture Expert Group) [6]. MMT. MMT, PA(Package Access), CI MPI(Media Presentation Information), 1. PA Table 1. PA Message Syntax PA_message () { message_id version length extension { number_of_tables for (i=0; i<; i++) { table_id table_version table_length message_payload { for (i=0; i<; i++) { table()

3 3: MPEG Media Transport UWV MPT(MMT Package Table) [7]. 3 PA, MPI, MPT, Layout []. MMT. PA, PA, MPI, MP, DCI, CRI,. MPI CI CI HTML5 1 MPI MP., MPT descriptor MP. 1 PA. PA,,,,. 2 MP,,.,, MP., numbers_of_assets,., Identifier_mapping(). MP, descriptor. Layout Layout configuration table, MPU presentation region descriptor, Asset group descriptor descriptor. Layout configuration table MPU presentation region descriptor. 3 Layout, Layout configuration table., Layout layout, device, region. layout device, region. region, (x, y) (x, y)., Layout configuration table, layout region MPU presentation region descriptor, PA. 2. MP Table Table 2. MP Table Syntax MP_table() { table_id version length number_of_assets for (i=0; i<; i++) { Identifier_mapping() asset_type asset_descriptors { asset_descriptors_length for (j=0; j<n3; j++) { asset_descriptors_byte N3 char

4 (JBE Vol. 23, No. 2, March 201) 3. Layout configuration table Table 3. Layout configuration table syntax Layout_configuration_table() { table_id version length number_of_loops for (i=0; i<; i++) { layout_number device_id number_of_region for (i=0; i<m; i++) { region_number left_top_pos_x left_top_pos_y right_down_pos_x right_down_pos_y layer_order descriptor () M 4. MPU presentation region descriptor Table 4. MPU presentation region descriptor syntax MPU_Presentation_Region_Descriptor() { descriptor_tag descriptor_length for (i=0; i<; i++) { mpu_sequence_number layout_number region_number length_of_reserved for(j=0; j<m; j++){ reserved_future_use M bslbf 4 MPU presentation region descriptor. descriptor MP asset descriptor, MPU layout region. 2. MPEG CI MMT MPU, Composition Layer []. Composition Layer XML HTML5 MPEG-CI. Composition Layer XML CI HTML5,,. HTML5, CI. 1 MPEG-CI HTML CI

5 3: MPEG Media Transport UWV 1. MPEG-CI HTML5 CI Fig 1. Relationship between HTML5 and CI documents in MPEG-CI system.. 1(A) HTML5 <head> <body>. <head>, <body> <div>. <div> <video>, <audio>, <image>, <Attribute>. CI <MediaSync>, <MediaSync>. CI <view>. <view> <div> <divlocation> [9]. 2 MPEG CI MMT. 3 MPEG CI.. 1. MPEG CI MPEG CI Layout UWV... MPEG-CI Layout Signaling. UWV Group. 2(A) 3. Group UWV

6 (JBE Vol. 23, No. 2, March 201) 2. Group Fig 2. Example of Group generation and Spatial Adjacency Matrix description method. Group 9.. Group. HTML5 CI <body> <div> Group <div> <id> Group. <div> Group 5. Layout configuration table Table 5. Syntax of Spatial Adjacency Matrix information description based on Layout configuration table Layout_configuration_table() { table_id version length number_of_loops for (i=0; i<; i++) { layout_number => view_number device_id number_of_region for (i=0; i<m; i++) { region_number => group_number left_top_pos_x left_top_pos_y right_down_pos_x right_down_pos_y layer_order descriptor ()

7 3: MPEG Media Transport UWV <video>, <audio>, <image>, 2(B) Attribute <left> <top>. HTML5 UWV Group Group. <div> CI <view>. <view> <divlocation> <div> <view>. <MediaSync>. Layout Layout UWV. 5 Layout configuration table. Layout configuration table layout, CI <view>, region Group. layout Group. CI Group layout. Group Group %(0~100). MPU presentation region descriptor region_number mpu, media Group_ number. MPU presentation region descriptor Group layout_number 0. MPU presentation region descriptor pixel. Group,. 3. Region Of Interest(ROI) Message UWV,. CI Layout. signaling message. 7 ROI message signaling message Syntax. ROI message <view_id> MPEG CI <view> 6. MPU presentation region descriptor Group Table 6. Syntax of Group information description based on MPU presentation region descriptor MPU_Presentation_Region_Descriptor() { descriptor_tag descriptor_length for (i=0; i<n; i++) { mpu_sequence_number layout_number => 0 region_number => group_number length_of_reserved { left_top_pos_x left_top_pos_y right_down_pos_x right_down_pos_y M

8 (JBE Vol. 23, No. 2, March 201) 7. ROI message Table 7. ROI message syntax ROI_message () { message_id version length extension { view_id_length if(view_id_length > 0){ for(i=0;i<;i++){ view_id [i] else{ number of media for(i=0;i<n2;i++){ media_id_length for(j=0;j<n3;j++){ media_id [j] N2 N3 char char <view> MMT. <view> <number_of_media> <media_id> media. <media_id> CI <MediaSync> <refid>. Layout <view_id> layout_number, <media_id> region_number., <message_id> ROI message. <length>, ROI message. 0. <view_id_length>. <view_id_length> 0 <view> ROI message, <view_id_ length> 0 <number_of_media>, 0. <view> ROI message. 3 UWV, MPEG CI Layout UWV, ROI Message.. 7 UWV. 2 Group 3, ROI message

9 3: MPEG Media Transport UWV. Layout MPEG CI. 3 Layout configuration table. 5 Byte number_ of_loops 3 3 layout, 3. Byte 1 layout_number 1. Byte 2, 1 Group 2. region_number 1 Group 1, Group. Layout configuration table Group. 4 MPU presentation region descriptor. 3 Byte descriptor_length 7, 7. 9 Byte region_number 1, Group Byte 1 Byte Group. 54 Byte 2 Group Layout configuration table Fig 3. Layout Configuration Table generation 4. MPU Presentation Region Descriptor Fig 4. MPU Presentation Region Descriptor generation 5. HTML5 Fig 5. HTML5 document generation

10 (JBE Vol. 23, No. 2, March 201) 6. CI Fig 6. CI document generation 7. ROI message <view> Fig 7. Example of <view> requestion using ROI message. ROI message Fig. Example of Media set requestion using ROI message HTML5. 2 Group Group1 Group2. Group1 3, Group2 4. Attribute <left> <top>,. HTML5 2 Group 3 <view>. 6 CI 3 <view>. <view> <width>, <height>, Group <refdiv>. MPEG CI Group. ROI message., <view>. 7 ROI message 7, Byte view_id_length 5 <view> ROI message, <view> View2. view_id_length 0 <view> media. 7, Byte view_id_length 0 ROI message. ROI message, 9, 10 Byte number of media 4

11 김준식 외 인 환경 내 미디어 공간 인접 행렬 시그널링 방안 : MPEG Media Transport UWV 그림 9. 서버에서 제공한 <view> 중 View1 의 검증 Fig 9. Validation of View1 of <view> provided by the server 그림 10. 서버에서 제공한 <view> 중 View2 와 Viwe3 의 검증 Fig 10. Validation of View2 and View3 of <view> provided by the server 총 4개의 미디어를 요구하고 있음을 확인할 수 있다. 앞서 MPEG CI를 통해 공간 인접 행렬을 전송하고, 사용 자가 이를 기반으로 ROI message를 구성하는 것을 구현을 통해 검증하였다. 하지만 최종적으로는 실제 미디어를 이 용하여 구현한 MPEG CI에 기술된 <view>들을 검증하는 것이 필요하다. 그림 9는 실제 미디어를 이용해 MPEG CI에 기술된 <view>중 View1 을 실험한 결과이다. 결과를 통해서 View1 에서는 2개의 Group 을 이용해 7개의 미디어를 모 두 제공하고 있는 점을 확인할 수 있다. 그림 10(A)은 실제 미디어를 이용해 MPEG CI에 기술된 <view>중 View2 를 실험한 결과이다. View2 는 Group1 을 제공하고 있는 <view>로, Group1 은 3개의 미디어로 구성되어 있으며 이를 확인할 수 있다. 마지막으로 View3 를 검증한다. View3 의 경우 Group2 로 구성되어 있으며, 4개의 미디어로 구성되어 있음을 그림 10(B)를 통해 확인 할 수 있다. 상기한 내용들을 통해 최종적으로 제안한 기술 들의 효용성을 검증하였다. Ⅴ. 결 론 기반 공간 인접 행렬 전송 기법을 통해 사용자 는 UWV를 구성하는 미디어들의 공간적, 시간적 정보를 획 득할 수 있고, 관심 영역의 미디어들을 전송 받는 것이 가능 하다. 본 논문에서는 UWV를 구성하는 미디어들을 Group 으로 명명하는 새로운 개념을 도입하여 특정 이벤트 혹은 물체를 구성하는 미디어들이 Group 단위로 제공될 수 있도 록 하였다. 또한 ROI Message를 통해 제공 받은 정보를 이 용하여 사용자가 원하는 장면 혹은 미디어들을 선택하여 요구할 수 있도록 하였다. 이러한 방안을 통해 서버는 사용 자에게 장면을 이벤트 혹은 물체 단위로 제공해 줄 수 있으 MPEG CI

12 272 방송공학회논문지 제23권 제2호, 201년 3월 (JBE Vol. 23, No. 2, March 201) 며, 사용자 또한 특정 이벤트 혹은 물체를 기준으로 자신이 원하는 장면을 선택하여 제공 받을 수 있다. 이는 한가지 UWV 미디어 집합을 이용하여 다양한 미디어의 소비가 가 능해짐을 의미하며, 사용자는 자신이 원하는 미디어를 더 손쉽게 획득할 수 있게 된다. 최근 사용자들은 Youtube 혹 은 Facebook 등 자신들의 입맛에 맞는 미디어를 직접 선택 하여 시청하기를 원하고 있다. 이러한 변화와 더불어 본 논 문에서 제안한 기술은 사용자 친화적인 서비스에 한걸음 다가가 새로운 수익모델을 창출 할 수 있을 것으로 예상한 다. 추후 본 논문의 제안 기술을 기반으로 사용자 상호 작용 기반 UWV 컨텐츠 방송 시스템을 연구하고자 한다. [4] [5] [6] [7] [] 참 고 문 헌 (References) [1] [2] [3] TTA, Technical Report for High Quality Panorama Video, 2014 E. Lee, D. Kang, J. Kang and K. Kim, "GENERATION OF SPATIAL ADJACENCY MATRIX FOR ZIG-SAW LIKE ULTRA WIDE [9] VIEWING DATA", EEECS Y.J. Cho, J.M. Seok, S.Y. Lim, S.W. An, J.I. Seo, J.H. Cha, (2014) Post-UHD Realistic Media, High Quality Panoramic AV Technology, Electronics and Telecommuniucations Trends, E. Lee, D. Kang and K. Kim, Generation of Spatial Adjacency Map and Contents File Format for Ultra Wide Viewing Service, Journal of Broadcasting Engineering, vol. 22, no. 4, pp473-43, July, 2017 Xiaorui Li, K. Kim, 2D Adjacency Matrix Generation using DCT for UWV Contents, Journal of Broadcasting Engineering, vol.22, no.3, pp , May, 2017 Y. Lim, S. Aoki, I. Bouazizi, and J. Song, New MPEG Transport Standard for Next Generation Hybrid Broadcasting System with IP, IEEE Trans. on Broadcasting, vol. 60, no. 2, pp. 0-9, June 2014 D. Kang, J. Kang, K. Kim, Method of inserting In-program Ads in Hybrid Broadcasting Environment based on MMT, Journal of Broadcasting Engineering, vol. 22, no. 4, pp , July, 2017 ISO/IEC JTC 1/SC :2014, Informaiton technology High efficiency coding and media delivery in heterogeneous environments Part 1 : MPEG Media Transport(MMT) ISO/IEC JTC 1/SC :2014, Informaiton technology High efficiency coding and media delivery in heterogeneous environments Part 11 : Composition Information 저자소개 김준식 년 경희대학교 전자전파공학과 공학사 년 현재 경희대학교 전자공학과 석사과정 주관심분야 영상처리 멀티미디어 시스템 디지털 대화형 방송 : ~ : - ORCID : :,, 강동진 - 년 : 경희대학교 전자전파공학과 공학사 년 : 경희대학교 전자공학과 공학석사 년 ~ 현재 : T-max 연구원 : 주관심분야 : 영상처리, 멀티미디어 시스템, 디지털 대화형 방송 ORCID

13 김준식 외 인 환경 내 미디어 공간 인접 행렬 시그널링 방안 : MPEG Media Transport UWV 저자소개 이의상 년 경희대학교 전자전파공학과 공학사 년 경희대학교 전자공학과 공학석사 주관심분야 영상처리 멀티미디어 시스템 디지털 대화형 방송 - 20 : : - ORCID : :,, 김규헌 - 년 2월 : 한양대학교 전자공학과 공학사 년 9월 : 영국 University of Newcastle upon Tyne 전기전자공학과 공학석사 년 7월 : 영국 University of Newcastle upon Tyne 전기전자공학과 공학박사 년 ~ 1997년 : 영국 University of Sheffield, Research Fellow 년 ~ 2006년 : 한국전자통신연구원 대화형미디어연구팀장 년 ~ 현재 : 경희대학교 전자정보대학 교수 : 주관심분야 : 영상처리, 멀티미디어 통신, 디지털 대화형 방송 ORCID