À±°æ·Î Ãâ·Â

Transcription

1 228 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 Multimedia Information Retrieval Technology Applicable to Smart TV Environment 윤경로 Kyoungro Yoon 스마트폰의 폭발적인 성공은 스마트 TV로 그 관심이 옮겨 가면서 스마트 신드롬을 불러 일으키고 있다. 스마트 TV는 앱 등의 지원으로 인하여 다양한 편리한 기능들을 사용자에게 제공하는데 이러한 환경에서 방송망 및 인터넷 망 을 통하여 제공되는 폭발적인 콘텐츠의 증가는 편리한 검색 서비스의 지원을 필수 요소로 만들고 있다. 콘텐츠의 검색 은 크게 두가지 기술에 의존한다. 그 하나는 콘텐츠에 부가되어 있는 텍스트 형태의 메타데이터에 기반한 검색이며 다 른 또 하나는 콘텐츠 자체의 분석에 의존하는 내용 기반 검색이다. 본 논문에서는 콘텐츠의 검색에 사용될 수 있는 더 블린코어, TV-Anytime, MPEG-7 등 다양한 방송 콘텐츠 기반의 메타데이터 표준 기술들과 관련된 내용 기반 검색 기술들을 살펴본다. 주제어: 스마트 TV, 메타데이터, 내용기반검색, 더블린코어, TV-Anytime, MPEG-7 Explosive success of recent Smart phone brought the smart syndrome by attracting interest of people to Smart TV. While Smart TV provides various convenient functionality to users through application support, the explosive increase of contents coming through the broadcasting network and internet makes easy and convenient search service inevitable. Content search functionality largely depends on two types of technologies. One is the search based on the text-formed metadata attached to the content, and the other is the content-based search based on content analysis technology. In this paper, various metadata standards for broadcast contents such as Dublin Core, TV-Anytime, and MPEG-7, as well as related content-based search technologies are investigated. Keywords: Smart TV, Metadata, Content-based search, Dublin core, TV-anytime, MPEG-7 I. 서 론 최근의 스마트폰의 갑작스런 관심은 스마트 TV로 그 범위를 넓혀가며 스마트 신드롬을 불러 일으키고 있 다. 일반적으로 스마트폰은 사용자의 의도에 따라 앱의 설치나 UI의 변경들을 가능하게 하여 사용자마다 자신 의 선호 및 용도에 따른 맞춤형의 디바이스가 되어 다양 한 기능을 제공하는 기기이다. 마찬가지로 스마트 TV 역시 사용자의 선호 및 용도에 따라 맞춤형의 UI와 응 용 애플리케이션을 지원하는 기기라고 할 수 있다. 특히 스마트폰과 마찬가지로 스마트 TV 역시 인터 넷의 접속을 지원하여 인터넷 검색 및 VoD 서비스 등 과 같은 다양한 인터넷 기반의 콘텐츠 제공을 가능하게 하고 있으며 Netflix 나 Amazon 등은 그 대표적인 예 라 하겠다. 이러한 인터넷 기반의 콘텐츠 제공은 지상 파 및 케이블 등의 방송 네트워크를 통하여 제공되는 콘 텐츠의 수에 비할 수 없이 기하급수적으로 늘어난 수의 콘텐츠를 사용자에게 제공하게 된다. 기하급수적으로 논문번호: TR12-021, 논문접수일자: , 논문수정일자: , 논문게재확정일자: 윤경로: 건국대학교

2 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 229 늘어나는 이러한 콘텐츠의 증가는 사용자에게 다양한 콘텐츠를 제공한다는 의미에서 장점이 되지만 다른 한 편 제공되는 콘텐츠에서 사용자가 원하는 콘텐츠를 선 택하는 면에서는 어려움을 주게 된다. 이러한 어려움을 타개하기 위하여는 편리하고 효율 적인 검색 기능이 제공되어야 한다. 콘텐츠의 검색은 크게 두가지 기술에 의존한다. 그 하나는 콘텐츠에 부 가되어 있는 텍스트 형태의 메타데이터에 기반한 검색 이며[1] 다른 또 하나는 콘텐츠 자체의 분석에 의존하 는 내용 기반 검색이다[2]. 본 논문에서는 콘텐츠의 검 색에 사용될 수 있는 다양한 방송 콘텐츠 기반의 메타데 이터 표준 기술들과 내용 기반 검색 기술들을 살펴보고 자한다. II. 방송 콘텐츠 메타데이터 표준 1. 방송 콘텐츠 메타데이터 메타데이터란 일반적으로 data about data, 즉 실제로 관리 대상이 되는 데이터에 대한 모든 부가정보 들을 일컫는다. 예를들자면 도서관에 보관하고 있는 도 서들에 대하여 관리 및 검색 등의 편의를 위하여 저자, 출판사, 제목, 출간연도 등과 같은 서지 정보들을 정리, 보관하게 되는데 이때 도서들을 data, 그리고 서지 정 보들을 metadata 라고 할 수 있다. 스마트 TV 환경에서 방송 콘텐츠를 살펴보면 스마 트 TV를 통하여 소비자가 선택하여 소비하는 모든 콘 텐츠들을 방송 콘텐츠라 할 수 있다. 즉 방송 네트워크 를 통하여 전달되는 TV 프로그램들, 인터넷을 통하여 전달되는 VoD 콘텐츠들, 이밖에 인터넷을 통하여 검 색, 소비 가능한 모든 이미지, 음악, 동영상 콘텐츠들이 모두 그 대상이 된다. 이러한 스마트 TV 환경에서 다양한 방송 콘텐츠들 을 대상으로 사용자의 선택을 용이하게 하기 위하여 많 은 부가정보들이 존재한다. 이들을 방송 메타데이터라 부른다. 즉 EPG 등을 통하여 전달되는 방송 프로그램 정보, VoD 콘텐츠들의 선택을 돕기 위하여 제공되는 시놉시스를 포함하는 정보들, 음악의 경우 흔히 MP3 파일의 경우 내장되는 ID3 태그 등이 모두 스마트 TV 환경에서의 방송메타데이타라고 볼 수 있다. 방송 메타데이터는 방송 콘텐츠의 검색을 위하여 사 용될 수 있는데 서로 다른 기종과 서비스에서 원활히 사 용되기 위해서는 서로가 이해할 수 있는 규격에 따라 정 의되어야 한다. 이러한 메타데이터 규격으로 Dublin Core[3], TV-Anytime[4]~[7], MPEG-7[8]~[11], SMPTE 메타데이터[12], P_Meta [13], PBCore[14] 등 다양한 규격들이 존재한다. 이 중에서 특히 더블린 코어 (Dublin Core), TV-Anytime, MPEG-7 에 대하 여 살펴본다. 2. 더블린 코어 메타데이터 더블린코어는 일반적으로 1995년 OCLC(Online Computer Library Center) 와 NCSA(National Centre for Supercomputer Application)가 미국 오하이오주의 주도인 더블린에서 개최된 워크숍에서 합의하고 후에 ISO Information and documentation -- The Dublin Core metadata element set으로 발표된 기본 적인 메타데이터 요소들의 집합을 의미한다. 이 요소들 의 집합은 DCMI(Dublin Core Metadata Initiative) 에서 관리, 유지하고 있다. 더블린 코어 메타데이터 표준은 단순형과 한정형의 두가지 형태를 가지고 있으며 단순형 더블린코어는 가 장 기본적인 15가지 요소를 포함하고 있으며 이를 DCMES(Dublin Core Metadata Element Set) 이라 부른다. DCMES는 메타데이터 스키마의 일종으로 볼 수 있는데 메타데이터를 기술하는 요소(데이터 항목)의 이름이나 구조를 정의한 메타데이터 규칙으로 여러가지 형식 표현이 가능하지만 대체로 XML 형식이나 RDF 형식으로 기술하고 있다. DCMES 는 특히 도메인에 제한되지 않는 리소스의 서술을 위한 표준으로서 어떠한 리소스를 서술하느냐에 대한 제약이 없으며 로칼 또는 커뮤니티 기반의 요구사 항과 정책에 따라서 사용 용도를 제약하는 특정 애플리 케이션의 범위 내에서 사용되는 것을 주 용도로 고려하 고 있다. 표 1은 DCMES에서 정의된 15개 요소들에 대한 설명을 제공하고있다. 3. TV-Anytime TV-Anytime Forum 은 1999년 12월 대용량 상용 디지털 저장장치(로칼저장장치) 를 기반으로 오디오/비 디오 및 기타 서비스를 가능하게 하는 규격을 개발한다 는 목표로 여러 기관들이 모여 시작한 국제적 모임이다. 이 모임에서는 Phase 1과 Phase 2로 나누어 비즈니스 모델을 설정하고 설정한 비즈니스 모델을 지원하기 위 하여 필요한 다른 규격들과 함께 메타데이터 규격을 개 발하였다. Phase 1 에서는 다음과 같은 7가지 모델을 주요 모 델로 정의하였다. 1 상호작용하며 타깃팅 된 (사용자에 적합화된) 광고 2 사용자 행동의 회귀경로를 기반으로한 시장 분석/조 사 3 온라인을 통한 콘텐츠의 대여 및 판매 4 제3자에 의한 가상채널 또는 신뢰되는 방송안내 등의 서비스 5 시청자들이 콘텐츠의 오프라인 라이브러리 구성을 가능하게 하는 아카이빙 애플리케이션 6 로칼에 저장되어 있는 콘텐츠의 관리용 애플리케이션

3 230 Telecommunications Review 제22권 2호 2012년 4월 표 1. 더블린 코어 메타데이타 엘레멘트 세트(DCMES) 요소명 Title Creator Subject Description Publisher Contributor Date Type Format Identifier Source Language Relation Coverage Rights 라벨 Title Creator Subject Description Publisher Contributor Date Type Format Identifier Source Language Relation Coverage Rights 설명 리소스에 주어진 이름 리소스의 제작에 책임을 갖는 주요 객체로 사람이나 기관, 서비스 등이 될 수 있다. 리소스의 주제로 키워드나 구절, 또는 분류 코드 등을 사용할 수 있다. 리소스에 관한 설명으로 초록, 목차, 그래픽, free-text 설명 등이 포함될 수 있다. 리소스를 이용할 수 있도록 제공한 주체로 사람이나 조직, 서비스 등이 될 수 있다. 리소스 제작에 공헌을 한 객체로 사람이나 조직, 서비스 등이 될 수 있다. 리소스의 생애에 있어 한 이벤트와 관련된 시점 또는 기간으로 ISO 8601과 같은 어떤 인코딩 스킴을 사용할 것을 권장한다. 리소스의 본질이나 장르로 DCMI 타입 사전과 같은 제한된 사전을 사용하는 것을 권장한다. 파일 포맷이나 물리적인 매체, 크기 등을 위하여 format 을 별도로 정의하였다. 리소스의 파일 포맷, 물리적 매체, 크기 등을 서술하며 MIME 타입 같은 제한된 사전을 사용하는 것을 권장한다. 주어진 콘텍스트 상에서 리소스에 대한 모호하지 않은 참조로 리소스의 식별을 위하여 정형화된 식별 시스템을 따르는 스트링을 사용하는 것을 권장한다. 서술 중인 리소스가 도출된 관련된 리소스로 서술 중인 리소스는 전체 또는 일부가 도출되었을 수 있으며 이러한 리소스의 식별을 위하여 정형화된 식별 시스템을 따르는 스트링을 사용하는 것을 권장한다. 리소스에서 사용된 언어로 RFC 4646과 같은 제한된 사전을 사용할 것을 권장한다. 관련된 리소스로 이러한 리소스의 식별을 위하여 정형화된 식별 시스템을 따르는 스트링을 사용하는 것을 권장한다. 리소스의 시/공간적 주제, 리소스를 취득할 수 있는 지역, 리소스가 관련 있는 관할 구역 등으로 공간적 정보는 지역의 이름이나 지리적 좌표로 표현할 수 있으며 시간적 주제는 기간, 날짜, 날짜 범위 등이 될 수 있다. 리소스와 관련된 권리들에 관한 정보를 서술한다. 7 로칼 저장장치에의 통보를 통한 뉴스/일기예보 등의 갱 신을 통한 필요한 정보에의 on-demand 접근의 제공 또한 Phase 2 에서는 다음과 같은 세가지 주요 모 델을 설정하였다. 1 New Content Types(새로운 타입의 콘텐츠): 오디 오와 비디오 뿐만 아니라 다른 타입의 콘텐츠와의 결합을 통한 새로운 콘텐츠의 제공(게임, 향상된 TV, 웹 페이지, 음악파일, 그래픽, 애니메이션 등) 2 Targeting(타깃팅/맞춤 서비스): 개인정보를 가지 고 있는 소비자를 위한 관련된 콘텐츠의 자동 선택 및제공 3 Redistribution(재분배): 여러 장치들간에 콘텐츠를 서로 이동할 수 있도록 하여 준다. 4 Content sharing(콘텐츠의 공유): 개인간의 보호된 /보호되지 않은 콘텐츠의 서비스 제공자의 네트워크 를통한분배 5 Home networking(홈 네트워크): 개인적인 네트워 크(홈 네트워크) 에 연결된 여러 개의 저장장치와 디스플레이 터미널을 간의 콘텐츠의 공유 6 Removable media(이동 저장장치): 물리적으로 이 동이 가능한 저장장치를 통한 보호된/보호되지 않은 콘텐츠의 분배 이러한 비즈니스 모델을 만족시키기 위하여 9개 파 트의 규격을 만들었는데 그 중 메타데이터 규격은 Part 3 로 다시 다음의 네개의 서브파트를 가지고 있다. Part 3-1 Metadata Schemas [4] Part 3-2 System Aspects in a Uni-Directional Environment [5] Part 3-3 Extended Metadata Schema [6] Part 3-4 Interstitial Content Metadata [7] 이 중 Part 3-2 는 메타데이터의 갱신에 관련된 규 격이며 Part 3-4 는 맞춤형 광고에 관련된 규격이므로 순수한 메타데이터 규격은 Part 3-1 과 Part 3-3 의 두 가지라고 볼 수 있다. Part 3-1 Metadata Schemas 는 MPEG-7 을 참 조하여 일부 확장하고 동시에 일부는 특수화하여 XML 스키마 기반으로 메타데이터를 정의하였다. 여기 정의 된 메타데이터는 Phase 1 의 비즈니스 모델에서 정의 한 기능들을 제공하기 위하여 필요한 메타데이터들로

4 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 231 그림 1. Contents Description Metadata Content Description, Instance Description(Program location), Consumer Metadata, Segmentation Metadata 등의 정보를 정의하고 있다. Content Description Metadata는 프로그램(콘텐 츠, 또는 콘텐츠 그룹)에 대해 기술한 메타데이터들로 콘텐츠의 위치에 독립적인 정보들을, Instance Description Metadata는 프로그램의 실행과 관련된 메타데이터들을, Consumer Metadata는 사용자의 선 호도 및 사용 내역을 서술한 메타데이터들을 Segmentation Metadata는 프로그램의 일부분 (segment)에 대해 서술한 메타데이터들을, 정의한다. 그림 1은 TV-Anytime metadata의 루트 엘리먼트 인 TVAMain 과 content description metadata를 보여주고 있다. Content description metadata에는 Program Information Table, Group Information Table, Credits Information Table, Program Review Table, Purchase Information Table, RMPI Table, Package Table, Coupon Table 등이 있으며 이 중 특 히 Program Information Table, Group Information Table, Credit Information Table, Program Review Table 등은 전통적인 방송 콘텐츠의 검색을 지원하는 정보들을 포함하고 있다. Program Information Table은 하나의 독립적인 콘텐츠에 대하여 Title, Synopsis, Keyword, Genre 등의 내용에 관련된 정보 들과 Credits, Production 등 제작에 관련된 정보들을 포함하고 있으며 특히 AggregationOf 엘리먼트를 통하 여 이 프로그램이 Omnibus, Magazine, Split 중의 하 나인지 여부를 알릴 수 있도록 되어 있다. Group Information Table은 여러개의 프로그램들이 묶여서 어떤 특별한 의미를 갖을 때 이를 Group of Programs 로 정의하고 이 Group 이 Series, Show, mini-series 등을 포함하는 12가지의 Group Type 중 어떤 종류의 Group인지 명시할 수 있도록 되어 있다. Instance Description Metadata는 콘텐츠의 Instance와 관련있는 메타데이터로서 크게 Program Location 정보와 Service Information 메타데이터로 나눌 수 있다. Program Location은 프로그램의 채널 정보와 방송의 경우 방영시간을 서술하고 있다. 이 정 보는 PDR 상의 EPG/ECG를 구성하는데 사용되며 실 제 콘텐츠의 획득은 Content Referencing과 Location Resolution Process를 통하여 이루어진다. 그림 2는 ProgramLocationType의 구조를 나타내 고 있다. 실제로 Program의 Location은 콘텐츠의 취 득/전송방식에 따라 필요한 정보가 상이하기 때문에 상 기한 Program Location Type을 확장하여 Schedule Event Type, On Demand Program Type, Push Download Type 등으로 나뉜다. 특기할 만한 점은 Content Description에 존재하던 title, synopsis,

5 232 Telecommunications Review 제22권 2호 2012년 4월 그림 2. Program Location 정보 그림 3. SegmentInformationType 구조 genre의 정보가 Instance Description에도 존재한다는 것이다. Service Information은 해당 콘텐츠를 서비스 해주는 기관에 대해 기술하는 메타데이터로 서비스 회 사의 소유자, 회사 로고 서비스의 종류, 서비스 언어 등 제공되는 콘텐츠 보다는 서비스 그 자체와 서비스의 제 공 주체에 관한 정보를 포함한다. Consumer Metadata는 MPEG-7의 Usage History 와 User Preferences에 기반하여 사용자의 특

6 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 233 그림 4. SegmentGroupInformationType 구조 그림 5. 확장된 TVAMain 타입 구조 성에 대하여 서술하고 있다. Segmentation Information은 AV 스트림 내의 일 정 구간을 정의하고 접근할 수 있도록 지원하기 위하여 만든 메타데이터 구조로 Segment Information 과 Segment Group Information의 크게 두가지 정보를 포괄하고 있다. 그림 3은 그 중 Segment Information 을 정의하고 있는 Type 의 구조를 나타내고 있다. Segment Information은 타임라인 상에서 해당 콘텐츠 중 일부분만을 정의한 것으로 기존의 Content Description 처럼 해당 세그먼트에 대한 정보(줄거리. 제목, 키워드)를 줄 수 있다. 그림 4는 Segment Group Information 구조로 Segment Information 과 유사한 구조를 가지나 공통의 속성을 기반으로 하위에 다수의 Segment 들 또는 세그먼트 그룹들을 가질 수 있다. 이때 이렇게 형성된 그룹의 공통의 속성을 나타 내기 위하여 GroupType 을 설정한다. Group Type 은 Highlight, Bookmark, Theme Group, Preview 등 다양한 타입들을 정의하고 있다. Part 3-3 Extended Metadata Schema는 Phase 2 에서 새로 도입된 Content Packaging, Targeting Metadata, Device Capability description 등과 New Content Type(Game, Printing, Coupon 등) 등의 기 능들을 지원하기 위하여 Package Table, Interstitial Campaign Table, RMPI Table, Coupon Table, Targeting Information Table, Interstitial Targeting Table 등의 추가의 테이블 들과 Content Properties 들을 위하여 확장된 메타데이터를 정의하고 있다. 그림 5는 추가된 테이블 들을 포함하는 확장된 TVAMain 타 입의 구조이다. 여기서 Package Table 은 멀티미디어 콘텐츠 소비의 기본 단위로 정의한 item 엘리먼트들의 조합을 통하여 새로운 콘텐츠를 형성하는 Package 들 의 집합이다. Interstitial Campaign Table은 광고 캠

7 234 Telecommunications Review 제22권 2호 2012년 4월 Basic structures Grid Layout Descriptor Containers Time Series Multiple View GofGop Features Basic Supporting Tools Spatial 2D Coordinate System Temporal Interpolation Color Color Space Dominant Color Color Supporting Tools Color Quantization Gof/Gop Color Illumination Invariant Color Scalable Color Texture Homogeneous Texture Texture Browsing Motion Camera Motion Motion Trajectory Parametric Motion Shape Region Shape Contour Shape 3D Shape Color Structure Color Layout Color Temperature Edge Histogram Motion Activity Shape Variation Localization Region Locator Spatio-Temporal Locator Other Face Recognition Image Signature Advanced Face Recognition Video Signature 그림 6. MPEG-7 Part 3 Visual 구조 페인들의 정보를 모아 놓은 테이블로 각각의 캠페인은 자신을 구분할 수 있는 campaignid를 갖으며 캠페인 의 시작 날짜, 끝 날짜 등의 정보를 포함한다. RMPI Table은 순순하게 사용자에게 해당 콘텐츠의 지적 재산 권과 관련된 정보를 제공하는 목적으로 만들어진 테이 블이다. Coupon Table은 다른 구매 정보와 연결되지 않은 쿠폰 정보들을 갖는다. Targeting Information Table 은 콘텐츠를 특정 사용자를 대상으로 Targeting 하기 위한 정보로 대상 사용자의 User Information, Biographic Information, Accessibility Information, Terminal Information, Network Information, Natural Environment Information 등을 지정할 수 있다. Interstitial Targeting Table은 광고들의 대치 및 Targeting 을 위한 정보를 갖는 테이블로 상세한 타 입은 Part 3-4 Interstitial Content Metadata에 정의 되어 있다. 특별히 검색의 대상이 자주 되는 요소로는 타이틀, 키워드, 시놉시스 등을 들을 수 있는데 TV-Anytime 표 준에서는 Program Information, Group Information, Package Information 등 이 Basic Content Description 을 포함하는데 이는 Title, Media Title, Short Title 등의 Title 정보와 Synopsis, 텍스트로 이 루어진 Promotional Information, Keyword, Genre, Parental Guidance, Language, Caption Language, Sign Language, Credits List, Awards List, Related Material, Production Date, Production Location, Creation Coordinates, Depicted Coordinates, Release Information, Duration, Purchase List 등 21가지의 정보를 갖는다. 또한 Segment Information 과 Segment Group Information은 이렇게 상세한 content description 은 갖지 않으나 그림 3과 그림 4 에서 보이는 바와 같이 Basic Segment Description Type 의 Description 을 갖고 있으며 이는 Title, Synopsis, Genre, Keyword, Related Material, Credits List 의 여섯가지 정보를 포함한다. TV-Anytime 규격에 대한 간단한 초기 동향 및 내용 은 [15],[16]에서 찾을 수 있으며 실제로 TV-Anytime 표준을 기반으로 검색 기능을 포함하는 개인맞춤형 서 비스를 제공하는 단말기와 서비스가 구현된 예는 [17] 에서 찾을 수 있다. 4. MPEG 년 5월 ISO/IEC JTC1 SC29 WG11(a.k.a. MPEG)의 서울 Ad Hoc Group 미팅에서 기술 제안서 들을 평가하며 본격적으로 시작되었던 MPEG-7은 2002년 최초의 International Standard가 나왔다. MPEG-7은 다양한 형태의 오디오-비주얼 정보를 위하 여 표준화된 내용 기반의 서술을 제공하는 것을 목적으 로 하며 이를 통하여 빠르고 효율적인 콘텐츠의 검색, 필터링, 및 식별 기능을 지원하고자 한다. MPEG-7의 특징은 low-level features, 구조(structure), 의미모델 (semantics models), 콜렉션(collections), 생성/제작 정보(creation) 등 다양한 측면에서 콘텐츠를 서술한다 는 것으로 그 서술의 대상으로 하는 오디오-비주얼 정 보는 Audio, Speech, Moving video, Still picture, Graphics, 3D 모델, 객체들을 조합하여 씬을 구성하는 정보 등 다양한 형태의 콘텐츠들을 포함하고 있다. 현

8 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 235 Content organization Collection & Classification Model User interaction Media Structural aspects Creation & Production Content Metadata Content description Conceptual aspects Usage Navigation & Access Summary Views Variation User Pref. Usage History Basic elements Datatype & structures Schema Tools Link & media localization BasicDSs 그림 7. MPEG-7 Part 5 Multimedia Description Scheme(MDS) 구조 Content Collection Collection (abstract) Structured Collection Mixed Collection Segment Collection Descriptor Collection Concept Collection 그림 8. Collection 구조 재 Systems, Description definition language, Visual, Audio, Multimedia description schemes, Reference software, Conformance testing, Extraction and Use of MPEG-7 Descriptions, Profiles and levels, Schema definition, MPEG-7 profile schemas, Query Format의 12개 파트로 구성 되어 있다. 이 중 콘텐츠의 검색과 직접적으로 관련되는 파트는 Part 3 Visual[8], Part 4 Audio[9], Part 5 Multimedia description schemes[10]의 세가지이다. Part 3는 순수하게 이미지나 비디오의 특징에 관한 서 술자들을 정의한 것으로 대부분 자동 추출 알고리즘에 의하여 추출되는 low-level feature 들을 정의하고 있 다. Part 4 는 순수하게 오디오의 특징에 관한 서술자 들을 정의한 것으로 역시 대부분 자동 추출 알고리즘에 의하여 추출되는 오디오의 low-level feature 들을 정의 하고 있다. Part 5는 멀티미디어 콘텐츠의 시각적 효 과나 청각적 효과 한가지에 제한되지 않는 특징을 구조 적으로 서술할 수 있는 도구들을 제공하고 있다. 이 중 Part 5에서 제공하고 있는 서술 구조들은 대부분 자동 으로 추출되지 않는 텍스트 기반의 메타데이터들 이다. 그림 6은 MPEG-7 Part 3 Visual에 정의된 서술 자들을 보여주고 있다. 기본적으로 Color 기반의 서술 자 6가지와 Texture 기반의 서술자 3가지, Motion 기 반의 서술자 4가지, Shape 기반의 서술자 3가지, 그리 고 얼굴 인식을 위한 서술자 2가지, 정지영상의 식별을 위한 Image Signature, 동영상의 식별을 위한 Video Signature 등이 정의되어 있다. 이 외에 이러한 서술 자들의 활용이나 정의를 위하여 사용되는 Descriptor Container들, Basic Supporting Tool들, Color Supporting Tool들, Localization Tool 등이 정의되어 있다. 그 림 7은 MPEG-7 Part 5 Multimedia Description Scheme (MDS)에 정의된 서술 구조들을 보여 주고 있다. Part 5 MDS에 정의된 서술 구조들은 크게 Content Organization, Content Metadata,

9 236 Telecommunications Review 제22권 2호 2012년 4월 Model (abstract) Probability Model (abstract) Analytic Model (abstract) Cluster Model Classification Model (abstract) ProbabilityDistribution DiscreteDistribution ContinuousDistribution FiniteStateModel CollectionModel ProbabilityModelClass ClusterModel ClusterClassificationModel ProbabilityClassificationModel 그림 9. Model 구조 AudioVisualSegment all space/time/media media time/media AudioVisualRegion media AudioSegment timr/media time/media media VidoeSegment media time/ spacetime space MovingRegion time/spacetime StillRegion space/time/ spacetime space StillRegion3D space 그림 10. MPEG-7 Segment 분할 구조 Content Description, Navigation & Access, User Interaction, Basic Elements의 6가지로 구분된다. Content Organization Tool은 Collection & Classification과 Model 을 포함하고 있는데 이들은 다 수의 content들을 특정한 성질에 따라 분류하고 관리 할 수 있도록 하여 준다. 그림 8은 Collection의 구조를 나타내고 있다. Collection은 Content Collection, Segment Collection, Descriptor Collection, Concept Collection, Mixed Collection, Structured Collection 등이 있다. 그림 9는 Model의 구조를 나타내고 있다. Model 의 종류에는 Probability Model, Analytic Model, Classification Model 등이 있으며 이 모델들은 다시 구 체적인 모델들로 분화될 수 있다. Content Metadata는 각 content에 대한 Media Description, Creation/Production Descripton, Usage Description 등을 서술하는 도구들을 칭한다. 이때 Media Description은 Media Information DS, Media Identification DS, Media Profile DS, Media Instance DS 등을 포함하는데 이들은 물리적으 로 존재하는 각각의 instance 를 식별하고 각 instance 에 대하여 코딩 파라미터들과 식별자 등의 정보를 제공 하게 된다. Creation/Production Description은 Creation DS, Classification DS, Related Material DS 등을 포함하는데 이들은 콘텐츠의 제작과정에서 제 작자/저자가 제공하는 정보들과 리뷰정보, 그리고 관련 된 material들 등을 제공하게 된다. Usage Description은 Rights, Financial Results, Availability, Usage Record 등의 서술 구조/서술자 들 을 포함하여 제반 권리와 관련되어 권리 소유자 정보, 비용, 수입과 같은 재정적 정보, 사용을 위한 콘텐츠의

10 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 237 Segments VideoSegment MovingRegion AudioVisualSegment Base Types Video D Video DS Audio&Video Tools ScalableColor RegionShape Homog. Texture AudioVisualRegion AudioSegment Audio D Audio DS Audio Sampled Spoken Content 그림 11. MPEG-7 Segment Interface Availability, 콘텐츠의 사용과 관련된 기타 제반 정보 들을 제공한다. Content Description은 Structure Description 과 Conceptual Description으로 나뉘게 된다. Structure Description은 주어진 멀티미디어 콘텐츠에 대하여 시/ 공간 및 미디어 분할에 의하여 만들어진 세그먼트 개념 을 이용하여 세그먼트와 전체 콘텐츠에 대한 서술 정보 를 제공하고 있다. 그림 10은 시/공간적 분할 및 미디 어 분할을 이용하여 세그먼트들을 하위 세그먼트로 분 할하는 세그먼트들 간의 계층적 구조 관계를 나타내고 있다. 예를들자면 Audiovisual Segment는 미디어 분 할을 이용하여 Audio Segment와 Video Segment 로 분할될수있고Video Segment는 시간 분할을 통하여 더 짧은 Video Segment들의 집합이나 Still Region Segment 들로 분할될 수 있다. 또한 Video Segment 가 공간적 분할을 통하여 Moving Region Segment들 로 분할될 수도 있다. 그림 11은 MPEG-7 Part 5에서 정의하는 Segment들과 다른 파트에서 정의한 Audio 또는 Video 도구들과의 interface를 보여주고 있다. 즉 각 타입의 Segment들은 자신의 특성에 따라 Video D/DS, Audio D/DS를 포함하게 되는데 Video Tool 들은 Video D/DS를 상속받았으며 Audio Tool들은 Audio D/DS를 상속받았으므로 해당 Segment에 포함 될 수 있도록 정의되어 있다. Content Description의 또다른 축을 이루는 Conceptual Description은 제공되는 멀티미디어 콘텐 츠에서 묘사하고 있는 객체, Agent, 이벤트, 개념, 장 소, 상태, 시간, 서술하고 있는 세상 등과 같은 실 세상 의 개념이나 묘사하고자 하는 것들을 서술할 수 있도록 하여 준다. Navigation and Access 분야에는 Summary, View, Variation의 세가지 종류의 도구들이 포함되어 있다. Summary Tool은 원하는 부분을 찾고 브라우징 을 하거나 원하는 부분으로 이동하는 등의 기능 등을 지 원하기 위한 도구로 Hierarchical Summary DS와 Sequential Summary DS의 두가지 도구를 포함하고 있다. Hierarchical Summary는 계층적 구조를 이용 하여 순차적인 Navigation 뿐만 아니라 계층적 Navigation을 지원하고 있다. Sequential Summary 는 순차적 Navigation만을 지원하지만 변속 및 배속 브 라우징을 지원하고 오디오와 텍스트 및 비디오 세그먼 트의 동기화를 통한 오디오 슬라이드쇼와 같은 특수 기 능 들을 지원한다. View는 시간, 공간, 주파수 공간 등에서 이미지, 비 디오, 오디오 등을 여러가지 방법으로 분할하여 다양한 측면에서 사용자가 콘텐트를 관찰 할 수 있도록 지원한 다. View에는 Partition, View, View Decomposition 의 세가지 도구가 정의되어 있다. Variation은 주어진 멀티미디어 콘텐트를 Modality 변환과 Fidelity 변환을 통하여 다양한 형태 로 변환된 콘텐트들을 나타낸다. 마지막으로 User Interaction Description은 사용 자 선호도와 사용자 사용기록을 통하여 사용자의 선호 도나 취향을 판단하여 사용자에게 맞춤형 서비스를 제 공할 수 있도록 하기 위한 도구이다. 5. MPEG Query Format MPEG-7 표준의 개발은 검색 기술 및 메타데이터 서술 기술 등의 측면에서 많은 공헌을 하였으며 많은 검 색 시스템에서 기초/참조 기술로 활용되고 있다. 그러 나 멀티미디어 검색 시스템의 응용 및 발전은 또다른 문 제점을 발생시키고 있다. 멀티미디어 검색 서비스들이 존재할 때 사용자와 서비스와의 사이에서 서비스의 제 공은 서비스 제공자가 지정하는 방식으로 사용자의 요 구사항들이 서비스 제공자에게 전달하고 또한 서비스 제공자가 지정한 방식으로 그 답변이 사용자에게 전달

11 238 Telecommunications Review 제22권 2호 2012년 4월 그림 12. MPQF 루트 된다. 이러한 방식은 하나의 서비스 제공자만이 존재 하는 경우 특별히 문제가 되지 않는다. 하지만 다수의 서비스 제공자가 존재한다고 가정하는 경우 클라이언트 개발자는 각 서비스 제공자별로 고유의 클라이언트를 개발하여야 하며 사용자는 서비스 제공자별로 지정된 방식으로 요구사항을 전달하여야 하며 지정된 방식으로 돌아온 답변을 통합하여야 한다. MPEG 은 2005년부 터 이러한 문제를 인식하고 요구사항을 개발, 분석하였 으며 MPEG-7 Part 12인 MPEG Query Format이라 는 이름으로 2008년말에 국제표준으로 발표되었다 [11]. 이는 스마트 TV 환경에서 상기한 바와 같이 다 양한 콘텐츠 메타데이터가 존재하고 이를 제공 하는 다 양한 서비스들이 존재할 때 이들을 통하여 원하는 정보 를 질의하고 응답받는 표준화된 인터페이스로 사용될 수있다. MPEG Query Format(MPQF)은 그림 12에서 보 는 바와 같이 질의(Query)와 관련된 입력과 출력, 질의 관리(Management)와 관련된 입력과 출력의 네부분으 로나눌수있다. Query 부분에 Input과 Output외에 FetchResult 라 는 엘리먼트가 보이는데 이는 Input의 일종으로 질의를 먼저 보내 놓고 추후에 그 결과를 가져오기 위하여 사용하 는 특수한 엘리먼트다. 질의(Query)의 입력은 일반적으 로 Input Query Format이라고 불리우며 여기서는 Query 부분에 포함된 Input 엘리먼트로 표시되어 있다. Input Query Format은 QFDeclaration, OutputDescription, QueryCondition, ServiceSelection 등 네개의 엘리먼 트를 갖는다. QFDeclaration은 추후에 질의(Query)의 Input 엘리먼트 내에서 반복하여 사용하게 되는 Resource나 Field의 사전 정의를 위하여 사용하는 것 으로 ID와 함께 선언하여 놓고 필요할 때 ID를 이용하 여 참조하는 방식으로 반복 사용할 수 있도록 하여 질의 형성의 효율성을 높이기 위한 구조체이다. ServiceSelection은 여러개의 서비스 제공자들이 존재 하는 경우 사용자나 클라이언트가 원하는 서비스 제공 자를 선택할 수 있도록 도와주는 구조체이다. Output Description은 ReqField, ReqAggregateID, GroupBy, SortBy의 네개의 엘리먼트를 이용하여 질 의의 응답으로 받기를 원하는 정보에 대하여 구체적으 로 정의할 수 있도록 하고 있다. 즉 ReqField 는 원하 는 필드들만을 정의할 수 있도록 하고 있으며 ReqAggregateID는 GroupBy 내의 Aggregate 기능이 선택되는 경우 질의의 결과로 원하는 Aggregate된 결 과를 선택할 수 있도록 하고 있다. 또한 GroupBy는 Average, Summation 등과 같은 Aggregate 기능들을 이용한 결과를 추출할 때 그 대상이 되는 필드를 지정할 수 있도록 하여주며 SortBy는 정렬 기준이 되는 Sort 키 를 지정할 수 있도록 하고 있다. maxpageentry, maxitemcount, freetextuse, thumbnailuse, mediaresourceuse, outputnamespace 등 6개의 속 성(attribute)들은 한 페이지에 나올 수 있는 결과의 갯 수, 돌려받고자 원하는 전체 결과의 수, 프리텍스트의 이용여부, 썸네일 이미지의 사용여부, 기타 미디어의 사용여부, 결과를 돌려줄 때 사용할 XML namespace 의 규정 등을 추가로 정의할 수 있도록 하여 질의 결과 를 다양한 모습으로 받을 수 있도록 하고 있다. QueryCondition은 사용자가 원하는 정보의 내용을 구체 적으로 서술할 수 있도록 정의된 구조체이다. QueryCondition은 Join이나 Condition중 하나를 선택하 여 질의 조건을 정의하도록 되어 있는데 Join은 서로 다른 두개의 field값을 join condition으로 지정하여 Join 질의 를 구성할 수 있도록 되어 있으며 Condition은 Boolean Expression Type을 기반으로 구체적 질의 조건을 정의 할 수 있도록 되어 있다. 기본적 Boolean Type으로 AND, OR, NOT, XOR 와 같은 네가지 부울 연산자들이 정의되어 있으며 비교 연산자로 GreaterThan, GreaterThanEqual, LessThan, LessThanEqual, Equal, NotEqual, Contains와 같은 논리/대수 비교 연 산자들이 역시 BooleanType의 sub-type 으로 정의되어 있다. 또한 BooleanType의 또다른 subtype으로 QueryByMedia, QueryByDescription, QueryByFree Text, QueryByFeatureRange, SpatialQuery,

12 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 239 그림 13. Google TV 에서의 Google Search 그림 14. 아울림 시맨틱 검색 서비스 TemporalQuery, QueryByXQuery, Query ByRelevanceFeedback, QueryByROI 등 9개의 Query Type들이 정의되어 있다. 이러한 QueryType 들은 다양한 기본적인 질의를 생성할 수 있게 하여 주고 이러한 질의들이 비교 연산자와 부울(Boolean) 연산자 를 통하여 복합 구성되어 복잡한 질의들을 구성할 수 있 도록 되어 있다. 이렇게 MPQF는 low-level feature에 기반한 유사 검색을 위한 질의 뿐만 아니라 MPEG-7이나 TV- Anytime같은 구조적 언어 기반의 메타데이터 규격에 기반한 데이터베이스에 대한 질의 또한 표준적인 방법 으로 다양한 질의를 주고 받을 수 있도록 규정하고 있어 다수의 스마트 TV 제작자들과 다수의 서비스 제공자들 이 존재할 수 있는 환경에서 표준기반의 서비스와 검색 애플리케이션의 구성에 중요한 역할을할수있다. III. 내용 기반 검색 기술 1. 메타데이터 기반 검색 스마트 TV 에서 가장 많이 활용될 수 있는 검색기 술은 메타데이터 기반 검색이라 할 수 있다. 이때 대상 콘텐츠와 관련되어 있는 텍스트 정보들 또한 메타데이 터로 볼 수 있기 때문에 여기서 메타데이터 기반 검색이 라 함은 II장에서 살펴본 메타데이터 표준규격을 기반 한 검색 뿐만 아니라 일반적인 웹 검색에서 많이 사용되 는 다양한 텍스트 기반 검색을 포함하고 있다. 텍스트 기반 검색은 다시 관심있는 콘텐츠를 대상으 로 하는 검색과 유사한 관심도를 유지하는 소비자 그룹 을 기반으로 하는 추천 서비스로 나뉠 수 있다. 스마트 TV 에서의 텍스트 기반 검색은 가장 기본적인 검색 서 비스로 대표적인 것으로는 Google TV 에서 제공하는 Google Search 가 있다. 그림 13은 Logitech 의 revue 에서 제공하는 Google Search 화면을 보여 주고 있다[18]. 이러한 텍스트 기반 검색들은 질의어와 콘 텐츠의 서술 정보 및 방송 스케쥴 정보 등과의 유사도 검색을 통하여 그 결과를 보여주는 방식으로 되어 있다. 이때 질의어와 질의 대상과의 유사도 측정 방법은 그 모 델링에 따라 다양한 방법이 있으나 가장 대표적인 방법 으로는 용어들의 벡터로 문헌을 모델링하여 질의의 용 어와 문헌에 포함된 용어들의 거리를 측정하고 측정된 거리에 용어빈도-역문헌빈도(tf-idf)를 이용한 가중치를 주어 질의와 문헌과의 유사도를 측정하는 방식이 있다

13 240 Telecommunications Review 제22권 2호 2012년 4월 그림 15. 유사 이미지 검색 서비스 [19]. [17]에서 지원하고 있는 검색 서비스는 TV- Anytime 표준 기반으로 콘텐츠의 편성 정보 등에 포함 되어 있는 제목, 장르, 키워드 등의 몇 개의 선택된 필드 에 대하여 키워드 기반의 검색 기능을 선보이고 있다. 이러한 단순한 검색 외에 그림 14에서 보여 주는 바 와 같이 관련 검색어들의 검색 결과를 함께 보여 줌으로 다양한 정보를 전달할 수 있는 시맨틱 검색 기술들이 사 용 될 수도 있다. 그림 14는 (주)솔트룩스의 아울림 서 비스를 보여주고 있다[20]. 이러한 방송환경을 위한 시맨틱 검색 기술로는 MPEG-7과 TV-Anytime 표준 을 기반으로 온톨로지를 구성하고 MPEG-7 과 TV- Anytime으로 표현된 서로 다른 요소들 간의 동치관계, 포함관계, 상반관계 등의 의미관계를 분석하고 컴포넌 트, 컨테이너, 타임라인의 확장된 시맨틱을 정의하여 이 러한 확장을 통하여 추상화 검색을 지원하는 확장/강화 된 내용 기반 검색을 제안한 예가 있으며[21] 또한 TV- Anytime 메타데이터를 이용하여 온톨로지를 정의하고 이를 기반으로 상위 계층의 방송프로그램 도메인 온톨 로지와 최상위의 참조 온톨로지를 구성하여 방송 온톨 로지의 핵심 개념들을 추출하고 추출된 개념용어들의 텀벡터 사이의 유사도에 기반하여 유사 검색을 수행한 예도 있다. 이렇게 온톨로지 기반으로 검색을 수행하는 경우 일반적인 키워드 기반 검색보다 정확률, 재현률, F-측정값 등에서 높은 성능을 보인다고 한다[22]. 이 밖에도 다양한 시맨틱 검색 기술들이 활용될 수 있다 [23]. 이러한 검색 서비스는 프리텍스트 기반으로도 제공 이 가능하며 II장에서 살펴본 구조화된 메타데이터 규 격 기반으로도 가능하다. 그러나 프리텍스트 기반으로 검색하는 경우 간단한 인터페이스를 기반으로 일관성 있는 검색 기술을 적용하여 검색한다는 장점이 있으나 특정 용어가 매칭되었을 때 그 용어가 사용된 맥락을 이 해하지 못하는 상태에서 일괄적으로 검색 결과를 제공 한다는 단점이 있다. 반면에 구조화된 메타데이터 규격 을 이용하는 경우 검색 키워드가 구체적으로 어떠한 맥 락에서 사용되었는지, 즉 예를들어 사람 이름으로 검색 하는 경우 그 이름의 검색 대상에 제목, 등장인물, 극중 인물명, 스태프명 등의 구분을 두어 검색이 가능하다는 장점이 있다. 2. 특징소 기반 검색 메타데이터 기반 검색 외에 다른 또 하나의 내용 기 반 검색의 가능성으로 흔히 특징소라고 부르는 검색 대 상 객체의 물리적 특성을 이용하여 검색을 수행하는 경 우가 있다. 그러나 사용자 인터페이스가 PC와 다른, 린 백 (lean back) 서비스를 기본으로 하는 스마트 TV 에서 내용 기반 검색을 수행하기 위하여는 그 UI 가 가 장 중요한 요소 중에 하나가 된다. 특히 단순한 리모트 콘트롤을 이용하여 인터페이스 하는 경우 사용상의 제 약으로 인하여 다양한 UI/UX를 구성할 수 없다. 그러 나 최근 들어 N-Screen 서비스가 개발되면서 Tablet PC나 스마트폰과 같은 개인용 기기를 스마트 리모콘으 로 사용하는 서비스들이 개발되고 있고 이러한 신규 서 비스들은 린 백 서비스에서 UI/UX의 제약을 상당 부분 완화시키고 있다. 그림 15는 대표적인 내용 기반 검색 방법의 예로 예 제 이미지를 제시하고 이와 유사한 이미지들을 검색하 는 서비스로 가장 기본적인 방법으로는 MPEG-7 Part 3 Visual[9]의 다양한 특징소들을 이용하여 유사도를 검색하는 방식으로 구현될 수 있다. 이러한 영상 기반 유사 이미지 검색 서비스는 스마트 TV에서 스틸영상을 기반으로 유사한 프로그램이나 콘텐츠를 검색하는 목적 으로 응용될 수 있으며 스마트 TV를 통하여 개인 사진 앨범을 검색하는 목적으로 활용될 수도 있다. 그림 16은 스케치 기반 이미지 검색 서비스의 예로

14 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 241 그림 16. 스케치 기반 이미지 검색 서비스 그림 17. 음악 검색 서비스 사용자가 스케치한 그림을 기반으로 유사한 영상을 검 색하는 서비스이다. 이러한 서비스의 경우 특히 사용자 인터페이스의 편의성이 중요시 되며 일반적으로 테블릿 과 같은 특수한 장비를 필요로 하였으나 최근 들어 스마 트폰이나 테블릿 PC와 같은 터치스크린 기반의 장비들 의 보급 확대로 스마트 TV 에서도 멀지 않은 장래에 사 용될 수 있을 것이라 예상된다. 그림 17은 주변에서 들리는 음악을 기반으로 오디 오 핑거프린트 기술을 응용하여 잡음환경에서 원곡을 찾아주는 음악 검색 서비스의 예를 보여주고 있다[24]. 이러한 서비스의 경우 몇 가지 문제가 해결된다면 드라 마 삽입곡 찾기와 같은 기능에 활용될 수 있다. 또한 [25]는 감성 기반 음악 검색 서비스를 제안하고 있는데 이는 대립되는 감성들을 기반한 음악의 유사성을 MPEG-7 오디오 서술자들을 이용하여 측정하여 음악 들의 감성을 12가지 감성형용사를 기반으로 구분하고 오디오 서술자들은 러프 근사화와 군집 내, 군집 간의 유사성 비율을 측정하여 중요도를 설정하여 이를 기반 으로 음악간의 유사도를 측정하여 유사 감성 음악을 추 천하는 것이다. 본 절에서 살펴본 특징소 기반 검색들은 방송 콘텐 츠가 그 검색 대상이 되기 보다는 질의가 되어 인터넷 환경에 흩어져 있는 방송되고 있는 콘텐츠와 관련 있는 영상이나 음악등을 찾는 서비스에 활용되기 쉬울 것이 다. 또한 사진앨범이나 음악 재생기와 같은 스마트 TV 를 위한 다양한 응용 앱에서 부가서비스를 제공하기 위 하여 사용될 수도 있다. IV. 결 론 본 논문에서는 스마트 TV에서 활용될 수 있는 몇

15 242 Telecommunications Review 제22권 2호 2012년 4월 가지 대표적인 메타데이터 표준규격들과 검색 기술들을 살펴 보았다. 본 논문에서 살펴본 기술들 외에도 음성 기반이나 음악 기반 검색 같은 다양한 검색 서비스의 적 용이 가능하며 아직 성숙되지 않은 시장이므로 다양한 신규 기술들이 적용될 것으로 예상된다. 이러한 신규 성장시장에서 국제규격들은 중요한 역 할을 할 수 있으며 특히 서비스간의 호환성을 제공하는데 필수적인 요소이다. 그러나 적용 가능한 표준규격 역시 다수가 존재하는 관계로 시장의 선택에 따라 한, 두가지 의 표준규격만이 종래에는 사용 될 것으로 예상된다. 또한 UI/UX 의 제약으로 현재는 다양한 내용기반 검색 기술들의 적용이 힘들지만 음성 인식 기술이나 움 직임 인식 기술들을 응용한 UI/UX 의 발달과 시장의 성숙에 따라 좀더 편리하고 의미있는 검색 환경을 사용 자에게 제공하는 날이 올 것으로 기대한다. [참고문헌] [1] John R. Smith, "The Search for Interoperability," Multimedia, Vol. 15, Issue 3, 7~9월호, 2008년, pp [2] Ying Liu, Dengsheng Zhang, Guojun Lu, and Wei- Ying Ma, "A survey of content-based image retrieval with high-level semantics," Pattern Recognition, Vol. 40, Issue 1, 1월, 2007년, pp [3] IETF RFC 5013 Dublin Core Metadata Element Set, IETF, 8월, 2007년 [4] ETSI TS V1.7.1, Broadcast and On-line Services: Search, select, and rightful use of content on personal storage systems ("TV-Anytime");Part 3: Metadata;Sub-part 1: Phase 1 - Metadata schemas, ETSI, 11월, 2011년. [5] ETSI TS V1.6.1, Broadcast and On-line Services: Search, select, and rightful use of content on personal storage systems ("TV-Anytime");Part 3: Metadata;Sub-part 2:System aspects in a uni-directional environment, ETSI, 7월, 2010년. [6] ETSI TS V1.5.1, Broadcast and On-line Services: Search, select, and rightful use of content on personal storage systems ("TV-Anytime");Part 3: Metadata;Sub-part 3: Phase 2 - Extended Metadata Schema, ETSI, 11월, 2011년. [7] ETSI TS V1.5.1, Broadcast and On-line Services: Search, select, and rightful use of content on personal storage systems ("TV-Anytime");Part 3: Metadata;Sub-part 4: Phase 2 - Interstitial metadata, ETSI, 11월, 2011년 11월. [9] ISO/IEC :2002, Information technology -- Multimedia content description interface -- Part 3: Visual, ISO, [10] ISO/IEC :2002, Information technology -- Multimedia content description interface -- Part 4: Audio, ISO, [11] ISO/IEC :2003, Information technology -- Multimedia content description interface -- Part 5: Multimedia description schemes, ISO, [12] ISO/IEC :2008 Information technology - Multimedia content description interface - Part 12: Query format, ISO, [12] RP SMPTE Metadata Dictionary ( [13] EBU-Tech3295 ver.2.2, P_Meta Metadata Library, EBU, 9월, 2011년. [14] PBCore 2.0 ( 1월, 2011년 [15] 이석필, TV Anytime Forum 규격 및 현황, 정보 과학회지, 제20권제5호(통권 제156호) 5월, 2002년 [16] 김재곤, 최진수, 김진웅, 맞춤형방송 기술과 표준화 동향, 전자통신동향분석 제19권제4호, 8월, 2004년 [17] 석주명, 임성용, 최지훈, 김현철, 이한규, 홍진우, 개인 맞춤형방송 서비스와 단말플랫폼 개발, 전자 공학회 논문지 제44권 TC 편제1호 1월, 2007년 [18] [19] C.D. Manning, P.Raghavan, and H.Schutze, Introduction to Information Retrieval, International Student Edition, Cambridge University Press, Singapore, [20] [21] 김선경, 신판섭, 임해철, 멀티미디어 콘텐츠의 강화된 의미 검색을 위한 온톨로지 설계, 한국 인터넷 정보 학회 논문지 13권 1호, 2월, 2012년 [22] 김정민, 정현숙, 방송 온톨로지 구축 및 매칭 기반의 방송 프로그램 검색, 한국정보기술학회논문지 제9권 제12호, 12월, 2011년 [23] 정휘웅, 김경선, 정한민, 시맨틱 검색 기술 동향, 주간기술동향 통권 1431호 2월, 2010년 [24] Wooram Son, Hyun-Tae Cho, Kyoungro Yoon, Seok- Pil Lee, "Sub-fingerprint masking for a robust audio fingerprinting system in a real-noise environment for portable consumer devices," Transactions on Consumer Electronics, Vol. 56, Issue 1, 2월, 2010년, pp [25] 임지혜, 이준환, 퍼지 유사관계를 이용한 다차원 특징들의 가중치 결정과 감성기반 음악검색, 한국 지능시스템학회 논문지, Vol. 21, No. 5, 2011년

16 스마트 TV: 스마트 TV 환경에서 응용 가능한 멀티미디어 정보 검색 기술 243 윤경로 (Kyoungro Yoon) : 연세대학교 전자전산기공학과 학사 : 미시건대학교(앤아버) 전기/시스템 석사 : 시라큐스대학교 전산학 박사 ~ : LG전자 전자기술원 선임연구원/ 책임연구원/그룹장 ~현재: 건국대학교 컴퓨터공학부 조교수/부교수 ~현재: JPEG Metadata Subgroup 의장 관심분야: 메타데이터, 멀티미디어 검색, 멀티미디어 방송, MPEG/JPEG 표준화 Tel: Fax: