적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 193 적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 (A Image Retrieval Model Based on Weighted Visual Features Determined by Relevance Feedback) 송지영 김우철 김승우 박상현 (Ji-Young Song) (Woo-Cheol Kim) (Seung-Woo Kim) (Sanghyun Park) 요약디지털이미지의양이증가함에따라원하는이미지를정확하고빠르게찾을수있는방법의필요성이증가하고있다. 이미지검색방법으로는이미지의색상이나명암과같은시각적특성을검색조건으로이용하는내용기반검색과이미지를설명하는키워드를검색조건으로이용하는키워드기반검색이있다. 하지만이러한방법만으로는사용자가원하는이미지를정확하게찾기힘들다는문제점이제기되어왔다. 따라서최근에는검색도중사용자의응답을받아사용자의요구를파악함으로써향상된검색결과를제공하는적합성피드백에대한연구가많이진행되고있다. 하지만적합성피드백을이용하는방법들도원하는결과를얻기위해서는여러번의피드백을필요로하고질의수행이완료된후에는얻어진피드백정보를재사용하지못한다는단점이있다. 따라서본논문에서는이미지에키워드를연결한후사용자의피드백정보를반영하여키워드의신뢰도를조절함으로써키워드기반이미지검색의정확도를높일수있는모델을제안한다. 제안된모델에서는사용자로부터피드백을받은이미지뿐만아니라긍정적피드백을받은이미지들이공통적으로가지는시각적특성과유사한시각적특성을가지는다른이미지들까지도키워드의신뢰도를조정함으로써좀더빠른시간내에검색결과의정확도를높이도록한다. 제안한방법의정확성을검증하기위한실험결과에따르면, 같은횟수의피드백을받으면서도재현율과정확률은빠른증가를보이는것으로나타났다. 키워드 : 이미지검색, 내용기반검색, 적합성피드백, 멀티미디어데이타베이스 Abstract Increasing amount of digital images requires more accurate and faster way of image retrieval. So far, image retrieval method includes content-based retrieval and keyword based retrieval, the former utilizing visual features such as color and brightness and the latter utilizing keywords which describe the image. However, the effectiveness of these methods as to providing the exact images the user wanted has been under question. Hence, many researchers have been working on relevance feedback, a process in which responses from the user are given as a feedback during the retrieval session in order to define user s need and provide improved result. Yet, the methods which have employed relevance feedback also have drawbacks since several feedbacks are necessary to have appropriate result and the feedback information can not be reused. In this paper, a novel retrieval model has been proposed which annotates an image with a keyword and modifies the confidence level of the keyword in response to the user s feedback. In the proposed model, not only the images which have received positive feedback but also the other images with the visual features similar to the features used to distinguish the positive image are subjected to confidence modification. This enables modifying large amount of images with only a few feedbacks ultimately leading to faster and more accurate retrieval result. An experiment has been performed to verify the effectiveness of the proposed model and the result has demonstrated rapid increase in recall and precision while receiving the same number of feedbacks. Key words :Image retrieval, content based image retrieval, relevance feedback, multimedia database 학생회원 : 연세대학교컴퓨터과학과 jysong@cs.yonsei.ac.kr twelvepp@cs.yonsei.ac.kr kimsw@cs.yonsei.ac.kr 종신회원 : 논문접수 : 심사완료 : 연세대학교컴퓨터과학과교수 sanghyun@cs.yonsei.ac.kr 2006년 11월 14일 2007년 3월 20일
194 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) 1. 서론현재인터넷에서사용되는정보는텍스트기반에서이미지, 오디오등을이용한멀티미디어기반으로점차확장되고있다. 특히디지털카메라, 스캐너와같이아날로그데이타를디지털로변환할수있는장치의발달과인터넷대역폭의증가는인터넷에포함된멀티미디어정보의증가를더욱가속화시키고있다. 따라서텍스트검색을위주로하던기존의인터넷검색시스템들은이미지, 음악, 비디오등의멀티미디어정보까지도검색할수있도록검색엔진을확장하려하고있다. 특히여러멀티미디어정보중에서가장많은부분을차지하고있는이미지정보에대한효과적인검색기술이요구되고있으며, 이에대한많은연구들이진행되고있다. 기존의이미지검색기술은대부분이미지를저장하는파일의이름이나이미지의내용을표현하는키워드를검색조건으로사용하는키워드기반의검색 (Keyword-based search) 방법을사용한다. 그러나키워드기반의검색방법은이미지에키워드가연결되어있지않거나이미지에연결된키워드가해당이미지를제대로표현하지못한다면검색결과의정확도가매우낮다는단점을가지고있다. 이러한단점을극복하기위하여각이미지의키워드를사람이직접입력할수도있지만이미지수의증가속도를고려한다면이는좋은해결책이될수없다. 이미지검색을위한다른방법으로이미지의색상분포나명암같은시각적특징을검색조건으로사용하는내용기반의검색 (Content-based search) 이있다. 그러나이방법은컴퓨터에의해서계산되는시각적특징이사람이인지하는시각적특징과다를수있다는단점을가지고있다 [1,2]. 또한, 검색조건으로서이미지를제시해야하기때문에텍스트기반의검색엔진에익숙한사용자가사용하기어렵다는단점도가지고있다. 결국내용기반검색방법과키워드기반검색방법모두만족할만한검색의정확도를제공하지못한다는문제점을가지고있다. 이러한문제점을해결하기위해서이미지검색에적합성피드백 (Relevance feedback) 을적용하는연구가최근많이진행되고있다. 적합성피드백이란초기검색결과에서사용자가몇개의예시답안을피드백정보로시스템에게알려주면그정보를바탕으로질의를수정하여좀더정확한검색결과를얻는방법이다 [3,4]. 적합성피드백을내용기반검색에적용하는기존의연구들은검색결과중사용자가긍정적이미지 (Positive image) 로선택한것들의공통적인시각적특징을이용해이미지의유사성을비교함으로써검색결과의정확도를향상시킨다. 그러나원하는검색결과를얻기 위해서는피드백과정을여러번반복해야하며, 질의수행이완료된후에는이렇게얻어진피드백정보를재사용하지못한다는단점이있다 [3,4]. 적합성피드백을키워드기반검색에적용하는기존의연구들은피드백정보를이용하여이미지와키워드간연결의신뢰도 (Confidence) 를자동적으로조정함으로써검색결과의정확도를향상시킨다. 즉, 긍정적이미지에연결된키워드의신뢰도는높이고부정적이미지 (Negative image) 에연결된키워드의신뢰도는낮춤으로써, 피드백이반복됨에따라키워드가이미지를좀더정확하게표현하도록하는방식을사용한다 [5-7]. 그러나이방식에서는피드백을받은이미지에대해서만키워드의신뢰도를조정하기때문에전체이미지의키워드를올바르게조정하기위해서는많은시간이소요된다는단점이있다. 본논문에서는적합성피드백을키워드기반검색에적용할때발생하는문제점을해결하기위해서키워드기반검색방법에내용기반검색방법을결합한모델을제안한다. 제안하는방안은피드백으로받은이미지들의키워드뿐아니라긍정적피드백을받은이미지들을구분하는데사용된시각적특성과유사한시각적특성을갖는다른이미지들의키워드까지도신뢰도조정의대상이되도록한다. 이를통해적은피드백으로도많은이미지의키워드신뢰도를조정할수있게되므로, 궁극적으로는좀더빠른시간내에검색결과의정확도를높일수있다는장점을가지게된다. 본논문의구성은다음과같다. 먼저 2장에서는이미지검색에대한기존연구를살펴본다. 다음으로 3장에서는본논문에서제안하는검색모델을단계별로설명하며, 4장에서는실험을통하여제안모델의성능을평가한다. 마지막으로 5장에서는본논문의내용을요약하고앞으로의연구방향을제시한다. 2. 이미지검색을위한기존연구이미지검색방법은크게내용기반검색과키워드기반검색으로구분된다. 내용기반검색은이미지로부터색상, 무늬, 윤곽과같은시각적특징을추출하여검색조건으로사용한다 [1,8-10]. 대표적인내용기반검색시스템으로 QBIC[8], VisualSEEK[9], Virage[10] 등이있다. QBIC는색상, 무늬, 예제이미지, 스케치등을질의로사용하여이미지를검색하며, 주로대용량이미지데이타베이스나비디오데이타베이스에서사용된다. VisualSEEK는사람이이미지를인식할때가장중요하게사용하는시각적특징인색상들의상하및좌우위치관계를이용하여이미지를검색한다. Virage는색상배치, 무늬, 객체의외곽선등을이미지의시각적특
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 195 징으로사용하며, 얼굴인식및안구인식과같은특정분야에서도사용된다. 검색의정확도를높이기위해서대부분의내용기반검색시스템들은여러개의시각적특징을조합하여사용하지만, 컴퓨터프로그램에의해서계산되는시각적특징이사람이인지하는시각적특징과다를수있으므로정확도향상에는한계가있다. 또한, 검색조건으로서이미지를제시해야하기때문에텍스트기반의검색엔진에익숙한사용자가사용하기어렵다는단점도가지고있다 [1]. 키워드기반검색은이미지의내용을표현하는키워드를검색조건으로사용한다. 따라서이미지를표현하는키워드의정확도가높은경우에는검색결과의정확도를보장할수있다. 키워드의정확도를높이기위한가장좋은방법은사람이직접이미지의키워드를입력하는것이다. 그러나이미지데이타베이스의크기를고려한다면사람이일일이이미지의키워드를입력한다는것은거의불가능하다. 따라서자동키워드연결에대한연구들이최근활발하게진행되고있다 [11-13]. Cheng 등은영역단위의클러스터링을이용하여새로운이미지에자동으로키워드를연결하였다 [11]. 즉, 새로운이미지가주어지면이미지를영역단위로나눈후, 각영역과가장유사한클러스터를찾아서그클러스터에연결된키워드를해당영역에할당하는방법을사용하였다. Jeon 등은키워드의의미적계층관계를이용하여키워드의신뢰도를조정하는방법을제안하였다 [12]. 예를들면, 고양이와강아지는모두애완동물이므로, 어떤이미지에고양이라는키워드와강아지라는키워드가모두연결되어있다면그이미지에애완동물이라는키워드를높은신뢰도로연결하였다. Feng 등은하나의이미지에대해서서로다른두가지방법을각각적용하여두개의키워드집합을구한후, 두집합에모두속한키워드들은높은신뢰도를할당하고하나의집합에만속한키워드들은낮은신뢰도를부여하는방법을제안하였다 [13]. 기본적으로위의자동키워드연결방법들은프로그램에의해계산되는시각적특징의유사성을이용하여키워드를다른이미지에전파 (Propagate) 하는방식을사용한다. 이와같은방식을사용하여모든이미지에키워드를연결한후에는키워드기반검색을수행할수있게되므로내용기반검색에비해검색속도를향상시킬수있지만검색의정확도가낮다는문제는여전히해결하지못한다. 따라서검색의정확도를높이기위해서이미지검색에적합성피드백을적용하는연구 [3,4] 가최근많이진행되고있다. 적합성피드백이란초기검색결과의정확도를사용자에게평가받아사용자가 원하는데이타의특성을파악하여좀더정확한검색결과를제공해주는방법이다. 이러한적합성피드백은내용기반검색과키워드기반검색모두에적용될수있다. 내용기반검색에서는두가지방식으로적합성피드백을적용한다. 첫번째방식은사용자의피드백정보를이용하여긍정적이미지들과는비슷하고부정적이미지들과는다르도록질의이미지를표현하는정보를수정하여다시데이타베이스를검색하는것이다. 두번째방식은여러시각적특징중분별력이높은것을찾아더높은가중치를부여함으로써유사도계산의과정에서사용자의피드백정보를반영하는것이다 [2-4]. 키워드기반검색에서는사용자의피드백정보를이용하여키워드를추가혹은삭제하거나 [7], 키워드의신뢰도값을변경한다 [6,11]. 내용기반검색과같이즉각적으로향상된이차검색결과를얻을수는없지만피드백정보가누적되면잘못연결된키워드의신뢰도는낮아지고제대로연결된키워드의신뢰도는높아지게된다. 또한피드백과정에의해이미지로부터키워드가제거되기도하고새로운키워드가추가되기도한다. 따라서피드백정보가충분히누적되면이미지검색의정확도가향상된다. 그러나이방식은사용자로부터피드백을받은이미지에대해서만키워드의신뢰도를조정하기때문에전체적인검색의정확도를높이기위해서는많은피드백과정이필요하다는단점을가지고있다. 본논문에서는적합성피드백을키워드기반검색에적용할때발생하는문제점을해결하기위하여피드백을받은이미지들의키워드뿐아니라긍정적이미지들을구분하는데사용된시각적특성과유사한시각적특성을갖는다른이미지들을피드백적용범위에포함하여신뢰도조정의대상이되도록한다. 따라서제시하는모델은기존의모델보다좀더빠른시간내에검색결과의정확도를높일수있다는장점을가지게된다. 3. 피드백확장방법에기반한이미지검색모델이번장에서는본논문에서제안하는이미지검색모델을설명한다. 이미지검색모델은크게 1) 이미지들을이미지데이타베이스에수집하는이미지수집부분과 2) 이미지데이타베이스를검색하여사용자가원하는이미지를찾아주는이미지검색부분으로나눌수있다. 이미지를수집하는부분은이미지검색에필요한메타데이타를생성하는과정이며검색에필요한메타데이타에따라서다양한메타데이타수집방법을사용한다. 즉, 키워드기반의검색을위해서는이미지를표현하는키워드를이미지에연결하는키워드연결과정이필요하고, 내용기반의검색을위해서는색상이나모양
196 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) 같은저레벨 (low-level) 의시각적특성 (visual feature) 을이미지로부터추출하여저장하는과정이필요하다. 본논문에서는키워드기반검색방식과내용기반검색방식을결합한모델을사용하므로이미지로부터키워드및시각적특성을모두추출해야하며, 이런작업을담당하는부분을그림 1. 과같이 키워드및시각적특성연결모듈 이라한다. 이미지를검색하는부분은 3개의모듈로구성되어있다. 먼저그림 1. 의 키워드기반이미지검색모듈 은이미지데이타베이스를검색하여사용자가제시한질의키워드를하나라도포함하고있는이미지들을검색하는모듈이며, 이모듈을통해검색된결과를 1차검색결과 라고한다. 이러한 1차검색결과는이미지에연결된키워드가이미지의내용을제대로표현하지못하는경우에정확도가낮다는문제점을가지고있다. 따라서검색결과의정확도를높이기위해서그림 1. 의 이미지재정렬모듈 을이용해사용자의피드백정보를입력받아이를분석한후 1차검색결과를재정렬한다. 마지막으로그림 1. 의 키워드신뢰도조절모듈 은사용자로부터긍정적피드백을받은이미지들의키워드신뢰도는높이고부정적피드백을받은이미지들의키워드신뢰도는낮추는역할을수행한다. 또한, 긍정적피드백을받은이미지들을구분하는데사용된시각적특성과유사한시각적특성을갖는다른이미지들의키워드신뢰도도함께높임으로써적은피드백으로도많은이미지의키워드신뢰도가조정되도록한다. 3장의나머지부분에서는위의과정을따라가면서각과정을자세히설명하도록한다. 3.1절에서는키워드기반검색및내용기반검색을위해이미지에부가적으로저장해야하는이미지의속성에대해서정의한다. 3.2절에서는이러한이미지속성의초기값을생성하는자동키워드연결에대해서설명한다. 계속해서 3.3절에서는키워드기반이미지검색과정을설명하고 3.4절에 서는적합성피드백을적용하여향상된 2차검색결과를제공하는과정을설명한다. 마지막으로 3.5절에서는키워드의신뢰도를조절하여향상된이미지검색결과를제공하는방법을설명한다. 3.1 이미지와이미지의속성본논문에서제안하는방식으로이미지를검색하기위해서는이미지데이타에 1) 키워드기반검색을위한키워드와 2) 키워드에사용자의적합성피드백결과를반영하기위한키워드의신뢰도, 3) 내용기반검색을위한저레벨의시각적특성의 3가지정보를추가해야한다. I = (F, (K, C)) 정의 1. 이미지 I F는색상, 무늬, 질감과같이이미지에서추출한저레벨의시각적특성들의집합으로서각이미지는 n개의특성에대한정보를가지고있다. 이미지 I의 j번째특성을 I.Feature j 라고하면 F는 {I.Feature j 1 j n} 으로표현된다. K는이미지의내용을표현하는키워드의집합으로서각이미지에는최대 m개의서로다른키워드가연결되어있다. 이미지 I에연결되어있는 j번째키워드를 I.Keyword j 라고하고이미지가가질수있는전체키워드의집합을 W라고하면 K는 {I.Keyword j 1 j m, I.Keyword j W} 로표현된다. C는이미지에연결된키워드가이미지의내용을얼마나정확하게반영하는지를나타내는신뢰도의집합이다. 이미지 I에연결되어있는 j번째키워드의신뢰도는 I.Confidence j 로표현하며최소값으로 MINCONF, 최대값으로 MAXCONF를갖는다. 또한, 전체키워드의집합 W에속한임의의키워드 kw가이미지 I에서가지는신뢰도를 I.Confidence kw 로표시한다. 만일키워드 kw가이미지 I에연결되어있지않다면 I.Confidence kw 의값은 0이된다. 그림 1 제안하는이미지검색모델의전체구성도
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 197 3.2 자동키워드연결자동으로키워드를이미지에연결하는방법에는여러가지가있다. 예를들어 1) 이미지가저장되어있는웹페이지, 책등과같은환경의분석을통해서얻는방법, 2) 내용기반검색을이용하는방법등이존재한다. 본논문에서는다른방법에비해서상대적으로높은정확도를가지고있으며이미지를얻을수있는환경에영향을받지않는내용기반검색을통한자동키워드연결방식을이용한다. 내용기반검색을이용한자동키워드연결방식에서는사람에의해미리키워드가연결되어져있는이미지의집합인트레이닝집합 (Training set) T가필요하다. 트레이닝집합 T를이용해새로운이미지 I new 에자동으로키워드를연결하는과정은다음과같다. 먼저, 새로운이미지 I new 와트레이닝집합 T에속한각이미지 I i 사이의시각적특성의유사도 FeatureSimilarity(I new, I i) 를계산한다. 이때 FeatureSimilarity(I new, I i) 는 0부터 1사이의값을갖으며 1에가까울수록두이미지의시각적특성이비슷하다는것을나타낸다. 다음으로, 전체키워드의집합 W에속한각키워드 kw가새로운이미지 I new 에서가지는신뢰도 I new.confidence kw 를아래식 (1) 을이용하여계산한다. 이때모든이미지는최대 m개의키워드만을가질수있으므로신뢰도를기준으로상위 m개의키워드를선택하여새로운이미지 I new 의키워드집합으로설정한다. 만약선택된 m개의키워드중에서신뢰도가 MINCONF보다작은것이있다면해당키워드를 I new 의키워드집합에서삭제한다. 식 (1). 전체키워드의집합 W에속한키워드 kw가새로운이미지 I new 에서가지는신뢰도 3.3 키워드를이용한이미지검색 3.2절에서설명한자동키워드연결방법을사용하여데이타베이스에저장된모든이미지에키워드들을연결한후에는키워드기반의이미지검색을수행할수있게된다. 사용자가하나이상의질의키워드를검색조건으로입력하면, 먼저데이타베이스에저장된이미지중에서하나이상의질의키워드를포함한것들을검색한다. 다음으로, 검색된이미지들을질의키워드집합에대한신뢰도합을기준으로정렬한후사용자에게보여준다. 질의키워드의집합을 Q라고하면 Q에대한이미지 I i 의신뢰도합 ConfidenceSum(Q, I i) 은아래의식 (2) 를이용하여계산한다. 식 (2). 질의키워드의집합 Q에대한이미지 I i 의신뢰도합 3.4 적합성피드백이미지에연결된키워드의정확도가높으면 3.3절의과정만으로도사용자가원하는이미지를얻을수있다. 하지만일반적으로자동키워드연결방식을통한키워드연결은낮은정확도를보인다. 따라서본논문에서는적합성피드백의정보를누적하여이미지에연결된키워드의정확도를높이는방법을사용한다. 적합성피드백은질의결과로주어진이미지집합의순위를사용자의피드백을적용해재정렬하는것이다. 사용자의피드백은찾고자하는이미지를나타내는긍정적이미지와질의와관련성이적은이미지를나타내는부정적이미지로구분된다. 이러한피드백정보를분석해서질의와이미지간의유사도를재계산하는과정을통해서이미지검색의정확도를향상시킬수있다. 3.4.1 피드백에사용된시각적특성본논문에서는질의키워드에따라결과로주어진이미지중에서긍정적이미지와부정적이미지를찾는데사용되는이미지의특성이다르다는것을이용해사용자의피드백을분석하고그결과를키워드의신뢰도에반영하고자한다. 예를들어 숲 이라는키워드를질의로사용하는경우사용자는모양이나무늬보다는색상이라는특성을통해서이미지가긍정적이미지인지부정적이미지인지판단할것이다. 따라서긍정적이미지의색상과유사한색상을가지고있는이미지들을찾아서이미지에연결되어있는 숲 이라는키워드의신뢰도를높임으로써이미지검색결과의정확도를높일수있다. 사용자의피드백을키워드의신뢰도에반영하기위해서는먼저피드백내용을분석하여어떠한시각적특성이긍정적이미지와부정적이미지를구분하는데중요하게사용되었는가를판단해야한다. 이를위해본논문에서는시각적특성의분별력 (Discrimination power) 이라는개념을정의하여사용한다. 시각적특성 Feature j 의분별력이란 1차검색결과로주어진이미지들을 Feature j 를기준으로정렬하였을때긍정적이미지들의순위와부정적이미지들의순위가얼마나차이가나는가를정량적으로나타낸것이다. 즉, 긍정적이미지들이가지는시각적특성 Feature j 의평균값과 1차검색결과에포함된각이미지가가지는 Feature j 값의차이를계산한후, 두값의차이가작은순으로 1차검색결과를정렬한다음에아래의식 (3) 을이용하여 Feature j 의분
198 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) 별력 DP j 를계산한다. 식 (3). 시각적특성 Feature j 의분별력 위의식 (3) 에서 N p 와 N n 은각각사용자에의해선택된긍정적이미지의수와부정적이미지의수를나타낸다. 또한 Po j 와 Ne j 는긍적적이미지들이가지는 Feature j 의평균값을기준으로 1차검색결과를재정렬할때각각상위 N p 순위에포함된긍정적이미지의수와하위 N n 순위에포함된부정적이미지의수를나타낸다. 이때 DP j 가 1에가까울수록 Feature j 가긍정적이미지와부정적이미지를잘구분함을의미한다. 위의예를다시살펴보면, 숲 이라는키워드를질의로사용하는경우에는색상을나타내는시각적특성이모양이나무늬를나타내는시각적특성에비하여상대적으로높은분별력을가지게됨을알수있다. 3.4.2 이미지의재정렬위와같은방법으로각시각적특성 Feature j 의분별력을계산한후이를이용하여 1차검색결과로주어진이미지들을재정렬하여사용자에게보여준다. 이를위해먼저각각의시각적특성에대해긍정적이미지들이가지는평균값을이용하여가상의질의이미지 I avg 를작성한다. 이때, 가상의질의이미지 I avg 의 j번째시각적특성은긍정적이미지들의가지는 j번째시각적특성의평균값이된다. 다음으로 1차검색결과에포함된각이미지 I i 와가상의질의이미지 I avg 사이의유사도를함수 WeightedFeatureSimilarity(I avg, I i, {DP 1, DP 2,..., DP n}) 를이용하여계산한다. 이유사도함수는시각적특성의분별력을이용하여해당특성의가중치를아래의식 (4) 와같이구한후이를두이미지의유사도계산에반영한다. 식 (4) 에서 n은전체시각적특성의수를나타내며, DP j 와 w j 는각각 j번째시각적특성의분별력과가중치를나타낸다. 식 (4). j 번째시각적특성의가중치 시각적특성의가중치를반영한위의유사도함수를기반으로 1차검색결과에포함된이미지들을재정렬하면사용자가긍정적으로평가한이미지의시각적특성과비슷한시각적특성을갖는이미지들은상위에배치되고상이한시각적특성을갖는이미지들은하위에위 치하게된다. 이를통해사용자는질의키워드를포함하고있는이미지중에서자신이긍정적인피드백으로주었던이미지들과비슷한이미지들을검색결과로얻게된다. 3.5 키워드의신뢰도조정본논문에서제안한이미지검색시스템에서는사용자의피드백정보를이용하여 1차검색결과에포함된이미지들의키워드신뢰도를조정하는피드백확장방법을적용한다. 먼저, 긍정적이미지에대해서는질의로주어진각키워드의신뢰도를일정단위증가시킨다. 만약증가된신뢰도가 MAXCONF를초과할경우에는신뢰도를 MAXCONF로설정한다. 만약긍정적이미지에질의키워드가연결되어있지않은경우에는그키워드를 MINCONF의신뢰도로해당이미지에연결한다. 다음으로, 부정적이미지에대해서는질의로주어진각키워드의신뢰도를일정단위감소시킨다. 만약감소된신뢰도가 MINCONF보다작아지는경우에는그키워드를해당이미지로부터삭제한다. 마지막으로사용자의피드백을받지않은이미지이지만재정렬후에상위에위치하는일정개수의이미지들을선택하여키워드의신뢰도를증가시킨다. 이렇게추가적으로선택되는이미지를본논문에서는 추가이미지 라고호칭한다. 추가이미지들은사용자의직접적인피드백의결과가아니기때문에사용자가원하지않는결과일수도있으므로, 긍정적이미지보다는키워드의신뢰도를작게증가시킨다. 이와같이추가이미지들을선택하여키워드의신뢰도를조절하는것을 피드백확장 이라고한다. 피드백확장방법을사용하면이미지에연결된키워드의신뢰도를빠르게조절하는것이가능해진다. 하지만피드백확장에의한신뢰도조절이항상이미지검색성능을향상시키지는못한다. 예를들어, 키워드 kw 가연결된이미지의집합에서정확하게연결된키워드들은모두 MAXCONF의신뢰도를갖고정확하게연결되지않은키워드들은 MINCONF와 MAXCONF 사이의신뢰도를갖는다고하자. 이런경우피드백확장방법을적용하면정확하게연결된키워드의신뢰도는더이상오르지못한채잘못된키워드의신뢰도만높아지기때문에검색의정확도가떨어지게된다. 이러한문제점을해결하게위해서본논문에서는 키워드별선택적피드백확장 방법을사용한다. 즉, 각각의질의키워드 kw에대하여, 추가이미지상에서 kw 가가지는신뢰도의평균을구한후그값이정해진임계값을초과하지않는경우에만 kw에대한추가이미지의신뢰도를높이도록한다. 만약추가이미지상에서 kw가가지는신뢰도의평균값이정해진임계값을초과하는경우에는 kw에대한신뢰도조정이충분히이루
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 199 어졌다고판단하여 kw에대한피드백확장을적용하지않는다. 4. 실험을통한성능평가이장에서는다양한조건하에서이미지검색결과에대한피드백을받음에따라이미지들이가지고있는키워드의신뢰도가변하는정도를확인한다. 이실험을통하여본논문이제안하는적합성피드백과피드백확장방법이검색결과의정확도면에서기존의적합성피드백방법보다우수함을보인다. 4.1 실험환경본실험에서는 CalTech에서수행된이미지연구 [14] 에서사용된이미지셋을선택하여검색의대상으로사용하였다. CalTech 이미지셋은약 9,281장의이미지로이루어져있으며각이미지마다하나의객체를분명히나타내고있어이미지의내용을잘표현하는시각적특성을가지고있다. 또한, 이미지가포함하는객체에대한올바른키워드가연결되어있기때문에실험이미지로사용하였다. 이미지의시각적특성은 MPEG-7 XM 소프트웨어 [15] 를사용하여추출하였다. 실험에는이미지의색상, 형태, 무늬를가장잘반영하는 5개의시각적특성 (Color Layout, Color Structure, Homogeneous Texture, Edge Histogram, Region Shape) 을사용하였다. 시각적특성의유사도는 MPEG-7 XM 소프트웨어에구현되어있는유사도함수를사용하였다. 실험을위해 Windows XP 운영체제에서동작하는, 1GB의메모리와 80GB의하드디스크를가지고있는펜티엄 4 2.8GHz의컴퓨터를사용하였다. 자동키워드연결과정에사용되는트레이닝집합의크기는전체이미지수의약 4% 인 360장으로결정하였다. 자동키워드연결과정에서트레이닝집합을이용하여다른이미지들에게자동키워드를연결하였고, 트레이닝집합을포함한전체 9,281장의이미지에대한데이타베이스를구성하여검색의대상으로서실험에사용하였다. 성능평가는다음의두가지방식을대상으로한다. 하나는단순히피드백을받은이미지들의신뢰도를조절하는 NaiveFeedback 방식으로 Y. Lu 등의연구 [6] 에기반을둔방식이다. 다른하나는피드백확장방법을적용하여더많은이미지의신뢰도를조절하는Exten- dedfeedback 방식으로본논문에서제안하는기법이다. 4.2 용어정의이장에서는실험에대한이해를돕기위하여실험과관련된용어를설명한다. 실험의진행에따라서바뀌는이미지데이타베이스의정확성을측정하기위해서는피드백과정중간에사람 이개입하여이미지검색결과를확인하고피드백을주어야한다. 하지만검색결과의모든이미지와각이미지가가지는키워드에대한신뢰도의조절상태를하나하나직접확인하여정확성을측정하는것은거의불가능하다. 이러한문제를해결하기위해서사용자가직접정확성을평가하는대신이미지별로미리정의된정확한키워드와적합성피드백을통해변화하는키워드의신뢰도를비교하여시스템스스로정확성을평가하는방법을사용한다. 이를위해데이타베이스의모든이미지에미리올바른키워드를사용자가수작업으로연결하였으며, 이렇게연결된키워드들을수동 (Manual) 키워드라고정의한다. 수동키워드는이미지의내용을표현하는정확한키워드이기때문에신뢰도는언제나 MAXCONF 값을가지고있으며, 검색을통해연결된자동키워드와는별도로관리된다. 시스템은전체데이타베이스가가지는자동키워드들의신뢰도의총합과수동키워드들의신뢰도의총합을비교하여전체데이타베이스의정확성을스스로평가하게된다. 이장에서는이미지에연결된키워드가자동키워드와수동키워드의두종류로구분되므로각각 kw A 와 kw M 로표현한다. 자동키워드는시스템이이미지검색에사용하고피드백과정을통해서변화시키며, 수동키워드는시스템을통해변화되는정확성을측정하기위해서만사용된다. 또한이미지 I i 가갖고있는수동키워드 kw M 의신뢰도는 I i.confidence M kw 으로표기하며자동키워드 kw A 의신뢰도는 I i.confidence A kw 로표기한다. 데이타베이스에있는모든이미지는자동키워드와수동키워드를가지고있기때문에같은키워드 kw가이미지 I에연결되어있더라도키워드는자동키워드로연결되어있을수도있고수동키워드로서연결되어있을수도있다. 이와같이서로다른특징의키워드를갖고있는이미지들을구분하기위하여본논문은이미지집합을따로정의한다. 키워드 kw를자동키워드로가지고있는이미지의집합은 Set A (kw) 로정의하며, 수동키워드로가지고있는이미지의집합은 Set M (kw) 로정의한다. 4.3 재현율 (Recall) 과정확률 (Precision) 의정의본장에서는데이타베이스의정확성을측정하기위한지표로사용되는재현율과정확률을설명한다. 데이타를검색할때데이타베이스에있는질의와관련된정확한데이타들중검색된정확한데이타의비율을재현율이라고한다. 이것은시스템이정확한데이타를검색해내는능력을나타낸다. 한편, 질의를처리하여검색된데이타중정확한데이타의비율을정확률이라고한다. 그림 2에정확률과재현율을도표로표현하였다. 집합
200 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) A는질의가주어졌을때데이타베이스에있는질의와실제로관련된모든이미지들을나타내고집합 B는질의에의해검색된모든이미지를나타낸다. 즉, 집합 A 는질의키워드 kw를수동키워드로서가지고있는집합 Set M (kw) 이며, 집합 B는수동키워드로서가지고있는집합 Set A (kw) 이다. 이때검색결과중사용자가원하는정확한이미지들은두집합이교차하는부분이며 Set A (kw) 와 Set M (kw) 의교집합으로표현할수있다. 재현율을높이려면질의와관련된이미지를많이찾을수있도록검색결과의수를늘려야하고, 정확성을높이려면두집합이교차하는 A B를늘리면서원하지않은결과인 B-A를줄여야한다. 정확률은자동키워드들의신뢰도합에대한정확한자동키워드의신뢰도합의비로표현할수있으며식 (6) 과같이정의한다. 식 (6) 의값은키워드 kw가자동으로연결된이미지들중정확하게연결된이미지의신뢰도비율을측정하여, 실제검색되는이미지중정확한이미지가어느정도인가를나타낸다. 정확한검색결과를얻기위해서는정확한자동키워드신뢰도합은크고부정확한자동키워드신뢰도합은작아야한다. 식 (6). 키워드 kw 의정확률 그림 2 재현율과정확률기존이미지검색연구에서는재현율을측정하기위해주어진질의의결과로얻어진상위검색결과에서찾아내지못한이미지를포함한전체정확한이미지에대한찾아낸정확한이미지의비율을이용하였다. 그리고정확률을측정하기위해서는찾아낸이미지에대한찾아낸정확한이미지의비율을계산하였다. 그러나본연구는 1) 내용기반검색이아닌키워드기반검색방법을사용하고, 2) 각키워드가신뢰도값을가지고있기때문에동일한순위에온이미지라도신뢰도의값이다를수있다. 따라서기존의연구에서사용한정확성측정방법을그대로사용하기에는무리가있기때문에키워드신뢰도를함께고려한재현율과정확률의측정방법을제시한다. 한키워드의재현율은수동키워드들의신뢰도합과정확하게연결된자동키워드의신뢰도합간의비율로정의할수있다. 이값은키워드가이미지에얼마나정확하게연결되었으며, 연결된키워드가이미지의내용을얼마나잘표현하는지를나타내는기준이되며식 (5) 와같이나타낼수있다. 식 (5). 키워드 kw의재현율 위의방법을사용하여각단어의재현율과정확률을구한다면데이타베이스전체의재현율과정확률을구할수있다. 데이타베이스전체의재현율과정확률은시스템에서사용되는모든키워드의재현율평균과정확률평균으로구하며식 (7), 식 (8) 과같이표현한다. 이때, 시스템에서정의된모든키워드의집합을 W라고한다. 집합의크기는 W 로표현한다. 식 (7). 데이타베이스에있는모든키워드에대한재현율 식 (8). 데이타베이스에있는모든키워드에대한정확률 4.4 파라미터결정본실험을하기전에실험의결과에영향을미치는두개의파라미터 Threshold Size 와 Threshold EXTFB 를결정하기위한실험을수행한다. 파라미터 Threshold Size 는피드백확장방법에서선택되는추가이미지의개수를결정하며 Threshold EXTFB 는키워드별선택적피드백확장방법에서피드백확장의사용여부를결정한다. 실험을위해 7,000번의피드백을받는동안재현율, 정확률의변화를조사하였으며피드백정보로 N p 는 3, N n 는 3으로하였다. 키워드의신뢰도는 MINCONF인 0 부터 MAXCONF인 5까지의값을갖는다. 두방법의성능차이를나타내기위하여식 (9) 와같이 Extended- Feedback과 NaiveFeedback의측정값차이를구한후 NaiveFeedback에대한백분율로나타내었다.
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 201 식 (9). 두방법의측정값차이를백분율로나타내기위한식 4.4.1 Threshold Size 파라미터의결정 Threshold Size 의값이클수록많은이미지를선택하므로많은키워드의신뢰도가오르며따라서재현율값은빠르게오른다. 하지만추가이미지의수가많아질수록정확하지않은이미지도결과에포함될확률이높아지므로정확률은느리게오르는단점이있다. 따라서재현율과정확률모두만족할만한결과를얻은수있는파라미터값을결정해야한다. 그림 3은각각 Threshold Size 값을전체피드백이미지수의 0.5배수부터 1.5배수까지변화시켰을때검색결과의재현율과정확률을측정한그래프이다. x축은피드백의횟수를나타내며, y축은각각재현율과정확률의성능차이를나타낸다. 그림 3(a) 를보면 Threshold Size 가높을수록재현율이 NaiveFeedback보다빠르게증가하는것을볼수있다. 하지만그림 3(b) 를보면 Threshold Size 가높을수록정확률이초기에는빠르게증가하지만 1,500번정도의피드백이지나면정확률이빠르게낮아지고 7,000번의피드백을받은이후에는큰성능의차이가없는것을볼수있다. Threshold Size 가 0.5, 1.0일경우는거의같은수준을보이고있으며 1.5일경우는정확률이다른두경우에비해낮은값을갖는다. 파라미터값이 1일때정확률이전체적으로가장좋은성능을보였으며재현율에서도높은성능비교값을나타내기때문에본논문은이후 Threshold Size 로 1을사용한다. 4.4.2 Threshold EXTFB 파라미터의결정 다음은키워드별선택적피드백확장방법에서사용하는 Threshold EXTFB 를결정하기위한실험이다. Threshold EXTFB 는키워드 kw의평균신뢰도가 MAX- CONF 값에비교하여얼마만큼의값을갖고있나계산하여신뢰도조정이충분히이루어졌는가여부를판단하는값으로사용한다. 만약 MAXCONF 값이 5이고 Threshold EXTFB 이 0.8이라하면 MAXCONF의 0.8배인 4를피드백확장을결정하는기준으로사용한다. 실험을위하여 Threshold EXTFB 를 0.6부터 0.9까지변화시켜가면서재현율과정확률을비교하였다. Threshold EXTFB 의값이낮을수록시스템은피드백확장방법의사용을일찍그만두게되므로피드백확장방법의단점인정확률의느린증가를줄일수있다. 하지만정확한키워드의신뢰도를조절할수있는기회가줄어들기때문에재현율이느리게오른다. 따라서재현율과정확률모두높은값을가질수있는파라미터값을결정해야한다. 그림 4(a) 를보면 7,000번의피드백이후재현율은 Threshold EXTFB 이 0.9일때가장큰성능차이를보였으며 0.7과 0.8일경우 0.9만큼은아니지만좋은성능차이를보였다. 또그림 4(b) 를보면정확률은대체적으로 Threshold EXTFB 이높을수록성능차이가적었다. 이것은 Threshold EXTFB 가높으면키워드의신뢰도가 MAXCONF값에이른후에도확장피드백작업을하게되서부정확한이미지의키워드가선택되어신뢰도가오르기때문이다. 실험결과그림 4(b) 와같이정확률은 Threshold EXTFB 이 0.7일때가장높다. 따라서본논문은높은재현율의성능차이를보이면서가장좋은정확률성능차이를보이는 0.7을 Threshold EXTFB 으로사용한다. 4.5 성능평가를위한실험실험 1: 피드백의횟수에따른재현율, 정확률비교 (a) Recall 그림 3 Threshold Size 의결정실험 (b) Precision
202 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) (a) Recall 그림 4 Threshold EXTFB 의결정실험 (b) Precision (a) Recall 그림 5 피드백의증가에따른재현율, 정확률 (b) Precision 실험 1에서는예비실험에서결정된파라미터값을이용하여 ExtendedFeedback과 NaiveFeedback의재현율과정확률을비교하여평가한다. 그림 5는피드백횟수를증가시키면서재현율, 정확률을측정한그래프이다. 이때, 한번의피드백마다 6장의이미지를선택하였으며각각 N p 는 3, N n 는 3로하였다. 실험결과에의하면피드백횟수가증가할수록재현율과정확률은오르며피드백횟수가같을경우에는 ExtendedFeedback의측정값이 NaiveFeedback보다높은값을갖고있다. 그림 5(a) 를보면피드백횟수가 1,000번에서 24,00번사이일경우는 ExtendedFeedback 의재현율은 NaiveFeedback보다약 30%, 7,000번의피드백을받은이후에는약 7% 정도더높은값을갖고있었다. 이것은확장피드백방법을사용하여정확한키워드의신뢰도가더욱빠르게조정되는것을나타낸다. 또한그림 5(b) 를보면피드백 800번에서 2,000번사이에서 ExtendedFeedback의정확률은 NaiveFeedback보다약 20% 정도높고 7,000번의피드백을받은이후는약 6% 높다. 이것은 ExtendedFeedback에의한추가 이미지를선택할때정확한키워드의신뢰도가증가함을나타낸다. 실험 2: 트레이닝집합의크기변화에따른성능평가트레이닝집합의크기가클수록자동키워드는정확하게연결된다. 이것은자동키워드연결단계에서유사한특성을지니는정확한이미지의수가많아지기때문이다. 초기자동키워드의상태에따른피드백의반영효과를알아보기위하여트레이닝집합의크기를각각 40, 100, 200으로설정한후실험을하였다. 40은시스템에사용되는키워드를지닌이미지를하나씩선택하여만들수있는최소트레이닝집합의크기이다. 100과 200은일반적인실험에서사용하는전체이미지수의 10% 와 20% 이다. 그림 6(a) 와그림 7(a) 는각트레이닝집합의크기변화에따른재현율과정확률을나타낸것이며그림 6(b) 와그림 7(b) 는재현율의성능비교와정확률의성능비교를나타낸그래프이다. 그림 6(a) 와그림 7(a) 를보면같은서로다른세가지크기의트레이닝집합에서 ExtendedFeedback이 NaiveFeedback보다좋은값을갖
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 203 (a) Recall (b) Recall 비교 그림 6 트레이닝집합크기에따른재현율과두방법의성능차이 (a) Precision (b) Precision 비교 그림 7 트레이닝집합크기에따른정확률과두방법의성능차이 으며, 그림 6(b) 와그림 7(b) 에서볼수있는것과같이트레이닝집합의크기가작을수록두방법간의큰성능차이를갖는다. 이것은트레이닝집합의크기가작아초기데이타베이스의키워드가정확하지않은상태일수록 ExtendedFeedback에의한신뢰도조정이빠르게진행되어더정확한검색성능을가지고있음을나타낸다. 따라서제안하는피드백확장방법은초기데이타베이스에있는이미지들의키워드연결이충분히높은신뢰도를가지지않는환경에서도좋은성능을보인다. 실험 3: 피드백사이즈에따른실험이미지의신뢰도를조절하기위한가장이상적인방법은검색되는모든이미지에피드백을주는것이다. 하지만키워드에의해검색되는 1차검색이미지의수가많기때문에모든이미지에피드백정보를주는것은불가능하다. 일반적으로사용자는 1차결과에서몇개의이미지만피드백정보로시스템에넘겨준다. 사용자에게받는피드백크기에따라제안방식의성능향상정도를알아보기위하여피드백크기를바꾸어가며성능차이를측정하였다. 피드백크기를 4에서 8까 지변화시켜가면서실험하였으며, 이때 N p, N n 는피드백크기의반으로하였다. 이때사용하는피드백크기는각각전체이미지수의 0.4%, 0.6%, 0.8% 인 4, 6, 8을사용하였다. 그림 8, 9에피드백크기의변화에따른결과를나타내었다. 그림 8(a) 와그림 9(a) 를보면같은피드백정보를받은경우 ExtendedFeedback이 NaiveFeedback 보다재현율과정확률모두더높은값은갖는다. 두방법의성능차이를표현한그림 8(b) 와그림 9(b) 를보면피드백의크기가작을수록두방법의측정값은큰성능차이를나타낸다. 이결과에따르면 1차결과에서남기는피드백의크기가작을수록 ExtendedFeedback이 NaiveFeedback에비해좋은성능을보임을알수있다. 1,000번의피드백이진행된이후의실험결과를보면피드백을 4개씩주었을때가피드백을 8개주었을때보다재현율은약 15%, 정확률은약 8% 정도높은값을갖는다. 사용자에게받은피드백의크기가작아도 ExtendedFeedback의사용으로인한추가이미지의신뢰도조정이빠르게이루어지고있음을나타낸다.
204 정보과학회논문지 : 데이타베이스제 34 권제 3 호 (2007.6) (a) Recall 그림 8 피드백크기에따른재현율과두방법의차이 (b) Recall 비교 (a) Precision 그림 9 피드백크기에따른정확률과두방법의차이 (b) Precision 비교 5. 결론본논문에서는적합성피드백을키워드기반검색에적용하는방식에내용기반검색을결합하는모델을제안하였다. 제안된모델에서는피드백을받은이미지들의키워드뿐아니라긍정적피드백을받은이미지들을구분하는데사용된시각적특성과유사한시각적특성을갖는다른이미지들의키워드까지도신뢰도조정의대상이되도록한다. 이를통해작은피드백으로도많은이미지의키워드신뢰도를조정할수있게되므로, 궁극적으로는좀더빠른시간내에검색결과의정확도를높일수있다는장점을가지게된다. 본논문의주요공헌을요약하면다음과같다. 첫째, 키워드기반검색, 적합성피드백, 내용기반검색을모두사용하여빠른시간내에이미지검색결과의정확도를높일수있는새로운검색모델을제안하였다. 둘째, 적합성피드백과정에의해선택된긍정적혹은부정적이미지들로부터내용기반검색을위한최적의가중치유사도함수를자동적으로결정할수있는방안을제시하였다. 본논문에서제안한방법의우수성을검증하기위하여실험을통한성능평가를수행하였다. 실험결과에따르면단순히피드백을받을이미지만신뢰도를조정하는방법에비해서본논문에서제안한추가이미지까지신뢰도를조정하는피드백확장방법이같은횟수의피드백을했을때최고 40% 까지의재현율증가를보였고정확률도최고 20% 의증가를보여좋은검색결과를제공하였다. 향후연구로는피드백에서받는이미지의시각적특성과질의키워드의관련성을조사하여 1차검색이미지들을재정렬할때긍정적이미지와부정적이미지를더잘구분지을수있는가중치유사도기법을연구할계획이다. 각키워드를이용하여이미지를검색할때다사용자로부터얻은피드백정보를저장, 분석하여키워드와이미지의시각적특성사이의상관도 (Correlation) 를추론할수있는방법을제시한다면내용기반검색과키워드기반검색을모두적용가능한이미지검색모델을제시할수있을것이다.
적합성피드백을통해결정된가중치를갖는시각적특성에기반을둔이미지검색모델 205 참고문헌 [1] S. Deb and Y. Zhang, "An Overview of CBIR Techniques," In Proc. the 18th International Conference on Advanced Information Networking and Applications, 2004. [2] J. Zachar, S. S. Iyengar, J. Barhen, "Content Based Image Retrieval and Information Theory: A General Approach," Journal of the American Society for Information Science and Technology, 2001. [3] Y. Rui, T. S. Huang, M. Ortega, and S. Mehrotra, "Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval," IEEE Transition Circuits System Video Technology, Vol. 8, pp. 644-655, 1998. [4] X. Zhu and T. S. Huang, "Relevance Feedback in Image Retrieval: A Comprehensive Review," Multimedia Systems, Vol. 8(6), pp. 536-544, 2003. [5] O. Marques and N. Barman, "Semi-Automatic Semantic Annotation of Images Using Machine Learning Techniques," In Proc. International Semantic Web Conference, 2003. [6] Y. Lu, C. Hu, X. Zhu, H. J. Zhang, and Q. Yang, "A Unified Framework for Semantics and Feature Based Relevance Feedback in Image Retrieval Systems," In Proc. ACM Multimedia, 2000. [7] W. Liu, S. Dumais, Y. Sun, H. Zhang, M. Czerwinski, and B. Field, "Semi-Automatic Image Annotation," In Proc. Human Computer Interaction, pp. 326-333, 2001. [8] M. Flinker, H. Samhey, W. Niblack et al., "Query by Image and Video Content: The QBIC System," IEEE Computer, Vol. 28, pp. 23-32, 1995. [9] J. R. Smith and S. F. Chang, "VisualSeek: A Fully Automated Content-Based Image Query System," In Proc. ACM International Conference on Multimedia, pp. 87-93, 1996. [10] J. R. Bach, C. Fuller, A. Gupta, A. Hampapur, B. Horowitz, R. Humphrey, R. Jain, and C. Shu, "The Virage Image Search Engine: An Open Framework for Image Management," In Proc. Storage and Retrieval for Still Image and Video Databases IV, SPIE, 1996. [11] P. J. Cheng and L. F. Chien, "Effective Image Annotation for Search Using Multi-Level Semantics," In Proc. International Conference of Asian Digital Libraries, 2003. [12] J. Jeon, V. Lavrenko, and R. Manmatha, "Automatic Image Annotation and Retrieval Using Cross-Media Relevance Models," In Proc. the 26th Annual International ACM SIGIR Conference, 2003. [13] H. Feng and T. Chua, "A Learning Based Approach for Annotating Large Online Image Collection," In Proc. 10th International Multimedia Modeling Conference, 2004. [14] L. Fei-Fei, R. Fergus and P. Perona,. "Learning generative visual modelsfrom few training examples: an incremental Bayesian approach tested on 101 object categories," IEEE. CVPR 2004, Workshop on Generative-ModelBased Vision, 2004. [15] MPEG-7 visual part of the experimantation Model (version 9.0) January 2001, ISO/IEC JTCI/SC29/ WG11 N3914. 송지영 2005년 2월연세대학교컴퓨터과학과졸업 ( 학사 ). 2007년 2월연세대학교컴퓨터과학과대학원졸업 ( 석사 ). 관심분야는이미지검색, 멀티미디어데이타베이스, 데이타마이닝 김우철 1997년~2003년 B.S. 연세대학교컴퓨터과학과. 2004년~2006년 M.S. 연세대학교컴퓨터과학과 ( 석사 ). 2006년~현재연세대학교컴퓨터과학과 ( 박사 ). 관심분야는바이오인포메틱스, LBS, 데이타베이스보안, 멀티미디어데이타베이스등 김승우 2005 년 2 월연세대학교컴퓨터과학과졸업 ( 학사 ). 2005 년 3 월 ~ 현재연세대학교컴퓨터과학과석사과정. 관심분야는데이타마이닝, 데이타베이스보안등 박상현정보과학회논문지 : 데이타베이스제 34 권제 1 호참조