Content-based image retrieval: a comparison between query by example and image browsing map approaches Christopher C. Yang, JIS 2004 석사 2 학기김혜영 2007. 09. 20 연세대학교문헌정보학과대학원 2007 년가을학기멀티미디어시스템
목차 1. 서론 2. 내용기반이미지검색 (CBIR) 3. 이미지자질들 (Features) 4. Query by Example (QBE) 5. Self-organizing image browsing map (SIM) 6. 실험설계 7. 실험결과 8. 결론및제언 9. 참고자료
1. 서론 내용기반이미지검색 (CBIR) 이란? 인간이이미지에대해묘사한 텍스트기반 이미지검색이아닌이미지를구성하는다양한자질들을색인 & 분류해서이런 자질들의유사도를기반 으로하는이미지검색 연구초점 CBIR 시스템을 2 가지방식으로구축하고, 정보추구행위 (Information Seeking Behavior) 관점에서비교 / 분석, 두시스템의성능비교 - Query by Example (QBE) : 예제이미지가대표성을띄지않는경우성능떨어짐 - Self-organizing Image Maps (SIM) : Kohonen 의 Self-Organizing Map (SOM) 알고리즘을이용해서사전에이미지들을브라우징가능한그룹으로맵핑 3
2. 내용기반이미지검색 (CBIR) TBIR vs. CBIR 색인대상 Text-based image retrieval (TBIR) Text Descriptor time, location, events, objects, formats, aboutness of image content, topical terms Content-based image retrieval (CBIR) Image Feature texture, color, shape, structure 장단점 이미지 descriptor, annotation 등을 작성함에있어객관성, 일관성유지가어려움 이미지를구성 Feature 는일관성을지님 단, 이미지개체에대한자동인식의어려움있음 마이닝을통해이미지관련텍스트자동추출시에도이미지의내용을그대로반영하는지의문 예제시스템 Google, WebSeer, AltaVista Photo Finder, 국내대부분의포털이미지검색 QBIC, Photobook, NETRA, WebSeek ( 상용 ) Like.com, Shopwiki, Tiltomo MS live image search ( 얼굴인식 ) Yahoo Shopping Search 4
2. 내용기반이미지검색 (CBIR) CBIR 시스템예제 QBIC (IBM Almaden Research Centre) Photobook (MIT Media lab) NETRA (UCSB) Image Region-based Search Feature : color, texture, shape, spatial info Yahoo Shopping Search -Shop by color 기능 Like.com Tiltomo MS Live Image Search - Face recognition 기능 5
3. 이미지자질들 (Features) 일반적인이미지자질 - 기본자질 : Pixel value noise, brightness, hue, saturation 변화에민감 Translation, rotation 등의공간적변화에민감 - 일반적인용도의이미지자질 : Color, texture, shape, structure 좋은자질의기준 - 이미지간의충분한분리능력 - 공간적인변화에둔감 - 이미지생성당시의빛환경에둔감 본논문에서사용한자질 일반적인이미지에잘적용되는 색상 (Color) 과질감 (Texture ) 자질 6
3.1 Chromatic Features 색상공간 (Color space) CIE L*a*b* - 색모델에서나타낼수있는색상의범위 - 색상을벡터로표현하는 3 차원좌표시스템 RGB CMY LHS Luminance HSV hue Hue Saturation Saturation Value, Brightness 색상히스토그램 (Color histogram) - CBIR 시스템에서색상자질의표준적인표현방식 - 색농도값의히스토그램이색분포를표현 - 이미지보는시각축이달라지더라도 ( 위치이동, 회전 ) 색상히스토그램은유지 7
3.2 Texture Features 질감자질종류 - Pyramid-structured wavelet transform (PWT) - Tree-structured wavelet transform (TWT) - multi-resolution simultaneous autoregressive model (MR-SAR) - Gabor wavelet transform (GWT) : 가장좋은성능을보임 본논문에서사용한자질 : Gabor wavelet transform (GWT) - 가보분해 : 특정픽셀의변환계수값 - 변환계수값의평균과표준편차를이용하여질감자질벡터생성 S : the number of scale K : the number of orientation S = 3, K = 4 8
4. Query by Example (QBE) 주어진예제이미지와가장유사한이미지를 검색 하는방식초기이미지는랜덤으로선정되거나, 특정방식에의해선정됨. 검색결과성능이초기이미지에따라많이달라지며, 대용량의이미지 DB에서는초기이미지셋중적합한이미지가없을가능성있음 (Page Zero Problem) QBE 예제 : WebSeek (Columbia University) 9
4. Query by Example (QBE) QBE 기반의 CBIR 시스템 ( 본논문 ) 10
5. Self-organizing image browsing map (SIM) Self-organizing map (SOM) 을기반으로이미시스템상에서범주화해놓은이미지를 브라우징 하는방식 SOM : 색상, 질감자질을나타내는연속값을갖는벡터들간의네트워크연결강도가높은경우이를클러스터링하는방식으로신경망이론을이용한범주화도구 SIM 개요 Initialize Map Present image randomly Get Best Match Unit (winning output) Determining Neighbors Label nodes Map images to the labeled nodes Flower red 11
5. Self-organizing image browsing map (SIM) SIM 예제 PicSOM (http://www.cis.hut.fi/picsom/) 12
5. Self-organizing image browsing map (SIM) SIM 기반의 CBIR 시스템 ( 본논문 ) 13
6. 실험설계 : 개요 피실험자 & 실험데이터 - 피실험자 : 홍콩 Chinese University 공대학부생 34명 - 이미지 DB : 1 st Set 200개꽃이미지 (flower) 2 nd Set 469개 Textile 패턴 (textile) 3 rd Set 2,000개일반자연 / 사물이미지 (comprehensive) 실험절차 - Task A : 자질대화창에서텍스트로기술된자질선택 QBE 와 SIM 시스템에서텍스트기술에적합한이미지탐색 - Task B : 무작위로목표이미지가주어짐 검색을위한 QBE 혹은 SIM 시스템이임의로배정 검색해야하는목표이미지를찾을때까지피실험자들은 이미지쿼리 를계속변경입력 ( 시간제한있음, 60 초 for Textile 패턴 DB, 180 초자연 / 사진이미지 DB) - 피실험자는 2 개의이미지 DB Set (2nd & 3 rd ) 과 QBE / SIM 방식을랜덤으로체험 Task A, B 당각각 3 번의실험에참여, 총 6 번의실험 14
6.1.1 실험설계 : Task A - QBE 1 자질대화창 : 텍스트기반이미지묘사선택 ( 혹은추가묘사입력 ) 2 Feature Panel : 텍스트기반이미지묘사내용과사전에 labeled 된이미지를초기대표이미지로노출 3 Example Panel : 이미지쿼리로사용될이미지랜덤노출 ( 초기이미지는 SIM 에서 labeled 된이미지사용 ) 3 Result Panel : Example 이미지와유사한이미지검색결과에서적합한이미지선택 red orange 15
6.1.2 실험설계 : Task A - SIM 1 자질대화창 : 텍스트기반이미지묘사선택 ( 혹은추가묘사입력 ) 2 Feature Panel : 텍스트기반이미지묘사내용과사전에 labeled 된이미지를초기대표이미지로노출 3 SIM Panel : 적합한이미지노드를클릭후해당이미지노드내이미지중적합한이미지선택 16
6.2.1 실험설계 : Task B - QBE 1 Target panel : 검색목표이미지제시 2 Example panel : 목표이미지와같은라벨이붙은이미지를첫 Example 이미지로노출, 이후에는 Example 이미지이용자가직접쿼리로선택 3 Result Panel : Example 이미지와유사한이미지검색결과에서적합한이미지선택 17
6.2.2 실험설계 : Task B - SIM 1 Target panel : 검색목표이미지제시 2 SIM Panel : 적합한이미지노드를클릭후해당이미지노드내이미지중적합한이미지선택 18
6.3 실험설계 : 평가 / 분석방식 평가항목 Task A - 적합이미지결과개수 - 실험시사용한샘플이미지, 혹은클릭한노드의수 ( 전체 / 고유 ) - 검색총소요시간 - 쿼리당평균소요시간 Task B - 검색성공률 - 실험시사용한샘플이미지, 혹은클릭한노드의수 ( 전체 / 고유 ) - 검색총소요시간 - 쿼리당평균소요시간 정보추구행위 (Information Seeking Behavior) 관점의분석 - Starting : 정보의초기탐색활동 - Chaining : 검색결과를따라새로운정보원인지 - Accessing : 인지된정보원에대한접근 -Browsing : 잠재적인관심영역의정보를찾음 - Differentiating : 찾은정보를정보의성격, 질, 중요성, 유용성등의기준으로필터링 - Monitoring : 특정정보원을찾아감으로써관심분야의정보를인식, 유지함 - Extracting : 특정정보원에가서적합한부분을발췌해서인지 - Verifying : 정보의정확도여부를검사 -Networking: 다른사람과정보를공유 - Information Managing : 수집된정보를저장, 조직함 19
6.3 실험설계 : 평가 / 분석방식 QBE vs. SIM ( 정보추구행위관점 ) Starting QBE 초기검색질의 DB 로부터 예제이미지선택 SIM 라벨링된이미지맵에서하나의노드선택 Chaining 질의이미지와유사한 상위 K 개의이미지검색됨 하나의노드에서선택된이미지와유사한이미지가다른프레임에서보여짐 Browsing 검색결과 UI 에서여러이미지를 브라우징 이미지맵상의모든이미지를브라우징하거나다른프레임에서보여지는유사이미지브라우징 Differentiating 부적합한이미지를무시하고, 적합한이미지를선택, 결과성능향상을위해질의재작성 부적합이미지를무시하고, 가장적합한이웃노드들선택 20
7.1 실험결과 : Task A 검색된적합이미지수 : QBE < SIM ( 대규모 DB 에서차이유의미 ) 전체 / 고유쿼리수 : QBE < SIM ( 소규모 DB 에서차이유의미 ) 전체검색소요시간 : QBE < SIM ( 소규모 DB 에서차이유의미 ) 정보추구행위관점비교 -Chaining : QBE < SIM (QBE 에서얻을수있는 chaining 가능수가제한됨, Page Zero Page) -Browsing: SIM 에서상호작용을많이하게되는편 - Differentiating : SIM 에서유사한이미지가한곳에모이므로 SIM- 대규모 DB 에서부적합한이미지를제외하기가쉬운편 21
7.2 실험결과 : Task B 검색성공률 : QBE < SIM ( 대규모 DB 에서차이더커짐 ) 고유쿼리수 : QBE < SIM ( 대규모 DB 에서차이유의미 ) 정보추구행위관점비교 QBE < SIM SIM 방식이 chaining, browsing, differentiating 측면에서더기능적이고효율적 22
8. 결론및제언 실험방식 내용기반이미지검색에서두가지방식으로시스템비교 Query by Sample (QBE) Self-organizing Image browsing Map (SIM) 정보추구행위 (ISB) 관점 chaining, browsing, differentiating 특성에서두가지방식이차이가남 QBE < SIM - QBE에서는 Page Zero Problem 현상이나타나고, 대규모 DB에서심화 - SIM에서이용자가더많은적합이미지검색가능, 목표이미지의검색성공률이높음 23
8. 결론및제언 생각해볼점! Q1. 상호작용이많다는것의의미 정보추구행위면에서본논문은 browsing 측면에서 SIM이더상호작용이많다고함실제로검색시간이더많이소요되었는데, 실제검색상황에서 검색소요시간많음 은성능에안좋은영향 Q2. 이미지규모와 SIM 방식 해당실험은최대 2,000 개수준의 DB, 몇십만수준의대규모 DB 에서 실험한다면 SIM 방식으로모든이미지브라우징이효율적으로가능할까? Q3. QBE 성능향상을위한과제 QBE의핵심은초기 예제이미지 의정확성인데, SIM의 labeling 작업결과를이용했듯이 Textual decriptor의도움을받으면, 실제로 QBE에서도성능향상이가능하지않을까? ( 이미많은연구자가 TBIR 과 CBIR Mix에대해고민함 ) 24
9. 참고자료 Book Kohonen, Teuvo, Self-organizing Maps, Springer, 2001 Article & Reference Casey Chesnut, Self Organizing Map AI for Pictures, 2004 http://www.generation5.org/content/2004/aisompic.asp ai-junkie, Kohonen's Self Organizing Feature Maps http://www.ai-junkie.com/ann/som/som1.html Wikipedia Color space http://en.wikipedia.org/wiki/color_space HSL color space, http://en.wikipedia.org/wiki/hsl_color_space HSV color space, http://en.wikipedia.org/wiki/hsv_color_space Kai Uwe Barthel, 3D Color Inspector/Color Histogram http://rsb.info.nih.gov/ij/plugins/color-inspector.html Web Service & Academic Demo PicSOM http://www.cis.hut.fi/picsom/ WebSeek http://persia.ee.columbia.edu:8008/ The Stated Hermitage Museum (IBM QBIC 응용 ) http://www.hermitagemuseum.org/html_en/index.html Photobook http://vismod.media.mit.edu/vismod/demos/photobook/ Vision Research Lab - University of California at Santa Barbara http://vision.ece.ucsb.edu/ Yahoo Shopping Search http://shopping.yahoo.com/ Tiltomo http://www.tiltomo.com/ MS live Images Search http://www.live.com/?searchonly=true&scope=images 25
End of Document