한국전자통신학회논문지제 5 권제 2 호 HSI 컬러공간과신경망을이용한내용기반이미지검색 김광백 * 우영운 ** Content-based Image Retrieval Using HSI Color Space and Neural Networks Kwang-baek Kim * Young-woon Woo ** 요약 컴퓨터와인터넷의발달로정보의형태가다양화되어문서위주의자료들로부터이미지, 오디오, 비디오, 음성등의모습으로혼합되어가고있다. 하지만대부분의검색은문서위주로하기때문에이미지, 오디오, 비디오등은파일의이름이명확하게설정되어있지않을경우에는검색을할수없다. 이러한문제점을해결하기위해문서가아닌내용을기반으로검색하는방법을내용기반검색이라고한다. 그리고이미지의내용을기반으로검색하는방법을내용기반이미지검색이라고한다. 본논문에서는 HSI 컬러공간, ART2 알고리즘, SOM 알고리즘을이용한내용기반이미지검색방법을제안한다. 제안하는방법은학습대상을선정하기위해원영상의특징을분할한다. 그리고사용자가학습대상을선정하도록하기위해분할된특징을 SOM 알고리즘에적용하여비슷한특징을가지는영상들로군집화한다. 군집화된영상들에대해사용자가학습대상을선정하여 ART2 알고리즘에적용하여학습한다. 제안한방법을적용하여이미지검색을실험한결과, 제안된방법은하나의이미지가여러개의키워드를가질수있기때문에이미지에포함된정보를효과적으로검색하는것을확인하였다. ABSTRACT The development of computer and internet has introduced various types of media - such as, image, audio, video, and voice - to the traditional text-based information. However, most of the information retrieval systems are based only on text, which results in the absence of ability to use available information. By utilizing the available media, one can improve the performance of search system, which is commonly called content-based retrieval and content-based image retrieval system specifically tries to incorporate the analysis of images into search systems. In this paper, a content-based image retrieval system using HSI color space, ART2 algorithm, and SOM algorithm is introduced. First, images are analyzed in the HSI color space to generate several sets of features describing the images and an SOM algorithm is used to provide candidates of training features to a user. The features that are selected by a user are fed to the training part of a search system, which uses an ART2 algorithm. The proposed system can handle the case in which an image belongs to several groups and showed better performance than other systems. 키워드 ART2, SOM, 내용기반이미지검색 * 신라대학교컴퓨터정보공학부 (gbkim@silla.ac.kr) ** 교신저자 : 동의대학교멀티미디어공학과 (ywwoo@deu.ac.kr) 접수일자 : 2010. 03. 02 심사완료일자 : 2010. 04. 01 152
HSI 컬러공간과신경망을이용한내용기반이미지검색 Ⅰ. 서론내용기반이미지검색이란주어진데이터에서색, 질감, 모양과같은속성 (feature) 들을자동으로추출하고이를기반으로검색하는방법이다. 일반적인검색은사람이일일이데이터의주석을해야한다. 그러나내용기반이미지검색방법은멀티미디어데이터로부터속성을자동으로추출하는시스템의기능을이용하기때문에사람이일일이주석을할필요가없으므로주석기반검색의문제점을해결할수있다. 내용기반질의는완전일치를기반으로한데이터베이스질의나전문형태로기술된주석기반질의처럼논리적으로정확하게표현될수없기때문에속성측면에서정의된정보필터를이용하여질의를하고, 유사성에기반으로이미지를탐색한다 [1]. 그러나내용기반이미지검색은유사한특징으로자료를검색하기때문에탐색하고자하는자료뿐만아니라잡음이추가적으로검색되는문제점이있다. 기존의검색방법은분할되지않은영상에서검색을하기때문에하나의영상이하나의키워드만가진다. 본논문에서는영상의특징을분할하여유사성을기반으로검색을하기때문에하나의이미지가여러개의키워드를가지고이미지를검색한다. 로변환하여적용한다. Ⅲ. ART2를이용한영상특징분할제안된방법은이미지검색을하기전에원영상의특징을분할한다. 영상특징분할에는 ART2 알고리즘 [3] 을이용하여양자화한다. 이때 ART2 알고리즘의입력패턴은각픽셀에대한 H값, H값의빈도수, S값, S값의빈도수이다. Ⅱ. HSI 컬러공간 컬러공간은컬러의특징을표현하는논리적인방법이다. 따라서모니터와같은디스플레이장치에사용되는 RGB 컬러공간은한계가있기때문에이것을보완하기위한여러가지컬러공간이존재한다. 그중에대표적인컬러공간이 HSI[2] 컬러공간이다. HSI 컬러공간에서 H는 Hue( 색상 ), S는 Saturation( 채도 ), I는 Intensity( 명도 ) 를가리키는약자이다. Hue( 색상 ) 는빛의파장자체의시각적특성으로나타나는데, 물체에반사되어나온파장을색상관점에서구별가능하다. 따라서빨강, 노랑과같은순수한색깔을나타낸다. Saturation ( 채도 ) 는색이얼마나순수한정도를나태난다. 예를들어순수한빨강은채도가높다고하고, 핑크는채도가낮다고한다. Intensity( 명도 ) 는빛의세기를나타내며색의밝고어두운것을나타내는값이다. 본논문에서는이미지를 HSI 컬러공간으 그림 1. ART2 알고리즘 Fig. 1 ART2 algorithm 본논문에적용한 ART2 알고리즘의순서도는그림 1과같다. 출력값은식 (1) 과같이계산하고연결가중치조정은식 (2) 와같이계산한다. 식 (1) 과 (2) 에 (1) (2) 153
한국전자통신학회논문지제 5 권제 2 호 서 는입력패턴이고, 는승자노드의연결가중치이다. 는승자노드에갱신된패턴의수이다. ART2를이용하여원영상을양자화 [4] 한결과는그림2 와같다. IV. SOM을이용한학습대상선정방법사용자가비슷한특징을가지는영상을확인할수있으면학습대상을선정하기가편리하다. 따라서본논문에서는사용자가효과적으로학습대상을선정할수있도록한다. 학습대상선정은 SOM[5,6] 을적용하며, SOM알고리즘의순서도는그림 4와같다. 그림 4 에서 는입력패턴이고, 는연결강도이고, 는뉴런사이의거리이고, 는학습률이다. (a) 원영상 (Original image) (b) 양자화된결과영상 (Quantized image) 그림 2. ART2 를이용한양자화 Fig. 2 Quantization using ART2 양자화된영상에서대표객체를추출하여영상의특징을분할한다. 양자화된영상의각레벨에서가장큰객체를추출하여추출된객체의크기가전체영상의 1/16이상일경우에는대표객체로선정한다. 그림 3은대표객체를선정하여영상을분할한결과이다. 그림 3(a) 의영상이꽃과풀의특징으로분할된결과는그림 3(b) 와같다. 그림 4. SOM 알고리즘 Fig. 4 SOM algorithm (a) 입력영상 (Input image) (b) 대표객체 (Primary objects) 그림 3. 영상분할 Fig. 3 Image segmentation SOM 알고리즘의입력패턴은각픽셀에대한 H 값의평균, S값의평균, I값의평균이다. 출력은 1차원 Map으로출력한다. SOM 알고리즘을적용한결과는그림 5와같다. 그림 5에서와같이비슷한특징을가지는영상이군집화되는것을확인할수있다. 154
HSI 컬러공간과신경망을이용한내용기반이미지검색 Ⅴ. ART2를이용한학습및검색사용자가학습대상을선정하면 ART2 알고리즘을이용하여대표객체의특징을학습한다. ART2 알고리즘은비지도학습이지만, 본논문에서는 ART2 알고리즘을변형시켜지도학습처럼적용한다. 입력패턴을 ART2 알고리즘에적용하여노드를생성한다. 생성된노드의정보를학습된정보로간주한다. 그리고새로운입력패턴을대상으로승자노드를계산한후에인식한다. 징을분할한다. 마지막으로사용자가선택한키워드와분할된모든특징과의거리를계산한다. 계산된거리가임계치보다가까운모든영상을검색한다. 그림 6 은제안된내용기반이미지검색과정이다. Ⅵ. 실험및결과분석본논문에서제안된방법을 Intel Pentium-IV 3.0GHz CPU와 2GB RAM이장착된 IBM 호환 PC상에서 VC++ 6.0을구현하여실험하였다. 실험에적용된영상은크기가일정하지않은 100장의이미지를획득하여실험하였다. 이중에서 20장은 ART2 알고리즘의학습에적용하였으며 80장은인식테스트에적용하였다. index[ 0 ] index[ 1 ] index[ 2 ] index[ 3 ] index[ 4 ] index[ 5 ] 그림 5. SOM 알고리즘을이용한학습대상선정 Fig. 5 Selection of learning objects by SOM algorithm 본논문에서는지도학습으로변형시킨 ART2 알고리즘을이용하여학습및검색을한다. ART2 알고리즘의입력패턴은각픽셀에대한 H값의평균, S값의평균, I값의평균이다. 그리고사용자가선택한학습대상을 ART2 알고리즘을이용하여학습하고, 학습된입력패턴에대해서는사용자가키워드를설정한다. 그리고검색의대상이되는이미지들을입력한다. 입력한영상은 ART2 알고리즘을이용하여영상의특 그림 6. 제안된내용기반이미지검색과정 Fig. 6 Process of the proposed content-based image retrieval method 그림 7은키워드를 풀 로하여검색한결과이다. 그림 7에서알수있듯이 풀 이포함되는이미지들이검색되었음을확인할수있다. 그림 8은키워드를 물 로하여검색한결과이다. 그림 8에서알수있듯이 물 이포함되는이미지들이검색되었음을확인할수있다. 그러나제안된내용기반이미지검색방법은색상정보만을이용하여검색하기때문에 4배정도의잡음이포함되는문제점이있었다. 그림 9는제안된검색방법으로검색했을때잘못된경우이다. 155
한국전자통신학회논문지제 5 권제 2 호 (a) ' 풀 ' 에대한검색결과 (Retrieved image by keyword 'grass') (b) ' 노을 ' 에대한검색결과 (Retrieved image by 'sunset') 그림 9. 검색에실패한경우 Fig. 9 Incorrectly retrieved images Ⅶ. 결론 그림 7. 키워드 ' 풀 ' 로검색한결과 Fig. 7 Image retrieval results by keyword 'grass' 본논문에서는 HSI 칼라공간과신경망기법을이용한내용기반이미지검색방법을제안하였다. 원영상을 ART2 알고리즘을적용하여영상의특징을분할하였다. 그리고 SOM을이용하여사용자에게학습대상을선정하는방법을제안하였다. 사용자는학습대상을선정하여키워드를입력하도록하였다. 학습대상으로선정된대표객체는지도학습으로변형한 ART2 알고리즘을적용하여학습하였다. 그리고검색하고자하는영상들을 ART2 알고리즘에적용하여영상의특징을분할하였다. 그리고사용자가선택한키워드와분할된모든특징과의거리를계산한후에계산된거리가임계치보다가까운모든영상을검색하였다. 향후연구과제는색상정보뿐만아니라영상의형태학적정보도이용하여검색의정확성을높일수있도록개선할것이다. 그림 8. 키워드 ' 물 ' 로검색한결과 Fig. 8 Image retrieval results by keyword 'water' 참고문헌 [1] Arnold, W. M. S., Marcel W., Simone S., Amarnath G., and Ramesh J., "Content-based image retrieval at the end of the early years", IEEE Transactions of Pattern Analysis and Machine Intelligence, Vol. 156
HSI 컬러공간과신경망을이용한내용기반이미지검색 22, No. 12,, pp.1349-1380, 2000. [2] Howard E. Burdick, Digital Imaging Theory and Applications, McGraw-Hill, New York, 1997. [3] Carpenter and Grossberg, "ART2: Stable Selforganization of Pattern Recognition codes for Analog Input Pattern", Applied Optics, Vol. 26, pp.4919-4930, 1987. [4] James R. Parker, Algorithms for Image Processing and Computer Vision, John Wiley & Sons, New York, 1997. [5] J. Rogers, Object-Oriented Neural Networks in C++, Academic Press, Inc. 1997. [6] Kim B. K, and Abhijit S. P., "Color Image Vector Quantization Using an Enhanced Self- Organizing Neural Network", Lecture Notes in Computer Science, LNCS 3314, Springer, pp.1121-1126, 2004. 저자소개 김광백 (Kwang-baek Kim) 1999년부산대학교전자계산학과 ( 이학박사 ) 1997년~ 현재 : 신라대학교컴퓨터정보공학부교수한국멀티미디어학회학술이사및논문지편집분과위원장 주관심분야 : Image Processing, Fuzzy Logic, Neural Networks, Medical Imaging and Biomedical System, Support Vector Machines 우영운 (Young-woon Woo) 1991년 8월연세대학교본대학원전자공학과 ( 공학석사 ) 1997년 8월연세대학교본대학원전자공학과 ( 공학박사 ) 동의대학교멀티미디어공학과교수 주관심분야 : 지능시스템, 패턴인식, 퍼지이론, 의료정보 157