1 사진 요약 25 가지 색상 Surf 를 이용한 사진 요약과 사진 배치 알고리즘 Photo Summarization - Representative Photo Selection based on 25 Color Histogram and ROI Extraction using SURF 류동성 Ryu Dong-Sung 부산대학교 그래픽스 연구실 dsryu99@pusan.ac.kr ABSTRACT 디지털 카메라가 최근 보편화됨에 따라 일반 사람들이 많은 수의 사진을 촬영하는 일이 많아졌 으며, 이에 따라 많은 수의 사진을 관리해야 하는 일이 많아졌다. 본 보고서에서는 SURF 특징 추출기법을 이용하여, 각 사진의 중요한 부분을 설정하고 25 가지 색상을 이용하여 각 사진의 가장 공통된 색상을 가진 사진을 대표 사진으로 선택하는 대표사진 선택 기법에 대해 논의한다. K EYWORDS representative photo selection, region of interest, photo clustering 1 서론 디지털 카메라가 최근 보편화됨에 따라 일반 사람들이 많은 수의 사진을 촬영하는 일이 많아졌으며, 이에 따라 많은 수의 사진을 관리해야 하는 일이 많아졌다. 또한 각 사진들을 효율적으로 관리하기 위한 수단으로써, 사진 요약에 관련된 연구가 최근 진행되고 있다. 예를 들어, Picasa[6] 의 경우, 많은 수의 사진들 중 사용자가 찾고자 하는 사람의 얼굴을 인식하여, 각 사진들을 요약하는 기능을 제공 한다. 그러나 그림 2 과 같이 안경으로 인해서, 많은 수의 사진이 잘못 인식된 것을 알 수 있다. 또한 이러한 얼굴 인식 기능은 조명과 촬영된 얼굴의 각도에 민감하게 반응하기 때문에, 아직 사람의 인지 적인 기능을 바탕으로한 사진 분류 방법은 개선할 여지가 많다. 만약 Picasa 에서 제공하는 얼굴인식 기능이 제대로 동작한다면, 각 사진들을 얼굴에 따라 클러스터링한 후, 사용자의 얼굴이 가장 선명한 부분을 관심 영역으로 지정하여, 대표 썸네일로 표현한다면 많은 수의 사진을 효율적으로 배치할 수 있을 것이다. 본 보고서에서는 많은 수의 사진을 요약하는 방법 중 각 클러스터의 대표사진을 선택하는 방법과 각 사진의 관심 영역 (ROI) 을 지정하는 방법에 대해 논의한다. 여기서 관심 영역 이란 사용자가 전체 사진을 보지 않더라도 그 사진의 특징을 가장 잘 나타내는 영역을 의미한다. 이를 위해 먼저 각 사진 들을 Cooper 의 시간 비교 척도[5] 로 클러스터링한 후, 각 클러스터별로 대표 사진을 선정하고 사진 에서 의미있는 부분을 지정하였다. 이 때 사용되는 대표 사진 선택 방법은 25 가지 색상 [8] 히스토그 램을 사용하여, 평균 색상 사진을 생성한 다음 평균 사진의 색상 히스토그램과 가장 유사한 사진을 각 클러스터의 대표 사진으로 선정한다. 각 사진의 관심 영역 설정은 각 사진의 특징 영역을 추출하여,
2 그림 1. Picasa 에서 제공하는 얼굴 인식 기능 [6]. 특징 영역이 가장 넓게 분포된 특정 부분을 관심 영역으로 설정하는 방법을 사용한다. 보고서에서 제 안한 방법들은 각 클러스터에서 가장 공통된 색상을 가진 사진을 대표 사진으로 선정하며, 일정 거리 이내에 분포된 각 특징 영역들을 포함하는 관심 영역을 설정한다. 2 관련 연구 디지털 카메라의 발달과 메모리 카드의 가격 하락으로 인해, 사진 촬영이 보편화되면서, 관리해야 하 는 사진의 수는 수백에서 수천장의 단위로 증가하였다. 이와 같이 많은 수의 사진을 관리하기 위해서, 최근에는 사진 요약 (Photo Summarization) 과 관련된 연구가 많이 진행되고 있다. 본보고서에서는 사람의 얼굴과 같은 ROI 인식 방법과 대표사진 선택과 관련된 연구들을 요약한다. Li 는 시간 기반의 클러스터링과 내용 기반의 사진 요약 기법을 제안하였다[7]. Li 의 방법은 먼저 각 사진을 특정 시간간격으로 나눈 후, 나누어진 각 사진 집합의 Key 영상을 갑자기 변화하는 사진을 Key 사진으로 선정하는 방법을 사용한다. 여기서 갑자기 변화하는 사진이란 얼굴이 변화하거나, 시간 순서에 따라 나열된 각 사진들이 일정 시간 이상 떨어질 경우를 의미한다. Chu 는 대표 사진의 선택을 위해서, Near Duplicate Detection (NDD) 알고리즘을 제안하였다[4]. 이 방법은 클러스터내에 있는 각 사진들의 특징점을 SIFT 기법으로 추출한 후, 각 특징점의 방향에 따라 매칭하는 방법을 사용한다. 그 후, 각 사진의 대표 사진을 선택하기 위해서, Support Vector Machine 으로 훈련하여 대표 사진을 선택한다. 각 사진의 관심 영역은 제한된 컴퓨터 스크린 공간에 사진의 정보를 효율적으로 전달하는데, 중요
3 한 역할을 한다. 그러므로 각 사진의 관심 영역 지정은 사진 요약에 있어서 중요한 분야 중 하나이다. 먼저 Battiato 는 각 사진들을 크게 전망 사진과 클로즈업 사진 그리고 사람 사진과 같이 3 가지 종류의 사진으로 분류하였다 [2]. 그리고 사람 사진의 경우 얼굴 인식이 안 되는 사진은 피부색을 스캔하여 각 사진의 관심 영역을 설정하였다. 전망 사진의 경우, 포커싱된 영역이 없는 사진이며, 클로즈업 사진은 Saliency map 의 분포 비율이 일정 이상인 사진들로 구성된다. 그리고 Chu 는 SIFT 특징점을 포함하 는 영역을 관심 영역으로 지정하였다 [4]. 그러나 이 방법의 경우 SIFT 에 의해 추출된 특징점이 많을 경우, 관심 영역이 넓어지기 때문에, SIFT 에 의해 추출되는 특징점의 개수 및 분포를 조절할 필요가 있을 것이다. 3 25 색상 히스토그램을 이용한 대표 사진 선택 본 보고서에서는 Cooper [5] 가 제안한 시간 척도에 의해 클러스터링된 각 사진들을 25 가지 색상 히 스토그램 [8] 을 이용하여 대표 사진을 선택하며, 그 과정은 그림 2 과 같이 수행한다. 먼저 클러스터내 에 있는 각 사진들을 25 가지 색상으로 양자화를 수행한 후, 클러스터의 사진들에 대한 25 가지 평균 색상 영상을 계산한다. 그 후, 평균 색상 영상과 가장 차이가 작은 25 색상 히스토그램을 지닌 사진을 현 클러스터의 대표 사진으로 설정한다. Photos in cluster 25-color quantization Representative photo Find the mostly duplicate photo Averaged 25 color image 그림 2. 25 색상 히스토그램을 이용한 대표 사진 선택 과정 표 1 은 Prasad 가 제안한 인지적으로 사람이 구별하는 색상 표인데, 각각의 25 가지 색상을 표와 같이 RGB 값으로 분류되어 있다. 비록 RGB 색상이 선형적인 색상 공간은 아니지만, 사람의 눈이 구 별하는 실험값으로 구성되어 있기 때문에 양자화된 색상의 차이 계산에 대한 오차는 인지적으로 작을 것이다. 자세한 색상 값은 참고 문헌에 수록된 Prasad 의 논문을 참조하면 된다 [8]. 그림 3 은 보고서에서 제안한 클러스터의 대표사진 선택 결과이다. 빨간색 사각형은 각 클러스터 사진들의 대표 사진을 의미하며, 각 클러스터내에서 가장 공통된 색상이 많은 사진이 선택된 것을 알 수 있다. 4 SURF 를 이용한 관심 영역 추출 알고리즘 사진에 포함된 객체를 크게 분류한다면, 일반적으로 인물 사진과 비인물 사진으로 분류한다. 인물 사 진의 경우, 일반적으로 최대 관심 영역은 사진에 포함된 인물이 누구인지를 판별하는 것이다. 그러므
4 표 1. 영상에서 지배적인 색상을 계산하기 위해 양자화된 25 가지 색상 [8]. Color Red Green Blue Black Sea green 182 Light green 17 Olive 35 73 green... White 그림 3. 클러스터별 대표 사진 선택 결과. 빨간색 사각형은 대표 사진을 의미한다. 로 본 보고서에서는 인물 사진의 경우 촬영된 인물의 얼굴이 관심 영역으로 설정한다. 그리고 인물 사진이 아닌 경우, 일반 사람들은 배경화면을 제외한 객체를 중요하게 생각하게 된다. 대부분의 배경 화면은 색상의 변화가 없기 때문에, 특징점이나 특징 영역이 추출되지 않는다. 이 점에 착안하여 본 보고서에서는 인물 사진이 아닌 사진의 관심 영역 추출 방법을 그림 4 과 같은 방법으로 제안한다. 먼저 각 사진이 인물 사진인지를 판별하며, 인물 사진인 경우, 얼굴 영역을 관심 영역으로 지정한 다. 얼굴 부분을 찾는 알고리즘 및 구현은 영상 처리 분야의 오픈 라이브러리인 OpenCV 에서 제공 하는 것을 사용하였다. 만약 얼굴 영역이 탐지되지 않았을 경우, SURF 를 이용하여 각 사진의 특징
5 Photo Face detection Detect? Yes ROI No Feature extraction Distractive f eature f iltering 그림 4. 본 보고서에서 제안한 관심 영역 추출 알고리즘. 영역을 추출한 후, ROI 를 설정하게 된다. (a) (b) 그림 5. SURF 에 의해 추출된 특징 영역과 필터링 과정. (a) 실제 SURF 에 의해 추출된 특징 영역과 일정 거리 이내에 있는 각 영역들의 연결 구조. (b) 그래프 자료 구조를 이용하여, 일정 거리 내에 있는 특징 영역들을 필터링을 수행한다. SURF 는 Speeded Up Robust Features 의 약자로 각 영상에서 특징 영역을 추출하는 알고리즘이 다 [3]. SURF 는 DoG(Differece of Gaussian) 와 같은 색상 변화 필터를 Hessian matrix 형태로 사 용한다. SURF 는 OpenCV 라이브러리에서 cvsurffeature 라는 함수로 사용할 수 있다. 그러나 SHIF 나 SURF 와 같은 특징 추출 알고리즘의 경우, 그림 5 (a) 와 같이 동 떨어진 곳에 특징점이나 특징 영역들이 추출되게 된다. 그리고 너무 많은 특징 영역이 분산되어 추출하게 되면 사진에서 차지하게 되는 ROI 영역은 사진 전체와 유사한 크기로 추출된다. 그러므로 본 보고서에서는 분산된 특징점들을 필터링을 수행한다. 먼저 SURF 에 의해 추출된 각 특징 영역들을 그래프 노드로 설정하고 일정 거리 이내에 있는 영역들은 그림 (b) 와 같이 간선을 할당한다. 그리고 전체 그래프중 독립된 컴포넌트 그 래프들 (그림 (b) 의 그래프는 3 개의 콤포넌트로 구성.) 을 구성한 후, 특징 영역의 합이 가장 큰 콤포 넌트를 관심 영역으로 설정한다.
6 (a) (b) 그림 6. 제안한 ROI 영역 추출 결과. (a) 얼굴 인식에 의해 추출된 사진들. (b) SURF 기반의 제안 방법에 의해 추출된 ROI 영역. 그림 6 는 제안한 방법으로 추출된 관심 영역이다. (a) 의 경우, OpenCV 의 얼굴 인식에 의해 추출 된 결과이며, (b) 는 SURF 기반의 제안 방법에 의해 추출된 관심 영역이다. 제안한 방법을 통해 분산된 특징점 및 영역들을 필터링할 수 있었다. 5 결론 디지털 카메라의 보급으로 인해 일반 사람들이 수백에서 수천장의 사진들을 관리해야 하는 일이 많아 졌기 때문에, 각 사진들을 클러스터링하고 이를 요약해서 표현하는 방법에 많은 연구가 이루어졌다. 본 보고서에서는 클러스터링된 각 사진들을 25 가지 색상을 이용하여 평균 색상 히스토그램을 계산하 고 평균 색상 히스토그램과 가장 차이가 작은 사진을 해당 클러스터의 대표 사진으로 설정하였다. 또 한 SURF 기반의 필터링된 특징 영역 추출 알고리즘을 제안함으로써, 각 사진에서 좀 더 집중된 관심 영역을 추출할 수 있었다. 본 보고서에서 논의한 내용을 다음과 같이 요약한다. 1. 25 가지 색상 히스토그램을 이용한 사진 클러스터의 대표 사진 선택 방법. 2. SURF 에 의해 추출된 각 특징 영역 필터링에 의한 집중된 관심 영역 지정. 보고서에서 제안한 대표 사진 선택과 관심 영역 추출 기법은 최근 제한된 공간에 많은 수의 사진을 시각화해야 하는 사진 시각화 관련 연구에 유용하게 적용될 것이다. 본 보고서에서는 제안한 기법들을
7 활용하여, 클러스터링된 각 사진을 대표 사진으로 표현하고 나머지 사진들은 관심 영역을 최대한 화면 에 렌더링하면서 동시에 각 사진들이 차지하는 면적을 작게 배치하는 시각화 방법을 향후 연구과제로 제안한다. 즉, 각 사진들의 관심 영역을 최대한 많이 표현한다면, 사용자에게도 차지하는 공간 효율에 비해 많은 양의 사진 정보를 전달 할 수 있을 것이다. 본 보고서에서 제안하는 사진 시각화 시스템은 다음과 같은 골격을 가진다. O(C) = N X Area(ROI(Pi )) X Area(Pi ), (1) Pi 1. 각 사진을 클러스터링하고 각 클러스터의 대표 사진들을 선택한다. 2. 스크린 공간을 고려한 대표 사진들의 크기를 설정하고 나머지 사진들의 ROI 영역을 설정한다. 3. 대표 사진을 먼저 배치하고, 오래된 사진들은 축소한 형태로 배치한다. 이 때, 수식 1 목적 함수 가 최대가 되도록 나머지 사진들을 대표 사진 뒤에 배치한다. 수식 1 에서 C 는 해당 클러스터 이며, Pi 는 클러스터 C 에 소속된 사진이다 ( C = {P, P1,..., PN } ). 참고 문헌 1. Apple, iphoto, http://www.apple.com/ilife/iphoto/. 2. S. Battiato, G. Ciocca, F. Gasparini, G. Puglisi, and R. Schettini, Smart photo sticking, Adaptive Multimedial Retrieval: Retrieval, User, and Semantics, pp. 211 223, 28. [Online]. Available: http://dx.doi.org/1.17/978-3-54-7986-6 17 3. H. Bay, T. Tuytelaars, and L. V. Gool, Surf: Speeded up robust features, in In ECCV, 26, pp. 44 417. 4. W.-T. Chu and C.-H. Lin, Automatic summarization of travel photos using near-duplication detection and feature filtering, in MM 9: Proceedings of the seventeen ACM international conference on Multimedia. New York, NY, USA: ACM, 29, pp. 1129 113. 5. M. Cooper, J. Foote, A. Girgensohn, and L. Wilcox, Temporal event clustering for digital photo collections, ACM Transactions on Multimedia Computing, Communications and Applications, vol. 1, no. 3, pp. 269 288, 25. 6. Google, Picasa Web Albums, http://picasa.google.com/features.html, September 26. 7. J. Li, J. H. Lim, and Q. Tian, Automatic summarization for personal digital photos, in Information, Communications and Signal Processing, 23 and the Fourth Pacific Rim Conference on Multimedia. Proceedings of the 23 Joint Conference of the Fourth International Conference on, vol. 3, Dec. 23, pp. 1536 154 vol.3. 8. B. G. Prasad, K. K. Biswas, and S. K. Gupta, Region-based image retrieval using integrated color, shape and location index, in Computer Vision and Image Understanding, Vol.94, No.1-3 (April 24) pp 193-233, ISSN, 23, pp. 193 233.