2 차원단위블록정렬을이용한 내용기반이미지매칭 장철진 O 조환규부산대학교컴퓨터공학과 {jin, Content-based image matching based on 2D alignment of unit block tessellation C

Size: px

Start display at page:

Download "2 차원단위블록정렬을이용한 내용기반이미지매칭 장철진 O 조환규부산대학교컴퓨터공학과 {jin, Content-based image matching based on 2D alignment of unit block tessellation C"

연경 왕
5 years ago
Views:

1 2 차원단위블록정렬을이용한 내용기반이미지매칭 장철진 O 조환규부산대학교컴퓨터공학과 {jin, hgcho}@pusan.ac.kr Content-based image matching based on 2D alignment of unit block tessellation Chuljin Jang O Hwan-Gue Cho Dept. of Computer Engineering, Pusan National University 요약 급증하는디지털사진데이터를내용정보를고려하여효율적으로관리하기위해서는무엇보다도각사진이미지들이얼마나유사한지를밝히는것이중요하다. 이를위해본논문에서는사진을블록단위로분할하고높은유사도를가지는상위블록쌍을이용하여, 그리디알고리즘에기반한 2 차원정렬 (alignment) 을통해주변블록으로유사매칭영역을확장하여동일한객체혹은배경을공유하고있는지를판별한다. 제안하는정렬알고리즘을통해서전체이미지상에서최적의매칭유사도값을가지는블록영역을추출해낼수있으며, 객체의이동이나자세의변경및카메라의줌변경에크게구애받지않으면서계산이가능하다. 실험을통해다양한경우의입력데이터사진에대해서제안한방법이어떻게적용될수있는지를알아보고, 추후의디지털사진클러스터링및대용량사진관리에유용하게활용될수있음을살펴본다. 1.., ,.,., EXIF[1].. [2].. 2 (alignment)..

2 ,,. 2...,,. (), [3]. Cooper et. al[4][5,6] (). EXIF, [7,8]., GPS [9]. EXIF... CBIR(Content- Based Image Retrieval). (moment), CCV(color coherence vector), (Tamura feature, global texture descriptor, Gabor histogram/vector) MPEG7 [10, 11]... [12]., [13] ( 1) P b i ( b i ).,. [14]. N2 N, FindSeed( ). FindSeedP x P y M.

b new (local maxima). P xp y, () (Similarity(R)). argmax R, score score.

3 4-(4-direction connectivity). b r, Neighbor( ) R. argmax nblock( ) scoresimilarity( ) RGB HSV., (,,, ). score( ).,. FindBlock( ). b new (local maxima). P xp y, () (Similarity(R)). argmax R, score score. score( ). b rb s, p i, p j threshold. score. correlation [14]. 2 (flood fill)(local maxima)

4 .. 2 (), ( ). min E 1. (threshold). E 2.. ().. RGB HSV. E (1) (SBSO) (/),,,, / /. (2) (SBDO) (). (3) (DBSO),. (4) (DBDO) 1.,. (DBDO), (false positive). 2. 5(SBDO), 6SBSO. 7 ( )...

그림 5. 동일 배경으로 다른 객체가 촬영 된 간단한 예. 배경부분을 중심으로 매칭이 이루어졌다. 그림 7. 카메라의 촬영 위치를 달리하여 동일 객체의 보이는 각도가 달라진 경우의 블록 매칭 결과.

이를 위해서 저차원 분석법의 장점에 사진 이미지를 블록으로 분할함으로써 공간 정보를 반영할 수 있도록 보완하였으며, 유사도 평가를 함에 있어, 2차원 블록 정렬 방법을 이용하여 전체 이미지 내에서 최적화 된 블록 유사 영역을 구할 수 있었다.

디지털 사진 비교는 내용을 고려하는 디지털 사진 관 리의 핵심적인 부분이다. 따라서 추후에 진행될 EXIF 정 보를 활용한 동일 사건별 클러스터링 내지, 촬영 장소, 촬영된 인물 검색에 있어서 계산의 토대가 된다.

5 그림 5. 동일 배경으로 다른 객체가 촬영 된 간단한 예. 배경부분을 중심으로 매칭이 이루어졌다. 그림 7. 카메라의 촬영 위치를 달리하여 동일 객체의 보이는 각도가 달라진 경우의 블록 매칭 결과. 결론 본 논문에서는 디지털 사진의 정확한 분석 및 관리를 위해 필수적인 요소인 사진을 비교하는 방법에 대해서 살펴보았다. 이를 위해서 저차원 분석법의 장점에 사진 이미지를 블록으로 분할함으로써 공간 정보를 반영할 수 있도록 보완하였으며, 유사도 평가를 함에 있어, 2차원 블록 정렬 방법을 이용하여 전체 이미지 내에서 최적화 된 블록 유사 영역을 구할 수 있었다. 따라서 기존 연구 에서 객체의 자세 변경 및 이동 혹은 객체의 블록 영역 이 다른 물체에 의해 일부 가려진 경우에 올바르게 계산 되지 못하던 점을 보완하여 다변성이 큰 디지털 사진에 보다 적합한 비교를 할 수 있었다. 디지털 사진 비교는 내용을 고려하는 디지털 사진 관 리의 핵심적인 부분이다. 따라서 추후에 진행될 EXIF 정 보를 활용한 동일 사건별 클러스터링 내지, 촬영 장소, 촬영된 인물 검색에 있어서 계산의 토대가 된다. 특히 디지털 카메라의 보급률이 높아진 현재 다수의 카메라로 같이 여행이나 행사에서 촬영을 하는 경우가 많아지게 되었기에, 제안한 사진 비교 방법을 활용하면 각 카메라 로 서로를 촬영했거나 동일 장소를 여행하면서 촬영한 사진을 효과적으로 검색하고 관리하는데 도움을 줄 수 있을 것이라 사려된다. 특히 인물별 관리/검색의 경우 그 유용성은 충분히 알려져 있으나, 현재까지 괄목할만한 연구는 발표되지 않고 있다. 제시한 방법을 이용하여 같 은 겉모습을 한 객체(같은 옷을 입은 사람)에 대해 개략 5. 그림 6. 같은 배경에서 등장인물이 교체된 사진의 실험 예. 배경 부분과 교체되지 않은 인물 주면으로 블록 매칭이 이 루어졌음을 알 수 있다.

6 ,., 2. 2 EXIF( ),. [1] Japan Electronic Industry Development Association (JEIDA). Digital still camera image file format standard, [2] K. Rodden and K. R. Wood. How do people manage their digital photographs?, In CHI 03: Proceedings of the SIGCHI conference on Human factors in computing systems, pages , [3] A. Loui and A. Savakis. Automatic event clustering and quality screening of comsumer pictures for digital albuming, Multimedia, IEEE Transactions on, 5(3): , [4] M. Cooper, J. Foote, A. Girgensohn, and L.Wilcox. Temporal event clustering for digital photo collections, ACM Trans. Multimedia Comput. Commun. Appl., 1(3): , [5] A. Graham, H. Garcia-Molina, A. Paepcke, and T. Winograd. Time as essence for photo browsing through personal digital libraries, In JCDL 02: Proceedings of the Joint Conference on Digital Libraries, pages , [6] J. C. Platt, M. Czerwinski, and B.A. Field, PhotoTOC: Automatic clustering for browsing personal photographs, Proceedings of IEEE Pacific Rim Conf. Multimedia, IEEE Press, pages 6 10, [7] M. Boutell and J. Luo. Bayesian fusion of camera metadata cues in semantic scene classification. In Computer Vision and Pattern Recognition, CVPR In Proc. of the 2004 IEEE Computer Society Conference on, volume 2, pages , [8] M. Boutell and J. Luo. Photo classification by integrating image content and camera metadata. In Pattern Recognition, ICPR In Proc. of the 17th International Conference on, volume 4, pages , [9] M. Naaman, Y. J. Song, A. Paepcke, and H. Garcia-Molina. Automatic organization for digital photographs with geographic coordinates. jcdl, 00:53 62, [10] T. Deselaers, D. Keysers and H. Ney. Features for image retrieval: an experimental comparison, Inf Retrieval, 11:77-107, 2008 [11] F. Long, H.J. Zhang and D.D. Feng, Fundamentals of content-based image retrieval. In: D. Feng, Editor, Multimedia Information Retrieval and Management, Springer, [12] X. Li. Image retrieval based on perceptive weighted color blocks, Pattern Recognition Letters, 24: , [13] K. Vu, K. A. Hua and W. Tavanapong. Image retrieval based on regions of interest, IEEE Transactions on Knowledge and Data Engineering, 15(4): , [14] C.-J. Jang, J.-Y. Lee, J.-W. Lee, and H.-G. Cho. Smart management system for digital photographs using temporal and spatial features with EXIF metadata, In ICDIM 07: Proceedings of IEEE International Conf. on Digital Information Management, IEEE Press, 2007.

REP - CP - 016, N OVEMBER 사진 요약 25 가지 색상 Surf 를 이용한 사진 요약과 사진 배치 알고리즘 Photo Summarization - Representative Photo Selection based on 25 Color Hi

REP - CP - 016, N OVEMBER 사진 요약 25 가지 색상 Surf 를 이용한 사진 요약과 사진 배치 알고리즘 Photo Summarization - Representative Photo Selection based on 25 Color Hi 1 사진 요약 25 가지 색상 Surf 를 이용한 사진 요약과 사진 배치 알고리즘 Photo Summarization - Representative Photo Selection based on 25 Color Histogram and ROI Extraction using SURF 류동성 Ryu Dong-Sung 부산대학교 그래픽스 연구실 dsryu99@pusan.ac.kr