REP - CP - 024, July 2010 1 웹기반의데이터베이스와통합된사진관리시스템구현 (1) An Integrated Photo Management System coupled with Database on a Web 부산대학교컴퓨터공학과류동성 E-mail : dsryu99@pusan.ac.kr Revised at 2010.08.31, Submitted to SAC 2011 ABSTRACT 사진을체계적으로정리하기위해서는각사진들중양질의사진들을선별하고선별된사진들은이벤트나폴더별로분류하는등의작업이필요하며, 관리해야할사진의개수가많아질수록많은시간과노력이소모된다. 그러므로대부분의사용자들은각사진들을폴더별로분류하여각사진들을관리하는데, 대부분폴더에사진들을방치한다한다. 그러나이러한방법은사진정리후, 사용자가원하는사진을찾을때많은시간이소모되며, 사용자의친구에게사진을공유할때, 다시사진들을정리해야하는어려움이발생한다. 본보고서에서는이러한문제점들을개선하기위해서, 사용자의로컬 PC에있는사진들을사진의촬영시각과사진색상의유사한정도에따라자동클러스터링하고이를중앙에서효율적으로관리하기위한사진관리시스템을개발한다. 그리고현재구현된기능에대해정리를하고현재해결해야할다중파일및대용량의사진파일들을전송하기위해구현해야할모듈에대해논의한다. Keywords Photo clustering, Interval graph, Clique, Photo visualization 1 Introduction 현재디지털카메라의확산과메모리기술의발전으로한번에많은수의사진을촬영하는경우가많아졌다. 예를들어, 3박 4일정도의여행에서수백장의사진을촬영하며, 일주일일정의외국여행의경우 1,000장정도의사진을촬영하는일도종종발생한다 [1]. 그러나많은수의사진들을관리하는작업은촬영한사진들중잘촬영된사진들을선별하고선별된사진들을사진의이벤트에따라분류하는작업으로구성되는데, 이러한작업들은많은시간과노력을소모한다. 그러므로대부분의사람들은촬영한사진들을사용자의로컬 PC에복사하여보관하는방법을사용한다. 사진관리에있어서, 각사용자들의개인 PC에분산되어저장된사진들을효율적으로관리하기위한방법중의하나는중앙에서사진데이터베이스를구축하여사진들을관리하고사용자에게자동으로클러스터링된사진들을시각화하는시스템을개발하는것이다. 본보고서에서는중앙데이터베이스에서사용자의로컬 PC에분산되어저장된사진들을촬영시각과색상유사도에따라자동으로
REP - CP - 024, July 2010 2 클러스터링하고이를중첩된레이아웃으로각사진들을시각화하는시스템을구현하는방법에대해논의한다. 그리고현재개발완료된기능에대해정리를하고다중파일및대용량의사진파일들을전송하기위해구현해야하는모듈에대해서논의한다. 표 1. 웹과연동된국외사진관리시스템및서비스. S/C : Server and Client, S/A : Stand Alone, T/P : Third Party, N/A : Not Available 시스템 Vendor 동작방식 사진평가 클러스터링 레이아웃 검색기능 Picasa Google [2] Web, S/C N/A 얼굴인식 Zooming Layout Tag-based Flickr Yahoo [3] Web N/A N/A Thumbnail Grid Tag-based iphoto Apple [4] S/A N/A 얼굴인식 Thumbnail Grid Tag-based BookSmart Blurb [5] T/P N/A N/A N/A N/A 표 1 는사진관리를위해현재해외에서웹과연동된서비스를제공하는시스템을정리하였는데, 시스템의구조에따라웹기반 (Web) 과웹과클라이언트 (S/C) 와같이, 크게 2가지유형으로분류할수있었다. 그리고 Picasa나 Flickr와같이대형포털사이트에서는자신의사진서버로각사진들의전송기능을활용할수있도록자사의 API를제공한다. 그러나각사이트마다한번에업로드가능한사진의용량이나최대활용할수있는사진용량을제한하는등의제약사항이존재한다 [2, 3]. 가장활발히사용되는 Flickr만하더라도, 개인이촬영한사진들을웹서로전송하여, 썸네일형태로배치하는기능정도를제공하며, 촬영시각이나유사색상의사진과같은클러스터링은제공하지않는다. 국내에서제공하는사진관리시스템또한대부분적목현상제거나컨트라스트보정과같이사진편집과관련되는기능을제공하고있으며, 대부분얼굴인식을이용한닮은사람클러스터링이나순차적인격자공간에썸네일을나열하는사진배치방법을사용한다 [6]. 해외에서는 Google의 Picasa Web Album과 Yahoo의 Flickr 와같은대형포털사이트는자신의사진데이터베이스에접근하기위한 API를제공하여, 사람들이사진을중앙으로전송하기위한기능을제공한다. 이를이용하여, BookSmart와같이특정목적 ( 사진으로책을제작 ) 을가진사진관련프로그램이개발되고있는데, 이러한프로그램을 Third Party 프로그램이라고한다. 본보고서에서도이러한 Third Party 프로그램으로사진을관리하는시스템을제작하려고하였으나, 각포털사이트에서제공하는 API의제한적인기능과사용자에게제공하는한정된저장공간으로인해, 사진데이터베이스서버를구축하기로하였다. 여기서제한된기능들이란사진웹서버상에서특정프로시져를돌리지못한다는것과한번에올릴수있는사진의전송량혹은전체저장공간의제한등을의미한다. 본보고서에서는위에서언급한문제점들을해결하고, 사용자친화적인사진관리를위해다음과같은기능들에대해논의한다. 1. 촬영시각과사진색상의유사도를고려한자동클러스터링기능. 2. 사용자가지정한사진평가기준에부합하는사진필터링기능.
REP - CP - 024, July 2010 3 3. 웹데이터베이스와연동된사진관리전송기능. 2 웹과연동된사진관리시스템의기능 Client Server... Socket HTTP Photos Transfer Socket Creating Thumbnail Temporal and Spatial Clustering Photo Visualization with Overlap MySQL Database Connection Album Board 그림 1. 웹과연동된사진관리프로그램의시스템모듈구성도. 그림 1 는본보고서에서구현하고있는클라이언트와서버사이의시스템의모듈구성도를보여준다. 본시스템에서구현해야할기능들은요약하면다음과같이 4가지로분류할수있다. 1. 사용자의 PC에있는사진들을먼저, 촬영시각화색상유사도에따라클러스터링을수행하고, 클러스터링결과를유사한사진끼리중첩해서시각화한다 [7]. 2. 클러스터링된결과는 MySQL 연결을통해서, 데이터베이스에관리한다. 3. 사진의개수가많고대용량의사진인경우, HTTP 를이용해, 사진들을서버로전송한다. 4. 아웃포커싱이나사진의선명도그리고전체적인밝기를이용해, 자동화된사진평가모듈을제공한다. 2.1 사진클러스러링과웹서버와의통신현재구현된모듈들은위의 4가지모듈들중 1번과 2번모듈이며, 1번모듈은사진의촬영시각과 25 가지색상정보를이용하여클러스터링하였으며, 유사색상의사진들은중첩해서배치하여사진관리를위한화면공간의효율성을향상하였다. 자세한설명은저자의 6월달 TR을참조하면된다 [7]. 2번모듈의경우, 실제사용자의로컬 PC에있는사진들의클러스터링결과를 MySQL 데이터베이스에저장하고이를활용하기위한모듈이다. 본보고서에서는효율적인클러스터결과전송을위해서, 그림 2 와같은클래스상속구조로구현하였다. 먼저, 이전에제작하였던클러스터링기능을담당하는클래스를 CPhotoClusterManager 로분류하였으며, CPhotoClusterManager는클러스터링을위해서, CDetailedPhotoCluster 와 CSpatialCluster 로구성된다. CDetailedPhotoCluster의경우, 시간에의해나누어진클러스터를저장하는기능을담당하는 CPhotoCluster를상속받아색상유사도에따른공간적인클러스터링기능을추가한클래스이다. 클러스터로써, 제일규모가작은 CSpatialCluster 는유사
REP - CP - 024, July 2010 4 ICluster CPhotoCluster CDetailedPhotoCluster n 1 CPhotoClusterManager 1 n CSpatialCluster CPhotoClusterRowVisualizer CPhotoClusterGridVisualizer CPhotoClusterTransmitter IPhotoClusterVisualizer CPhotoClusterSequentialVisualizer 그림 2. 사진의클러스터링결과를시각화하고이를데이터베이스에전송을위한시스템의클래스다이어그램. CPhotoClusterTransmitter 클래스는 CPhotoClusterManager의클러스터링기능을상속받아사진클러스터들을웹데이터베이스정보를전송및수신한다. 마찬가지로, IPhotoClusterVisualizer 는 CPhotoClusterManager의클러스터링기능을상속받고각각의시각화뷰에따라클래스별로시각화레이아웃 (Grid, Sequential, Row-by-Row 레이아웃 ) 을구현한다. 한색상으로구성된사진인 CThumb 클래스로구성된다. 위와같은구조의 CPhotoClusterManager는데이터베이스전송을위한 CPhotoClusterTransmitter 클래스와중첩을고려한사진배치기능을수행하는 IPhotoClusterVisualizer로각각상속되어당당기능을수행한다. 이와같이기존의프로토타입의프로그램으로부터, 각클래스를상속받고모듈화함으로써, C++ 을이해하고있는각팀원들이서로분업가능하도록구현하였다. 각사진들의전송을위해서, HTTP 프로토콜을선택한이유는웹서버와통신하기위한 80번포트를대부분방화벽에서필터링하지않기때문이다. 또한웹서버로부터제한된디렉토리만접근할수있기때문에보안상으로사용자의시스템계정을 FTP와같이따로할당할필요가없다. 즉, 웹서버의해킹에안전하진않지만, FTP 와같이실제서버의사용자계정을할당할필요가없기때문에다양한사용자들이서버에접근하는경우에 FTP 보다보안상우수하다. 이러한이유에서인지, 대용량의파일전송을위한상용화된콤포넌트들을조사하였는데, 각고객의로컬 PC에있는파일들을대부분 HTTP 프로토콜을이용하여전송하는모듈을개발한다. 그중대표적인대용량파일업로드콤포넌트인 DextUploadX 콤포넌트는 ActiveX와.NET 기반의콤포넌트로써, 웹에서동작하는콤포넌트이다. 그러나본과제에서는클라이언트에서대용량의사진들을전송하는콤포넌트가필요하며, DextUploadX와같은콤포넌트는서버단에서동작하기때문에, 본프로젝트에적용하기에는많은포팅작업이요구된다. 2.2 사진평가모듈본보고서에서는아웃포커싱 (Outfocusing), 선명도 (Clearness) 그리고밝기 (Lightness) 를기준으로각사진들의품질을평가할계획이다. 본보고서에서는사진평가와관련하여대표적인두가지연구를표 2에정리하였다. Yan은 Laplacian Filter로추출된 Edge를포함하는사각형영역이전체영상에
REP - CP - 024, July 2010 5 서차지하는비율에따라 Edge가추출된공간적인분포도와 4096개의색상을기준으로현재영상의색상분포도를이용하여, 사진의선명도를평가하였다 [8]. 그러나이방법의경우, Edge 자체가많이존재하지않는사진의경우, 사진의품질을제대로평가할수없으며, 사진의촬영자가고의로흐리게촬영한경우 ( 예를들어아웃포커싱과같은사진 ) 는제대로평가할수없는단점이있다. Yiwen의경우, 사진평가를위해서, 각사진의관심영역을설정하고해당관심영역내에서각사진색상분포와색상변화율 ( 주파수영역 ) 을이용하여사진을평가한다 [9]. 그러나 Yiwen은관심영역을찾기위해서, 각픽셀마다윈도우마스크의크기를다양하게변화하면서각픽셀이관심영역인지를판별하는방법을활용하였는데, 이방법은계산비용문제로사진의해상도가높을경우많은시간이소모되게된다 ( 한픽셀당 3 50 의마스크크기범위 ). 본보고서에서는각사진들을평가하기위해서제안하는방법은표 2. 대표적인사진평가연구 2가지. 방법 / 년도요약단점 Yiwen [9] 2008 Yan [8] 2006 관심영역설정후사진의선명도평가 Edge가추출된영역의면적비율과 4096개색상의다양성측정 픽셀당다양한마스크변화로주제영역 찾기에소모되는시간비용이큼 아웃포커싱된사진판별불가 사진에서주제영역을먼저찾고그주제영역내에서사용자가판별가능한에지가어느정도나오는지를이용하여, 아웃포커싱과선명도를평가할계획이다. 본보고서에서제안하는평가방법은주파수영역에서고주파성분으로구성된관심영역내에서검출되는 Canny Edge의픽셀비율을계산하는것이다. 그림 3(d) 는 Canny Edge 알고리즘을이용하여추출한 Edge 영상인데, Canny Edge의경우, Edge를찾을때각 Edge의방향을고려하기때문에, 다른 Edge 알고리즘보다사람이인식하는 Edge 가추출된가능성이높다. 그러므로본보고서에서는전체 Edge들중, 관심영역에서추출된 Canny Edge의픽셀비율을활용한다면, 아웃포커싱된사진을평가할수있을것으로생각된다. 또한설정된관심영역에의해사진에서추출되는잡음성의에지또한제거될확률이높기때문에, 사진의선명도평가에도활용할계획이다. 그림 3 (c) 는그림 3(a) 의원본영상을주파수영역에서일정주파수이내 ( 그림 3(b)) 에있는고주파픽셀들만추출하여공간영역으로역변환한결과영상이다. 그림에서보는것과같이역변환한결과가픽셀단위의분포로표현되기때문에, 필터링된픽셀들의공간분포도를이용하여컨벡스영역을그림 3(c) 와같이관심영역으로활용할수있다. 그러므로, 그림 3(c) 의픽셀분포를경우공간영역에밀집되어있는고주파픽셀들을포함하는컨벡스객체를만든다면, 각사진의관심영역을평가할수있을것이다. 즉, 각사진 p의관심영역 R(p) 은수식 1과같다. 먼저, 가우시안필터 G σ 에의해사진 p가블러된영상을 I b 라고하면, I b 의픽셀들중변화율이많은픽셀들을추출하기위해서, 수식 2와같이푸리에트랜스폼 (F F T ) 수행후, 저주파픽셀들을필터링한다. 고주파성분은영상에서가장많은변화율을
REP - CP - 024, July 2010 6 (a) (b) (c) (d) 그림 3. 사진평가를위해사용된각필터링영상들. (a) 아웃포커싱된입력영상과사람이직접지정한관심영역 ( 붉은색폴리곤들 ). (b) FFT(Fast Fourier Transform) 을이용하여 (a) 의입력영상을주파수영역으로변환한결과. θ 이상의고주파성분을필터링한다. (c) 필터링된영상을다시 Inverse FFT하여공간영역으로변환한결과영상. 밀집도가일정영역이상인객체를구한다면, 사진의관심영역을지정할수있다. (d) Canny Edge 검출알고리즘에의해추출된에지영상. 포함하는픽셀영역이기때문에, 공간영역에서이영역들을활용가능하게하게위해서, 역푸리에트랜스폼 (F F T 1 ) 을수행하며, 실제변화율이일정값 (α) 이상인좌표들을집합으로구성한 S h 를추출한다. 이와같이추출된각영상들중공간좌표의밀집도dense(S h ) 가일정값 γ 이상인공간좌표들을추출하여, 각영역들을관심영역으로설정한다. 요약해서말하면, 주파수영역에서고주파에해당하는영역을공간좌표에서관심영역으로설정한다는의미이다. R(p) = {(x, y) dense(s h ) > γ}, S h = {(x, y) S(x, y) > α}, (1) S = F F T 1 (C), C = {(u, v) F (u, v) > θ}, F = F F T (I b ), I b = G σ p (2) 여기서, 중요한점은공간좌표로구성된 S h 영역들의밀집도 (dense) 는각픽셀들을클러스터링하거나, 일정거리에있는픽셀들을이웃으로묶어서계산하는등다양한방법으로계산가능하다. 본보고서에서는밀집도를계산하기위해서, 사진면적의 25 % 에해당하는정사각형크기의마스크를
REP - CP - 024, July 2010 7 이용하여, 가장많은픽셀들을포함하는영역을관심영역 R(p) 로설정하는방법을제안한다. 수식 1와같이사진의관심영역을추측할수있다면, 사진평가에있어서아웃포커싱된정도 E out, 사진의선명도 E clear 그리고밝기정도 E light 의 3가지성분으로구성된사진평가값을벡터형태 E(P ) = {E out, E clear, E light } 로반환할수있다. 본보고서에서는이렇게평가된벡터값을유사한색상을가진사진클러스터에적용하여, 각유사색상의사진들의대표사진을선택하는데활용할수있다. 또한클러스터링직후잘못촬영된사진들을필터링할경우, 사용자가수작업으로일일이필터링하는작업을대체함으로써, 사용자의사진관리에자동화된스마트사진필터링을제공하는형태로사진평가모듈을활용할계획이다. 3 결론및향후연구과제 Album. Database. 그림 4. 웹과연동된사진관리시스템. 프로그램을실행시키면중간에있는 Database 접근을위한계정을질의하며, 이계정은웹서버의제로보드계정과연동된다. 배치된사진들은촬영시각에따라클러스터링 (K = 0.7, µ = 600s, 자세한클러스터링기준은 PHOTOLAND 논문참조 [1]) 하여 25가지색상분포가 0.5 이상으로유사한사진들을중첩해서배치한결과이다. 본보고서에서는웹과연동된사진관리시스템의현재구현상황을정리하였으며, 향후구현해야하는다중사진파일업로드기능에대해서논의하였다. 그림 4는현재구현된시스템의스크린샷인데, 데이터베이스와연동하기위해제로보드회원테이블과연동된데이터베이스인증모듈과사용자가사진들을자동으로클러스터링하기위해설정하는사용자파라메터그리고자동클러스터링된결과를데이터베이스에전송하는기능까지구현하였다. 그러나사용자의로컬 PC에있는대용량의사진들을
REP - CP - 024, July 2010 8 웹서버로전송하기위한소켓프로그래밍은아직미구현했기때문에, 대용량의다중파일을전송하기위한소켓프로그래밍을수행하거나기존에배포되거나상용화된클라이언트콤포넌트들을포팅해야한다. 또한본보고서에서는아웃포커싱된사진과선명하게촬영된사진을구분하여평가하기위한사진평가모듈에대해언급했는데, 이아이디어를구현하고개선하여자동으로아웃포커싱된사진과선명하게촬영된사진을평가할수있는모듈을구현하고향하는것을향후연구과제로제안한다. 본보고서에서제안하는향후연구과제를요약하면다음과같다. 1. 대용량의다중사진파일을데이터베이스로전송하기위한모듈개발 2. 사용자가의도한블러 ( 아웃포커싱된사진 ) 와선명한사진을평가할수있는사진평가모듈개발 참고문헌 1. D.-S. Ryu, W.-K. Chung, and H.-G. Cho, PHOTOLAND: a new image layout system using spatiotemporal information in digital photos, in Proc. of the 25th ACM Symposium on Applied Computing. ACM, 2010, pp. 1884 1891. 2. Google, Picasa Web Albums, http://picasa.google.com/features.html. 3. Yahoo, flickr, http://www.flickr.com/. 4. Apple, iphoto, http://www.apple.com/ilife/iphoto/. 5. Blurb, Book smart, http://www.blurb.com/. 6. 류동성, 웹기반의사진관리시스템의설, Graphics Application Lab. in Pusan National University, Technical Report REP-12-CP, May 2010. 7. 류동성, Graph clique 를이용한사진클러스터링과시각화인터페이스의구성, Graphics Application Lab. in Pusan National University, Technical Report REP-9-CP, April 2010. 8. Y. Ke, X. Tang, and F. Jing, The design of high-level features for photo quality assessment, in Proc. of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 1. IEEE Computer Society, 2006, pp. 419 426. 9. Y. Luo and X. Tang, Photo and video quality evaluation: Focusing on the subject, in Proc. of the 10th European Conference on Computer Vision, Berlin, Heidelberg, 2008, pp. 386 399.