Transcription

1

2

3

4 국문초록 최근웹페이지의생성및웹이가진정보량이기하급수적으로늘면서사용자의검색목적을파악하여효율을높이기위한다양한방법이연구되고있으며, 태깅시스템을사용하는방법이하나의대안으로떠오르고있다. 태깅시스템은인터넷사용자로하여금태그라고불리는메타데이터를글, 사진, 동영상등에부여하도록함으로써컨텐츠의검색및브라우징을편리하게하는시스템이다. 이처럼태그는해당페이지의대표키워드를의미하므로컨텐츠분류의기준을마련할수있으나, 사용자에의해직접입력되어야하는수고가필요하고, 또한무분별한태깅으로인해오히려분류에방해가되는등의문제점들이있다. 본논문에서는이러한태깅의문제를해결하기위한방법으로얼굴인식알고리즘을활용한영상컨텐츠내에서의인물태깅자동화방법을제시한다. 이를위해먼저여러얼굴검출방법중 Haar-like feature와 AdaBoost 알고리즘을이용하여빠른속도와높은정확도로영상컨텐츠내에서얼굴영역을검출해냈다. 이후 PCA와고유얼굴을이용하여, 검출해낸얼굴을데이터베이스에미리저장해놓은프로필사진과비교, 인식해냄으로써해당인물에대한정보를불러와서자동으로태깅하는시스템을구현하였다. 이러한새로운방식의태깅기술은현존하는사진공유, 쇼핑, 검색등의수많은웹서비스에적용이가능하며, 특히소셜네트워크서비스에서의사진관리나인물검색등에서활용할때큰효과를보일것으로기대된다. - i -

5 목 차 Ⅰ 서론 1 1 연구배경 1 2 연구동기및목적 2 3 연구목표 2 4 연구범위및구성 4 Ⅱ 관련연구및기술동향 5 1 얼굴인식기술 기하학적특징기반방법 주성분분석 선형판별분석 신경망 가버웨이블릿 서포트벡터머신 9 2 얼굴검출기술 지식기반방법 특징기반방법 템플릿매칭방법 외형기반방법 12 3 소셜네트워크서비스 13 4 태깅관련기술 15 - ii -

6 Ⅲ 연구내용및방법 17 1 얼굴검출 Haar-like 특징 적분이미지 특징값계산 분류기학습 Cascade 구조를이용한분류속도향상 25 2 얼굴인식 얼굴인식과정 얼굴벡터집합구성 이미지정규화 공분산을이용한변환행렬도출 고유얼굴생성 고유성분벡터추출 얼굴인식 35 Ⅳ 연구결과및토의 36 1 실험환경 36 2 시스템인터페이스 37 3 실험결과 38 Ⅴ 결론 42 참고문헌 43 - iii -

7 그림목차 [1-1] 시스템개괄도 3 [2-1] PCA를이용한데이터축소변환 7 [2-2] 세컨드라이프가입자수변화 13 [2-3] 대표적인 SNS 제공사이트와각각의특성 14 [2-4] 도요타의가상오토쇼 15 [2-5] 태그클라우드 16 [2-6] 위치태그 16 [3-1] 얼굴영역내 Haar-like feature 적용 18 [3-2] Haar-like features 18 [3-3] Lienhart가확장한 Haar-like features 19 [3-4] 점 P에서의적분이미지 20 [3-5] 적분이미지를이용한계산 20 [3-6] Line 특성 feature에서의특징값계산 22 [3-7] 얼굴벡터구성의예 27 [3-8] 이미지정규화결과 30 [3-9] 평균얼굴벡터 33 [3-10] 고유얼굴 34 - iv -

8 [4-1] 시스템인터페이스및결과화면 37 [4-2] 얼굴검출시간 38 [4-3] 얼굴검출률 39 [4-4] 얼굴학습시간 40 [4-5] 얼굴인식시간 41 [4-6] 얼굴인식률 41 표목차 [3-1] 얼굴검출을위한 AdaBoost 알고리즘 23 - v -

9 Ⅰ 서론 1 연구배경 전세계의인터넷사용자들은자신의미니홈피나블로그 (blog), 또는카페나클럽과같은참여형대형컨텐츠공간을통해자신의생각을담은글이나직접제작또는촬영한영상컨텐츠등을올리고있으며, 다수의기업들이이를활용한다양한비즈니스모델들을통해막대한규모의수익을창출해내고있다. 이처럼사용자제작콘텐츠 (UCC, User Created Contents) 는현재인터넷에서가장각광받는분야이며, 앞으로도계속성장할잠재성을지닌인터넷비즈니스아이템이다 [1]. 이러한글이나사진, 동영상등의 UCC에사용자가직접키워드를다는태그 (tag) 는웹 2.0 시대의새로운인터넷정보유통채널로급부상하였으며, 현재싸이월드, 네이버, 구글 (Google), 플리커 (Flickr) 등국내외주요인터넷기업들이이를시행하고있다 [2]. 특히구글의이메일서비스인 Gmail은검색과카테고리분류서비스가주로텍스트나디렉토리위주였던기존의이메일관리시스템과달리, 이메일각각에여러개의태그를사용자가임의로붙일수있도록함으로써보다가치있고효과적인정보분류를가능하게하였다. 또한야후 (Yahoo) 의사진공유서비스인플리커는사용자가사진을올릴때주제에적합한태그를입력할수있도록하고, 이러한태그로분류된정보를이용하여관심있는사진을쉽게검색할수있도록함으로써폭발적인인기를얻을수있었다. 1

10 하지만태그의이렇게화려한장점의이면에는, 스팸태그 (spam tag) 나태깅오남용으로인한쓰레기정보홍수등의다양한부작용이있으며, 콘텐츠마다직접일일이태그를달아야하는불편함으로인하여일반적으로사용자들이잘사용하지않아현재태그서비스의유용성논란이발생하고있는실정이다 [3]. 2 연구동기및목적 사용자가올린콘텐츠를분석하여이에맞는태그를자동으로입력해준다면부적합하거나불필요한태그의입력을막을수있으며, 사용자는직접태그를입력하지않고도태그의정보분류효과를누릴수있게될것이다. 본논문에서는이처럼태그가가지고있는문제들을해결하고, 소셜네트워크서비스 (Social Network Service, SNS) 사용자들이부담없이태그를활용할수있도록하기위해얼굴인식기반의태깅자동화시스템을제안한다. 이시스템은기존태그의단점을보완할뿐만아니라얼굴인식이라는재미요소를가미함으로써 SNS 이용자들의적극적인참여를유도할수있다는장점이있다. 또한추출된태그정보를가공하여엔터테인먼트나마케팅산업에소비자와의자연스러운접점을제공하는새로운비즈니스모델을만들어낼수도있을것이다. 3 연구목표 기존의태깅방식은텍스트위주이며검색과분류외에별다른기능을제공 2

11 하지못한다. 이를간파한국내외의몇몇 SNS 업체에서는얼굴영역과해당인물을매칭시켜태깅하는서비스를선보였다. 하지만이방법또한사용자가모든태그를직접입력해야하기때문에많은호응을얻지못하였다. 본논문에서는사진속다수의얼굴을자동으로검출하고, 인식한얼굴영역에자동으로태그가입력되는시스템을개발한다. 입력된이미지로부터실시간으로얼굴을검출하고이를인식하여자동으로태그를입력하는시스템을 [ 그림 1-1] 과같이개발한다. 이시스템은사진첩모듈에얼굴인식기능을탑재하여이미지에나타난얼굴영역을검출하여표시해주고, 이를클릭하면데이터베이스에저장된프로필사진과대조하여인식함으로써프로필출력및태그입력이가능하도록구현한다. [ 그림 1-1] 시스템개괄도 이를위해 Haar-like feature와 AdaBoost 알고리즘을이용하여얼굴영상을학습하고, 주성분분석알고리즘을통해추출한고유얼굴 (Eigenface) 을얼굴인식에이용한다. 시스템은플랫폼의제약을최소화하고, 데이터베이스를사용하도록함으로써이후웹이나모바일과의호환이용이하도록한다. 3

12 4 연구의범위및구성 본논문에서는얼굴인식알고리즘을이용한영상컨텐츠에서의얼굴검출과인식방법에대한개념및구조, 이것을활용하여태깅자동화시스템을구현하기위한설계및구현방법, 그리고이와관련된배경지식들을담고있다. 전체적인구성은다음과같다. 1장은서론을통해, 연구배경및동기, 목적에대해밝힌다. 그리고본논문에서제안하는얼굴인식을이용한태깅자동화방법에대해구체적으로설명하고이방법을실현화하기위해필요한기술적과제들에대해설명한다. 2장은제안하는방법의기반기술이되는얼굴인식및검출분야에대해소개하고, 여기서사용되고있는다양한방법들의성능및장단점에대하여설명한다. 그리고소셜네트워크서비스와태깅관련기술에대하여소개한다. 3장은연구에사용된얼굴검출및인식방법에대하여상세하게기술한다. 먼저, 얼굴검출에사용된특징추출기법과분류기학습알고리즘에대해설명한후, 얼굴인식의전체적인과정에대해알아본다. 4장에서는본논문에서구현한시스템의구성과각부의역할에대해설명하고, 이를위해구축한실험환경에대해소개한다. 그리고얼굴학습및검출, 인식에걸리는시간및성능에대한실험과결과에대해설명하고, 이를바탕으로향후연구에서다루어야할인식방법의개선과연구방향에대해토의한다. 마지막으로 5장에서는결론과함께제안한태깅자동화방법의기대효과에대해간략히기술하고향후에수행되어야할연구와실험을제시하면서논문을마무리한다. 4

13 Ⅱ 관련연구및기술동향 얼굴인식기술은사진이나동영상으로부터실시간으로얼굴을검출하고인식하는기술로사진에서의얼굴유무판별및동영상내에서의실시간자동얼굴검출등에활용된다 [4]. 이기술을데이터관리에이용할경우각얼굴에해당하는인물을자동으로판별해냄으로써, 특정인물을중심으로사진을분류하거나서로연관이있는인물들을동적인그룹으로설정하여저장하고관리하는등기존에는텍스트데이터에한정되었던인공지능적인작업을구현해낼수있다. 또한얼굴인식기술은지문인식이나홍채인식등의다른생체인식기술들과달리인간의신체일부를인식장치에직접접촉시키지않아도되기때문에생체정보획득방법에대한강제성이적어다른생체인식기술들이사용자에게줄수있는거부감이나불편함이존재하지않는다는특성이있다 [5]. 이러한비접촉성, 비강제성, 편리성의특징으로인해얼굴인식기술은신원확인분야외에도신분확인대상자가모르는사이에자연스럽게정보를획득해야하는지능형무인감시등의분야에도효과적으로응용될수있다 [6]. 하지만인간의얼굴은움직임, 표정, 인종, 나이, 성별, 헤어스타일, 타객체에의한일부영역가려짐, 조명, 카메라의기계적인특성등에따라다양하게나타나게되며, 이렇게복잡하고많은변수들을통제하기위해얼굴인식일련의과정들이다양한방법에의해연구되고있다. 본장에서는이러한얼굴검출및얼굴인식기법에대한관련연구들과기술동향에대해알아본다. 5

14 1 얼굴인식기술 (Face Recognition Methods) 현재얼굴인식및검증시스템에사용되고있는방법은크게특징기반방법과통계적방법으로분류할수있다. 특징기반방법은얼굴을구성하는요소들의특징점을찾아서각점들사이의위치나크기, 모양등을측정함으로써얼굴영상들사이의유사도를비교한다. 주로사용되는특징들로는에지 (edge), 그레이정보 (gray information), 색상, 움직임등이있다. 통계적인방법은개인의얼굴정보를얼굴공간상에투영하여사용하는방법으로써대표적인방법으로는주성분분석 [9], 선형판별분석 [12], 신경망 [14], 가버웨이블릿과탄성그래프매칭방법 [16], 그리고최근에많이사용되는서포트벡터머신 [19] 등이있으며, 검출률을높이기위해여러가지방법을결합하여사용하기도한다. 1.1 기하학적특징기반방법기하학적특징기반방법은눈, 코, 입과같은얼굴의특징들의위치나크기또는이들간의거리와같은기하학적인인자들만으로도각개개인의얼굴을인식할수있다는사실에착안한것으로써, 얼굴의기하학적특징점을추출하여일치여부를판단하여인식하는방법이다 [7, 8]. 기하학적특징들은상대적으로명암차가크기때문에해상도를낮추었을때확연히구분되며, 따라서이러한요소들을각각의상대적인위치나, 형태등의관계를비교하여얼굴을분류하는데사용할수있다. 이방법은얼굴인식에서보편적으로이용하는방법론중하나로, 특징들을이용하기때문에외부환경 ( 조명, 시점 ) 에대해강인한면모를보인다. 이러한특성으로인해기하학적특징기반방법은주로다른특징들과결합하 6

15 여사용되거나, 더좋은인식결과를얻기위해다른인식방법의전처리단계로 활용된다. 1.2 주성분분석 (Principal Component Analysis, PCA) PCA는다변량분석기법중하나로전체영상의데이터를데이터의분산이큰몇개의고유방향 (eigen-vector) 에대한축으로선형투영 (linear projection) 시켜데이터의차원을줄여주는방법이다 [9]. 이는데이터의차원을줄여간단하게표현할수있는체계적이고실용적인방법으로, Karhunen-Loeve(KL) 변환 [10] 또는 Hotelling 변환 [11] 이라고도불리며, 주로다차원의특징벡터로이루어진데이터에대하여높은차원에서의정보를유지하면서낮은차원으로차원을축소시키는방법으로사용된다. 다양한변형을표현할수있는국부적특징을추출하지못한다는문제점을가지고있지만, 수학적으로잘정의되어있는특성으로인해 PCA의기본개념을조금씩변형시킨여러가지방법들이널리이용되고있다. [ 그림 2-1] PCA 를이용한데이터축소변환 7

16 1.3 선형판별분석 (Linear Discriminant Analysis, LDA) 선형판별분석은클래스간분산 (beween-class scatter) 과클래스내분산 (within-class scatter) 의비율을최대화하는방식을이용하여데이터에대한특징벡터의차원을축소하는방법이다 [12]. 이방법은 Fisher Linear Discriminant(FLD) [13] 의개념을도입한것으로, 한사람내에서의변화와다른사람들간의변화의비를고려하여자기자신들사이는최소화하고, 다른사람들사이는최대화시키는방향으로선형변환을한후학습하는방법이다. 따라서보다정확하고환경변화에강인하여온라인상태에서실시간으로적용가능한알고리즘이다. 얼굴인식에서의 PCA의가장큰문제점은클래스가서로중첩되는현상이발생하는것인데, 이러한경우데이터를분류함에있어인식률을떨어뜨리는주요한요인이된다. 특히조명이나표정등의요인에의한변화를구분하기어렵다. 하지만 LDA는클래스간의분산뿐아니라클래스내샘플들간의분산도고려하기때문에 PCA에의해서만인식할때보다성능이향상된다. 1.4 신경망 (Neural Network) 신경망은성별분류, 얼굴인식그리고표정들의분류와같은문제들을다루기위한방법으로얼굴인식분야에서많이사용되고있다 [14]. Kohonen의연상지도 (associative map) 를사용하여신경망을얼굴인식에적용시킨실험에서는얼굴영상들의작은집합을사용함으로써입력영상에서잡음이매우심할때나영상일부가상실되었을때에도정확하게적용됨이확인되었다. 신경망방 8

17 법으로얼굴을검출하는것은얼굴클래스, 비 - 얼굴클래스와같은이진클래스 분류문제로써고려된다 [15]. 1.5 가버웨이블릿 (Gabor Wavelet) L. Wiskott 등에의하여제안된가버웨이블릿과탄력적구성요소그래프매칭방법 (Elastic Bunch Graph Matching, EBGM) 은생물학적동적연결구조 (Dynamic Link Architecture, DLA) 에기반하여얼굴을인식하는방법으로, 가버웨이블릿을뇌의시각경로를모형화한개념 (keyhole view) 으로사용하며, 얼굴의구성요소들의그래프 (face bunch graph) 에의하여얼굴을표현한다 [16]. 얼굴구성요소그래프는눈, 코, 입, 윤곽과같은식별이용이한부분에위치한노드집합으로구성되며, 각각의노드로부터가버웨이블릿의크기로써표현되는특징들의집합을추출한다. 그리고탄력그래프매칭을통하여두개의패턴을비교함으로써얼굴을인식하게된다. 이방법은머리모양을바꾸거나수염을기르거나, 안경또는모자를착용하더라도인식이가능하다는장점이있다. 1.6 서포트벡터머신 (Support Vector Machines, SVM) SVM은 AT&T에서 Vapnik 등에의해이진패턴분류문제를해결하기위해제안된학습방법으로 [17], 각범주의대표적인특성을갖는벡터를이용하여최적의하이퍼분리면 (hyperplane) 을찾아두범주를분류하는기법이다. 인식성능과처리속도가뛰어나최근얼굴인식, 문자인식, 문서범주화등다양한분야에적용되고있다 [18, 19]. 9

18 2 얼굴검출기술 (Face Detection Methods) 얼굴인식에관련된많은연구들에서는얼굴인식이전에선행되어야하는얼굴검출기술에대해대부분간과하는측면이있으며, 이미지속에얼굴이있다고가정하거나이미지영역에대하여명시화하고있다. 하지만얼굴검출기술은얼굴인식시스템개발시에첫번째로수행되어야하는단계이며, 이것이충족되지않을시에는응용프로그램의사용자인터페이스가불편해지거나감시시스템, 추적시스템등으로의활용이불가능해진다. 또한얼굴은고유동적인객체이므로이것을찾아낼수있다면다른다양한사물의인식에도그기술을사용할수있기때문에일반적인객체에대한검출또한가능하여그러한시스템을만들기전에선행하는학습분야이기도하다. 얼굴검출을위한연구들은크게지식기반방법 (knowledge-based methods), 특징기반방법 (feature-based methods), 템플릿매칭방법 (template matching methods), 외형기반방법 (appearance-based methods) 으로나눌수있다 [20]. 2.1 지식기반방법 (Knowledge-based Method) 지식기반방법은사람의얼굴을구성하는눈, 코, 입등의부위를얼굴의특징요소로인식하고, 각요소사이의거리나위치와같은기하학적인특성을분석하여얼굴을검출하는방법이다 [21]. 입력이미지의히스토그램을이용하는방법이대표적인데, 이는가로측의히스토그램을이용하여얼굴의좌우특성을찾고, 세로측의히스토그램을이용하여눈, 코, 입의위치정보를찾아내는방법이다. 얼굴영상은중앙영역에부분 10

19 적인명암도집중이있는데, 얼굴영상과비교될영상의명암도분포를보면집중파형이어느정도비슷하게나온다는것이이방법의핵심이다. 지식기반방법은눈, 코, 입간의상관관계를간단하게구할수있지만그에대한각각의정의를내리기힘들다는문제가있다. 정의된규칙이지나치게엄격하면검츌률이낮아지고, 반대로규칙을줄이면오검출이많아지게된다. 또한포즈등에변화에적용하기힘들어가려지지않은정면얼굴의검출에서만좋은성능을보인다. 2.2 특징기반방법 (Feature-based Method) 특징기반방법은얼굴의부분적인특징을찾고부분후보영역을통합하여얼굴의위치를찾는방법이다. 부분적인얼굴특징에는눈, 코, 입과같은얼굴요소 [22, 23], 질감 (texture)[24], 피부색 (skin color)[25, 26], 그리고외곽선 (outline) 등이있으며이들의조합이적절한것을얼굴로인지한다 [27]. 이방법은빠른속도의장점이있지만, 조명에따른피부색의변화, 기울어짐에따른얼굴모양변화, 카메라위치, 잡음등으로부터많은영향을받는다. 2.3 템플릿매칭방법 (Template Matching Method) 템플릿매칭방법은얼굴영상데이터의부분영역이나외곽선을이용하여미리정의된규칙에의해표준얼굴템플릿을생성하고, 이를입력영상과비교하여얼굴을검출하는방법이다. 이때템플릿정보는학습과정을거치지않고수동적으로생성한다. 11

20 이방법은얼굴요소를찾는과정이필요없고복잡한배경에서도수행이가능한장점이있지만, 개개인의얼굴마다차이가크기때문에표준템플릿의패턴에따라영향을받게되며, 지식기반방법과같이각각다른포즈에대한템플릿을정의하기어렵다. 이외에도미리정의된 Shape Template을이용한검출방법 [28], Deformable Template을이용한방법인 Active Shape Model(ASM) 이있다 [29]. 2.4 외형기반방법 (Appearance-based Method) 외형기반방법은학습영상집합에의해학습된모델을이용하여입력영상으로부터얼굴을구분하는분류기 (classifier) 를만들어얼굴을검출하는방법이다. 학습과정에서얼굴영상과얼굴이아닌배경영상을입력받아둘의차이를잘나타낼수있는특징들을찾아내고, 이것을학습시킨후, 입력영상에대하여학습된정보를이용하여검출하는방법이다. 이에따른방법으로는주성분분석과고유얼굴 (Eigenface) 을이용한방법 [9], 분포기반 (Distribution-based) 방법 [30], Neural Network [14], SVM [19], 순수베이즈분류기 (Naive Bayes Classifier)[31], 은닉마르코프모델 (Hidden Markov Model, HMM)[32] 등수많은패턴인식기법들이존재한다. 외형기반방법은현재얼굴검출분야에서가장많이사용하는방법중하나이며, 다른방법에비해좋은검출성능을나타내고있지만, 학습및특징추출과정에따라다른방법에비해공간적비용과시간이많이소비된다. 12

21 3 소셜네트워크서비스 최근국내외를막론하고인터넷상에서 SNS와관련된다양한서비스들이등장하며확산이가속화되고, 새로운사회트렌드로자리잡고있다. SNS란사회적관계개념을인터넷공간으로가져온것으로, 사람간의인맥구축및네트워크형성을지원하는서비스를일컬으며, 최근개인의일상및관심사를공유ㆍ소통시켜주는서비스전체를일컫는표현으로발전하면서블로그, 미니홈피, 카페, 커뮤니티, 가상현실웹서비스등을총칭하는폭넓은개념으로도사용되고있다 [33][34]. 특히미국의마이스페이스 (Myspace), 페이스북 (Facebook), 세컨드라이프 (Second Life) 는이미전세계의인터넷사용자가참여하는 SNS로자리잡았으며, 우리나라에서도일찌감치싸이월드 (Cyworld) 가서비스를시작하여지속적으로성장하고있다. 이들주요 SNS 제공사이트들은최근큰폭의트래픽증가를보이는등인터넷사용자들의관심과이용이집중되고있다. 특히 2006년초 10만여명에불과했던세컨드라이프의가입자수는 2007년 6월 700만명, 2009 년 1월 1670만명을돌파하며폭발적으로성장하고있는추세이다 [ 그림2-2]. [ 그림 2-2] 세컨드라이프가입자수변화 ( 자료 : Yankee Group) 13

22 마이스페이스 (Myspace) : 가입자수 2 억 5 천만명을보유한세계최대규모의 SNS 페이스북 (Facebook) : 최근급격히성장하고있는 SNS 로, Open API 를통해어플리케이션이운용되는신개념플랫폼을제공 세컨드라이프 (Second Life) : 온라인 3D 가상커뮤니티서비스로현실세계와유사한다양한활동이가능한 SNS 싸이월드 (Cyworld) : 국내최대규모의 SNS 로미니홈피와일촌이라는관계를기반으로한국형소셜네트워크를제공 [ 그림 2-3] 대표적인 SNS 제공사이트와각각의특성 SNS는사용자참여ㆍ공유ㆍ개방등의웹 2.0의핵심가치가서비스에반영되어있는웹 2.0 시대의킬러앱 (killer application) 이다. 특히세컨드라이프와같은가상현실서비스는실제경제적이윤을매개로사용자의지속적인참여를유도하고, 이러한사용자들의관심증대로인해컨텐츠제공업체의참여가가속화되며, 이를통해새로운비즈니스모델출현과서비스고도화로이어지는등 14

23 SNS를둘러싼선순환의구조가정착되고있다. 실제로 IBM, 도요타등수많은글로벌기업들이이미세컨드라이프에진출했으며 [ 그림 2-4], BBC, ABC, MTV 등주요미디어들도이곳에방송국을개 [ 그림 2-4] 도요타의가상오토쇼, 도요타는시카고오토쇼에서선보일 2 개의신차모델을세컨드라이프에동시공개하였다. 설하였고, 하버드와스탠포드등미국의 유수한대학들이세컨드라이프내에캠 퍼스를개설하여온라인강의를진행하고있다. SNS는이밖에도다양한비즈니스모델을파생하며웹서비스의패러다임변화를주도하고있으며, 향후에도이러한시도는지속될전망이다. 특히다양한가상서비스에현실감을제공하면서현실세계와동일한모양과경험을제공하는방향으로진화해갈것으로예상된다 [35]. 4. 태깅관련기술 태그 (tag) 는어떠한정보에대한메타데이터 (metadata) 를의미한다. 웹에서의검색텍스트, 이미지, 영상등과같이모든웹자원들에대해사용자는태그의형태로메타데이터를기록할수있다. 태깅은많은사용자들에의해블로그나검색사이트를통하여사용되어지고있으며, 일반적으로하나의텍스트박스에사용자가일련의키워드들을문자열형태로입력하는방식으로사용된다. 하지만최근에는이러한태깅을자동으로추출하는서비스들이많이등장하고있으며, 이러한자동화된태깅서비스들은텍스트기반의문자들의패턴을분석하여빈도 15

24 수가많은검색어를태깅으로추출하거나텍스트자체에대한연관된정보들을메뉴화하여자동으로연관있는정보를출력하여주는등더욱지능화되어지고있는추세이다 [36]. 또한태그구름 (tag cloud) 과같은개념을도입하여태그들의집합을빈도수에따라색상이나굵기, 크기등과같은요소들을각기달리나타냄으로써보다시각적인서비스를제공하기도한다 [37]. 이밖에도, 웹자원의지리적인메타데이터를태그형태로추가하는기법인위치태킹 (geometric tagging)[38], 공유된콘텐츠에다수의사용자들이키워드의형태로메타데이터를추가하는협력태깅 (collaborative tagging)[39], 텍스트분석을통해자동으로태그를생성하는자동태깅 (automatic tagging)[40] 등태깅기술을응용하고확장하기위해다양한기법들이시도되고있다. [ 그림 2-5] 태그클라우드 [ 그림 2-6] 위치태그 16

25 Ⅲ 연구내용및방법 1 얼굴검출 입력된영상컨텐츠에는사람의얼굴과얼굴이아닌배경및객체영상이포함되어있다. 따라서태깅을위한얼굴인식이전에이미지에서얼굴영역만을검출해내는작업이선행되어야한다. 본논문에서는이를위해아다부스트 (Adaptive Boosting, 이하 AdaBoost) 알고리즘과 Haar-like feature를이용하여전체입력이미지의스캔을빠르고정확하게수행할수있도록하고, 시스템에서의실시간얼굴검출을가능하게하였다. Viola와 Jones가제안한 AdaBoost를이용한얼굴검출방법 [42] 은 Haar-like feature를적분이미지를통해빠른속도로계산하여얼굴을검출한다. 학습과정에서얼굴영상과비얼굴영상을입력받아둘의차이를가장잘나타내주는특징들을선택하고, AdaBoost를사용하여이러한특징들을선형적으로결합함으로써최종적인분류기를생성해낸다. 이방법은적은양의훈련데이터 (training data) 로도학습이가능하며, 적분이미지를활용하여한번계산한위치를상수시간에계산해냄으로써빠른검출속도를가지는장점이있다. 1.1 Haar-like 특징얼굴영상은조명이나포즈, 배경등의다양한외부환경요소에영향을받기때문에이와같은환경요소에강인하면서도빠른연산이가능한얼굴검출방법이요구된다. 이러한문제를해결하기위해 [ 그림 3-1] 과같이간단하고객체 17

26 간의구별능력이있는 Haar-like feature를사용한다. Haar 웨이블릿 (wavelet) 은 1910년 Haar가제안한간단한직교웨이블릿으로, 영상에서의수평, 수직, 대각방향에대한에지 (edge) 를각스케일별로분해하는기법이다 [41]. Papageorgiou는 Haar 웨이블릿을이용하여물체를검출하는알고리즘을제안하였으며 [42], Viola와 Jones는이것을확장한 Haar-like feature[ 그림 3-2] 를이용하여얼굴검출에활용하였다 [43]. 본논문에서는기울어진얼굴에대한검출률을높이기위해 Viola와 Jones의 Haar-like feature를확장하여 45도기울어진 feature들을추가한 Lienhart의 Haar-like feature를사용하였다. [ 그림 3-3] 에서볼수있는것처럼 Lienhart 가제안한확장된 Haar-like feature들에서는 Viola의기존대각선 feature가제거되고, 대신에지와라인, 중심특성에각각대각선특성이추가되었다 [44]. [ 그림 3-1] 얼굴영역내 Haar-like feature 적용 [ 그림 3-2] Haar-like features 18

27 [ 그림 3-3] Lienhart 가확장한 Haar-like features Haar-like feature는 [ 그림 3-2, 3-3] 과같이서로인접한사각형으로구성되어있으며, 검은색과흰색으로표시된각영역안에위치한픽셀들의값을더하여영역의합을구한뒤, 그값들에가중치를곱한값의합을구하여특징값을계산한다. 즉, 흰색영역과검은색영역의명암차다. 이때 Haar-like feature는직사각형형태를가지므로, 적분이미지를이용하여빠른속도로계산이가능하다. 1.2 적분이미지 (Integral Image) 이미지내에서 Haar-like feature의픽셀합계계산을빠르게수행하기위해적분이미지를사용한다. 적분이미지는처음영상이들어왔을때, 픽셀값을합한한번의계산으로영역합테이블 (Summed Area Table, SAT)[45] 을생성하며, 이렇게미리구해진적분이미지를이용하면임의의원하는위치에해당하는픽셀값들의합을구할때중복연산을최소화함으로써매우빠른계산이가능해진다. 19

28 이미지상의한점 에서의적분이미지값은 [ 그림 3-3] 에서표현된 것과같이좌측상단의시작점에서부터 까지의모든픽셀값들의합으로, [ 수식 3-1] 에의해계산되고, [ 수식 3-2] 에의해갱신된다. [ 수식 3-1] [ 수식 3-2] 는 에서의적분이미지, 는입력이미지의픽셀값 [ 그림 3-4] 점 P 에서의적분이미지 [ 그림 3-5] 적분이미지를이용한계산 적분이미지를이용하면 [ 그림 3-4] 의 D영역과같이이미지의중간에놓여있는임의의영역에포함된픽셀값의합을빠르게구할수있다. 점 에서의적분이미지값을 A영역의각픽셀값을모두합한값이라고하고, 점 에서의적분이미지값은 A영역과 B영역의합, 마찬가지로점 에서의적분값은 A영역과 C영역의합, 점 에서의적분값은 A, B, C, D 영역모두의픽셀값의합이라고할때, 20

29 D영역의픽셀값의합을 로나타낼수있기때문이다. 이와마찬가지로 Haar-like feature는이웃한두개이상의직사각형으로이미지상에놓여지기때문에, 적분이미지를이용하면빠른속도로계산이가능하다. 두개의직사각형으로이루어진 feature는 6개점의적분이미지값으로구할수있으며, 세개의직사각형으로이루어진 feature는 8개점, 네개의직사각형으로이루어진 feature는 9개점의적분이미지값을이용하여구할수있다. 1.3 특징값계산특징값은입력영상에서 Haar-like feature 마스크 (mask) 를이동시키며구한다. 마스크를구성하는사각형성분들을크기가 인직사각형 이라고하고, 사각형에포함된모든픽셀값의합을 이라고하면, 특징값은 [ 수식 3-3] 으로구할수있다. [ 수식 3-3] 이때, 의가중치 는 [ 수식 3-4] 에서와같이서로반대되는부호를갖게 되며, 두사각형의넓이비가다를경우이를보상해준다. [ 수식 3-4] 21

30 예를들면 [ 그림 3-5] 와같은라인특성의 Haar-like feature는검은색사각형 와검은색사각형을포함한흰색사각형 의차이로특징값을계산할수있는데, 의좌상단좌표가 (3,5), 의좌상단좌표가 (4,5) 이고, 과 의너비는각각 3과 1이며, 높이는둘다 2라고했을때, 각영역의넓이비는 6:2로 3이므로, [ 수식 3-5] 와같이표현할수있다. [ 수식 3-5] [ 그림 3-6] Line 특성 feature 에서의특징값계산 1.4 분류기학습 (Classifier Learning) Haar-like 특징추출단계에서생성된얼굴특징계수를이용하여얼굴을분류하기위해서본논문에서는 AdaBoost 알고리즘과캐스케이드 (Cascade) 구조를이용하였다. AdaBoost 알고리즘은약분류기 (simple, weak classifier) 들의선형 22

31 결합을통하여최종적으로높은검출성능을가지는강분류기 (strong classifier) 를생성하여분류하는기법으로 Freund와 Schapire에의해소개되었으며, 약분류기수가증가할수록에러율이지수적으로영점에근접함이증명되었다 [46]. 이전단계에서구한얼굴특징계수를이용한분류방법은 [ 수식 3-6] 과같다. i f 는 feature, 는 threshold, 는 parity [ 수식 3-6] 약분류기는마스크내의 Haar-like 특징 (feature) 들중얼굴과배경을가장 잘분류하는하나의특징을선별한다. 이를위해적분이미지를통해구한픽셀값 의합을이용하여에러가최소화되는문턱값 (threshold) 을찾는다. 이렇게구한 약분류기들은선형적으로결합하여최종적인강분류기를구성한다. 얼굴검출을 위한 AdaBoost 학습알고리즘은간단하게 [ 표 3-1] 과같이요약할수있다. [ 표 3-1] 얼굴검출을위한 AdaBoost 알고리즘 [43] 1 학습이미지입력 : : 입력영상, : 입력영상이얼굴일때 1, 얼굴이아닐때 0 2 각각에부여할가중치를다음과같이초기화 m: 얼굴이아닌이미지수, n: 얼굴이미지수 3 결합할약분류기의수만큼다음작업을반복 23

32 가중치정규화 : 는확률분포 특징점 에대한약분류기 를학습시키며, 에러값을계산 가장작은에러값 ( ) 를가지는분류기 를선택 가중치를다음과같이갱신 학습영상 가잘분류되었으면 이고, 그이외에는 4 최종결합된강분류기는다음과같다. log 학습영상은얼굴영상과얼굴이아닌영상으로구분되어입력된다. 는각각의훈련영상이며, 는그영상이얼굴영상인지아닌지를나타내주는인덱스값이다. 알고리즘시작단계에서는우선가중치를초기화한후, 약분류기의개수만큼반복하면서에러값이가장작은가중치를찾는다. 학습초기에는큰특징들을통해얼굴영상의에러를줄이고, 뒤로갈수록세세한특징들을통해얼굴과비얼굴을구별시키는특징을판별한다. 따라서계층의앞부분은크기가크고특징의수가적은반면, 뒷부분은크기가작고특징의수는많게된다. 이렇게가중치가조정된약분류기들이선형적으로결합되면서최종적으로강분류기를생성하게된다. 24

33 1.5 Cascade 구조를이용한분류속도향상 AdaBoost 알고리즘이 Neural Network나 SVM과같은기존의분류알고리즘보다좋은성능을보이기위해서는많은수의훈련영상과약분류기들이필요하며, 이경우훈련시간과검출시간이늘어나게된다. Viola는이러한계산시간을줄이기위해 Cascade 구조를이용하여분류기를구성하였다 [43]. 이방법의원리는초기단계에서얼굴영상을유지하면서비얼굴영상들을걸러냄으로써다음단계로갈수록좀더복잡하고구별하기힘든특징들을분류하는데집중하는것이다. 이를위해단계별로 50% 정도의오판율 (false positive rate, 이하 FPR) 을감수하며, 100% 에가까운얼굴검출률 (detection rate, 이하 DR) 을갖도록한다. 이정도의높은 FPR 자체는분류기로서사용하기에적합하지않지만, 많은수의후속단계를거침으로써판별력과효율이증대되어, 최종적으로는분류기로사용하기적합한성능을갖게된다. Cascade 분류기의각단계에서의특징수와총단계수는 FPR과 DR에의해결정된다. K를분류기의수, 와 를각각 번째분류기의 FPR과 DR이라고할때, 최종분류기의전체 FPR과 DR은다음과같이표시할수있다., [ 수식 3-7] 따라서, 90% 의 DR 을갖는최종분류기를구하기위해서는먼저 99% 의 DR 을갖는 10 단계의분류기를구성해야한다. 그리고각단계에서의 FPR 을 30% 로만들면, 총 FPR 은 으로기하급수적으로줄어들게된다. 25

34 2 얼굴인식 본논문에서는얼굴인식을하기위한방법으로 PCA 기법 [9] 을이용하였다. PCA는얼굴에서구성요소들을일일이분리하지않고하나의주성분으로생각하여처리하는방식으로각입력영상을 1차원벡터로변환한후전체입력영상들의직교적인공분산행렬 (orthogonal covariance matrix) 을계산한다. 이후에공분산행렬의고유값 (eigen-value) 에따라고유벡터 (eigen-vector) 를구하고, 입력된얼굴과기준얼굴의고유벡터를벡터공간상에서비교하여가장가까운거리의벡터를지닌얼굴이인식되도록하는방법이다. 이방법은인식률을떨어뜨리지않으면서도데이터의양을축소하는효과가있다. 2.1 얼굴인식과정얼굴영상의다차원의정보는얼굴을표현하기에적절하지못하며, 얼굴을묘사할수있는얼굴공간 (face space) 으로표현되어야한다. 따라서얼굴인식에서의 PCA 기법은고차원의얼굴정보들을얼굴공간의저차원으로축소시킴으로써데이터를다루기쉽게하기위한방법이라할수있다. PCA를이용한얼굴인식은크게학습, 입력, 인식의세단계로구분된다. 학습단계는입력영상과비교할수있는학습영상집합으로부터평균얼굴벡터를계산한후각학습얼굴벡터와의차를구하여공분산행렬을통해고유값과고유벡터를계산한다. 이값이구해지면고유벡터를크기순으로재배열하여얼굴모양과비슷한고유얼굴을생성하며학습영상을아주작은고유값에대응하는고유얼굴을제외한 ( 학습영상의공통적인특징을가장잘나타내는벡터 ) 26

35 학습영상의특징을타나내는특징벡터를생성한다. 입력단계에서는학습단계에서생성된평균얼굴벡터와고유얼굴을사용한다. 학습단계와마찬가지로평균얼굴의차영상을고유얼굴공간에투사시켜입력영상의특징벡터의값을추출한다. 마지막으로인식단계에서는학습영상의특징벡터와의유클리디안거리값 (euclidean distance) 을비교하여그거리가최소가되는얼굴이입력얼굴과유사한특징을가진얼굴이므로이영상을입력얼굴과동일한인물로결정한다. 2.2 얼굴벡터집합구성학습얼굴영상을하나의얼굴벡터로표현하기위해얼굴영상의각픽셀을행의순서로재구성한다. 각각의얼굴영상의크기가 일때각픽셀정보를하나의행으로연결하여벡터성분으로표현하면 [ 그림3-7] 과같이 의행벡터인얼굴벡터가생성된다. [ 그림 3-7] 얼굴벡터구성의예 27

36 생성된각얼굴벡터들은하나의얼굴벡터행렬로구성되어야하는데, 얼굴 영상의크기가 이고학습얼굴영상의수가 개일때, 각각 의얼굴벡터 과각얼굴벡터들을하나의얼굴벡터행렬 로표현한다. [ 수식 3-8] [ 수식 3-9] 2.3 이미지정규화 PCA를이용한얼굴인식에서는사진크기, 조명, 배경, 카메라의각도및거리와같은외적요인에따라인식률의변화가매우심하게나타난다. 따라서얼굴인식에영향을미치는외적요인중사진크기와조명에대한영향을줄이기위해전처리과정으로이미지리사이징과히스토그램평활화를사용하여사진크기와조명에의하여발생하는에러를최소화하여야한다. 이미지리사이징과정은본연구의얼굴검출과정에서데이터베이스의학습영상과동일한얼굴영상을추출하고자추출된이미지를학습영상의이미지와크기를맞추는이미지의변환과정이필요하다. 히스토그램평활화 (histogram equalization) 알고리즘은한쪽에치우친명암분포를가진히스토그램을재분배과정을거쳐일정한분포를가지게하는알고리즘이다. 히스토그램평활화의일반적인식은다음과같다. 28

37 = [ 수식 3-10] : 히스토그램누적합, : 영상의픽셀개수, : 명암값개수 히스토그램의평활화과정은다음과같다. 1 히스토그램생성 2 히스토그램의값을정규화하여누적합을계산 3 입력영상의화소위치를파악, 결과영상생성 전처리과정중하나로히스토그램평활화를사용하는이유는단순히영상의히스토그램을균일하게해주는것뿐아니라, [ 그림 3-8] 에서볼수있는것처럼어두운영상은밝게, 너무밝은영상은조금어둡게하는등적당한명암값을유지하게함으로써인식대상의특징정보를균등하게적용시켜조명에대한인식률을향상시킬수있기때문이다. 29

38 원이미지 히스토그램평활화적용이미지 [ 그림 3-2] 이미지정규화 30

39 2.4 공분산을이용한변환행렬도출얼굴영상공간에서의각각의픽셀이다른픽셀과연관성이많기때문에얼굴의자료를나타낼때불필요한정보의중복이나타나게된다. 실제로학습단계에서의얼굴벡터집합의공분산행렬은고차원비대각화행렬 (high non-diagonal) 이라는것을알수있으며공분산행렬은아래와같이나타낼수있다. [ 수식 3-11] : 공분산행렬, : i 번째얼굴과 j 번째얼굴의공분산 각각의얼굴벡터가어떠한벡터와도연관되지않는얼굴영역을만드는것 이목표이므로공분산행렬은대각행렬이어야한다. [ 수식 3-12] 분산을최대화하는방법으로각변수의상관관계가자기자신과최대가되고 다른성분들과는 0 이되게하기위해 W 를 [ 수식 3-10] 을만족하는변환행렬 이라고정의한다. 31

40 [ 수식 3-13] 여기서어떠한 W 를구해야만 A 의공분산행렬이대각화하게되느냐가관건 이며 [ 수식 3-13] 을이용하면다음과같은식을유추할수있다. [ 수식 3-14] 를 의고유값을포함하는대각화행렬이라고할때 를 의고 유벡터를포함하는다음과같은식으로정의할수있다. [ 수식 3-15] 결과적으로 는 의고유값을포함하는대각행렬이됨을알수있 으며이것을이용하여변환행렬 를구할수있다. 2.5 고유얼굴생성공분산행렬은주성분을분석하고축약하여고차원의자료를저차원으로변환함으로써원자료의복잡성을제기할수있게하는하나의절차이며공분산행렬및주성분분석을위한과정은다음과같이수행된다. 1 이미지정규화과정을거친후얼굴벡터의집합 로부터평균얼굴벡터 32

41 를계산한다. [ 수식 3-16] [ 그림 3-9] 평균얼굴벡터 2 각학습얼굴벡터와평균얼굴벡터의차를계산한다. [ 수식 3-17] 3 차벡터 로부터공분산행렬을계산한다. [ 수식 3-18] 4 공분산행렬로부터 개의고유값 와이에대응하는고유벡터 를 계산한다. 33

42 단 [ 수식 3-19] 공분산행렬에서구한고유값은분산의정도를나타내며이에대응하는고유벡터를 로재배열하면얼굴의모양과닮아보이므로이를 고유얼굴 (Eigenface) 이라고한다. 고유얼굴의개수는학습영상개수와동일하며고유얼굴을생성하는식은다음과같다. [ 수식 3-20] [ 그림 3-10] 고유얼굴 고유얼굴은얼굴공간을구성하는벡터에서학습영상의공통적인특징을 가장잘나타내는기저벡터를의미하며각얼굴벡터와평균얼굴벡터의차 34

43 벡터로공분산행렬의고유벡터에해당한다. 2.6 고유성분벡터추출공분산행렬의고유치는평균얼굴영상에대한분산의정도를나타내기때문에가장큰고유치에대응하는고유벡터로이루어진고유얼굴이가장비슷한얼굴이되며, 고유치가작을수록얼굴의특정이작아진다. 본연구에서는큰고유치에해당하는 의학습얼굴영상에대해서만고유벡터로사용하며입력영상의성분벡터비교를위해각각의고유얼굴성분벡터 [47] 를생성한다. [ 수식 3-21] [ 수식 3-22] 2.7 얼굴인식 값이구해지면학습얼굴영상의고유얼굴상에서의성분벡터와입력영상의성분벡터와의유클리디안거리값을비교하여그거리가최소가되는얼굴이입력얼굴와가장유사한얼굴이므로, 최종적으로이영상후보를인식결과로결정한다. 그리고유클리디안거리값의오차가일정임계값보다큰경우에는학습얼굴영상에일치하는얼굴이없음을나타내는결과를출력한다. 35

44 Ⅳ 연구결과및토의 1 실험환경 제안한얼굴인식기반의태깅자동화시스템은 AMD Athlon(TM) X2 Dual Core CPU 2.70GHz, 2G DDR2 RAM, ATI Radeon HD3400 VGA 사양의환경에서실험하였다. 2개의코어로구성된 CPU지만하나의코어만을사용하도록프로그램하였다. 향후모든코어를사용하면한방향의얼굴을검출하는시간동안두방향의얼굴검출이가능할것으로예측된다. 실험에사용한코드는 Microsoft Windows XP Professional 운영체제에서 C# 언어와 OpenCV 라이브러리 [48] 를사용하여컴파일 (compile) 하였다. 입력영상으로사용한인물사진들은 Nikon D80 카메라를사용하여얼굴기울어짐에상관없이 의해상도로실내에서촬영되었으며, 이후프로필사진은 , 그룹사진은 으로크기를조정하였다. 또한, 향후웹서비스로의전환이용이하도록 Microsoft의닷넷프레임워크를플랫폼으로사용하였으며, SNS 환경과최대한유사하게제작하기위해모든프로필정보와영상컨텐츠들은각각독립적으로구축된데이터베이스에저장하여사용하였다. 2 시스템인터페이스 제안한얼굴인식기반의자동화태깅시스템을구현하기위해 20 대남녀 10 36

45 명의프로필사진과각각의이름, ID, 이메일을기록한사용자정보테이블 (member table), 그리고여러사람이모여서찍은단체사진과각사진의제목, 태그를기록한사진테이블 (picture table) 로구성된데이터베이스를구축하였다. 이때두테이블은서로독립적으로어떠한매개체도가지고있지않다. 이후 SNS의사진관리시스템을모방하여 [ 그림 4-1] 과같이시스템인터페이스를제작하고, 여기에구축한데이터베이스를연동하여사진테이블에기록된사진정보들을열람할수있도록하였다. 사용자는시스템을통해새로운프로필이나사진을데이터베이스에등록또는수정하거나삭제하는것이가능하며, 아이디를입력하여사용자정보를검색할수있다. [ 그림 4-1] 시스템인터페이스및결과화면 37

46 사용자가활성화버튼 (Activate) 을눌러얼굴검출및인식을활성화한후, 마우스커서를사진속인물의얼굴에올리면검출된얼굴영역이표시된다. 그리고그얼굴을클릭하면해당인물의프로필사진및정보가출력되고, 태그목록에는해당인물의이름이태깅된다. 이때입력되는태그는사용자가입력하는것이아니라, 시스템이얼굴을인식하여자동으로출력하는것이다. 3 실험결과 제작된시스템의성능을평가하기위해얼굴검출시소요되는시간과검출률, 얼굴영상학습시간, 그리고얼굴인식시소요되는시간과인식률을측정하였다. 먼저실험에사용된 30장의단체사진을이용하여총 95명의얼굴을검출한시간은 [ 그림 4-2] 와같다. [ 그림 4-2] 얼굴검출시간 38

47 평균검출시간은 ms 로매우양호한검출시간을보였으며이는정지 영상이아닌동영상에서의얼굴을실시간으로도검출가능한시간이다. 따라서정 지영상뿐만아니라동영상을다루는시스템에서도적극활용될수있다. 다음으로 30 장의단체사진에대한 95 명의얼굴검출률은 [ 그림 4-3] 와같은 결과를보였다. [ 그림 4-3] 얼굴검출률 조명변화와다양한각도에서의얼굴사진에도강인한검출률을보였으며, 얼굴크기, 피부색, 안경착용, 얼굴가림등과같이환경적인요인에도불구하고평균 90.8% 의높은검출률을보였다. 이는다양한카메라기기나모바일디바이스기기에적용되어얼굴검출을자동으로하는시스템을적용시킬수있다. 39

48 얼굴인식단계이전에입력이미지와의비교를위한학습데이터가필요하므로 10장의얼굴사진을트레이닝하였다. 3~10명에대한각각의트레이닝시간은 [ 그림 4-4] 와같으며학습이미지의양이늘어날수록평균적으로시간이증가하는것을확인할수있다. [ 그림 4-4] 얼굴학습시간 학습된데이터를대상으로한입력영상에대한인식시간과인식률은각각 [ 그림 4-5] 와 [ 그림 4-6] 에나타난바와같다. 8명의얼굴학습데이터를이용하여 10장의단체사진이미지에존재하는 21명의얼굴을인식테스트한결과평균 76% 의인식률을보였다. 30~50% 의인식률을보이는이미지에대해서는조명변화와, 얼굴의기울어짐의정도가심한것으로확인되었고, 그이외의입력이미지에대해서는높은인식률을보였다. 따라서인식률을향상시키기위해서는이러한환경적인변화에강인한알고리즘에대해지속적인연구가필요할것이다. 40

49 [ 그림 4-5] 얼굴인식시간 [ 그림 4-6] 얼굴인식률 41

50 Ⅴ 결론 본논문에서는텍스트기반의수동적인기존태깅시스템과차별되는다양한패턴인식알고리즘을적용한얼굴인식기반의태깅자동화방법에대해제안하고, 이를적용한사진관리시스템을개발하였다. 이를위해먼저얼굴검출및인식에대한다양한방법들에소개하고, 현재가파르게성장하고있는 SNS 시장과태깅관련기술에대해알아본후, 개발한시스템에서사용된방법들에대해상세하게기술하였다. 얼굴검출과정에서는 Haar-like 특징과 AdaBoost를이용하여높은검출률과속도를가진분류기를생성했으며, 인식과정에서는 PCA를이용하여고유얼굴을생성한후, 여기서추출된고유벡터성분을비교하여오차가가장적은얼굴을선택하여인식하였다. 웹2.0을지나웹3.0으로도약하는현인터넷시장에인공지능알고리즘을적용하여새로운형태의웹서비스를제공하고, 자동화된얼굴인식을통해사용자로하여금재밌고편리한인터넷콘텐츠이용을가능하게하는데큰의의가있으며, 또한인맥네트워크를중시하는 SNS 에서, 사용자가더욱넓은인맥을구축하거나, 잃어버린인맥을복구할수있는환경을제공해줄것으로기대된다. 2006년마이스페이스에이어, 2007년페이스북, 2008년트위터 (Twitter) 와믹시 (Mixi), 그리고지금도끊임없이생겨나고있는다양한 SNS 및웹서비스들에대해세계의관심이증가하는가운데, 이러한사용자중심의독창적인서비스는기술적으로정체되어있는국내인터넷시장에활기를불어넣어주고, 유망기술로떠오르고있는패턴인식분야의연구수준을향상시킬것으로기대된다. 42

51 참고문헌 [1] 박종진, 인터넷영상소비패턴과업계주도권전망 : SBSi의온라인디지털콘텐츠사업전략, 삼성경제연구소디지털사례세미나 SBSi, [2] 한국소프트웨어진흥원, 포털사이트를중심으로한국내웹 2.0 서비스현황과전망, SW산업동향, [3] Scott Bateman, Christopher Brooks and Gord McCalla, Collaborative Tagging Approaches for Ontological Metadata in Adaptive E-Learning Systems, Proceedings of 4th International Workshop on Applications of Semantic Web Technologies for e-learning, pp.3-12, June [4] Ramma Chellappa, Charles L. Wilson, and Saad Sirohey, Human and Machine Recognition of Faces: A Survey, Proceedings of the IEEE, Vol.83, No.5, pp , May [5] Sina Jahanbin, Hyohoon Choi, Alan C. Bovik, and Kenneth R. Castleman, "Three Dimensional Face Recognition using Wavelet Decomposition of Range Images," Proceedings of IEEE International Conference on Image Processing, Vol.1, pp , September [6] Ji Tao, Yap-Peng Tan, "People Monitoring using Face Recognition with Observation Constraints," Proceedings of IEEE International Conference on Image Processing, Vol.3, pp , October [7] David. D. Zhang, Automated Biometrics: Technologies and System, Kluwer Academic Publishers, Boston, May [8] Athinodoros S. Georghiades, Peter. N. Belhumeur, David. J. Kriegman, 43

52 "From Few to Many: Illumination Cone Models for Face Recognition under Variable Lighting and Pose," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.23, No.6, pp , June [9] Matthew Turk, Alex Pentland, "Eigenfaces for Recognition," Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86, [10] Chengjun Liu, Harry Wechsler, "Enhanced Fisher Linear Discriminant Models for Face Recognition," Proceedings of 14th International Conference on Pattern Recognition, Vol.2, p.1368, August [11] Y. K. Ham, S. Y. Lee and R. H. Park, "Knowledge-based Face Recognition using Neural Networks," Proceedings of International Joint Conference on Neural Networks, Vol.3, pp , October [12] Dennis Gabor, "Theory of communication," Journal of the Institute of Electrical Engineering, Vol.93, No.26, pp , November [13] Bernd Heisele, Purdy Ho and Tomaso Poggio, "Face Recognition with Support Vector Machines: Global versus Component-based Approach," Proceedings of 8th International Conference on Computer Vision, Vol.2, pp , [14] M eng Joo Er, Shiqian W u, Juwei Lu and Hock Lye Toh, "Face Recognition with Radial Basis Function(RBF) Neural Networks," IEEE Transactions on Neural Networks, Vol.13, No.3, May [15] Su Hongtao, David Dagan Feng, Zhao Rong-Chun, "Face Recognition using Multi-feature and Radial Basis Function Network," Conferences in Research and Practice in Information Technology, Vol.22, pp.51-57, [16] Lakhmi C. Jain, Uqur Halici, Isao Hayashi, S. B. Lee, Shiqeyoshi Tsutsui, Intelligent Biometric Techinques in Fingerprint and Face 44

53 Recognition, CRC Press, Boca Raton, pp , [17] Vladimir N. Vapnik, "The Nature of Statistical Learning Theory," Springer-Verlag, New York, [18] Christopher J. C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition," Data Mining and Knowledge Discovery, Vol.2, No.2, pp , [19] Edgar Osuna, Robert Freund, and Federico Girosi, "Training Support Vector Machines: An Application to Face Detection," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp , [20] Ming-Hsuan Yang, David J. Kriegman and Narendra Ahuja, "Detecting Faces in Images: A Survey," Transactions on Pattern Analysis and Machine Intelligence, Vol.24, No.1, pp.34-58, January [21] Guangzheng Yang, Thomas S. Huang, "Human Face Detection in Complex Background," Pattern Recognition, Vol.27, No.1, pp.53-63, [22] Thomas K. Leung, Michael C. Burl, Pietro Perona, "Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching," Proceedings of 5th IEEE International Conference on Computer Vision, pp , June [23] Kin C. Yow, Roberto Cipolla, "Feature-based Human Face Detection," Image and Vision Computing, Vol.15, No.9, pp , September [24] Ying Dai, Yasuaki Nakano, "Face-Texture Model based on SGLD and Its Application in Face Detection in a Color Scene," Pattern Recognition, Vol.29, No.6, pp , June [25] Jie Yang, Alex Waibel, "A Real-time Face Tracker," Proceedings of 3rd IEEE Workshop on Applicatinos of Computer Vision, pp , [26] Stephen J. McKenna, Shaogang Gong and Yogesh Raja, "Modelling 45

54 Facial Colour and Identity with Gaussian Mixtures," Pattern Recognition, Vol.31, No.12, pp , December [27] Rick Kjeldsen, John R. Kender, "Finding Skin in Color Images," Proceedings of 2nd International Conference on Automatic Face and Gesture Recognition, pp , October [28] Ian Craw, David Tock and Alan Bennett, "Finding Face Features," Proceedings of 2nd European Conference on Computer Vision, pp.92-96, [29] Andreas Lanitis, Christopher J. Taylor, and Timothy F. Cootes, "Automatic Face Identification System using Flexible Appearance Models," Image and Vision Computing, Vol.13, No.5, pp , June [30] Kah-Kay Sung, Tomaso Poggio, "Example-based Learning for View-based Human Face Detection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.1, pp.39-51, January [31] Henry Schneiderman, Takeo Kanade, "Probabilistic Modeling of Local Appearance and Spatial Relationships for Object Recognition," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.45-51, July [32] Ambasamudram N. Rajagopalan, K. Sunil Kumar, Jayashree Karlekar, R. Manivasakan, M. Milind Patil, Uday B. Desai, P. G. Poonacha, and Subhasis Chaudhuri, "Finding Faces in Photographs," Proceedings of 6th IEEE International Conference on Computer Vision, pp , [33] Danah M. Boyd, Nicole B. Ellison, "Social Network Sites: Definition, History, and Scholarship," Journal of Computer-Mediated Communication, Vol.13, No.1, April

55 [34] Su Yun Chae, Evolution of Social Network Service into Media, ICA 42nd Conference, Seoul, Korea, October [35] John Breslin, Stefan Decker, "The Future of Social Networks on the Internet: The Need for Semantics," IEEE Internet Computing, Vol.11, No.6, pp.86-90, November [36] Tye Rattenbury, Nathan Good, Mor Naaman, "Towards Extracting Flickr Tag Semantics," Proceedings of 16th International Conference of World Wide Web, pp , [37] Martin J. Halvey, Mark T. Keane, An Assessment of Tag Presentation Techniques, Proceedings of 16th International Conference on World Wide Web, pp , [38] Alexei Pyalling, Michael Maslov, Pavel Branslavski, "Automatic Geotagging of Russian Web Sites," Proceedings of the 15th International Conference on World Wide Web, pp , [39] Scott A. Golder, Bernardo A. Huberm an, "Usage Patterns of Collaborative Tagging Systems," Journal of Information Science, Vol.32, No.2, pp , [40] Paul-Alexandru Chirita, Stefania Costache, Wolfgang Nejdl, Siegfried Handschuh, "P-TAG: large scale automatic generation of personalized annotation tags for the web," Proceedings of the 16th International Conference on World Wide Web, , [41] Alfred Haar, "Zur Theorie der Orthogonalen Funktionen-Systeme," Mathematische Annalen, Vol.69, pp , [42] Constantine P. Papageorgiou, Michael Oren, Tomaso Poggio, "A General Framework for Object Detection," Proceedings of 6th IEEE 47

56 International Conference on Computer Vision, pp , [43] Paul Viola, Michael Jones, "Robust Real-Time Face Detection," Inernational Journal of Computer Vision, Vol.57, No.2, pp , May [44] Rrainer Lienhart, Alexander Kuranov and Vadim Pisarevsky, "Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection," MRL Technical Report, May [45] Franklin C. Crow, "Summed-area Tables for Texture Mapping," Proceedings of 11th Annual Conference on Computer Graphics and Interactive Techniques, Vol.18, No.3, pp , [46] Yoav Freund, Robert E. Schapire, "A Decision-Theoretic Generalization of On-line Learning and An Application to Boosting," Journal of Computer and System Sciences, Vol.55, No.1, pp , August [47] Peter N. Belhumeur, João P. Hespanha, David J. Kriegman, "Eigenfaces vs. Fisherfaces: Recognition using Class Specific Linear Projection," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.19, No.17, pp , July [48] OpenCV Library, 48