Journal of the Korea Convergence Society Vol. 9. No. 4, pp. 47-55, 2018 ISSN 2233-4890 https://doi.org/10.15207/jkcs.2018.9.4.047 자동얼굴인식을위한얼굴지역영역기반다중심층합성곱신경망시스템 김경태, 최재영 * 한국외국어대학교컴퓨터전자시스템공학부 Facial Local Region Based Deep Convolutional Neural Networks for Automated Face Recognition Kyeong-Tae Kim, Jae-Young Choi * Division of Computer and Electronic Systems Eng., Hankuk University of Foreign Studies 요약본논문에서는얼굴인식성능향상을위해얼굴지역영역영상들로학습된다중개의심층합성곱신경망 (Deep Convolutional Neural Network) 으로부터추출된심층지역특징들 (Deep local features) 을가중치를부여하여결합하는방법을제안한다. 제안방법에서는지역영역집합으로학습된다중개의심층합성곱신경망으로부터추출된심층지역특징들과해당지역영역의중요도를나타내는가중치들을결합한특징표현인 가중치결합심층지역특징 을형성한다. 일반화얼굴인식성능을극대화하기위해, 검증데이터집합 (validation set) 을사용하여지역영역에해당하는가중치들을계산하고가중치집합 (weight set) 을형성한다. 가중치결합심층지역특징은조인트베이시안 (Joint Bayesian) 유사도학습방법과최근접이웃분류기 (Nearest Neighbor classifier) 에적용되어테스트얼굴영상의신원 (identity) 을분류하는데활용된다. 제안방법은얼굴영상의자세, 표정, 조명변화에강인하고기존최신방법들과비교하여얼굴인식성능을향상시킬수있음이체계적인실험을통해검증되었다. 주제어 : 얼굴인식, 심층합성곱신경망, 심층지역특징, 가중치결합, 얼굴지역영역, 조인트베이시안 Abstract In this paper, we propose a novel face recognition(fr) method that takes advantage of combining weighted deep local features extracted from multiple Deep Convolutional Neural Networks(DCNNs) learned with a set of facial local regions. In the proposed method, the so-called weighed deep local features are generated from multiple DCNNs each trained with a particular face local region and the corresponding weight represents the importance of local region in terms of improving FR performance. Our weighted deep local features are applied to Joint Bayesian metric learning in conjunction with Nearest Neighbor(NN) Classifier for the purpose of FR. Systematic and comparative experiments show that our proposed method is robust to variations in pose, illumination, and expression. Also, experimental results demonstrate that our method is feasible for improving face recognition performance. Key Words : face recognition, deep convolutional neural network, deep local features, weight combination, facial local region, Joint Bayesian *This work was supported by Hankuk University of Foreign Studies Research Fund. *This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education. (No. 2015R1D1A1A01057420) *Corresponding Author : Jae Young Choi (jychoi@hufs.ac.kr) Received February 23, 2018 Accepted April 20, 2018 Revised March 30, 2018 Published April 28, 2018
48 한국융합학회논문지제 9 권제 4 호 1. 서론자동얼굴인식은핀테크 (FinTech) 의생체인식인증 [1], 비디오감시및인간감정인식 [2] 과같은응용에서실제사용되며, 패턴인식 (Pattern recognition) 과컴퓨터비전 (Computer vision) 분야에서다양하고활발한연구가진행되고있다. 하지만많은연구가진행되었음에도불구하고조명, 얼굴표정, 자세변화등의환경에있어서의차이에따라같은사람의얼굴영상이라도매우변화가심하여경우에따라서는같은사람의얼굴영상의유사도 (similarity) 보다다른사람얼굴영상의유사도가더클수있다 [3]. 이러한이유때문에조명, 얼굴표정, 자세변화등제약조건에강인한얼굴인식시스템을설계하는것은아직도많은한계가존재하는실정이다. 지난수십년간얼굴인식의성능을개선시키고자하는연구가지속적으로이루어져왔다 [4]. 많은얼굴인식알고리즘들이제안되었으며최근에는딥러닝 (Deep learning) 의기술개발로인식정확도 (recognition accuracy) 가상당히향상되었다. 딥러닝은여러층의비선형 (nonlinear) 의은닉층 (hidden layer) 을포함하고있는인공신경망 (artificial neural network) 으로, 여러비선형변환 (non-linear transformation) 의조합을통해입력에대해높은수준의추상화 (abstraction) 를시도하여새로운표현을학습할수있는장점이있다 [5,6]. 딥러닝알고리즘의한종류인합성곱신경망 (Convolutional Neural Network, CNN) 이발표되면서부터이를토대로다양한딥러닝모델들이등장하기시작했다 [4]. 그중심층합성곱신경망 (Deep Convolutional Neural Network, DCNN) 은영상인식에주로사용되는알고리즘이며입력영상의고유한특징을부각시킨새로운특징정보인심층특징 (Deep feature)[8,9] 을제공하고있다. 심층합성곱신경망을이용한대표적인얼굴인식연구로는딥페이스 (Deep Face)[10] 로 4,000명이상의인식대상자를포함한 440만개의얼굴전체영상에대해 3D 모델을이용하여얼굴영상을정면화시킨뒤 9개의계층으로구성된심층합성곱신경망을훈련하였다. 이신경망은 LFW[11] 와 YTF[12] 와같은얼굴인식데이터집합에서모두뛰어난성능을보였다. Sun et al. [13][14] 은적은양의정렬된얼굴전체영상을이용한간단한심층합성곱신경망모델을소개하였다. Schroff et al. [15] 은 얼굴인식에대한최신심층합성곱신경망을소개하였고정렬되지않은얼굴전체영상데이터집합을학습하였다. Parkhi et al.[16] 은 VGG-Face 라는심층합성곱신경망을제안하였는데 VGG-Face 는 260만장의얼굴영상에대해훈련된 16개의계층으로구성되어있다. 심층얼굴특징 (Deep face feature) 은얼굴인식에대해우수한결과를얻을수있음이이전연구에서검증되었다 [13,16,17]. 하지만, 지금까지제안된대부분의방법들은얼굴영역전체 (global face image) 에서만심층얼굴특징을추출하여얼굴인식을수행하였다. 실제로얼굴영역전체만을활용하여추출한심층얼굴특징은조명, 표정, 자세변화시지역적특징 (local features) 변화를효율적으로처리하지못하기때문에얼굴영상의지역적영역에포함된다양하고보완적인정보를표현하는데한계가있다 [17,18]. 본논문에서는기존심층합성곱신경망기반얼굴인식방법들과차별적으로얼굴지역영역 ( 예 : 눈, 코, 입술등을포함하는영역들 ) 으로학습된다중개의심층합성곱신경망들을형성하고이들로부터추출된심층지역특징들 (deep local features) 을가중치와결합하여얼굴인식성능을향상시키는방법을제안한다. 얼굴지역영역에대한심층지역특징들은얼굴지역영역마다인식성능향상에있어중요도가다르기때문에이에적절한가중치를부여한다. 심층지역특징들과해당가중치들을결합하여 가중치결합심층지역특징 (weighted deep local featrue) 을구성하였다. 가중치결합심층지역특징은조인트베이시안 (Joint Bayesian)[19] 유사도학습방법과최근접이웃분류기 (nearest neighbor classifier) 에적용되어입력얼굴영상의신원 (identity) 분류를위해사용된다. 제안방법은얼굴영상의자세, 표정, 조명변화에강인하고기존최신방법들과비교하여얼굴인식성능을향상시킬수있음이체계적인실험을통해검증되었다. 2. 제안방법 2.1 심층합성곱신경망의기본구조심층합성곱신경망 (Deep convolutional neural network) 은다층인공신경망의일종으로이미지와같이각데이터차원간기하학적연관성을가지는데이터를
자동얼굴인식을위한얼굴지역영역기반다중심층합성곱신경망시스템 49 Fig. 1. Overall framework of the proposed method consisting of two main components: (a) deep local feature extraction from facial local regions and (b) weighted deep local feature combination for FR 효과적으로인식하기위해제안되었다 [7]. 심층합성곱신경망의기본구조는보통합성곱계층 (convolution layer), 통합계층 (pooling layer), 완전연결계층 (fully connected layer) 과같은 3가지계층을깊게쌓아신경망을구성하게된다. 합성곱계층은입력되는전체영상에서합성곱연산을거쳐특징맵추출을진행한다. 통합계층은합성곱계층에서추출된특징을바탕으로샘플링 (sampling) 을사용하여차원축소와입력공간의추상화를통해영상인식에강인한특징을추출한다. 완전연결계층은합성곱계층, 통합계층의반복을통해추출된특징들을이용한객체의부류별분류목적으로사용된다. 이때분류결과에대해소프트맥스 (softmax) 계층을사용한다. 이후마지막계층부터초기계층까지역전파 (back-propagation) 알고리즘을사용하여오차를최소화하기위해가중치를찾는학습이진행되며, 지속 적인반복학습을통해점차적으로강한특징맵 (feature map) 추출과높은분류정확도를도출한다. 2.2 제안얼굴인식방법제안얼굴인식방법은 Fig. 1에서볼수있듯이, 크게 2 단계로구성된다. 첫번째단계는심층합성곱신경망이얼굴영상을지역영역으로분할된얼굴지역영역 ( 예 : 눈, 코, 입술등 ) 에대해독립적으로학습이된다. 두번째단계에서는검증집합 (validation set) 을이용하여학습된심층합성곱신경망을통해가중치집합을형성하고이가중치집합은훈련집합으로훈련된심층합성곱신경망과결합을통해최종특징표현을얻게된다. 얼굴지역영역으로학습된심층합성곱신경망과가중치집합결합을통해얻게된특징표현은조인트베이시안 [19] 을통해유사도를구한뒤최근접이웃분류기를
50 한국융합학회논문지제 9 권제 4 호 통해신원을분류하게된다. 2.2.1 얼굴지역영역기반심층합성곱신경망형성과심층지역특징들추출얼굴영상 는 와같이 개의지역영역으로분할하며, -번째지역영역을 으로표기하자. 제안한방법에서는총 개의심층합성곱신경망들이얼굴의해당지역영역을학습하기위해준비된다. 각각의심층합성곱신경망모델파라미터는주어진작업 ( 예 : 분류 ) 및사용가능한정보 ( 예 : 부류라벨 ) 를기반으로정의된손실함수 (loss function) 을최적화하여학습된다. 본실험에서분류시사용되는손실함수는소프트맥스손실 (softmax loss)[17] 로, 마지막완전연결계층과연결된다. 소프트맥스손실을사용하면, 이값을네트워크의파라미터들에대해기울기 (gradient) 를구한다음그값들을사용해파라미터를업데이트한다 [17]. 심층합성곱신경망은입력이계층을지날때특징맵을생성하며다음계층에입력된다. 본논문에서는얼굴지역영역기반심층합성곱신경망의완전연결계층에서출력된특징맵을 심층지역특징 이라한다. 가지역영역 에대응하는 차원의심층지 역특징이라고하자. 이때벡터 의원소 (element) 을얻기위해 -번째지역영역에해당하는 -번째심층합성곱신경망의 -번째심층지역특징 은다음과같이표현된다 [17]. (1) 여기서, 은 - 번째심층합성곱신경망마지막완전 연결계층의노드 (node) 이전에연결된완전연결노드의 -번째출력을의미하며, 는완전연결노드의총개수를의미한다. 은가중치, 은바이어스를의미한다. 2.2.2 가중치기반심층지역특징결합 2.2.1절에서설명한 개의심층합성곱신경망들로부터 개의심층지역특징들이출력된다. 이심층지역특징들은얼굴영상의지역영역에포함된다양하고보완적인정보를획득하기위해결합된다. 하지만, 각얼굴의지역영역마다인식성능향상에있어중요도가다르기때문에각각의심층합성곱신경망에서출력된심층지역특징각각에가중치를부여하여심층지역특징들을결합한다. 식 1에의해마지막완전연결계층에서출력된심층지역특징은최종출력결과를얻기위해, 심층합성곱신경망의마지막완전연결계층은소프트맥스계층 (softmax layer) 에연결이된다. 연결된소프트맥스계층은식 1에서출력된심층지역특징 과가중치 을활용하여 -번째지역영역에대한 -번째얼굴인식대상자의출력은다음과같이 로표현된다. (2) 이때, 확률 는다음과같이구한다. (3) 여기서 는얼굴인식대상자의총인원수이고 는 Fig. 2. Illustration for describing our proposed weight determination strategy
자동얼굴인식을위한얼굴지역영역기반다중심층합성곱신경망시스템 51 -번째지역영역관련심층합성곱신경망의출력에서 -번째신원 (identity) 으로인식될확률을나타낸다. 최종적으로 -번째얼굴지역영상에대한신원예측은다음과같은식을사용하여결정한다. 다고가정하면식 8 과같이정리된다. (8) (4) 예측된신원은 -번째얼굴지역영상에대한실제라벨 (true label) 과비교를통해인식정확도 을출력한다. Fig. 2에서볼수있듯이, -번째얼굴지역영상에대한인식정확도 은식 4를사용하여정규화과정을거친뒤가중치집합 을형성하는데활용된다. 여기서, 와 는얼굴의내재적특성과외재적특성의 공분산 (covariance) 이고, 와 는각각테스트와 겔러리 (gallery) 얼굴영상 [20] 에대한가중치결합지역특징표현이다. 얼굴유사도측정을위해두얼굴의가중치결합지역 특징표현 와 에대해식 9과같이유사도점수 (similarity score) 을구한다 [19]. (5) (9) 여기서, 이다. 본실험에서는얼굴지역영역의중요도를일반화얼굴인식성능극대화를위해가중치는심층신경망합성곱의훈련에활용되지않은별도의데이터들인검증집합 (validation set) 을사용하여형성하였다. 식 5에의해형성된가중치집합 과심층지역특징 을식 6와같이결합하여 가중치결합심층지역특징 을다음과같이형성한다. (6) 여기서가정 (hypothesis) 는 와 가같은사람 의얼굴이라는가정이고, 는반대로다른사람의얼굴이라는가정이다. 따라서두얼굴이동일신원일확률이더높으면 이양수가되고반대인경우음수가된다. 최종적으로최근접이웃분류기를사용하여 인접해있는 와같이 에가장 를찾아 의신원을신원분류 로결정한다. 여기서 는얼굴인식을위해등록된프로토타입인갤러리집합 [20] 이다. 여기서, 는행렬의전치연산자이며, 이다. 2.2.3 신원분류를위한가중치결합심층지역특징연동조인트베이시안유사도기술조인트베이시안모델 [19] 은얼굴의특징벡터가얼굴의내재적특성과외재적특성의합으로나타나는가정에서시작된다. 얼굴영상의내재적특성은모든사람들이공통적으로가지는특성을의미하고, 외재적특성은사람들을구별할수있는특성을의미한다. 가중치결합지역특징표현 은식 7과같이외재적특성 와내재적특성 의합으로나타난다고가정한다. (7) 외재적특성 와내재적특성 이정규분포에따른 3. 실험결과및분석 3.1 실험환경본연구에서제안한방법의유효성을검증하기위해 LFW[23] 와 FERET[22] 공식얼굴영상데이터베이스를사용하였다. LFW는비제약된 (unconstrained) 얼굴인식환경에서취득된얼굴영상데이터베이스로 LFW 평가프로토콜은원래실제얼굴인식환경에대한얼굴인식검증을위해만들어진것이다. 우리는얼굴인식실험을수행하기위해 [23] 를참조하여 LFW 데이터베이스를사용하였다. LFW 데이터베이스는웹에서수집된 13,000장이상의얼굴영상이포함되어있으며, 5,749명의인식대상자로구성되어있다. LFW 영상은자세와표정의변화
52 한국융합학회논문지제 9 권제 4 호 가크고, 중첩이많이발생되어있다 [23]. 따라서 LFW 영상을 Viola-Jones 얼굴검출기 [24] 에먼저감지시키고감지된얼굴정렬시킨뒤영역을 64 64픽셀로다시조정하였다. 본실험에서는 5장이상의얼굴영상을가지고있는인식대상자를선택하여얼굴영상데이터집합을형성하였다. FERET은자세, 표정, 조명등여러변화를가지고있는얼굴영상데이터베이스로표준프로토콜 [22] 을참조하여최신얼굴인식방법과비교하였다. FERET 표준프로토콜의데이터집합은얼굴인식테스트를위해다음과같이데이터가분할되어있다. 갤러리집합 fa는인식대상자당 1장의영상으로구성되어있으며, 4개의테스트집합 (fb, fc. dup1, dup2) 은얼굴식별을위해사용된다. fb 테스트집합은서로다른표정변화에대한영상들로구성되어있으며, fc 테스트집합은다양한조명변화에대한영상들로구성되어있다. dup1 테스트집합은갤러리집합을수집한지 1년이내에촬영된영상들로구성되어져있고, dup2 영상은갤러리집합을수집한지 1년후에촬영된영상들로구성되어져있다. Fig 3은실험에사용된영상의일부를보여준다. (a) 상당시간걸릴수있다. 이에적은데이터집합으로도학습이진행될수있게해주는미세조정 (fine-tuning) 기법을사용하였다. 미세조정기법은사전에 ImageNet 처럼규모가큰데이터집합으로학습된모델로가중치를초기화하여, 적은데이터집합으로해당가중치를조금조정하는기법으로서전이학습의대표적인성공사례이다. 본실험에서가중치집합은 CASIA webface[29] 데이터베이스를사용하여심층합성곱신경망모델을학습하여형성하였다. CAISA webface 는 10,575명의인식대상자와 494,414장의얼굴영상으로구성되어있다. 얼굴영역을지역화하였을때각지역영역의가중치에대해일반화하기위해규모가큰데이터집합인 CAISA webface 데이터베이스를사용하여가중치집합을형성하였고, 얼굴영역은 9개의지역영역으로분할하여실험하였다. 3.2 LFW 데이터베이스활용비교실험 LFW 영상은일부오정렬과중첩된영상이있으며실제응용에서얼굴인식과수행하는것과비슷한실험환경을위해제외하지않았다. 본실험에서 423명의인식대상자를선택하여 5,604장의얼굴영상데이터집합을형성하였다. 인식대상자당얼굴영상수는 6장에서 19장사이이다. 훈련집합의경우 3,602장영상과검증집합의경우 1,126장영상이며, 훈련집합과검증집합은훈련에사용되며, 테스트집합의경우 1,257장의영상으로성능평가에사용되었다. 갤러리집합은인식대상자당한명으로정면또는최대한정면에가까운영상으로구성하였다. (b) Fig. 3. Example of cropped facial images (a) LFW DBs, (b) FERET DBs Table 1. Comparison with other state-of-the-art results under two standard identification protocols [18] on LFW DB Method Rank-1(%) DIR @ 1% FAR(%) COTS-s1 [18] 56.7% 25% COTS-s1+s4 [18] 66.5% 35% VGG-Face [16] 74.1% 52% Proposed method 79.3% 60% 본실험에서는현재널리쓰이는심층합성곱신경망모델 VGG-Face[16] 를활용하였다. 이모델의가중치를초기화한후, 처음부터학습시키기에는데이터집합의양이작아학습이제대로이루어지지않거나학습시간이 본논문에서는닫힌환경에서의식별 (closed set identification) 과열린환경에서의식별 (open set identification) 두가지방법의표준식별프로토콜 [9] 을사용하여 LFW 데이터베이스에대한비교결과를얻었다.
자동얼굴인식을위한얼굴지역영역기반다중심층합성곱신경망시스템 53 여기서닫힌환경에서의식별 (closed set identification) 은테스트집합이모두등록된인식대상자내에서인식대상자를식별하는방법 [9] 이고그와반대로열린환경에서의식별 (open set identification) 은미등록된인식대상자가포함된인식대상자집합에서인식대상자를식별하는방법 [9] 이다. Table 1은다른최신방법으로비교한결과를나타낸다. Table 1의실험결과는표준얼굴인식프로토콜 [18] 을참조하여데이터를구성하였으며실험방법도동일하게진행하였다. 또한공평한인식성능비교를위해참고문헌에서보고된성능수치를기입하였다. Table 1에서 [16] 은얼굴인식을위해 VGG-Face 라는 16개의계층으로구성된심층합성곱신경망을제안하였고얼굴영상이입력되면신원을분류한다. [18] 는프로브의각미디어 ( 영상과비디오, 3D 얼굴모델, 몽타주, 통계학적정보 ) 를갤러리에일치시켜매칭점수를구한뒤결합하여얼굴을식별한다. 본연구의실험결과닫힌환경에서의식별 (closed set identification) 과열린환경 (open set identification) 에서의식별프로토콜의경우, 우리의방법은각각 79.3% 와 60% 의성능을나타내었다. 이것은중첩, 밝기, 자세, 포즈변화에대해강인함을보여준다. 3.3 FERET 데이터베이스활용비교실험표준얼굴인식프로토콜 [22] 참조하여 1,196명의인식대상자들의얼굴영상들을갤러리집합 fa와테스트집합 fb, fc, dup1, dup2로구성하여실험하였다. Table 2는 4개의테스트집합에대한 rank-1 인식정확도를나타낸다. Table 2의실험결과는표준얼굴인식프로토콜 [22] 을참조하여실험방법도동일하게진행하였다. 또한공평한인식성능비교를위해참고문헌에서보고된성능수치를기입하였다. Table 2에서 [25,26] 은지도학습알고리즘을사용하였고, [27,28] 는비지도학습알고리즘 WPCA[30] 를사용하였다. FERET 데이터베이스는공식적으로정의된훈련집합이없기때문에 WPCA 기반분류기를사용하여테스트를하였다. [25] 에서사용된방법은지역얼굴표현인 Gabor 웨이블렛 [31] 과 LBP(Local Binary Patterns)[32] 를결합한뒤차원감소를위해주성분분석 (principal component analysis, PCA) 를사용하였다. 그리고 KDCV(Kernel Discriminative Common Vector)[33] 방법을결합한특징벡터에적용하여얼굴인식을위한차별적인비선형특징을추출하였 다. [26] 에서제안한방법은얼굴인식을위해 Gabor[31] 위상 (phase) 과크기 (magnitude) 를결합하기위해지역 (local) XOR 패턴 (LXP) 연산자를사용하여 Gabor 위상을인코딩하는지역 Gabor XOR 패턴 (LGXP) 을제안하였고 BFLD (block-based Fisher's linear discriminant) [26] 를사용하여차원을줄이고 Gabor 위상과크기를결합하였다. [27] 에서사용한방법은 Gabor 커널로얼굴영상을합성곱 (convolution) 하여얻은영상을 LPQ(Local Quantized Patterns)[34] 를사용하여지역패턴특징을획득하였다. LPQ[34] 는백터양자화와룩업테이블 (lookup table) 을사용하여지역패턴특징을단순화하며계산의효율성떨어트리지않으면서더많은픽셀혹은양자화레벨을갖도록지역패턴특징을일반화한다. [28] 는얼굴인식을위해얼굴영상을지역영역으로분할한뒤학습된차별적인얼굴지역기술자에의해인코딩되며, DFD(Discriminant Face Descriptor) 을기반으로학습하는방법을제안하였다. DFD학습방법은같은사람의영상은차이를최소화하고서로다른사람의영상은극대화하여차별적인지역특징을학습한다. 본연구의실험결과테스트집합 fb, dup1, dup2의경우제안한방법은다른방법보다각각 0.6%, 4.8%, 2.9% 성능향상을보였다. 이러한성능향상은심층지역특징이얼굴전체를이용한특성보다지역적특성 ( 예 : 눈, 코, 입등 ) 을세부적으로잘표현하여중첩, 조명, 표정, 자세변화에강인하다는것을보여준다. 또한얼굴지역영역의중요도에따라가중치를부여하는것은얼굴인식성능향상에도움이됨을위의실험결과는검증한다. Table 2. Comparison with other state-of-the-art results under standard identification protocols [22] on FERET DB Method rank-1(%) fb fc dup1 dup2 AMFG07 (L,G) + KDCV [25] 98.0 98.0 90.0 85.0 TIP10 LGBP + LGXP + LDA [26] 99.0 99.0 94.0 93.0 BMVC12 G-LQP + WPCA [27] 99.9 100 93.2 91.0 PAMI14 DFD + WPCA [28] 99.4 100 91.8 92.3 Proposed method 100 100 96.6 95.2 4. 결론 본논문에서는얼굴인식성능향상을위한가중치결합심층지역특징기반심층합성곱신경망기술을제안
54 한국융합학회논문지제 9 권제 4 호 하였다. 제안한얼굴인식시스템은얼굴의지역영역에해당하는심층합성곱신경망에서심층지역특징을추출한뒤지역영역의중요도를나타내는가중치와결합한특징표현을형성한후조인트베이시안유사도학습방법과최근접이웃분류기를활용하여신원을분류하였다. 얼굴인식성능테스트표준프로토콜을사용하여최신얼굴인식기술들과비교실험결과우수한성능을나타냈다. 실험결과를통해제안한가중치결합심층지역특징이지역적특성 ( 예 : 눈, 코, 입등 ) 을세부적으로잘표현하여중첩, 조명, 표정자세변화에강인함을보였다. 또한얼굴지역영역마다가중치를부여하여심층특징들을결합하는제안기술은인식성능향상에유용한방법임이검증되었다. REFERENCES [1] Y. C. Hwang, H. J. Mun & J. W. Lee. (2015). Face Recognition System Technologies for Authentication System - A Survey, Journal of Digital Convergence, 5(3), 9-13. [2] G. J. Lee, J. Y. Jeong, B. H. Hwang & M. R. Choi. (2014). A facial expressions recognition algorithm using image area segmentation and face element. Journal of Digital Convergence, 12(12), 243-248. DOI : 10.14400/JDC.2014.12.12.243 [3] Y. Adini, Y. Moses & S. Ullman. (1997). Face Recognition: The problem of compensating for changes in illumination direction, IEEE Trans. on Pattern Analysis and Machine Intelligence, 19(7), 721-732. DOI : 10.1109/34.598229 [4] S. H. Kim, H. H. Kim & H. S. Lee. (2013). An Improved Face Recognition Method Using SIFT-Grid. Journal of Digital Convergence, 11(2), 299-307. [5] R. Collobert et al. (2011). Natural language processing (almost) from scratch. The Journal of Machine Learning Research, 12(Aug), 2493-2537. [6] G. E. Hinton, et al. (2006). A fast learning algorithm for deep belief nets. Neural computation, 18(7), 1527-1554. DOI : 10.1162/neco.2006.18.7.1527 [7] Y. Lecun, L. Bottou, Y. Bengio & P. Haffner. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. DOI : 10.1109/5.726791 [8] Y. Wen, K. Zhang, Z. Li, & Y. Qiao. (2016). A discriminative feature learning approach for deep face recognition. In European Conference on Computer Vision, 499-515. DOI : 10.1007/978-3-319-46478-7_31 [9] C. Ding & T. Dacheng. (2015). Robust face recognition via multimodal deep face representation. IEEE Transactions on Multimedia, 17(11), 2049-2058. DOI : 10.1109/TMM.2015.2477042 [10] Y. Taigman, M. Yang, M. Ranzato & L. Wolf. (2014). Deepface: Closing the gap to human-level performance in face verification. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 1701-1708. DOI : 10.1109/CVPR.2014.220 [11] C. Lu & X. Tang. (2015). Surpassing human-level face verification performance on LFW with GaussianFace. In: AAAI, 3811-3819. [12] L. Wolf, T. Hassner & I. Maoz. (2011). Face recognition in unconstrained videos with matched background similarity. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 529-534. DOI : 10.1109/CVPR.2011.5995566 [13] Y. Sun, Y. Chen, X. Wang & X. Tang. (2014). Deep learning face representation by joint identificationverification. in Advances in Neural Information Processing Systems, 1988-1996. [14] Y. Sun, X. Wang & X. Tang. (2008). Deeply learned face representations are sparse, selective, and robust. perception, 31, 411-438. [15] F. Schroff, D. Kalenichenko & J. Philbin. (2015). Facenet: A unified embedding for face recognition and clustering. In Proceedings of the IEEE conference on computer vision and pattern recognition, 815-823. arxiv preprint arxiv:1503.03832 [16] O. M. Parkhi, A. Vedaldi & A. Zisserman. (2015). Deep face recognition. In Proc. British Machine Vision Conference (BMVC), 1(3), 6. [17] J. Gu et al. (2017). Recent advances in convolutional neural networks. Pattern Recognition. [18] L. Best-Rowden, H. Han, C. Otto, B. Klare & A.K. Jain. (2014). Unconstrained face recognition: Identifying a person of interest from a media collection. IEEE Trans. Information Forensics and Security, 9(12), 2144-2157. DOI : 10.1109/TIFS.2014.2359577 [19] D. Chen, X. Cao, L. Wang, F. Wen & J. Sun. (2012). Bayesian face revisited: A joint formulation. European Conf. Computer Vision (ECCV), 566-579. DOI : 10.1007/978-3-642-33712-3_41
자동얼굴인식을위한얼굴지역영역기반다중심층합성곱신경망시스템 55 [20] X. Wang & X. Tang. (2014). A unified framework for subspace face recognition. Trans. Pattern Anal. Mach. Intell., 26(9), 1222 1228. DOI : 10.1109/TPAMI.2004.57 [21] G. B. Huang, M. Ramesh, T. Berg & E. Learned-miller. (2007). Labeled faces in the wild: A database for studying face recognition in unconstrained environments. Technical Report 07-49, 1(2), 3. [22] P. J. Phillips, H. Moon, S. A. Rizvi & P. J. Rauss. (2000). The FERET evaluation methodology for facerecognition algorithms. IEEE Transactions on pattern analysis and machine intelligence, 22(10), 1090-1104. DOI : 10.1109/34.879790 [23] S. Liao & A.K. Jain. (2011). Partial Face Recognition: An Alignment Free Approach. Proceeding of International Joint Conference on Biometrics, 35(5), 1-8. DOI : 10.1109/IJCB.2011.6117573 [24] P. Viola & M. Jones. (2001). Rapid object detection using a boosted cascade of simple features. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1, I-511-I518. DOI : 10.1109/CVPR.2001.990517 [25] X. Tan & B. Triggs. (2007). Fusing GABOR and LBP feature sets for Kernel-based face recognition. in Proc. Int. Conf. Anal. Model. Faces Gestures, 235-249. DOI : 10.1007/978-3-540-75690-3_18 [26] S. Xie, S. Shan, X. Chen & J. Chen. (2010). Fusing local patterns of Gabor magnitude and phase for face recognition. IEEE Trans. Image Process., 19(5), 1349 1361. DOI : 10.1109/TIP.2010.2041397 [27] S. U. Hussain, T. Napoléon & F. Jurie. (2012). Face recognition using local quantized patterns. in Proc. Int. Conf. Biometrics, 1-11. [28] Z. Lei, M. Pietikainen & S. Z. Li. (2014). Learning discriminant face descriptor. IEEE Trans. Pattern Anal. Mach. Intell., 36(2), 289-302. DOI : 10.1109/TPAMI.2013.112 [29] D. Yi, Z. Lei, S. Liao & S. Z. Li. (2014). Learning face representation from scratch. [30] C. Ding, J. Choi, D. Tao & L. S. Davis. (2016). Multi-directional multi-level dual-cross patterns for robust face recognition. IEEE transactions on pattern analysis and machine intelligence, 38(3), 518-531. DOI : 10.1109/TPAMI.2015.2462338 [31] S. Xie, S. Shan, X. Chen & J. Chen. (2010). Fusing local pattern of Gabor magnitude and phase for face recognition, IEEE trans. image process, 19(5), 1349-1361. DOI : 10.1109/TIP.2010.2041397 [32] T. Ahonen, A. Hadid & M. Pietikainen. (2006). Face description with local binary pattern: Application to face recognition. IEEE transactions on pattern analysis and machine intelligence, 28(12), 2037 2041. DOI : 10.1109/TPAMI.2006.244 [33] H. Cevikalp, M. Neamtu & M. Wilkes. (2006). Discriminative common vector method with kernels. IEEE Transactions on Neural Networks, 17(6), 1550 1565. DOI : 10.1109/TNN.2006.881485 [34] S. Hussain & B. Triggs. (2012). Visual recognition using local quantized patterns. In Proceedings of the 10th European Conference on Computer Vision, 716-729. DOI : 10.1007/978-3-642-33709-3_51 김경태 (Kim, Kyeong Tae) [ 정회원 ] 2016년 : 중원대학교학사 2017년 ~ 현재 : 한국외국어대학교컴퓨터. 전자공학부석사과정 관심분야 : 딥러닝, 머신러닝, 패턴인식 E-Mail : kyeongtae.kim@hufs.ac.kr 최재영 (Choi, Jae Young) [ 정회원 ] 2011년 : KAIST 전기및전자공학과박사 2008년 ~ 2009년 : 토론토대학연구원 2011년 ~ 2012년 : 토론토대학연구원 2012년~2013년 : 펜실베니아대학연구원 2013년~2014년 : 삼성전자책임연구원 2014년~2016년 : 중원대학교의료공학과조교수 2016년~현재 : 한국외국어대학교컴퓨터. 전자공학부조교수 관심분야 : 딥러닝, 머신러닝, 패턴인식, 영상처리 E-Mail : jychoi@hufs.ac.kr