다중 곡면 검출 및 추적을 이용한 증강현실 책

1 딥러닝기반성별및연령대 추정을통한맞춤형광고솔루션 20101588 조준희 20131461 신혜인

2 개요 연구배경 맞춤형광고의필요성 성별및연령별주요관심사에적합한광고의필요성증가 제한된환경에서개인정보획득의한계 맞춤형광고의어려움 영상정보기반개인정보추정 연구목표 딥러닝기반사용자맞춤형광고솔루션구현 얼굴영상을이용한성별및연령대추정 성별및연령대를통합네트워크로학습하여추정정확도향상 근실시간으로다수의사용자에대해추정

3 기존의연구 딥러닝기반나이추정 5 딥러닝사용전 딥러닝사용후 얼굴영상기반으로 4 성별, 나이추정 3 딥러닝사용시향상된성능 2 평균오차 ( 나이 ) 1 기존연구의한계 2 개의개별네트워크 ( 성별네트워크와나이네트워크 ) 를사용하여성별및나이추정 [1] 0 Huerta 등 [4] Guo 와 Mu [3] Yi 등 [2] Rothe 등 [1] [1] R. Rothe, R. Timofte, and L. V. Gool, DEX: Deep expectation of apparent age from a single image, in Proc. IEEE Int. Conf. Computer Vision, pp. 252 257, Santiago, Chile, Dec. 2015. [2] Yi. D, Lei. Z, and Li SZ, Age estimation by multi-scale convolutional network,, in Proc. Asian Conf. Computer Vision, pp. 144 158, Singapore, Nov. 2014. [3] G. Guo and G. Mu, Simultaneous dimensionality reduction and human age estimation via kernel partial least squares regression, in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 657 664, Washington DC, USA, Jun. 2011. [4] I. Huerta, C. Fernández, and A. Prati, "Facial age estimation through the fusion of texture and local appearance descriptors," in Proc. European Conf. Computer Vision Workshop, pp. 667 681, Zurich, Switzerland, Sep. 2014.

4 시스템블록도및학습블록도 시스템블록도 I in 얼굴영상전처리 I f p v 성별및연령대추정 Deep Learning based Age and Gender Prediction 광고선택 학습과정

5 AlexNet 을이용한학습 (1/3) 2 개의네트워크를사용한학습 성별네트워크 연령대네트워크 통합네트워크를사용한학습 성별과연령대를통합네트워크로학습 연령대 남성 Multi-label binary encoding [5]: 14 개의클래스 성별및연령대네트워크 7 개의연령대클래스 출처 : 2015 소비자행태조사보고서 라벨 여성 0~12 0 7 13~18 1 8 19~29 2 9 30~39 3 10 40~49 4 11 50~64 5 12 65~ 6 13 2 개의성별클래스 [5] Li et al., Deep: Learning deep binary encoding for multi-label classification, in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition Workshop, pp. 39 46, Las Vegas, NV, USA, Jun. 2016.

6 AlexNet 을이용한학습 (2/3) AlexNet vs. VGG-16 ImageNet dataset (1000 개클래스 ) [8] AlexNet 에비해 VGG-16 은깊은구조로보다다양한특징추출 물체분류의경우다양한특징추출에따라성능향상 AlexNet 사용이유 AlexNet [6] VGG-16 [7] 파라미터수 ( 억 ) 0.61 1.38 연산량 ( 억 ) 7.25 154.84 Top-1 에러 (%) 38.1 23.7 파라미터수증가에따른메모리및연산량증가 얼굴영상을통한성별및연령대추정은많은특징을필요로하지않아얕은구조의 AlexNet 으로도우수한성능을보임 [6] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neural networks, in Proc. IEEE Int. Conf. Advances in Neural Information Processing Systems, pp. 1106 1114, Lake Tahoe, NV, USA, Dec. 2012. [7] S. Karen and Z. Andrew, Very deep convolutional networks for large-scale image recognition, in Proc. Int. Conf. Learning Representation, pp. 1 13, San Diego, CA, USA, May 2015. [8] Russakovsky et al., ImageNet large scale visual recognition challenge, Int. Journ. Computer Vision, vol. 115, no. 3, pp. 211 252, Dec. 2015.

7 AlexNet 을이용한학습 (3/3) Fine tunning [9] ImageNet dataset 을이용한 AlexNet 학습모델사용 [6] Convolutional layer 파라미터유지, fully connected layer 파라미터초기화후학습진행 어플리케이션에적합한학습모델생성 IMDB-WIKI dataset 정제 [1] 얼굴이아닌영상이포함되어학습성능저하 정렬된얼굴영상취득 우수한성능의얼굴검출및 head pose 추정알고리즘 [10] 사용 [1] R. Rothe, R. Timofte, and L. V. Gool, DEX: Deep expectation of apparent age from a single image, in Proc. IEEE Int. Conf. Computer Vision, pp. 252 257, Santiago, Chile, Dec. 2015. [6] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neural networks, in Proc. IEEE Int. Conf. Advances in Neural Information Processing Systems, pp. 1106 1114, Lake Tahoe, NV, USA, Dec. 2012. [9] S. J. Pan and Q. Yang, A survey on transfer learning, IEEE Trans. Knowledge and Data Engineering, vol. 22, no. 10, pp. 1345 1359, Oct. 2010. [10] A. Asthana, S. Zafeiriou, S. Cheng, and M. Pantic, Incremental face alignment in the wild, in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 1859 1866, Columbus, OH, USA, Jun. 2014.

8 얼굴영상전처리 웹캠영상속얼굴영상처리 얼굴검출 얼굴영역추출 얼굴정렬 입력영상 정렬된얼굴영상 영상에서얼굴검출후정렬 Haar-like face detection [12] 얼굴검출 Head pose estimation [11] 검출된얼굴에서 head pose 추정후정렬된얼굴영상취득 [11] A. Asthana, S. Zafeiriou, S. Cheng and M. Pantic, Incremental face alignment in the wild, in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 1859 1866, Columbus, OH, USA, Jun. 2014. [12] P. Viola and M. J. Jones, Rapid object detection using a boosted cascade of simple features, in Proc. IEEE Int. Conf. Computer Vision and Pattern Recognition, pp. 511 518, Kauai, HI, USA, Dec. 2001.

9 성별및연령대추정 AlexNet 모델이용 얼굴검출후정렬된얼굴영상을입력 사전학습모델기반연령대와성별추정 학습된모델의커널과의콘볼루션연산을통한특징추출 14개클래스중가장높은점수의클래스출력

10 광고선택 성별, 연령대별관심사 80 70 60 50 40 30 20 10 0 13~18 세남성 19~29 세남성 30~39 세남성 40~49 세남성 50~64 세남성 13~18 세여성 19~29 세여성 30~39 세여성 40~49 세여성 50~64 세여성 음료화장품자동차용품출처 : 2015 소비자행태조사보고서 성별및연령대에따라관심있는광고차이 다수인원검출시비율에따른광고출력

시스템구현 얼굴영상전처리 웹캠영상속사람얼굴검출후기울어진얼굴정렬 딥러닝기반성별및연령대추정 사전학습모델 (AlexNet) 을 fine tunning하여사용자의성별및연령대를통합네트워크로학습 맞춤형광고출력 사용자의추정된성별및연령대를바탕으로선별적광고 11 이름 역할 조준희 AlexNet을이용한학습진행 신혜인 GUI 및시스템구현 7월 8월 9월 10월 11월프로젝트주제선정및자료조사얼굴검출딥러닝기반성별및연령대추정맞춤형광고선별최종시연

12 실험결과 (1/3) 개발환경 GPU: NVIDIA GeForce GTX 970 (Memory: 4 GB) CPU: Intel i5-4670 3.4 GHz 학습소요시간 : 약 4일 결과비교 IMDB-WIKI dataset [1] 네트워크개수에따른 AlexNet 학습모델성별및연령대추정정확도비교 정확도 (%) 통합네트워크 73.15 2 개의네트워크 71.05 통합네트워크사용시성별및연령대추정정확도향상 [1] R. Rothe, R. Timofte, and L. V. Gool, DEX: Deep expectation of apparent age from a single image, in Proc. IEEE Int. Conf. Computer Vision, pp. 252 257, Santiago, Chile, Dec. 2015.

13 실험결과 (2/3) 전체시스템결과 다양한환경에서정확한성별및연령대추정 (26 세남성 ) 선글라스를안경쓴경우안경벗은경우모자를쓴경우밝은조명어두운조명쓴경우 표정변화에따른추정연령대오차발생 주름으로인해실제나이에비해높은연령대로추정 인상쓴얼굴

14 실험결과 (3/3) 전체시스템결과 다수사용자의나이와성별에따른광고재생 성별, 연령대추정 광고재생비율 19~29 세여성광고재생 33% 67% 19~29 세남성광고재생 추정인원구성 : 19~29 세여성 1 명 19~29 세남성 2 명 인원비율에따른광고재생

15 결론및추후과제 결론 딥러닝기반얼굴영상을통한성별및연령대추정 통합네트워크를사용하여성별및연령대추정정확도향상 다수사용자의성별및연령대추정구현 실시간에가까운사용자맞춤형광고솔루션구현 추정된성별및연령대기반사용자맞춤형광고출력 추후과제 성별및연령대추정정확도향상 표정변화에도강건한성별및연령대추정 연령대및성별외의새로운요소들 ( 표정, 복장등 ) 을이용한맞춤형광고솔루션구현