2013-02-15 얼굴인식 기술 동향 얼굴인식 기술의 개념과 기본적인 배경 지식 에 대해 소개하고, 최근 업계 동향을 살펴봄 목차 1. 개요...2 2. 인식 기술 분류 및 소개...4 3. 얼굴 인식 업계 동향...7 채원석, wschae@etri.re.kr ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 1
1. 개요 1.1 얼굴인식(Face Recognition) 기술 http://vimeo.com/47133014 페이스북의 facedeals 앱에 자신의 얼굴 이미지를 등록하면 오프라인 가맹 점에서 자동으로 인식하여 할인 쿠폰을 발행해 줌 Redpepper라는 광고대행사가 개발하여 베타테스트 중임 얼굴인식 기술은 지문, 음성, 서명 등을 포함하는 생체인식 기술분야에서 가장 활발한 연구가 진행되고 있으며 보안 및 상업적인 용도로 실제 활용되고 있음 얼굴인식은 크게 신원 인증(verification)과 신원 확인(identification)의 두 가지 문 제로 분류할 수 있으며 인증은 두 개의 이미지 사이에 비교, 확인은 주어진 이미 지와 가장 유사한 얼굴이미지를 찾는 문제임 얼굴인식 과정은 아래 그림과 같이 얼굴 검출(face detection), 특징 추출(feature extraction)의 과정을 거쳐 크게 3단계의 프로세스를 갖는다. 1.2 얼굴인식 기술 분류 얼굴인식 기술은 다양한 접근방법으로 꾸준히 발전하고 있으며, 크게 세 가지 방 식으로 분류할 수 있고 각각 장단점이 있음 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 2
Geometry Feature-based Approach(기하학적 특징 기반) 양안( 兩 眼 )과 코의 특징 및 그 사이의 기하학적인 관계를 분석 그래프 매칭 알고리즘 등을 활용 Holistic Approach(얼굴 전체 영역 기반) 가장 많은 연구가 이루어지는 분야로 얼굴 전체 영역을 분석 PCA(principal component analysis) 과정이 필수 Hybrid-Approach(하이브리드 기반) 지역적 특징과 전체적인 특징을 조합한 정보를 활용 주로 눈, 코, 입을 주요 특징으로 이용 1.3 특징 추출 기술 분류 얼굴 인식을 위해서는 대부분 전단계에서 특징 추출 과정을 필요로 하며 기하학 기반, 템플릿 기반, 색상분할 기반, 외형 기반의 네 가지로 분류됨 Geometry-based 얼굴요소(눈,코,입 등)의 상대적인 위치 및 크기와 같은 기하 정보 이용 홍채, 양안, 미간 거리나 눈 모양의 곡률 등을 측정 Template-based 미리 설계된 템플릿을 정하고 에너지 함수를 정의하여 그 값을 계산 최소 에너지 값을 갖는 템플릿을 최적의 해로 이용 Color-Segmentation 얼굴 피부영역과 눈, 입과 같은 피부 외 영역의 색상을 구분하여 이용 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 3
인종의 다양성을 고려한 데이터베이스 구축이 어려움 Appearance-Based 얼굴의 각 요소에 대해 2차원 패턴 매칭을 수행 수학적 연산(PCA, 가보필터) 등을 활용해 feature vector를 추출 2. 인식 기술 분류 및 소개 2.0 얼굴 인식 방식의 분류 체계 2.1 Eigenface 방식 알고리즘이 단순하고 연산량이 적기 때문에 실용적임 PCA를 통하여 얼굴이미지를 낮은 차원의 데이터로 표현 1986년에 최초로 사용되었으며, 관련 분야의 기초가 됨 조명과 방향 및 크기 변화에 민감한 단점이 있음 PCA는 정보 손실을 최소화하여 낮은 차원의 변수로 선형 맵핑하는 원리 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 4
2.2 Fisherface 방식 Fisher의 선형 판별법(1936년)은 패턴 인식 분야의 고전 PCA와 선형 판별법을 통하여 분석 조명 조건에 민감한 eigenface 방식을 개선시킴 FLD(Fisher s Linear Discriminant)의 원리는 두 그룹을 구분할 수 있는 최적의 구 분 기준을 찾아 내는 것임 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 5
2.3 Neural Network 다양한 분야에서 활용되고 있는 신경망 기술을 얼굴인식분야에 접목 통계적 분석을 기반으로 신경망을 학습시켜 얼굴을 인식 비선형적 결정 구조라는 장점이 있음 분산처리가 가능하여 빠른 응답을 기대할 수 있으나, 학습시간이 매우 오래 걸리 는 단점이 있음 2.4 Genetic Algorithm 유전자 알고리즘은 생물의 유전과 진화의 메커니즘을 공학적으로 모델화하는 것 으로 탐색, 최적화 및 기계학습을 위한 도구로 활용 생물의 진화 과정과 같이 선택, 교배, 변이의 과정을 설계하여 생존의 법칙을 따 르도록 휴리스틱 알고리즘으로 구현 어려운 비선형 문제에서 로컬 최적값을 피해 글로벌 최적값을 구할 확률이 높음 정해진 알고리즘이 없어서 설계자의 숙련도에 따라 결과가 달라지고, 조정해야 하는 파라미터의 수가 많은 단점이 있음 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 6
3. 얼굴 인식 업계 동향 3.1 배경 조명의 변화에 민감하며, 변장이 가능하고, 세월 흐름에 따른 얼굴 변화 인식 오 류 때문에 인식 성공률이 다른 생체 인식 기술에 비해 낮은 편임 개인의 얼굴 정보로 신원을 확인하는 기술이 점차 비용대비 효율성이 높아지고 정교화됨에 따라 상업적 관심과 투자가 증가하는 경향을 보임 온라인 상에서 신원 정보가 담긴 사진을 쉽게 구할 수 있어 개인정보 보호 논란 이 초래됨에 따라 2012년 10월 미 FTC(연방거래위원회)가 가이드라인 제시 독일의 데이터 보호 정부기관(DPA)은 페이스북의 얼굴 인식 기능이 유럽의 개인 정보 보호법을 위반했다며 정책 수정 요구(생물학적 데이터 태깅시 사용자 동의 를 얻어야 함) 3.2 최근 동향 얼굴인식 기능이 들어간 스마트폰 비중은 전체의 약 20% 수준에 달할 것으로 전망되며, 향후 5년 안에 얼굴인식 기능이 들어간 스마트기기는 연간 6억 6500 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 7
만대 씩 증가할 것으로 분석(ABI리서치, 2012) 전세계 얼굴인식 시장규모는 약 4억 달러(2009년)이며, 연평균 성장률 29.5%로 2014년에는 14억 달러 규모의 시장을 형성할 것으로 예상 정지된 정면 얼굴 이미지 인식의 착오율은 2010년에 0.29%에 불과(미국 NIST) 스마트폰 얼굴인식 프로그램은 인기 앱 분야로 앱스토어와 안드로이드 마켓 합 계 추산 1,000개 돌파(2011, 월스트리트저널) Animetrics사가 출시한 무료 앱 FaceR Celebrity 는 입력 얼굴 영상과 가장 유사 한 유명인을 매칭하는 것으로 범죄 용의자 식별 도구와 동일 기술 적용 구글은 얼굴인식 소프트웨어 업체인 핏팻(PittPatt)을 인수하여 향후 구글 플러스 등의 SNS에 적용할 것으로 예상(2011.7) 핏팻은 카네기멜론 대학이 사진과 동영상에서 사람의 얼굴과 대조하여 신원 을 확인하는 얼굴인식 알고리즘 개발 프로젝트에서 출발 3.3 해외 사례 소개 아이폰과 안드로이드폰용의 씬탭(SceneTap) 지역 내 바(술집)들의 고객 현황에 대한 실시간 통계를 보여 주는 무료 앱 바에 설치된 얼굴 인식 카메라를 통해 수집된 정보를 근거로 바에 있는 사람 의 수, 남녀 비율, 손님의 평균 연령을 보여줌 바를 대상으로 한 광고 사업 진행 Viewdle(우크라이나)이 개발한 TV 셋톱박스 얼굴인식 카메라를 내장한 TV 셋탑박스가 TV 앞에 앉은 사람을 인식 개인별로 프로그램을 맞춤화 기능과 함께 최근 시청 프로그램 탐색 및 미성 년자들의 시청 가능 채널 통제가 가능함 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 8
구글이 뷰들 인수(2012.10.04) 페이스북 휴대전화 카메라로 타인을 촬영 후 페이스북 프로필 사진과 매칭 누구인지, 어디에 사는지, 친구는 누구인지 파악 가능 SocialCamera 앱은 사진 내에 페이스북 친구가 있는지 식별하여 이름 태깅 페이스북 프로필과 사진을 연결, 친구를 태그해주는 앱 클릭(Klik) 을 출시한 페이스닷컴(이스라엘)을 인수하여 페이스북으로 사진을 공유하는 기능을 강 화할 예정(2012.6) 구글 2011년 12월 초 갤럭시 넥서스폰 출시와 함께 ICS(안드로이드 4.0)에 얼굴인 식 기술을 탑재하여 단말기 전면에 사용자의 얼굴을 스캔하고 파일에 있는 얼굴과 크로스체크하여 단말기 잠금장치 해제 기능을 선보임 핏팻과 뷰들의 인수를 통하여 개인정보 보호 문제만 해결되면 얼굴인식 기술 이 적용된 다양한 서비스를 출시할 것으로 예상됨 구글이 인수한 뷰들의 소프트웨어는 스마트폰에 내장되어 안드로이드나 구글 의 SNS인 구글플러스, 사진 공유 서비스인 피카사 등에서 자동으로 사진 속 얼굴을 인식해 식별해주는 기능이 있음 애플 얼굴인식 업체 폴라로즈를 인수하여 차세대 아이폰에서 페이스타임 화상통화 애플리케이션 기능을 강화할 것으로 예상(2010.9) 2012년 7월 지문인식 솔루션 기업인 어센텍을 인수하여 얼굴인식 뿐만 아니 라 생체인식 기술을 차세대 제품의 핵심 기능으로 결정했음이 유추 가능 Mac용 애플리케이션인 iphoto(사진 관리 도구)와 Aperture(전문가용 사진 보 정 도구)에는 얼굴 인식 기능이 포함되어 있어서 보관함이나 프로젝트를 빠 르게 검색하여 동일 인물의 사진을 빠르게 찾아낼 수 있음 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실 9
iphoto는 ios용으로도 출시되어 아이팟터치, 아이폰, 아이패드에서 활용 가능 일본 NEC 빅데이터 분야의 업무 패키지 애플리케이션을 클라우드에서 SaaS 형식으로 제공하는 분석 클라우드 서비스를 발표하면서 첫 상품으로 얼굴 인식 기술을 점포 마케팅에 이용하는 애플리케이션을 출시(2012.11.7) 매장을 방문한 고객을 촬영한 영상에서 얼굴을 감지하고, 각 얼굴 데이터에 서 동일 인물 여부를 자동으로 감지 얼굴의 특징에서 성별이나 연령 등 부가 정보를 검색한 다음, 연령별 방문자 수와 매출 데이터를 결합하여 어떤 시간대에 어떤 계층을 위해 판매를 강화 해야 하는지에 대한 정보를 제공 3.4 국내 사례 소개 SKT 얼굴인식 기술을 옥외광고에 적용하여 카메라로 촬영한 영상으로 고객 성별 과 연령을 분류, 데이터에 맞는 광고를 제공함 여의도 서울국제금융센터(IFC)의 지하에 DOOH(Digital Out-Of Home)라는 광 고판을 설치해 풀HD급 카메라가 주변 10미터 내에 있는 사람의 얼굴에서 추 출한 특징을 분석하여 통계 정보를 광고주에 알림 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실
KT 가정용 특화 태블릿PC인 스마트홈 패드 전용 앱인 라이브자키 는 사람의 표정을 인식하여 희로애락을 분류하고 추천음악을 선정하는 데 활용 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실
슈프리마 지문인식 분야에서 입지를 공고히 한 슈프리마(한국)는 최첨단 얼굴인식 기 술을 탑재한 페이스 스테이션(Face Station)을 출시(2012.6) 지문인식은 춥거나 건조하면 인식상 오류가 발생하는데 과거 얼굴인식 단말 기의 약점을 극복하여 포즈, 표정 변화에 강인하며 조명 변화에도 성능이 저 하되지 않는 기술을 선보임 어댑티브 IR 조명 기술과 위조 얼굴인증 방지 기술을 통해 성능과 위조 방지 기능이 뛰어남 국내 보안업체 3사(에스원, KT텔레캅, ADT캡스) 에스원은 러시아 기술연구소를 통해 G20 정상회의를 발판삼아 카드리더기와 얼굴인식기능을 접목한 출입관리기기를 선보임 KT텔레캅은 한국인식기술과 함께 공동 출입문에서 빛의 밝기나 얼굴의 방향 등을 일정하게 유지하여 95%이상의 인식를과 2초 미만의 인식속도를 구현함 ADT캡스는 벤처기업 미래인식기술과 공동으로 기존 출입통제기에 얼굴인식 기능을 추가해 다양한 방식의 출입자 인증서비스를 준비 중임 퍼스텍 얼굴인식시스템 전문업체인 퍼스텍은 제주국제공항에 직원출입용 얼굴인식시 스템을 공급(2012.12.27) 퍼스텍은 방위산업전문기업으로 얼굴인식 출입통제시스템, 실시간 얼굴검색 시스템, 얼굴인식기반의 모바일 콘텐츠를 선보이며 사업영역을 확대중임 알마랜스코리아 카메라 및 캠코더의 이미징 솔루션을 제공하는 업체인 알마랜스코리아는 자 사 제품에 얼굴인식 기능을 보강하기 위해 핀란드의 얼굴인식 전문업체 비지 드온과 제휴(2013.2) 알마랜스코리아는 핸드폰 분야뿐만 아니라 오토모티브, 디지털 사이니지 및 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실
CCTV와 출입통제와 같은 보안 분야로 시장을 확대할 예정 비지드온은 임베디드 및 PC기반의 버전과 대용량 스케일을 지원하는 클라우 드 버전의 Face SDK를 제공하여 국내 광고시장을 겨냥한 디지털 사이니지 솔루션인 아이레콘(iRecon)제품을 선보일 예정 올라웍스 사진 및 비디오에서 사람의 얼굴을 찾고 인식하는 얼굴인식 기술을 갖고 있 는 울라웍스는 인텔이 최초로 국내 벤처기업을 인수한 사례(2012.4) 울라웍스는 사진을 촬영할 때 얼굴을 인식하거나, 사진에 있는 얼굴을 추출 하는 등 얼굴인식과 관련한 광범위한 기술을 보유 삼성전자, LG전자, 팬택, HTC 등이 울라웍스의 얼굴인식 기술을 자사 스마트 폰에 탑재하기도 했음 인텔은 올라웍스 인수를 통해 최근 강화하고 있는 스마트폰 등 모바일 사업 을 보강하기 위한 것으로 예상됨 ETRI 차세대콘텐츠연구소 콘텐츠서비스연구실