사용자자유도허용원거리비착용형시선추적기술 한국전자통신연구원
TECHNOLGY BRIEF 기술소개서사용자자유도허용원거리비착용형시선추적기술 기술개요 TV 와같은대화면디스플레이를대상으로원거리에서도적용가능한시선추적기술개발을통해 TV 화면을눈으로바라보는것만으로채널변경, 볼륨조정등의메뉴조작이가능한시선기반사용자인터페이스기술임 기술개발상태 : 3 단계 담당자. 나성곤 2
3 TECHNOLGY BRIEF 기술소개서 사용자자유도허용원거리비착용형시선추적기술 기술설명 사용자자유도허용원거리비착용형시선추적기술 : 본기술은 TV 시청환경에서스테레오및협각카메라로이루어진시선추적시스템을이용하여사용자의눈위치를정밀하게인식하고, 사용자의시선을정확히추적하여시선을이용한 TV 메뉴제어가가능하도록하는원거리비착용형시선추적기술 카메라캘리브레이션모듈 사용자의 3 차원위치정보획득을위한광각카메라간캘리브레이션기능 사용자의고해상도눈영상획득을위한광각 - 협각카메라간캘리브레이션기능 광각카메라및협각카메라기반시선추적모듈 2대의광각카메라를이용한사용자얼굴 / 눈검출및추적기능 Motorized pan/tilt/focus 조정을위한펄스계산기능 Pan/tilt/focus 모터구동을통한협각카메라에서의고해상도눈영상획득기능 고해상도눈영상기반동공중심및각막반사광검출기능 사용자캘리브레이션및시선떨림제거를통한시선위치계산기능 사용자움직임시시선위치보정기술 시선이벤트발생모듈 시선추적모듈과의네트워크통신기능 시선정보기반마우스제어및클릭이벤트생성기능 3차원위치정보기반고해상도눈영상획득기술 : 본기술은 1.5~2.8m거리에서스테레오및협각카메라로이루어진 ( 보안 ) 시스템을이용하여사용자눈의 3차원위치를정밀하게인식하고, 이에따라사용자추적이가능한협각카메라를팬 / 틸트 / 포커싱시킴으로써고해상도눈영상을획득제공하는기술 카메라캘리브레이션모듈 사용자의 3 차원위치정보획득을위한광각카메라간캘리브레이션기능 사용자의고해상도눈영상획득을위한광각 - 협각카메라간캘리브레이션기능 광각카메라및협각카메라기반시선추적모듈 2대의광각카메라를이용한사용자얼굴 / 눈검출및추적기능 Motorized pan/tilt/focus 조정을위한펄스계산기능 Pan/tilt/focus 모터구동을통한협각카메라에서의고해상도눈영상획득기능담당자. 나성곤
4 기술적경쟁력 움직임이자유로운 TV 시청환경에적합한고속사용자추적기술과고해상도눈영상획득용카메라시스템을활용하여 TV 시청자의움직임허용범위를확대하는기술을활용함으로써사용자용이성이큼 경쟁기술 / 대체기술현황 Sweden Tobii 다양한형태의시선추적장치를개발중이나대부분근거리용 (<80Cm) 시선추적장치임 Germany SMI PC 환경을대상으로하는근거리용 (<80Cm) 시선추적장치 U.S.A. Eye Tech 근거리 PC제어 (<60cm) 원거리 TV제어 (<250cm), 좁은사용자움직임허용범위 (±18x10cm) 경쟁기술 / 대체기술대비우수성 기존의시선추적시스템은대부분 PC 환경을대상으로하고있어 50~80cm의근거리시선추적환경을지원함 본기술은세계최초로 2.8m 추적거리에서 ±45x45cm의높은사용자움직임하에서도동작이가능한시선추적기술임 적용분야 사용자시선이동분석에기반한광고효과모니터링 장애인용사용자인터페이스 시선과제스처를연동한차세대게임 운전자의싯너정보분석을통한운행보조서비스 관련지재권현황 No. 국가출원번호 ( 출원일 ) 상태명칭 1 KR 2013-0094997 (2013.08.09) 공개 전방향움직임을허용하는원거리시선추적방법 2 KR 2013-0043956 (2013.04.22) 공개 스테레오카메라와협각카메라를이용한원거리 시선추적시스템 담당자. 나성곤
5 기술동향 각앱스토어에맞춰개별적으로진행되는현재의애플리케이션개발작업이 2014 년경에는대부분사라지고 HTML5 와브라우저로플랫폼에구애받지않는개방적웹앱개발환경으로전환 Source: http://www.worldweb.co.kr/articles/articles_view.html?idno=14964 국내기술 국내연구팀에의해발표되는시선추적관련기술들은방법의다양성및그숫자가국외연구팀의것에뒤지지않으나, 상용제품으로출시된시선추적장치는없음 삼성전자와 LG 전자가제공하는기술 삼성전자는 2013 년에출시한 ` 갤럭시 S4` 에눈이페이지하단에닿으면화면이자동으로내려가다음문단을볼수있는 ` 아이스크롤링 ` 기능을탑재함. 또한, 2012 년에출시한 ` 갤럭시 S3` 에는눈동자인식을통해화면을터치하지않아도화면이꺼지지않는 ` 스마트스테이 ` 기술을탑재함 LG 전자는 2013 년 4 월에출시한 ` 옵티머스 G 프로 ` 에사용자눈동자를인식해동영상을재생혹은정지할수있는 ` 스마트비디오 ` 기능을탑재함 그러나삼성전자와 LG 전자가제공하는상기기능들은얼굴회전각도에기반한것으로눈이나눈동자움직임과는무관할뿐아니라, 메뉴조작을위한정밀시선위치분석기술과는큰격차를보임 해외기술 스웨덴 - 토비 스웨덴토비사는시선기반인터랙션용 (X1 Light), 연구용 (TX300), 장애인용 (C15) 으로다양한형태의근거리 (50~80cm) 시선추적제품을제공하고있으며, 수천만원을호가하는고가의제품임 독일 - SMI 독일 SMI 사는이동형 (Eye Tracking Glasses), 휴대형 (RED-m), 고정형 (RED/RED250/RED500) 시선추적제품을제공하며, 시선추적정보분석도구인 Experiment Suite 360 을제공함 미국 EyeTech Digital Systems 65cm 용 (VT2 Mini), 65~100cm 용 (VT2), 120~250cm 용 (VT2 XL) 시선추적제품을제공하며, 280cm 시청거리를갖는대화면 TV 시청환경을위한시선추적제품은제공하지않음 중국 - 하이얼 IFA 2012에서근거리시선추적기술을활용해시청자바로앞에위치한시선추적장비를이용하여시청자눈동자움직임을인식해음량및채널변경이가능한 TV를시연함담당자. 나성곤
6 시장동향시장동향 별도의애플리케이션을설치하지않아도인터넷에접속해손쉽게사용할수있는모바일웹사이트와웹기반툴이각광을받고모바일애플리케이션시장을주도할것으로기대 국내시장에서시선추적기술은 TV응용, PC응용및차량응용에적용할수있으며, 본격적인시장이형성되는 17년 78억원규모에서 22년 1,099억원규모로대폭성장할것으로전망 * 자료 : 스마트 TV 판매전망치 (ETRI 기술경제연구부자체전망치, 2011.12), PC 판매전망치 (IDC Korea, Korea PC 2011-2015 Forecast Updates: 2010 Q4 Review, 2011.3), 자동차판매대수 ( 국토해양부, 자동차관리현황, 2011.12) 에근거하여 ETRI 기술경제연구부추정 (2012.8, 단위 : 억원 ) 세계시선추적기술의응용시장규모는 17년 5천6백만 $ 에서연평균 64% 의고성장세로 22년 6.7억 $ 규모로성장전망 * 자료 : MarketandMarket(2011.6), IDC(2011.3) 등기반으로 ETRI 기술경제연구부추정 (2012.12, 단위 : 백만 $) * 주 : 각분야별국내시장의세계시장점유율은 13~15% 로동일하다고가정 시선추적기술은현재마케팅분야를비롯하여자동차, 가전분야의각종장치제어등개발기술의활용도가높아서고부가가치기술로발전가능성이높음 ( 단위 : 백만불, 억원 ) 관련제품 / 서비스 시장 1 차년도 (2015) 2 차년도 (2016) 3 차년도 (2017) 4 차년도 (2018) 5 차년도 (2019) 장애인용비착용형시선추적인터페이스 해외 1592 1720 1857 2006 2166 국내 737 796 860 928 1003 보조공학기기시장규모는 1000 억달러로전체의료기기시장의 3 분의 2 가량을차지하며, 매해 8% 이상의성장률을기록하고있음. 전문가들은세계시장 100 조원, 국내시장 4 조원규모의신성장동력산업으로급부상할것으로예측 보조공학기기는정보접근, 의사소통, 작업기구, 사무보조품목으로구분할수있고 (http://www.atc.or.kr), 보조공학기기이용실태조사에따르면작업기구, 정보접근, 사무보조, 의사소통순의선호도를보이며정보접근항목의경우전체 25.5% 를차지함. ( 한국장애인고용촉진공단고용개발원, 2008)
7 국내시장 국내장애인을대상으로정보접근을위해필요한보조기기품목을조사한결과, 지체장애인에게는특수키보드 (22.9%), 음성인식 / 입력소프트웨어 (16.7%), 뇌병변장애인에게는음성인식 / 입력소프트웨어와특수마우스 (55.6%), 특수키보드 (44.4%), 타이핑보조기구 (37.5%) 인것으로조사됨 ( 한국정보문화진흥원, 2004년 2월장애인정보격차실태조사 ) 국내시장이매해 8% 의성장률을가진다는가정하에전체보조기기시장규모를예상하고, 이중지체및뇌병변장애인비중을 60%(2009년 12월보건복지부조사자료 ), 지체및뇌병변장애인중제안기술을이용할수있는장애인의비중을 40% 로가정하여국내시장규모를예상하고있음 국내관련제품및서비스동향 - 네이버 이용자의주된시선위치분석을통해웹페이지를재구성하여개편 국내관련제품및서비스동향 - 브레인앤리서치 기업, 학교등을대상으로 UI, 광고및특정상품에대한사용자심리분석프로젝트를다수수행 해외시장 국외시장규모는국내보조공학기기시장 (4조) 대비특수키보드시장 (230억) 의비율을적용하여계산 국외관련제품및서비스동향 - 유럽국가 SMI 사에서는시선방향에따라핸들이조정되고앞차주시하면따라가는시선기반운전서비스를개발하여시연 눈깜빡임으로휴대전화메뉴를선택할수있는기능을 Nokia 810 모델에적용 관련기업 수요처 네이버, 브레인앤리서치, SMI, 토비, EyeTech Digital Systems, 하이얼, 삼성전자, LG전자 기술수요 적용처 시선추적관련대기업 광고, 게임, 장애인용인터페이스, 운행보조서비스
8 기술이전내용및범위 3차원위치정보기반고해상도눈영상획득기술 고해상도눈영상획득시스템하드웨어설계서 ( 위기술과동일 ) - 시선추적용고해상도 PTZ 카메라 - NIR 조명 고해상도눈영상획득시스템소프트웨어및상세설계서 ( 위기술에서발췌 ) 고해상도눈영상획득시스템사용자설명서 ( 위기술에서발췌 ) 사용자자유도허용원거리비착용형시선추적기술 원거리비착용형시선추적하드웨어설계서 - 시선추적용고해상도 PTZ 카메라 - NIR 조명 원거리비착용형시선추적소프트웨어및상세설계서 원거리비착용형시선추적시스템사용자설명서 예상응용제품및기대효과 예상응용제품및서비스 사용자시선이동분석에기반한광고효과모니터링 시선과제스처를연동한차세대게임 장애인용사용자인터페이스 운전자의시선정보분석을통한운행보조서비스 기대효과 수입의존도가높고관련원천기술개발의진입장벽이높은시선추적기술을개발함으로써국제기술경쟁력확보, 수입대체효과및국내연관산업활성화에기여할것으로기대됨 개발한시선추적기술은 TV 제어뿐아니라, 운전자시선분석, 광고효과측정, 웹페이지응시패턴분석등다양한분야에활용가능할것으로예상됨 사회적약자인장애인들에게미디어소비편의성및정보접근성을제공 담당자. 나성곤
9 관련특허요약 발명의명칭 시선추적장치및방법 기술개요 본발명은원거리에서사용자가자유롭게움직이더라도정확한시선정보를획득하는시선추적장치및방법에관한기술임 시선추적장치의구성 광각카메라 (310) 는영상정보를입력받고, 캘리브레이션을통해사용자에대한사용자의 3 차원위치를계산하며, 협각카메라 (320) 는사용자위치정보및눈영역검출정보를이용하여팬 (pan), 틸트 (tilt) 및포커스 (focus) 동작을수행함 영상획득부 (340) 는협각카메라의동작을통하여눈영상을획득 검출부 (350) 는눈영상으로부터동공중심정보및각막반사광정보검출 기술특장점 협각카메라를이용한시선추적 협각카메라를이용하여원거리시선추적이가능함 사용자가사용자캘리브레이션을수행한위치에서벗어나더라도시선추적이가능함 시선위치계산부 (360) 는사용자의움직임에따라시선위치를보정하는전방향움직임보정모델을통하여시선위치정보를계산 또한, 시선추적장치는각각의카메라및영상재생장치간의캘리브레이션을수행하는캘리브레이션수행부 (330) 를더포함함 캘리브레이션수행부 (330) 는각각의광각카메라 (310) 간의캘리브레이션 (calibration) 을수행할수있음 대표청구항 전체청구항수 : 총 40 항 사용자위치정보를계산하는캘리브레이션수행부 ; 영사정보를입력받는영상정보입력부 ; 눈위치정보를검출하는제 1 정보검출부 ; 협각카메라에대한팬, 틸트및포커스동작을수행하여눈영상을획득하는영상획득부 ; 동공중심정보를검출하는제 2 정보검출부 ; 각막반사광정보를검출하는제 3 정보검출부 ; 및시선위치정보를계산하는시선위치계산부를포함하는시선추적장치