<35352DB1E8BCF6BCB12DB8F0B9D9C0CF20B1E2B1E2BFA1BCAD20B4ABB5BFC0DA20C3DFC0FB2E687770>

Similar documents
<372DBCF6C1A42E687770>

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

09권오설_ok.hwp


À±½Â¿í Ãâ·Â

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

°í¼®ÁÖ Ãâ·Â

DBPIA-NURIMEDIA

<333820B1E8C8AFBFEB2D5A B8A620C0CCBFEBC7D120BDC7BFDC20C0A7C4A1C3DFC1A42E687770>

<31362DB1E8C7FDBFF82DC0FABFB9BBEA20B5B6B8B3BFB5C8ADC0C720B1B8C0FC20B8B6C4C9C6C32E687770>

07.045~051(D04_신상욱).fm

DBPIA-NURIMEDIA

<35335FBCDBC7D1C1A42DB8E2B8AEBDBAC5CDC0C720C0FCB1E2C0FB20C6AFBCBA20BAD0BCAE2E687770>

10 이지훈KICS hwp

Microsoft Word - 1-차우창.doc

45-51 ¹Ú¼ø¸¸

I

06_ÀÌÀçÈÆ¿Ü0926

<313120C0AFC0FCC0DA5FBECBB0EDB8AEC1F2C0BB5FC0CCBFEBC7D15FB1E8C0BAC5C25FBCF6C1A42E687770>

09È«¼®¿µ 5~152s

인문사회과학기술융합학회

(JBE Vol. 22, No. 2, March 2017) (Regular Paper) 22 2, (JBE Vol. 22, No. 2, March 2017) ISSN

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

DBPIA-NURIMEDIA

RVC Robot Vaccum Cleaner

이도경, 최덕재 Dokyeong Lee, Deokjai Choi 1. 서론

02( ) SAV12-19.hwp

07변성우_ok.hwp

, N-. N- DLNA(Digital Living Network Alliance).,. DLNA DLNA. DLNA,, UPnP, IPv4, HTTP DLNA. DLNA, DLNA [1]. DLNA DLNA DLNA., [2]. DLNA UPnP. DLNA DLNA.

REP - CP - 016, N OVEMBER 사진 요약 25 가지 색상 Surf 를 이용한 사진 요약과 사진 배치 알고리즘 Photo Summarization - Representative Photo Selection based on 25 Color Hi

05( ) CPLV12-04.hwp

19_9_767.hwp

DBPIA-NURIMEDIA

(JBE Vol. 21, No. 1, January 2016) (Regular Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

63-69±è´ë¿µ

정보기술응용학회 발표

untitled

09오충원(613~623)

Output file

Journal of Educational Innovation Research 2017, Vol. 27, No. 2, pp DOI: : Researc

<32382DC3BBB0A2C0E5BED6C0DA2E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 27(12),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 26(12),

학습영역의 Taxonomy에 기초한 CD-ROM Title의 효과분석

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun.; 27(6),

<31325FB1E8B0E6BCBA2E687770>

#Ȳ¿ë¼®

박선영무선충전-내지

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 29(2), IS

12È«±â¼±¿Ü339~370

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 28(3),

다중 곡면 검출 및 추적을 이용한 증강현실 책

본문

DBPIA-NURIMEDIA

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 30(3),

SBR-100S User Manual

Microsoft PowerPoint - XP Style

<31B1E8C0B1C8F128C6ED2E687770>

Journal of Educational Innovation Research 2017, Vol. 27, No. 1, pp DOI: * The

감각형 증강현실을 이용한

(JBE Vol. 23, No. 2, March 2018) (Special Paper) 23 2, (JBE Vol. 23, No. 2, March 2018) ISSN

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

NX1000_Ver1.1

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 25(3),

2 : (Juhyeok Mun et al.: Visual Object Tracking by Using Multiple Random Walkers) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ht

MVVM 패턴의 이해

PowerPoint 프레젠테이션

04 최진규.hwp

26 이경승(394~400).hwp

3 : 3D (Seunggi Kim et. al.: 3D Depth Estimation by a Single Camera) (Regular Paper) 24 2, (JBE Vol. 24, No. 2, March 2019)


08SW

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jan.; 26(1),

untitled

Journal of Educational Innovation Research 2016, Vol. 26, No. 3, pp.1-16 DOI: * A Study on Good School

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 27, no. 8, Aug [3]. ±90,.,,,, 5,,., 0.01, 0.016, 99 %... 선형간섭

김경재 안현철 지능정보연구제 17 권제 4 호 2011 년 12 월

6.24-9년 6월

-

Journal of Educational Innovation Research 2018, Vol. 28, No. 4, pp DOI: A Study on Organizi

<91E6308FCD5F96DA8E9F2E706466>

1 : 360 VR (Da-yoon Nam et al.: Color and Illumination Compensation Algorithm for 360 VR Panorama Image) (Special Paper) 24 1, (JBE Vol. 24, No

H3250_Wi-Fi_E.book

Software Requirrment Analysis를 위한 정보 검색 기술의 응용

8-VSB (Vestigial Sideband Modulation)., (Carrier Phase Offset, CPO) (Timing Frequency Offset),. VSB, 8-PAM(pulse amplitude modulation,, ) DC 1.25V, [2

Analysis of objective and error source of ski technical championship Jin Su Seok 1, Seoung ki Kang 1 *, Jae Hyung Lee 1, & Won Il Son 2 1 yong in Univ

(JBE Vol. 20, No. 6, November 2015) (Regular Paper) 20 6, (JBE Vol. 20, No. 6, November 2015) ISSN

DBPIA-NURIMEDIA

위해 사용된 기법에 대해 소개하고자 한다. 시각화와 자료구조를 동시에 활용하는 프로그램이 가지는 한계와 이를 극복하기 위한 시도들을 살펴봄으로서 소셜네트워크의 분석을 위한 접근 방안을 고찰해 보고자 한다. 2장에서는 실험에 사용된 인터넷 커뮤니티인 MLBPark 게시판

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

10(3)-09.fm

원고스타일 정의

서론 34 2

(JBE Vol. 23, No. 5, September 2018) (Regular Paper) 23 5, (JBE Vol. 23, No. 5, September 2018) ISSN

<30362E20C6EDC1FD2DB0EDBFB5B4EBB4D420BCF6C1A42E687770>

SchoolNet튜토리얼.PDF

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2

Transcription:

Journal of the Korea Academia-Industrial cooperation Society Vol. 13, No. 4 pp. 1849-1856, 2012 http://dx.doi.org/10.5762/kais.2012.13.4.1849 모바일기기에서눈동자추적을통한원격제어 김수선 1*, 강석훈 2, 김선운 2 1 한양여자대학교컴퓨터정보과, 2 인천대학교정보기술대학임베디드시스템공학과 Remote Control through Tracking of Pupil on Mobile Device Su-Sun Kim 1*, Seok-Hoon Kang 2 and Seon-Woon Kim 2 1 Dept. of Computer Information, Hanyang Women's College 2 Dept. of Embedded System Engineering, University of Incheon 요약본논문은스마트폰을이용해눈동자중심을추적하여눈동자의움직임에따른명령으로치환하고, 이명령을통해인터페이스를제어하는방법에대해제안한다. 눈을통해원격제어를하는이방법은신체적장애가있는사람이나보다편리한입력방법을원하는사용자에게도움을줄수있다. 기존의방법중대표적인방법으로웹캠을이용하여사용자의눈동자를추적하는방식은사용자위치의거리나각도에제약이존재한다. 하지만, 본논문에서제안된방법은휴대가편리한스마트폰을이용한다. 제안한방법은무선네트워크를이용하여사용자가위치에제약받지않고눈동자추적을통한원격제어를할수있다. 이러한방법은 PC 제어뿐만아니라원격제어가반드시필요한스마트 TV 제어에효과적으로활용될수있다. Abstract This paper proposes a method to track the center of pupil and perform the remote control for interface based on the substituted commands according to movements of pupil under smart phone environment. The proposed method, which is a remote control through the movement of eyes, may be helpful for the handicapped people or users who want a more convenient input method. A method based on webcam, which is representative one among the previous methods to track pupil of user, has a few limitations on distance and angle between location of user and webcam. However, this paper uses smart phone that is convenient to carry. The proposed method can perform the remote control through tracking of pupil using wireless network without any restriction on the location of users. Thus, the method is effectively applied for controlling the smart TV that should be controlled on the distance as well as the remote control for PC. Key Words : Recognition of eye movement, Image processing, Mobile devices, Remote control 1. 서론 신할수있는방법으로제안된다 [2]. 이러한방법들은사 용자에게보다편리한입력방법을제시할뿐만아니라 비접촉인터페이스에관한연구는다양한방향으로연 신체적장애를갖고있어손을이용한제어에한계가있 구되고있다. 대표적으로음성인식서비스가모바일기 는사용자들에게유용하게적용된다. 기, ARS, 스마트 TV 등다양한분야에적용되어사용되 본논문에서는여러가지제 2의입력방법중눈동자 고있고, 뇌파분석을통한제어또한꾸준히연구되며 추적을이용하며, 특히장애, 치료등의사유로입력장치 적응되고있다 [1]. 또한, 얼굴의포즈추정이나눈동자추 와의거리를일정하게유지할수없는상황에서적용할 적들의기술들은인간의주된입력제어도구인손을대 수있도록스마트폰을이용한인터페이스로원격제어가 본논문은한양여자대학교 2011년 2학기교내연구비로수행되었음. *Corresponding Author : Su-Sun Kim Tel: +82-10-2290-2209 e-mail: sskim@hywoman.ac.kr 접수일 12년 01월 05일 수정일 (1차 12년 02월 27일, 2차 12년 03월 29일 ) 게재확정일 12년 04월 12일 1849

한국산학기술학회논문지제 13 권제 4 호, 2012 가능한방식을제안한다. 기존의눈동자추적을통한인터페이스제어방식으로는모니터주변에설치된웹캠등의카메라를이용하는방법 [3] 과사용자의눈앞에고정된카메라를이용하는방법 [4] 등이있다. 첫번째방법은저렴한가격으로사용이가능하지만, 사용자의거리및각도가제한되는경우가많다. 두번째방법은거리에영향을받지않고, 보다정확한결과를받을수있지만, 높은제작비를요구한다. 본논문에서는널리사용되고있는스마트폰을이용해눈동자추적및제어명령전송을수행하여거리및각도에영향을적게받고, 원격으로인터페이스를제어할수있는방법을제안한다. 스마트폰은대부분카메라와눈동자추적을위한연산이가능한고성능프로세서를갖추고있으므로원격제어기기로사용될수있는유용한기기가될수있다. 특히장애우혹은환자등몸이불편한사람이원거리에서 TV 등을시청할때, TV 등에부착된웹캠으로는시청가시거리밖에있는눈동자의움직임을분석하는것은매우힘들거나비용이많이드는일이며, 손을사용할수없는환경에놓인경우에는웹캠이인식할만한큰동작을입력하기도곤란하게된다. 이러한경우에휴대와설치가용이한스마트폰을이용하여항상사용자의주변에서눈동자를추적하고, 눈동자의움직임에따른명령을부여하며, 부여된명령을전송하여원격제어하는방식이다. 로눈의위치를획득한후, 검출된눈의상, 하단부분에대하여 Optical Flow를적용하여특징을추출하였고, 획득한특징벡터와눈동자의위치정보가제어에이용되었다. 웹캠만을이용한방법은고정된웹캠의특징상, 낮은카메라해상도로인하여카메라와피사체의거리가멀어질수록정확한눈동자움직임추적이불가능하기때문에광각카메라와협각카메라를이용하여눈동자를추적해내는방법이제안되었다 [14]. 이방법은광각카메라를통해얼굴영상을취득하고, 협각카메라를이용해눈영역을확대하여취득한다. 협각카메라에는광각카메라에서추출된얼굴특징점의위치를기반으로한자동초점조절, 상하 / 좌우회전기능이포함되어있다. 또한, 카메라를이마에장치하고눈동자를추적하여컴퓨터인터페이스로사용할수있는방법이제안되었다 [13]. 이방법은그림 1의마이크로헤드용 CCD 카메라를사용하여눈의움직임에대한영상에서홍채의경계를추적하는방법을사용하였다. 앞서제안된방법들은웹캠자체의저해상도문제를갖고있고, 그를개선한방법은추가적인비용이발생하게된다. 본논문에서는이러한문제점들을개선하기위하여눈동자위치추적및원격제어기기로스마트폰을사용하여활용할수있는방법을제안한다. 2. 관련연구 눈동자인식을통한원격제어는다양한접근과방법으로연구되고있다. 눈동자추적을통한원격제어는눈동자의위치및운동을실시간으로정확하게인식되도록요구한다. 눈동자추적에관련하여눈의형태기반, 외형기반, 하이브리드기반의접근에대한연구가이루어졌다 [12]. 또한, 정확한눈동자추적을위해사용환경구성을웹캠만을이용한방법과카메라와 IR LED를이용하는방법, 스테레오카메라를이용하는방법등이제안되었다. 일반적인웹캠을이용한방법의예로 Optical Flow를이용하여획득한특징벡터와눈동자의위치정보를이용하는인터페이스시스템이제안된바있다 [11]. 이연구에서는카메라에입력된영상에서 HSI 컬러모델의 Hue값과 TSL 컬러모델의 Tint값을이용하여얼굴후보영역을획득하고, 그영역에대하여 PCA 변환을이용해얼굴영역을검출하였다. 그후얼굴의기하학적정보를이용해눈이존재하는얼굴상단영역에템플릿매칭으 [ 그림 1] 눈응시방향추적시스템 [Fig. 1] An eye-gaze tracking system 3. 본론 본논문에서제안하는눈동자추적을통한원격제어에대한동작흐름은그림 2와같다. 스마트폰에서대상장치와접속이완료되면, 스마트폰에서눈동자를추적하여대상장치에명령을전송하게된다. 대상장치에서는명령을수신하여설정해놓은일련의동작을수행하게된다. 1850

모바일기기에서눈동자추적을통한원격제어 용해눈영역을검출하고, 영역의히스토그램데이터에서눈동자중심을얻어낸다. 추출된중심좌표를 Pyramid Lucas-Kanade Optical Flow를사용하여추적하며, 추적에실패했을경우다시초기화단계를거치도록구성하였다. [ 그림 2] 스마트폰을통한원격제어전체흐름도 [Fig. 2] General flowchart of remote control using smart phone 3.1 눈동자추출및추적 스마트폰에서는그림 3과같이카메라를통해눈동자의중심점을추출하고그위치에따른명령을원격으로제어하기위한신호를전송하는역할을한다. 3.2 눈영역검출눈동자를검출하는여러가지방법이있다. 많이사용되고있는방법으로는객체의템플릿을만들고템플릿과비교하여객체를찾아내는방법 [5, 6] 과 Viola와 Jones가제안한 Haar-like feature와다단계분류기를이용하는객체검출방법 [7] 이있다. 그중실시간처리를위해 Haar-like feature를이용한실시간얼굴인식을 700Hz PC에서초당 15프레임으로검출하기도하였다 [8]. 또한, 스크립트언어를사용하는웹브라우져, 모바일같은저사양의환경에서도적용된사례가있다 [9, 10]. 본논문에서는 Haar-like feature를사용한눈영역검출로크게세단계로나눈다. 먼저, Haar-like feature를이용해눈영역특징을추출한다. 그다음 AdaBoost를이용해추출된특징을학습한다. 마지막으로학습된데이터를이용해입력된영상에서눈영역을검출한다 [7]. [ 그림 4] Haar-like feature 의 prototype [Fig. 4] The prototype of Haar-like feature [ 그림 3] 스마트폰에서의눈동자추출과정 [Fig. 3] The process of pupil extraction on the smart phone 스마트폰에서는인터페이스제어를위한명령을부여하기위해눈동자의운동을추출해낸다. 눈동자추적의과정은크게눈동자중심을추출해내는초기화단계와추출된눈동자중심을추적하는추적단계로나눌수있다. 초기화단계에서는 Haar-like Feature 알고리즘을이 3.2.1 Haar-like feature 를이용한눈동자특징추출 Haar-like feature는단순합에대한연산만계산하는방법으로영상의 pixel 데이터를이용한연산이아닌특징을이용한가중치곱의합만을계산한다. 그림 4는 Haar-like feature의 prototype들로써윈도우특징에맞게위치가변하기때문에인식할영역에따른많은특징값을나타내는것이가능하다. 1851

한국산학기술학회논문지제 13 권제 4 호, 2012 3.2.2 AdaBoost 를이용한학습 Haar-like feature로추출한특징을분류기로분류한후학습하기위해서 AdaBoost 학습알고리즘이종종이용된다. AdaBoost 학습알고리즘은 Boost 알고리즘중단순하면서도효율적인알고리즘으로눈영역을판단할확률을높여준다. 이알고리즘을사용해각분류기마다단계가올라갈수록 Haar-like feature의 prototype 이미지의미세한정보까지도나타낼수있다. 이러한그룹화는인식알고리즘의성능을높이기위한방법이다. 즉, 단계가높을수록그룹화를통해더많은수의특징점그룹이생성되기때문에인식률이높아진다. [ 그림 6] 히스토그램을이용한눈동자중심점검출 [Fig. 6] The pupil center detection using the histogram 3.2.3 눈영역검출입력된영상에서 AdaBoost로훈련된눈동자영역의그룹을이용해눈동자영역의정보를얻기위해영상을피라미드구조형식으로축소해가면서눈동자영역을결정하게된다. 이러한과정에서눈동자영역을줄인영상을복원하는과정에여러개의후보영역이생기며그영역의평균이검출된눈영역으로그림 5에서보이고있다. [ 그림 7] 히스토그램을이용한눈동자중심점검출의예 [Fig. 7] An example of the pupil center detection using the histogram [ 그림 5] 눈검출의예 [Fig. 5] An example of eyes detection 3.3 눈동자중심추출 Haar-like feature를통해얻어낸눈영역에서눈동자중심을추출하는작업은눈영역중절반의영역만을이용해추출한다. 좌 / 우측눈중한쪽눈의중심점만을이용하기때문이다. 히스토그램을이용한눈동자중심점검출을그림 6에서, 눈동자중심점을검출하는예를그림 7에보인다. 3.4 눈동자추적추출된눈동자중심점은 Pyramid Lucas-Kanade Optical flow 알고리즘을이용해추적한다. Optical flow에는밀집 Optical flow와희소 Optical flow가있는데, Lucas-Kanade Optical flow는밀집 Optical flow 기법중하나이다. Lucas-Kanade Optical flow는작은지역의윈도우를사용하기때문에이윈도우보다큰움직임이발생했을경우에는움직임을계산하지못하는단점이있다. 이를개선하기위해 Pyramid Lucas-Kanade Optical flow가제안되었다. 피라미드를이용한 Lucas-Kanade 알고리즘은일반원본영상으로부터영상피라미드를구성하고, 상위계층에서시작하여하위계층으로추적을실행한다. Lucas-Kanade Optical flow를적용하기위해서는밝기의항상성, 시간의지속성, 그리고공간의일관성이라는기초가정을충족하여야한다. 본연구의경우일정한밝기의실내, 객체의움직임이아주빠르지않으며, 사용자가있는공간에서이뤄지기때문에알고리즘적용을위한기초가정을모두충족한다. 임의시점 에서프레임을 라하고, 에서의한점 을 로가정하면연속된프레임 에서의동일 1852

모바일기기에서눈동자추적을통한원격제어 위치점은 로볼수있다. Optical flow 는식 (1) 을최소화하는 에의한파라미터로표현할수있다. (1) 여기서 는 Lucas-Kanade Optical flow에적용되는 Mask 윈도우의 값을의미한다. 위설명에의거하여본논문에서사용하는 Lucas-Kanade Optical flow를아래의파라미터로구성된식 로표현할수있다. 4. 실험 4.1 실험환경 본논문에서는삼성 1GHz 프로세서의안드로이드스마트폰을사용하여모바일을통한원격제어실험을하였고, 사용된전면카메라의해상도는 640x480이다. 또한, 해상도 640x480의웹캠으로웹캠을이용한눈동자처리결과가거리에따라어느정도영향을받는지를실험하였다. (2) 여기서, 는영상프레임 를 에따라편미분한값을의미한다. 식 (2) 의파라미터중구하고자하는 Optical flow 는다음식 (3) 과같이계산할수있다. (3) [ 그림 9] 거리 50cm 에서의눈동자추적예 [Fig. 9] An example of eye tracking with distance of 50cm 4.2 거리에따른웹캠의눈동자추적 본논문에서는고정된웹캠과사용자의거리에따른눈동자추적정확도를파악하기위해 PC 환경에서거리에따른인식실험을동일한알고리즘으로진행하였다. 그림 8은이러한 Pyramid Optical flow 알고리즘을통해눈동자특징점을추적하는화면이다. [ 그림 10] 거리 130cm 에서의눈동자추적예 [Fig. 10] An example of eye tracking with distance of 130cm [ 그림 8] Pyramid Lucas-Kanade Optical flow 를이용한눈동자중심점추적 [Fig. 8] The pupil center tracking using Pyramid Lucas-Kanade Optical flow 실험결과그림 11과같이사용자와카메라의거리가멀어질수록명령의인식률이저하되는것을확인할수있었고, 약 1m 이상으로멀어졌을경우, 평균 47.35% 의명령인식률을보였으며 1.5m 이상의거리에서는정상적인원격제어가불가능하다는것을확인할수있었다. 1853

한국산학기술학회논문지제 13 권제 4 호, 2012 했을경우위치에따른인식률의차이를확인할수있었다. [ 그림 11] 거리에따른명령인식률 (%) [Fig. 11] The command recognition rate according to the distance 4.3 스마트폰에서의눈동자인식률 스마트폰으로눈동자추적알고리즘을이용한눈동자의명령인식실험은스마트폰을얼굴정면에배치하여실험하였다. 그림 12는스마트폰으로눈동자를추적하는예이다. 평균 9~10fps의속도로추적하였고, 명령인식률은표 1과같다. [ 그림 13] 스마트폰의위치에따른인식률실험 [Fig. 13] The recognition rate experiment according to the location of smart phone 스마트폰의위치는눈앞정면을볼때시선수평면기준으로아래로약 40도방향, 40cm 정도떨어진곳에고정거치대를설치하고실험하였다. 이에대한실험결과는표 2와같다. Yaw 각이커질수록좌 / 우의인식률이낮아지며, Pitch 각이커질수록상 / 하의인식률이낮아졌다. 15도범위에서인식률은 하 방향을제외하면평균 80% 이상의정확도를가지는것을볼수있다. 하 방향의경우정확도가상대적으로낮은이유는눈동자가내려가면눈영역의크기가같이작아지기때문이다. [ 표 2] 스마트폰의위치에따른명령인식률 (%) [Table 2] The command recognition rate according to the location of smart phone [ 그림 12] 스마트폰에서의눈동자추적예 [Fig. 12] An example of the pupil tracking using smart phone [ 표 1] 스마트폰에서의명령인식률 (%) [Table 1] The command recognition rate using smart phone 명령 상 하 좌 우 평균 인식률 76.2 68.6 92.3 93.6 82.43 4.4 스마트폰에서의위치에따른눈동자인식그림 13과같이스마트폰의위치를달리하여 Yaw각, Pitch각변화에따른인식률변화에대한실험을진행하였다. 이실험을통해사용자가스마트폰이화면을가리지않게하기위해스마트폰을다양한위치에두고사용 Yaw (degree) Pitch (degree) 동작인식률 (%) 상하좌우 0 0 76.2 68.6 92.3 93.6 ±15 0 75.7 58.3 93.8 94.6 ±30 0 68.6 57.2 75.3 69.6 ±45 0 11.3 8.7 45.3 32.3 ±60 0 4.3 2.1 21.1 35.4 0 ±15 75.6 48.4 94.1 95.3 0 ±30 34.5 9.8 94.4 96 0 ±45 21.8 2.3 92.1 89.1 0 ±60 9.2 2.3 93 86.5 ±15 ±15 74.8 52.4 92.6 94.6 ±30 ±30 36.3 53.6 77.5 94.6 ±45 ±45 13.4 11 43.1 94.6 4.5 눈동자위치변경에따른명령조합 본논문에서는원격제어실험을위해눈동자중심점의이동에따른명령을표 3과같이부여하여전송하였다. 스마트폰은추출된눈동자중심의이동에따라각각의명령을식별할수있는데이터를전송하여대상장치에서수신하여수행하도록구성하였다. 위명령은눈동자 1854

모바일기기에서눈동자추적을통한원격제어 움직임에의한기본명령이며, 본논문의실험에적용되어 PC에서확인하였다. [ 표 3] 사용자입력에따른명령수행 [Table 3] Command operations according to user inputs 구분 사용자입력 수행기능 눈동자이동 마우스이동 (0.25초당 10포인트 ) 마우스눈깜빡임모드 (0.5~1초) 클릭 눈깜빡임 (2초이상 ) 키보드모드로변환 상 방향키상 하 방향키하 좌 Ctrl + Tab 키보드 우 Tab 모드눈깜빡임 (0.5~1초) Enter 눈깜빡임 (2초이상 ) 마우스모드로변환 스마트폰과같은모바일기기는어디에나위치시킬수있고통신모듈을활용할수있기때문에언제어디서나손쉽게정보전달을위한목적으로사용할수있으며, PC 와같은고정장비에대한원격제어수단으로사용하기에적합하다. 뿐만아니라스마트폰은자체적인운영체제에의해구동되어내부처리를통해원하는정보만을취득및선별하여 PC에대한제어명령으로변환하고전송할수있기때문에데이터전송에대한부담역시줄일수있다. 또한사용자인터페이싱을위한처리가대부분모바일장비에서이루어지므로다양한업무를동시에처리하고있는 PC의작업부담도줄일수있는장점이있다. 다양한명령을이용한제어실험을통해, 제안하는방법은장애우나환자등몸이불편한사람들도거리와각도에관계없이스마트폰을이용해눈동자추적을통한인터페이스사용이가능함을확인하였다. 5. 결론 본논문에서는기존의웹캠을통한눈동자추적인터페이스가가지는원거리인식률저하에따른부분을개선하고자하였다. 또한웹캠은제어대상에물리적으로연결되어있기때문에휴대하면서사용하기에부적합할수있으므로휴대하기편리한스마트폰으로이용하고자하였다. 눈동자추적을위해 IR LED, 머리에착용되는카메라등을사용하는방법들은부가적인하드웨어가필요하여장소의제약이나, 설치에필요한비용을지불해야한다. 따라서본논문에서는이러한문제를해결하기위해휴대가가능한스마트폰을활용하여눈동자추적을통한원격제어방식을제안하였다. [ 그림 14] 웹캠을이용한방법과스마트폰을활용한방법 [Fig. 14] The method using webcam and smart phone 이방법은그림 14와같이제어가필요한대상과의거리에관계없이소지한스마트폰을활용하여눈동자추적을할수있으므로, 기존의웹캠을사용한방법이갖고있는거리와각도에대한제약을해결할수있다. 특히, References [1] Sun-gil Cho, Min Cheol Whang and Munsung Han, Cursor Movement System by BCI(Brain Computer Interface in Proc, Ergonomics Society of Korea Conference, pp.49-52, 2002.11 [2] Zhiwei Zhu, Quiang Ji, "Novel Eye Gaze Tracking Techniques Under Natural Head Movement", IEEE Transactions on biomedical engineering, pp.2246-2260, 2007.12 [3] Yoshinobu Ebisawa, "Robust pupil detection by image difference with positional compensation", International Conference, pp.143-148, 2009.5 [4] Dongheng Li, David Winfield, Derric J. Parkhurst, "Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006.1 [5] M. Betke and N. Makris, Fast Object Recognition in Noisy Images using Simulated Annealing, in Proc. Fifth Int. Conf. Computer Vision, Boston, MA, USA, pp.523-530, 1995.1. [6] A. Yuille, P. Hallinan, and D. Cohen, Feature Extraction from Faces using Deformable Templates, Int. Journal of Computer Vision, Vol.8, No.2, pp.99-111, 1992. 8. [7] P. Viola and M. Jones, Rapid Object Detection using a Boosted Cascade of Simple Features, in Proc. IEEE 1855

한국산학기술학회논문지제 13 권제 4 호, 2012 Conf. Computer Vision and Pattern Recognition, Kauai, HI, USA, pp.511-518, Dec. 2001. [8] P. Viola and M. Jones, Robust Real-time Face Detection, Int. Journal of Computer Vision, Vol.57, No.2, pp.137-154, 2004.5. [9] T. Ephraim, T. Himmelman, and K. Siddiqi, Real-Time Viola-Jones Face Detection in a Web Browser, in Proc. Canadian Conf. Computer and Robot Vision, Kelowna, BritishColumbia, Canada, pp.321-328, 2009.5. [10] J. Ren, N. Kehtarnavaz, and L. Estevez, Real-Time Optimization of Viola-Jones Face Detection for Mobile Platforms, in Proc. IEEE Dallas Circuits and Systems Workshop SoC: Design, Applications, Integration, and Software, Dallas, TX. USA, pp.1-4, 2008.8. [11] Kihan Shin, Junchul Chun, "Real Time Eye Tracking based Interface System", Conference of the Korean Society For Internet Information, pp.247-251, 2007.6 [12] Dan Witzner Hansen, Qiang Ji, "In the Eye of the Beholder: A Survey of Models for Eyes and Gaze", IEEE Transactions on pattern analysis and machine intelligence, pp.478-500. 2010.3 [13] Do Hyoung Kim, Jea Hean Kim, Myung Jin Chung, "Human-Computer Interface using the Eye-Gaze Direction", Journal of IEEK Vol.38, No.6, pp.46-56, 2001.11 [14] Kang Ryoung Park, "Gaxe Detection System by Wide and Narrow View Camera", Journal of Korea Information and Communications Society Vol.28, No.12, pp.1239-1249, 2003.12 강석훈 (Seok-Hoon Kang) [ 정회원 ] 1991년 2월 : 한양대학교공과대학원전자통신공학과 ( 공학석사 ) 1995년 8월 : 한양대학교공과대학원전자통신공학과 ( 공학박사 ) 1996년 3월 ~ 2004년 2월 : 부산동서대학교컴퓨터공학과교수 2004년 3월 ~ 현재 : 인천대학교정보기술대학임베디드시스템공학과교수 < 관심분야 > 임베디드시스템, 모바일시스템, 인공지능 김선운 (Seon-Woon Kim) [ 준회원 ] 2011년 2월 : 인천대학교정보기술대학임베디드시스템공학과 ( 공학사 ) 2011년 3월 ~ 현재 : 인천대학교대학원임베디드시스템공학과석사과정 < 관심분야 > 임베디드시스템, 모바일시스템, 인공지능 김수선 (Su-Sun Kim) [ 정회원 ] 1984 년 2 월 : 서울과학기술대학교컴퓨터공학과 ( 공학사 ) 1986 년 8 월 : 한양대학교산업대학원컴퓨터공학과 ( 공학석사 ) 1997 년 2 월 : 아주대학교대학원컴퓨터공학과 ( 공학박사 ) 1991 년 3 월 ~ 현재 : 한양여자대학교컴퓨터정보과교수 < 관심분야 > 멀티미디어, 컴퓨터그래픽스, 모바일시스템 1856