Leap Motion을 활용한 학습 환경에서의 제스처 인식 인터페이스

Leap Motion 을활용한학습환경에서의제스처인식인터페이스 Gesture based Interface for learning environment by using Leap Motion 구본창 Bonchang Koo 성균관대휴먼 ICT 융합학과 Dept. of Human ICT Convergence, Sungkyunkwan Univ. bubblek@skku.edu 김준호 Joonho Kim 성균관대휴먼 ICT 융합학과 Dept. of Human ICT Convergence, Sungkyunkwan Univ. manename@skku.edu 조준동 Jundong Cho 성균관대휴먼 ICT 융합학과 Dept. of Human ICT Convergence, Sungkyunkwan Univ. jdcho@skku.edu 요약문 자연스러운사용자조작환경이라고할수있는 NUI(Natural User Interface) 는마우스나키보드와같은간접적인입력장치를이용하지않고센서를이용하여신체를바로입력장치로사용한다. 이러한이유로 NUI 는 CLI(Command Line Interface) 나 GUI(Graphic User Interface) 에비해손쉽게사용할수있다는특징을갖는다. NUI 의영역에는 Voice Interface, Sensory Interface, Touch Interface, Gesture Interface 등이있다. NUI 의요소기술중제스처인식사용자인터페이스는 NUI 의다른사용자인터페이스에비해보다직관적이고간단하다. 본논문에서는손동작을 3D 형태로캡쳐하여분석후애플리케이션에서모션컨트롤을수행할수있는장치인 Leap Motion 을이용하여새로운제스처인식인터페이스모델을제안한다. Leap Motion 을이용하여연필이나펜의심부분을트랙킹하는것이본연구의핵심이다. 사용자가연필이나펜을가지고정해진제스처를취하면원하는기능이바로수행된다. 키보드, 마우스및필기구를동시에이용하는학습환경에서세가지입력장치를번갈아가며사용하는경우사용자의집중력을흐트러뜨리기쉽다. 본논문에서제안하는제스처인식인터페이스는데스크톱컴퓨팅환경에서최소의입력장치로사용자의작업효율을극대화한다. ABSTRACT NUI(Natural User Interface) which means a natural user manipulation environment uses body as an input device by using a sensor, without using an input device such as a mouse or a keyboard. For these reasons, it has a feature that can be used easily as compared to CLI or GUI. There are Voice Interface, Sensory Interface, Touch Interface, and Gesture Interface in the field of NUI. Compared to other technologies of NUI, gesture based user interface of NUI is more simple and intuitive. In this paper, we propose new gesture based interface model using Leap Motion. The point of this study is that the core part of the pencil or pen tracking using Leap Motion. If user make a defined gesture with a pencil or pen, a desired function is executed immediately. If user is using combined input devices, such as keyboard, mouse and writing materials, for learning environment, it can disturb concentration of user. This paper propose an action recognition based interface for desktop computing environment using leap motion which can improve user's work efficiency. 주제어 Human-Computer Interaction, Natural User Interface, Gesture Interface, Leap Motion 1. 서론 데스크톱컴퓨팅환경에서가장대표적인입력장치로는키보드와마우스가있다. 키보드는명령어기반인 CLI 환경에서컴퓨터를조작하기위한수단이었으며, 이후 CLI 에서발전하여시각적인부분을컴퓨터에도입한 GUI 환경이보급되면서마우스가새로운입력장치로자리를잡게되었다. 그런데최근들어 CLI, GUI 를거쳐새로운사용자인터페이스인 NUI(Natural User Interface) 가대두되고있다. 기존터치나제스처인터랙션등을모두포함한광범위한용어로, 키보드나마우스와같은간접적인입력장치를사용하지않고사람들의자연스러운행동을인터페이스로활용한다는측면에서 Natural 이라는단어를사용한다. NUI 는사용자가대화, 행동, 감각, 인지등의능력을통해디바이스와

직접상호작용할수있는인터페이스기술로정의할수있다. NUI 의영역에는 Voice Interface, Sensory Interface, Touch Interface, Gesture Interface 등이있다. 이러한 NUI 요소기술중 Gesture Interface 는사용자의움직임을센서또는카메라로분석하여사용자의의도를시스템이이해하고반응하는기술이라고할수있다. Gesture Interface 의작동절차는다음과같다. 먼저사용자의움직임을 3D 형태로캡쳐하여인식한다. 그후에사용자가어떤명령을의도했는지파악하여그결과를애플리케이션에전달하면애플리케이션에서이를바탕으로명령을수행하게된다. 한편, 손동작을인식하기위한 Gesture interface 는고감도센서를필요로한다. 대표적인디바이스로는 Kinect 와 Leap Motion 이있다. 첫번째, MicroSoft 사의 Console 게임기 XBOX360 을위한동작인식기기인 Kinect 가있다. Kinect 는모션센서를사용하여몸전체의동작을추적한다. 신체전반에걸친데이터를캡쳐하여움직임에대한 depth 를바탕으로사용자의의도를파악하고애플리케이션에적용시킨다. 두번째, Leap Motion 사가개발한디바이스로손동작을 3D 로캡쳐하여분석후애플리케이션에서모션컨트롤을수행할수있는 Leap Motion 이있다. Leap Motion 은 Kinect 와비슷한원리를이용하였지만 Kinect 보다감도가 200 배정도높으며수치로는약 100 분의 1 밀리미터의움직임도감지가능하다. 센서앞의 150 도반경내에서약 8ft 3 의공간을 290FPS 로인식할수있다. 본논문에서는손동작을인식하기위한고감도의센서를갖춘 Leap Motion 을활용하여새로운제스처인터페이스를제안하고자한다. Motion 을이용한 Gesture Interface 를 JAVA 를이용하여구현하였다. 2.1 Mode Selection Leap Motion 을이용하면앞서언급했다시피손뿐만아니라도구의제스처를인식하여방향과위치등의정보를얻을수있다. 또한, 장치의시야범위안에서오로지도구만을추적하는기능도제공하고있어 Tool API 를이용하여도구제스처정보를보다정확하게제공받을수있다. Tool API 는손에쥔연필과같은도구를 Leap Motion 에서인식할수있게한다. 본연구에서중요한개념은 Tool API 를사용하여연필이나펜의심부분을트랙킹하여제스처를인식한다는것이다. 그림 1 은본연구의기본개념을도식화한그림이다. X-Z 좌표평면에서 Z- 방향으로연필의심을이동하여 Z 축과연필의장축이평행하게되면 Computer Control Mode 가실행된다. 그리고 X- 방향으로연필의심을이동하여 X 축과연필의장축이평행하게되면 Media Control Mode 가실행된다. 마찬가지로 Z+ 방향으로연필의심을이동하여 Z 축과연필의장축이평행하게되면 Customizing Mode 가실행된다. 2. 립모션을활용한제스쳐인터페이스제안 Leap Motion 을이용하여제스처인터페이스를구성할경우다양한장점이있다. 첫번째, 기존의마우스를통한섬세한조작과터치스크린방식의편리한조작을함께수행할수있다. 두번째, Kinect 에비하여좁은범위를인식하지만넓은범위인식으로인하여오차가발생하는문제점을줄일수있어서정확한컨트롤이가능하다. 세번째, 복잡한 3D 데이터를시각화하여조작함으로써 3D 모델링이손쉽게가능하다. Leap Motion 은손이나도구를이용한제스처를인식하여위치나속도, 각도등의정보를 Frame 단위로제공한다. 또한, Leap Motion 은 Circle, Swipe, Key Tap, Screen Tap 과같은네가지의정해진제스처에대하여 API 를제공한다. 본연구에서는 Leap 그림 1 Basic Concept 각모드에대한자세한설명은다음과같다. 먼저, 연필심을 Z- 방향으로움직여연필의장축이 Z 축과평행한상태가되어 Computer Contol Mode 가실행되면, 그림 2 에서보는것과같이연필을움직여컴퓨터를조작할수있게된다. 다시말해, 연필의심이컴퓨터디스플레이상의마우스커서의역할을하며 Move, Click, Scroll 등의기능을수행할수있다. Move 기능은연필심을이동함으로써수행되고, Click 기능은스크린을터치하듯이연필심을모니터방향으로살짝가져다대면수행된다. 그리고 Scroll

기능은 Leap Motion API 중원을그리는제스처를인식하는 Circle API 를활용하여수행된다. 연필을가지고허공에원을그리면 Scroll 을조작할수있는상태가활성화되고위아래방향으로 Swipe 하여 Scroll 을내리거나올리고다시한번원을그리면 Scroll 을조작할수있는상태가비활성화된다. 그다음으로연필심을 X- 방향으로움직여연필의장축이 X 축과평행한상태가되어 Media Control Mode 가실행되면, 그림 3 에서보는것과같이연필을이용하여사용자가컴퓨터상에서재생되고있는미디어를조작할수있게된다. 연필의장축이 X 축과평행한상태에서는재생, 정지, 되감기, 빨리감기등의기능을수행할수있는 Pop-up 메뉴가나타나게되며, 그상태에서연필심을살짝위, 아래, 오른쪽, 왼쪽방향으로이동하면선택한방향에따른 Media Control 기능이실행된다. 마지막으로그림 4 는 Customizing Mode 를나타낸다. Customizing Mode 란사용자가미리설정해놓은 Action 을수행할수있는 Mode 이다. 연필의심을 Z+ 방향으로이동하면 Media Control Mode 와마찬가지로 Pop-up 메뉴가나타나게된다. 사용자가선택한 Action 을취하게된다. 2.2 Media Control Mode 앞서언급한 Computer Control Mode, Media Control Mode, Customizing Mode 중데스크톱을사용하는학습환경하에서가장적절한 Mode 인 Media Control Mode 에대해좀더살펴볼것이다. 손에쥔연필을이용하여 Media Control Mode 가실행되면사용자는 Context 기반의인터랙션을할수있다. 이는 Visual Feedback 의형태로구현된다. 다시말해, 손에쥔연필로인해발생하는이벤트를감지하고, 이벤트에해당하는 Pop-up 메뉴를띄워원하는기능을실행하는것이다. 이처럼사용자는연필을통해 Windows Media Player 를조작하게되는데, 그작동방법및원리는그림 5, 그림 6, 그림 7 과같이단계별로간단하게설명할수있다. Step 1 사용자가 X- 축방향으로연필심을이동한다. Step 2 연필의장축이 X 축과평행한상태가되면 Media Control 메뉴화면이실행된다. Step 3 연필의심을상하좌우방향으로이동하면각방향에해당하는기능을실행할수있다. 예를들어연필의심을아래방향으로향하게하면 Stop 기능이실행된다. 그림 2 Computer Control Mode 그림 3 Media Control Mode 그림 4 Customizing Mode

3. 실험및결과 본연구에서고안한기본아이디어를기반으로제스처인터페이스를구현하였다. 앞서제안한 Media Control Mode 에서각제스처에대한성능을평가하기위하여 Initialization, Play, Stop, Fast Forward, Rewind 등 5 가지패턴에대한인식률을측정하여표 1 에결과값을나타내었다. Initialization 에대한인식률이 92% 로가장높았다. Rewind, Fast Forward 에대한인식률은각각 79%, 78% 로다른패턴에비해인식률이낮게나오는것을확인할수있는데, 이는연필을잡고있는사용자의손가락이인식률에영향을미치는것이라판단된다. 그림 5 Media Control Mode Step 1 표 1 각패턴에대한인식률 Posture Performance (%) Initialization 92 % Play 85 % Stop 87 % Rewind 79 % Fast Forward 78 % 그림 6 Media Control Mode Step 2 또한, 컴퓨터및마우스를이용하는일반적인학습환경에서의 Task 와본연구에서제안한 Leap Motion 을활용하여구현된 Natural User Interface 를이용하는학습환경 Task 를설계하여각 Task 의 Performance 를비교하는사용성평가실험을진행하였다. 피험자에게주어진 Task 는인터넷강의동영상을시청하는도중잠깐동영상을멈추었다가이내다시재생하는것이다. 해당사용성평가실험은다음과같은조건하에서진행되었다. 표 2 사용성평가실험조건 그림 7 Media Control Mode Step 3 평가기간평가대상평가범위평가인원 2014 년 5 월 30 일 ~ 2014 년 6 월 11 일 20 대중, 후반남녀 TASK 수행속도측정, TASK 수행후인터뷰 15 명

표 3 Task 수행속도측정결과 피험자 마우스이용 TASK 수행 Leap Motion 이용 TASK 수행 총수행시간 ( 초 ) 총수행시간 ( 초 ) A.1 4.64 2.01 A.2 5.47 2.97 A.3 5.38 3.39 A.4 5.26 2.41 A.5 5.44 2.72 A.6 6.15 3.57 A.7 4.17 3.24 그림 8 Mouse 를사용하는학습환경 Task A.8 5.87 3.52 A.9 6.02 3.39 A.10 4.98 2.88 A.11 5.61 2.29 A.12 4.85 2.76 A.13 5.09 3.45 A.14 6.28 3.03 A.15 5.67 2.41 평균 5.39 2.94 표준편차 0.56 0.48 일률 0.19 0.34 표 3 Task 수행속도측정결과를보면마우스를이용하는 Task 수행의일률은 0.19 이고, Leap Motion 을이용하는 Task 수행의일률은 0.34 로측정된것을확인할수있다. 이는 Leap Motion 을이용한 Task 가마우스를이용하는 Task 에비해약 1.78 배높은 Task 수행속도를보인다는것을의미한다. 그리고사용성평가실험에서피험자들은 Task 수행후인터뷰에서 Leap Motion 을활용하여구현된 NUI 에대해다소낯설기는하지만대체로편리하다는의견을보였다. 그림 9 Leap Motion 을활용하여구현된 NUI 를이용하는학습환경 Task

표 4 Task 수행후인터뷰 참고문헌 피험자 A.4 사용성평가후인터뷰내용 펜을든상태로바로정지할수있어서편하다. [1] 박기창, 서성채, 정승문, 강임철, 김병기, GUI 어플리케이션제어를위한제스처인터페이스모델설계, 한국콘텐츠학회논문지, 제 13 권, 제 1 호, pp.55-63, 2013. A.7 다소낯설었지만, 적응되면더편할것같다. A.8 A.11 A.14 한두차례오류가발생했지만, 결과적으로사용성이좋다. 다양한제스처를활용한기능추가가있었으면좋겠다. 설정된제스처가불편하다. 제스처설정도사용자가할수있었으면좋겠다. [2] 이상수, 이건표, 내츄럴유저인터페이스디자인모델, 한국 HCI 학회논문지, pp.962-965, 2011. [3] 임창주, 정윤근, 동작인식기반내츄럴유저인터페이스에대한사용성평가, 한국재활복지공학회논문지, pp.183-187, 2013. [4] Kinect for Windows home page, http://www.microsoft. com /en-us/kinectforwindows [5] Leap Motion home page, http://www.leapmotion.com/ 4. 결론 키보드, 마우스및필기구를동시에이용하는학습환경에서세가지입력장치를번갈아가며사용하는경우사용자의집중력을흐트러뜨리기쉽다. 이러한문제점을해결하고자본논문에서는손에잡고있는연필을 Leap Motion 을통해트랙킹하여제스처를인식하는사용자인터페이스를제안하였다. 해당사용자인터페이스를구현하여마우스를이용하는기존의방식과비교하는실험을수행하였다. 실험을통해데스크톱컴퓨팅환경에서최소의입력장치로작업능률을향상시키는결과를얻을수있었다. 제안된사용자인터페이스는기존의제스처인식기반사용자인터페이스와는달리사용자가적합한제스처를기억해내야하는부담이라든지추가적인제스처학습에대한부담이없어직관적이고간단하다는특징이있고, 자연스러운사용자 - 컴퓨터인터랙션를제공한다. 또한, 인터페이스를통해기존에사용자가애플리케이션에서사용하지못했던특정동작을유도해내어새로운사용자경험을제공해줄수있다. 본논문에서제안한제스처인터페이스를학습환경에서더나아가다양한분야에적용시킴으로써저비용으로효과적인사용자경험을제공해줄수있을것으로기대된다. 사사의글 이연구는 2014 년도산업통상자원부의 창의산업융합특성화인재양성사업 의지원을받아연구되었음.