" 닥치고동작 모션인식 2.0: 키넥트이후의모션인식기술 연세대학교미디어시스템연구실서종훈 / jonghoon.seo@msl.yonsei.ac.kr http://msl.yonsei.ac.kr i n d e x 1. 모션인식기술 1-1. 모션인식기술개요 1-2. 모션인식기술동향 2. Kinect 이후의모션인식기술들 2-1. LeapMotion 2-2. MYO 3. 차세대모션인식기술의방향 3-1. 더다양한인식 : Finger Gesture / Full DoF 인식기술 3-2. 더정밀한인식 : 고정밀인식 3-3. 더편리한인식 : NUI Platform 공개 3-4. 더다양한환경 : 인식환경의변화 4. 차세대모션기반 UX 미래전망
i n d e x 1. 모션인식기술 1-1. 모션인식기술개요 1-2. 모션인식기술동향 2. Kinect 이후의모션인식기술들 2-1. LeapMotion 2-2. MYO 3. 차세대모션인식기술의방향 3-1. 더다양한인식 : Finger Gesture / Full DoF 인식기술 3-2. 더정밀한인식 : 고정밀인식 3-3. 더편리한인식 : NUI Platform 공개 3-4. 더다양한환경 : 인식환경의변화 4. 차세대모션기반 UX 미래전망 모션인식기술 사용자신체의움직임을인식하여컴퓨터와상호작용하는기술 [1] http://www.invensense.com/mems/motioninterface.html [2] T. Ryu, J. Lee, J. Song, and M. H. Yun, Conditions of Applications, Situations and Functions Applicable to Gesture Interface, Journal of the Ergonomics Society of Korea, vol. 31, no. 4, pp. 507 513, 2012.
모션인식기술동향 현재의모션인식기술은신체골격을인식하여각관절의정보를이용하여상호작용한다. 이에따라원거리추적에적합하고이를이용한제스처인식기반상호작용을제공한다. Microsoft Kinect 사람의골격 (Skeleton) 정보를기반으로제스처기반상호작용제공. 각골격정보를원거리에서추적하므로정밀한인식성능은제공하지못함. 다양한포스처인식이불가능하였고 (1.7 버전부터지원 ), 손에대한추적 (Tracking) 과이를이용한상호작용제공. 모션인식기술동향 TV 의분야에있어서도원거리인식을타겟으로하기때문에손의추적이주목적이다. 선택과좌우 Swipe 등의간단한형태의제스처를인식한편리한인터렉션을제공한다. 스마트 TV 손을추적하여포인트를이동하고, 선택, 좌 / 우등의제스처인식가능 [1] http://en.wikipedia.org/wiki/touchscreen#.22gorilla_arm.22
모션인식기술동향 스마트폰의경우다양한센서를이용하여많은제스처기반상호작용을지원하는연구가계속되고있다. 최근에는 Hovering panel 을이용하여손가락을추적하는기술도제공된다. 스마트폰 좌 / 우스와이프 (Swipe) 기반제스처인식기능. 좌 / 우스와이프 (Swipe) 기반제스처인식기능. Hovering panel 을이용한근거리손가락추적기능. i n d e x 1. 모션인식기술 1-1. 모션인식기술개요 1-2. 모션인식기술동향 2. Kinect 이후의모션인식기술들 2-1. LeapMotion 2-2. MYO 3. 차세대모션인식기술의방향 3-1. 더다양한인식 : Finger Gesture / Full DoF 인식기술 3-2. 더정밀한인식 : 고정밀인식 3-3. 더편리한인식 : NUI Platform 공개 3-4. 더다양한환경 : 인식환경의변화 4. 차세대모션기반 UX 미래전망
Leap Motion Leap Motion 은저렴한가격으로도초고정밀해상력과빠른인식성능을제공하여큰반향을일으켰다. 기존의 TV 와같은대형제스처인식이아니라데스크톱과같은근거리환경을타켓하고이러한환경에서기존의인터페이스를대체하고특히 3D 환경을지원하기위하여개발되었다. Leap Motion은 $79.99의저렴한가격으로도 1/100 mm의정밀도로손가락과기타물체를인식할수있는입력장치이다. 기존의 TV와같은대형모션인식환경이아니라데스크톱과같은근거리환경을타겟으로개발되었다. 이러한환경에서기존의인터페이스를대체하고특히 3D in-air tracking 기술을지원한다. 기술개발의목적이 3D 모델링과같이기존의데스크톱인터페이스로수행이어려운작업을쉽게수행하여 Virtual Clay를 Molding 하는것과같은효과를얻기위하여개발되었기때문에정밀하고빠른인식성능을제공한다.[1] 현재 2013년도하반기부터 ASUS 의 high-end 노트북과 All in One PC에탑재되기로하였으며, HP의컴퓨터에도탑재하기로되었다. [1] http://www.engadget.com/2012/05/25/leap-motion-gesture-control-technology-hands-on/ [2] Leap Motion 홈페이지 : https://www.leapmotion.com/ Leap Motion 적외선 LED x 3 Leap Motion 은 2 개의 IR 카메라와 3 개의 IR LED 의조합으로이루어져저렴하게구현되었다. 하지만내부동작원리는특허관계로아직공개되지않고있다. 적외선카메라를위한광원. 양측면 LED 는약간가려져있어빛의반사를막고, 빛이조사되는영역도조정하여조명의오버랩을방지한다.[1] 고무시트 내부에서의빛의반사를차단하여내부조명으로인한간섭현상을최소화 [1] 적외선카메라 x 2 2 대의 CMOS 적외선인식모듈을적재하여깊이인식
Leap Motion Structured Light? Time-of-Flight? Stereo Vision? But, 경량화가능? [1] Unveiling The Technology Behind Leapmotion, http://blog.boulabiar.net/2012/07/unveiling-technology-behind-leapmotion.html [2] Leap Motion: Will it make you a magician or is it just handwaving?, http://www.extremetech.com/extreme/131159-leap-motion-will-it-make-you-a-magician-or-is-it-just-handwaving Leap Motion Light-field Photography? [1] Unveiling The Technology Behind Leapmotion, http://blog.boulabiar.net/2012/07/unveiling-technology-behind-leapmotion.html
Leap Motion Next Desktop Interface Mouse Control In-air Text Entry Leap Motion 의높은해상능력을활용하여마우스를대체하거나문자입력을지원하여기존의데스크탑인터페이스를어느정도대체할수있을것으로기대됨. Leap Motion Data Manipulation 투명디스플레이에서 3D 객체제어멀티디스플레이제어가상지도네비게이션 Leap Motion 의고정밀 3 차원인식성능과다양한포스처인식기능을활용하여 3 차원객체제어나네비게이션등으로의활용이기대됨.
Leap Motion Leap Motion Leap Motion 은기기위로손을뻗어사용해야하는방식이기때문에 Gorilla Arm Syndrome 이발생될가능성이있다. 또한, 적외선조명을사용하므로 Ambient Light 가존재하는야외에서는오차가발생하게된다. Gorilla Arm Syndrome Weak for Ambient Lights [1] Tim Carmody, Why Gorilla Arm Syndrome Rules Out Multitouch Notebook Displays, WIRED Gadget Lab., http://www.wired.com/gadgetlab/2010/10/gorilla-arm-multitouch/
myo MYO 는팔에착용하는암밴드형태의입력장치로근육의움직임을인식하여손가락과팔의 25 가지동작을인식한다. Mac 과 PC 뿐만아니라 ios 와안드로이드환경까지지원할계획으로다양한분야에활용될것을기대할수있다. MYO 는사용자의팔에착용하여사용하는암밴드 (Arm-band) 형태의입력장치로근육센서 (muscle sensor) 를이용하여근육의움직임을인식하고 6 축가속센서로팔의다양한움직임을인식한다. Mac 과 PC 를비롯하여 ios 와안드로이드환경까지지원할계획으로다양한분야에활용이기대된다. 현재 2014 년상반기출시를목표로사전구매예약을받고있으며, 사전구매가는 $159 에제공된다. myo [1] https://www.youtube.com/watch?v=owu9tfjjham
myo 기존의손추적 (Tracking) 기반의단순한상호작용에서발전되어, 다양한포스처 (Posture, Static Gesture) 인식을통한다양한상호작용을제공하며, 더나아가손의 Full DoF(Degree-of-Freedom) 를인식하여자연스러운상호작용제공하는방향으로진화한다. Rich Posture / Gesture myo 기존의손추적 (Tracking) 기반의단순한상호작용에서발전되어, 다양한포스처 (Posture, Static Gesture) 인식을통한다양한상호작용을제공하며, 더나아가손의 Full DoF(Degree-of-Freedom) 를인식하여자연스러운상호작용제공하는방향으로진화한다. Ambient Use High Precision
myo MYO 와가장유사한연구인 MSR 의 2010 년 CHI 논문. 암밴드에 10 개의센서를부착하고이파형을머신러닝으로학습하여제스처인식. 사용자군에따라정확도의차이가발생하는것을볼수있음. MYO 에서도이러한사용자에따른인식율차이를줄이는방법에대한보완이필요할것으로예상됨. [1] Chris Harrison, DesneyTan, and Dan Morris. 2010. Skinput: appropriating the body as an input surface. InProceedings of the SIGCHI Conference on Human Factors in Computing Systems(CHI '10). ACM, New York, NY, USA, 453-462. i n d e x 1. 모션인식기술 1-1. 모션인식기술개요 1-2. 모션인식기술동향 2. Kinect 이후의모션인식기술들 2-1. LeapMotion 2-2. MYO 3. 차세대모션인식기술의방향 3-1. 더다양한인식 : Finger Gesture / Full DoF 인식기술 3-2. 더정밀한인식 : 고정밀인식 3-3. 더편리한인식 : NUI Platform 공개 3-4. 더다양한환경 : 인식환경의변화 4. 차세대모션기반 UX 미래전망
more rich 기존의손추적 (Tracking) 기반의단순한상호작용에서발전되어, 다양한포스처 (Posture, Static Gesture) 인식을통한다양한상호작용을제공하며, 더나아가손의 Full DoF(Degree-of-Freedom) 를인식하여자연스러운상호작용제공하는방향으로진화한다. Kinect for Windows SDK 1.7 부터 Interaction Stream 을제공하여 Grip 과 Push Interaction 인식을제공한다. SIGGRAPH 2009[1] 3Gear Systems 2013 3Gear Systems: MIT 에서연구되었던 Color Glove 기술을발전시켜 Bare Hand 에대한 Full DoF(Degree-of-Freedom) 인식기술개발 Antonis Argyros, et al.[2], FORTH, Greece [1] Robert Y. and Wang, Jovan Popović, "Real-Time Hand-Tracking with a Color Glove" ACM Transactions on Graphics 28(3), 2009. [2] I. Oikonomidis, N. Kyriazis and A.A. Argyros, Tracking the articulated motion of two strongly interacting hands, to appear in the Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2012, Rhode Island, USA, June 18-20, 2012.. more precise 모션인식기술을이용하여데스크탑환경을제어하기위하여좀더빠른인식속도를통하여고정밀인식성능을제공하는다양한기술들이개발되고있다. Leap Motion: 0.01 mm 정밀도인식가능 DUO: Code Laboratories 에서 KickStarter 를통해진행하는 DIY 3D 센서. 374 FPS 의높은속도로인식가능
more easy 다양한환경에서모션인식을제공하기위한다양한 NUI Platform 들이제공되고있으며, 지속적인업데이트를통하여계속적으로기능이추가되고있다. 다양한모션인식 SDK 제공되고있음 more easy 다양한환경에서모션인식을제공하기위한다양한 NUI Platform 들이제공되고있으며, 지속적인업데이트를통하여계속적으로기능이추가되고있다. License SoftKinetic iisu 3.6 free Intel Perceptual Computing Microsoft Kinect for Windows PrimseSense OpenNI/NITE Leap Motion commercial use X O O O O - short range features hands O O O O O O fingers O O X X O O face X O O O X X voice X O O O X X long range features full body O X O O X X scene management X X O O X X multi-user 4 limited to 1 after 3 months X 2 2 X X MYO
more various environments 기존의 TV 나 Desktop 환경을벗어나다양한환경에서모션인식을제공하기위한다양한기술들이개발되고있다. 1. Wearable Device MYO DIGITS [1] [1] Kim, David, et al. "Digits: freehand 3D interactions anywhere using a wrist-worn gloveless sensor." Proceedings of the 25th annual ACM symposium on User interface software and technology. ACM, 2012. more various environments 기존의 TV 나 Desktop 환경을벗어나다양한환경에서모션인식을제공하기위한다양한기술들이개발되고있다. 2. Portable Device PrimeSense: Capri 3D sensor at CES 2013 PMD: Camboard Pico
more various environments 기존의 TV 나 Desktop 환경을벗어나다양한환경에서모션인식을제공하기위한다양한기술들이개발되고있다. 3. Ambient Environment wisee SoundWave LightWave i n d e x 1. 모션인식기술 1-1. 모션인식기술개요 1-2. 모션인식기술동향 2. Kinect 이후의모션인식기술들 2-1. LeapMotion 2-2. MYO 3. 차세대모션인식기술의방향 3-1. 더다양한인식 : Finger Gesture / Full DoF 인식기술 3-2. 더정밀한인식 : 고정밀인식 3-3. 더편리한인식 : NUI Platform 공개 3-4. 더다양한환경 : 인식환경의변화 4. 차세대모션기반 UX 미래전망
모션인식기술간융합 다양한모션인식기술들이서로융합되어좀더편리한상호작용을제공하여야한다. 이를위하여모션인식기술융합시나리오가많이개발되어야하며, 이를효율적으로지원하기위한기술의개발이필요하다. Far-range Depth Camera Wearable Motion Sensor Short-range High Precision Sensor Oblong Greenhouse Short ver. Long ver. 멀티모달간융합 Input Modalities 현재사용자를중심으로다양한 Modal 방법들이연구, 발전되고있다. 모션인식기술은이러한다양한멀티모달기술간의융합을통하여좀더편리하고효율적인인터페이스를제공하여야한다. Output Modalities Motion Interface Smart Glass Skin Touch Projection AR Gaze Tracking Speech Recognition Smart Watch
NUI 융합플랫폼 이러한모션인식기술간, 또는멀티모달기술간의융합을손쉽게지원하기위하여이러한기술들을통합하여지원할수있는 NUI 융합플랫폼의연구가필요하다. 이러한플랫폼위에서융합시나리오를도출하고빠르게검증하는것이점차중요해질것이다. [1] http://msl.yonsei.ac.kr 사용성가이드라인마련 인간공학, 심리학, 산업공학측면에서모션인식기술에대한분석이필요하며, 이를통하여향후개발되는다양한모션인식기술들에대한사용성가이드라인이개발되어야한다. Kinect Gestural UI by J. Nielsen Inconsistent gestures Invisible commands Overlooked warnings Awkward dialog confirmations Leap Motion, MYO 등을위한사용성가이드라인개발의필요성 [1] Norman, D. A.,Natural User Interfaces Are Not Natural,Interactions, 17, No. 3 (May June) [2] Donald A. Norman and Jakob Nielsen. 2010. Gestural interfaces: a step backward in usability.interactions 17, 5 (September 2010), 46-49. [3] Nielsen, Jakob. "Kinect Gestural UI: First Impressions." Jakob Nielsen's Alertbox(2010).
결론 향후모션인식기술의방향 more rich more precise more easy more various environments 모션인식시대의 UX 발전방향 모션인식기술간융합시나리오도출 다양한멀티모달기술간융합시나리오도출 모션인식 UX 사용성가이드라인마련 모션인식 2.0: 키넥트이후의모션인식기술 연세대학교미디어시스템연구실 http://msl.yonsei.ac.kr
모션인식기술간융합 : Long 다양한모션인식기술들이서로융합되어좀더편리한상호작용을제공하여야한다. 이를위하여모션인식기술융합시나리오가많이개발되어야하며, 이를효율적으로지원하기위한기술의개발이필요하다. Go Back 모션인식기술간융합 : Short 다양한모션인식기술들이서로융합되어좀더편리한상호작용을제공하여야한다. 이를위하여모션인식기술융합시나리오가많이개발되어야하며, 이를효율적으로지원하기위한기술의개발이필요하다. Go Back