Journal of the Korea Academia-Industrial cooperation Society Vol. 16, No. 12 pp. 8563-8567, 2015 http://dx.doi.org/10.5762/kais.2015.16.12.8563 ISSN 1975-4701 / eissn 2288-4688 동작포착및매핑시스템 : Kinect 기반인간 - 로봇상호작용플랫폼 윤중선 1* 1 부산대학교기계공학부 A Motion Capture and Mapping System: Kinect Based Human-Robot Interaction Platform Joongsun Yoon 1* 1 School of Mechanical Engineering, Pusan National University 요약본동작포착및매핑기반의인간- 로봇상호작용플랫폼을제안한다. 사람의동작을포착하고포착된동작에서운동을계획하고기기를작동하게하는포착, 처리, 실행을수행하는플랫폼의설계, 운용및구현과정을소개한다. 제안된플랫폼의구현사례로신뢰성과성능이뛰어난 Kinect 기반포착기, 처리기에구현된상호작용사이버아바타로봇과처리기를통한물리로봇제어가기술되었다. 제안된플랫폼과구현사례는동작포착및매핑기반의새로운기기제어작동방식의실현방법으로기대된다. Abstract We propose a human-robot interaction(hri) platform based on motion capture and mapping. Platform consists of capture, processing/mapping, and action parts. A motion capture sensor, computer, and avatar and/or physical robots are selected as capture, processing/mapping, and action part(s), respectively. Case studies-an interactive presentation and LEGO robot car are presented to show the design and implementation process of Kinect based HRI platform. Keywords : Motion Capture and Mapping, Human-Robot Interaction(HRI), HRI Platform, Kinect 1. 서론 기술한다 [3,5]. 인체의움직임은오랜경험 (evolution) 에서살아남아최적인본능적지능 (motion intelligence) 의모습을보여준다. 이러한사람의움직임을로봇과같은기계의운동에상호작용으로조화롭게참가시키면 (intelligent interaction) 복잡한움직임을유연하고쉽게재현해낼수있을것이다 [1]. 마이크로소프트의운동감지입력장치인 Kinect[6] 기반의동작포착및매핑시스템을제안한다. 동작포착및매핑 (motion capture and mapping) 에기초한인간-로봇상호작용 (Human-Robot Interaction, HRI) 플랫폼의주요개념을모색하고구성방식을제시하며적용사례를 2. 인간-로봇상호작용플랫폼 2.1 동작포착및매핑사람의손, 팔, 관절, 머리와어깨등접촉 / 비접촉움직임의특징을잡아서기록하고보여주고재현하는운동포착및재현시스템은센서로운동을잡는부분 (motion capture), 포착된운동정보를다듬어운동을계획하는부분 (motion map), 운동을재현또는제어하는부분 (motion mimic/control) 으로이루어진다. 시스템의구조는 Fig. 1과같다 [1]. * Corresponding Author : Joongsun Yoon (Pusan National Univ.) Tel: +82-51-510-2456 email: jsyoon@pnu.edu Received October 5, 2015 Revised November 16, 2015 Accepted December 4, 2015 Published December 31, 2015 8563
한국산학기술학회논문지제 16 권제 12 호, 2015 Table 1. Motion capture classification Type Measuring principles Advantages & disadvantages Devices Mechanical Electro-magnetic Optical Acoustic Inertial Rotation between rigid linkage: Potentiometer/Optical encoder (arm-type tracking devices) Force on a measuring device: Strain gauge (force-sensing joystick) 3 orthogonal coils Transmitter/Receiver AC or DC magnetic fields Lasers IR LEDs Image-based video (cameras): Photodiodes Emitter/Receiver Time-Of-Flight(TOF): Distance Pose computation Phase coherency: Difference Position changes Gyroscope: Changes in rotation Solid-state: Piezoelectric Latency (< 2 ms) Insensitive to environments Low cost Small working volume Weariness Ease of use & small size Limited but expandable working volume EMI/metal interference Latency (100 ms) Large working volume Line-of-sight (limited range) Fatigue (heavy) Low cost Speed of sound sensitive to environments Reflection Ghost pulses No receiver/transmitter Difficulty to interface Drift Temperature compensation Animatton Jacket Spaceball Magellan-3D GLOBAL ADL-1 BOOM Polhemus Trak(AC) Ascension Bird(DC) RtPM UNC headtracker InterSense Logitech6D mouse SAC GP-8-3D GyroEngine GyroStar ENC-05S Futaba 석및계획프로그램의도움을받아생성된움직임을자료화하여저장하고, 이러한움직임의데이터베이스 (database) 는운동을자동생성할때필요한정보로제공된다. 자료화 (database) 된운동정보는직접적이거나간접적인매핑을통해움직임의패턴분류 (pattern classification), 움직임의최적화 (optimized motion), 운 Fig. 1. A motion capture and mapping system 동의분석및재현에쓰인다 [1,3]. 운동을포착하는부분은센서를써서사람몸의접촉 / 비접촉움직임의특징을잡아서기록한다. 움직임은접촉 (haptic) 센서, 전자기코일로이루어진자기장 (magnetic field) 감지센서, CCD 카메라와같은시각 (visual) 센서, gyro와같은관성 (inertial) 센서, 음향 (acoustic/ultrasonic) 센서, 적외선 (infrared) 센서, 전위차계 (potentiometer) 와같은기계적 (mechanical) 센서등으로포착된다. 운동포착기법의분류는 Table.1과같다 [3]. 운동을계획하는부분은포착된운동정보의자료화, 패턴분류, 분석및자동생성등을수행한다. 포착된사람의움직임을로봇과같은물체의움직임으로바꾸려면사람과물체사이의움직임관계 (mapping) 를잘따져야한다. 움직임의데이터베이스 (database) 는인체동작분 2.2 인간-로봇상호작용플랫폼인간과로봇상호작용 (Human-Robot Interaction, HRI) 은로봇과인간의상호작용을연구하는분야이다. 기본적으로인간과컴퓨터상호작용 (Human-Computer Interaction, HCI), 인공지능, 로봇공학, 자연어처리학과사회학을기반으로발전된분야이다. 로봇과인간의상호작용을연구하는최신첨단로봇기술이다. 인간이로봇에접근하면로봇이사람의의도를추정하여서로상호작용하면서재미와친밀감을느낄수있는융합기술로인간과컴퓨터상호작용 (HCI), 햅틱 (Haptic), 인공지능, 장치지능화로발전되고있으며, 사람과로봇이더불어살아가는 "1인 1로봇시대 " 의핵심기술이다 [7]. 컴퓨팅플랫폼 (computing platform) 은소프트웨어가구동가능한하드웨어아키텍처나소프트웨어프레임워 8564
동작포착및매핑시스템 : Kinect 기반인간 - 로봇상호작용플랫폼 크 ( 응용프로그램프레임워크를포함하는 ) 의종류를설명한다. 일반적으로플랫폼은컴퓨터의아키텍처, 운영체제 (OS), 프로그램언어, 그리고관련런타임라이브러리또는 GUI를포함한다. 플랫폼은소프트웨어응용프로그램들을돌리는데쓰이는하드웨어와소프트웨어의결합이다. 플랫폼은하나의운영체제또는컴퓨터아키텍처라고단순히말할수있으며그두가지를통칭해서말할수도있다 [8]. 인간-로봇상호작용 [7] 을구현하는컴퓨팅플랫폼 [8] 의주요개념은 Fig. 2와같다 [1,3,5]. 나는적외선왼쪽에다른셋은깊이카메라오른쪽에같은간격으로배치되어있다. Kinect 기반인간-로봇상호작용플랫폼의구성은 Fig. 3과같다. 인간의의도를동작과음성으로잡는 Kinect 포착 (capture) 부, PC에서통합하는처리 (processing) 부, 다양한로봇으로실현하는매핑 (mapping) 부로요약할수있다 [4,5,11]. Fig. 3. Kinect based HRI platform Fig. 2. Human-robot interaction(hri) platform 2.3 Kinect 기반인간-로봇상호작용플랫폼 Kinect[6] 는마이크로소프트의 Xbox 비디오게임기와윈도우기반의 PC를위한운동감지입력장치이다. 사용자들이제스처와구어명령어 (spoken commands) 로게임제어기필요없이게임콘솔이나 PC를제어하고상호작용하게해준다 [9,10]. Kinect 케이스는적외선프로젝터와, 2대의카메라, 4 대의마이크와부채를포함한다. Kinect 장치는전신 (full-body) 3차원운동포착, 얼굴인식, 음성인식기능을제공하는, 독점소프트웨어 (proprietary software) 로작동하는 RGB 카메라, 깊이센서, 다중행렬의 (multi-array) 마이크를특징으로한다 (feature). 컬러카메라는 1200*960 최대해상도를지원하고깊이카메라는 640*480 최대해법을지원한다. Kinect 아래에있는마이크행렬은 4개의다른마이크로구성되어있다. 하 신뢰성과성능이뛰어난 Kinect 포착부지만신뢰성과성능을제대로발휘하기위하여 Kinect 응용구현의프로그래밍의폐쇄성과난이도때문에일반개발자에게여전히어려움이있다. Kinect 프로그래밍의어려움을극복하기위하여는 Kinect의개방성에기여한바큰개발자환경을참조할수있다. 구현부는개발이수월해지는오픈시스템이계속개발되고있으므로이부분의구현은매우수월해지고있다 [5,12]. Kinect 프로그래밍환경은마이크로소프트에서개발한윈도기반응용에사용자접속장치를렌더링 ( 컴퓨터프로그램을이용하여 2 차원또는 3 차원모델로부터이미지를만드는법 ) 하기위한컴퓨터소프트웨어그래픽시스템인 Windows Presentation Foundation(WPF) 에기초하고있다. WPF 응용을개발하기위한도구로 Visual Studio나.NET Micro Framework를사용한다 [4,11,13]. 3. 사례 Kinect 기반인간-로봇상호작용플랫폼을다양한로봇으로실현하는사례들이소개되고있다 [14]. 제시하는사례들은매핑 (mapping) 부의체계적다양성을위하여 PC 위도우환경에서돌아가는프로그램을상호작용으로 8565
한국산학기술학회논문지제 16 권제 12 호, 2015 시연하는응용, 영상으로만든아바타로봇과의상호작용을체험하는응용, 물리적로봇인 LEGO 차의제어응용을구현하였다. Kinect SDK는 Console application, WPF application, Windows Forms application 세종류의 application 개발환경을제공하고언어로는 C#, Visual Basic, C++ 를사용할수있다 [2,5]. 의대응로봇으로상호작용하는체험을제공한다. 이스케치는로봇박물관을위하여제안되었고필요에의해다양한형태의구현이가능하다 [2,5]. 3.1 상호작용시연첫사례는 Fig.4와같이기본제스쳐인식으로 Powerpoint를제어하는것이다. Kinect는한사용자당최대 20개의관절을인식할수있다. 사례에서는머리, 오른손, 왼손, 오른발, 왼발다섯가지의관절을사용한다. 머리, 양손, 양발의관절을인식하고인식한부위를점으로나타내어그점사이의거리비교를하여동작한다. 오른손의 X좌표 ( 왼쪽과오른쪽 ) 가머리의 X좌표보다 0.45만큼클때키보드의오른쪽방향키를입력시키고왼손의경우왼쪽방향키를입력시킨다. 여러동작을동시에택했을때위도우에보내는명령이혼선을일으키는것을방지하기위하여동작을한번택하고나면상태인식을바꿔준다. Powerpoint 각슬라이드를오른손을움직여다음슬라이드로이동시키고왼손을움직이면이전슬라이드로이동시킨다. 크기를크게작게조절하는응용도구현하여수업시간에 Powerpoint 시연하는데사용하였다. 이응용은 PC의위도우기반다양한응용에적용될수있다 [4,5,11,12]. Fig. 5. Interactive experience 3.3 물리로봇 LEGO 로봇차제어세번째사례는 Fig.6과같이작동자의제스쳐명령으로물리적로봇을제어하는것이다. 물리적로봇의예로 LEGO Mindstorm 로봇을선택하였다. LEGO Mindstorm 로봇으로자동차를구성하고손을왼쪽으로향하면차는죄회전을, 손을오른쪽으로향하면차는우회전을한다. 손을주먹쥐거나펴면차는전진과중지를수행하도록하는네가지의운전모드를설정하였다. Fig. 6. LEGO robot car control Fig. 4. Interactive presentation 3.2 아바타의상호작용체험두번째사례의스케치는 Fig.5와같이박물관같은공공장소의방문객들에게흥미로운체험을제공해준다. 방문객의동선이나제스쳐를감지하여아바타로봇이미지를벽에비추고마음에드는로봇을둘고르게한다. 하나의로봇은방문객을대신하고또다른로봇은별개 LEGO Mindstorm 로봇자동차는구성하기쉽고프로그램하기도쉽다. 처음사용된 LEGO Mindstorm 로봇 Version 1의프로그램은그래픽프로그램 NXT 환경하에서가능하다. LEGO Mindstorm 로봇의 NXT 개발환경은이환경하에서전용기로서의개발은쉬우나 Kinect와처리기에서통합하기에는 NXT의폐쇄성의문제를노출한다. 개발이끝나고개방형인 Version2가출시되었지만 Version1의개발을유지하지못하는문제가있다 [5,15]. 8566
동작포착및매핑시스템 : Kinect 기반인간 - 로봇상호작용플랫폼 4. 결론 동작포착및매핑기반의인간-로봇상호작용플랫폼을제안한다. 제안된플랫폼의구현사례로신뢰성과성능이뛰어난 Kinect 기반포착기와 PC처리기에구현된윈도우환경에서돌아가는프로그램의상호작용시연과사이버아바타로봇과의상호작용체험그리고물리로봇의제어가기술되었다. 제안된플랫폼과구현사례는동작포착및매핑기반의새로운기기제어작동방식과상호작용의실현방법으로기대된다. 신뢰성과성능의뛰어남에도불구하고 Kinect 프로그래밍의폐쇄성과프로그래밍환경개발의문제그리고오픈시스템아닐경우 PC와의연결문제와동시에다수의매핑의어려움으로통합개발의어려움이있다. 오픈시스템의보편화로이어려움은극복되고있어다양한인간-로봇상호작용분야의플랫폼으로의폭넓고다양한방법론으로의기대가크다. References [1] J. Yoon, "A Motion Capture and Mimic System for Intelligent Interactions", Journal of Control, Automation and Systems Engineering, pp.585-592, July 1999. [2] J. Yoon, "A Robot Museum Rosieum ", Journal of the Korean Academia-Industrial Cooperation Society, pp. 1236-1240, March 2014. DOI: http://dx.doi.org/10.5762/kais.2014.15.3.1236 [3] Yoon J. Mom(Körperlichkeit) and Interactive Technology, ASTA Project 1, Gallery Fusion, Mar., 9, 2000. [4] Webb J., Ashley J. Beginning Kinect Programming With the Microsoft Kinect Sdk, Apress:Springer-Verlag, 2012. DOI: http://dx.doi.org/10.1007/978-1-4302-4105-8 [5] Yoon J. Kinect based HRI Platform, Pusan National University, 2012. [6] Wikipedia. Kinect, Available From: en.wikipedia.org/ wiki/kinect. (accessed Dec., 1, 2011) [7] Wikipedia. HRI, Available From: en.wikipedia.org/wiki /Human_robot_interaction. (accessed Dec., 1, 2011) [8] Wikipedia. Computing Platform en.wikipedia.org/wiki /Computing_platform. (accessed Dec., 1, 2011) [9] Microsoft. Kinect for Xbox 360, Available From: www.xbox.com/en-us/kinect. (accessed Oct., 1, 2010) [10] Wikipedia. 윈도우용키넥트, Available From: ko.wikipedia.org/wiki/%ed%82%a4%eb%84%a5%ed %8A%B8. (accessed Mar., 4, 2012) [11] Microsoft. Kinect SDK, Available From: research.microsoft.com/en-us/news/features/kinectforwind owssdk-022111.aspx. (accessed Feb., 21, 2011) [12] MSDN. Kinect Developer Community, Available From: channel9.msdn.com/coding4fun/kinect. (accessed Dec., 1, 2011) [13] Wikipedia. Rendering, Available From: en.wikipedia.org/ wiki/rendering_(computer_graphics). (accessed Jul., 30, 2013) [14] IEEE Spectrum. Top 10 Robotic Kinect Hacks, Available From: spectrum.ieee.org/automaton/robotics/ diy/top-10- robotic-kinect-hacks. (accessed Mar., 7, 2011) [15] IEEE Spectrum. LEGO Announces Mindstorms EV3 A More Hackable Robotics Kit, Available From: spectrum.ieee.org/automaton/robotics/diy/lego-announces -mindstorms-ev3-a-more-hackable-robotics-kit. (accessed Jan., 7, 2013) 윤중선 (Joongsun Yoon) [ 정회원 ] 1981 년 2 월 : 서울대학교기계설계학과 ( 공학사 ) 1983 년 2 월 : 서울대학교기계설계학과 ( 공학석사 ) 1988 년 10 월 : LEHIGH 대학교기계공학과 ( 공학박사 ) 1989 년 8 월 ~ 1991 년 7 월 : 삼성전자선임연구원 1991 년 7 월 ~ 1993 년 7 월 : 금오공과대학교정밀공학과교수 1993 년 7 월 ~ 현재 : 부산대학교기계공학부교수 < 관심분야 > 로봇공학, 인터액티브테크놀로지, 소프트공학, HCI 8567