HRI 연구동향 : 작업수행을위한로봇사용자인터페이스를중심으로 김준형 김상현 박재흥서울대학교 1. 서론 1.1 HRI (Human-Robot Interaction) 의의미 최근로봇기술이빠르게발전함에따라단순반복작업이요구되는산업현장에서주로활용되던로봇들이인간과능동적으로교감할수있는형태로개발되면서인간이생활하는환경으로들어오고있다. 소프트뱅크의로봇페퍼 (Pepper) 를시작으로 MIT의지보 (JIBO) 와인텔의지미 (Jimmy) 같은로봇들이그예이다. 이렇듯인간과능동적으로교감할수있는로봇들이폭발적으로개발되고사회적인주목을받게되기시작하면서 소셜로봇 이라는새로운단어까지탄생했으며, 로봇에대한사람들의인식또한과거제조업현장에서사용되는산업용로봇의이미지로부터실생활에서인간과함께공존하는소셜로봇의이미지로변화해가고있다. 이렇게로봇이인간이생활하는환경으로들어오게되면서인간환경과로봇환경의구분이허물어지게되고로봇이인간과공존하는것이점점자연스러워지고있다. 그에따라인간, 로봇그리고각개체가서로영향을주는방식을연구하는학문인인간-로봇상호작용, HRI (Human-Robot Interaction) 가새롭게등장하였다 [1]. HRI는크게인간과로봇이물리적인상호작용을통한협업을할때안전성과제어및 planning 이슈들을연구하는 phri (physical Human-Robot Interaction) 과로봇이인간처럼소통하고능동적으로교감하는사회적인상호작용에대해연구하는 shri (social Human Robot-interaction) 으로나누어진다. 즉, HRI는사람과로봇이상호작용하는데있어로봇을제어측면에서단편적으로바라보는것이아니라로봇과의의사소통, 감정교환과같은사회적인부분까지복합적으로고려한다. 4
특집 IROS 2015_IROS 참가보고 : 수중로봇연구동향 다음장부터사람이로봇을이용하여원하는작업을수행 하기위해로봇에작업명령을주는방법과관련된현재까지 진행된연구들에대해알아보도록한다. 2. 관련연구 2.1 원격제어기 (Remote Controller) 사용 인간이원격제어기를사용하여로봇을제어하는것은가 [ 그림 1] HRI 의연구현황 (ICRA 기준 ) 1.2 HRI (Human-Robot Interaction) 연구현황 대표적으로 ICRA의경우 [ 그림 1] 과같이 ICRA 2015부터최근 3년간 HRI 관련논문들이꾸준히증가하는추세를보여왔다. ICRA 2015의경우총 5개의 Regular Session (Service Robotics, Human-Robot Interaction, Service Robots & HRI, Human-Robot Interaction and Performance Augmentation, Physical Human-Robot Interaction) 에서 41개의논문들이발표되었으며 ICRA 2016에는총 4개의 Regular Session (Human Factors and Social HRI, Physical Human- Robot Interaction, Human-Robot Interaction, Human Detection and Tracking) 에서 44개의논문들이발표되었다. 특히이번 ICRA 2017에서는총 8개의 Regular Session (Human- Robot Interaction 1, Human-Robot Interaction 2, Human- Robot Interaction 3, Physical Human-Robot Interaction, Human Factor 1, Human Factor 2, Social Robotics 1, Social Robotics 2) 에서 66개의논문들이발표되었다. 매년 HRI 논문의수가증가하는추세로로봇학계에서도 HRI의중요도가점차높아지고있음을알수있다. 이렇게 HRI 연구분야는다양하고, 많은세부연구분야들이있지만본고에서는사람이원하는작업을효과적으로수행하기위해인간이로봇에게작업명령을주는방법에대한연구를소개하고자한다. 장전통적으로로봇을제어하기위해사용되어져왔던방법이다. 사용자가스마트폰, 조이스틱, 키보드등의다양한원격제어기를이용하여직접작업수행시로봇의동작또는움직임을제어할수있다. 사용자가직접적으로로봇을원격으로제어하기때문에사용자가능동적으로불규칙한환경에서 High-level Decision을할수있다는장점이있다. 원격제어기를사용하여로봇을제어할때는작업시판단하고인식하는문제들을로봇스스로가아닌사람이대신하기때문에다른연구들에비해기술적인난이도가낮은편이다. University of Oklahoma 의 Amber M. Walker 등은사용자가스마트폰에내장되어있는가속도계와자이로스코프를이용하여스마트폰의기울기에따라 4륜구동로봇의움직임 (Forward, Backward, and Side to Side) 을제어하였다 [3]. 또한, University of Massachusetts Lowell의 Daniel J. Brooks 등은자율주행모바일로봇을제어할때일반적인 2DOF의햅틱조이스틱과다르게햅틱피드백을 3차원으로제공해주는 6 자유도의햅틱조이스틱을이용하여사용자와자율제어시스템이함께로봇의움직임을제어하는 [ 그림 2] 과같은제어방법 (Shared Autonomy) 을제안하였다 [4]. 조이스틱을이용한이전연구와는다르게해당논문에서제안 [ 그림 2] 햅틱피드백을이용한 Shared Autonomy 로봇과인간 5
하는제어방식은사용자가로봇과장애물사이의거리와같은현재로봇의시스템의상태를이해하도록하는데햅틱피드백을사용하여사용자가로봇시스템의상태를직관적으로이해할수있다. 2.2 사용자의생체신호사용 인간-로봇상호작용에서사용자의생체신호를이용하여로봇작업수행에명령을주는방법은로봇이사용자의움직이는모션을직접반영할수있다는장점을갖고있다. 이때이용하는생체신호로는주로근육의수축으로인해발생하는전기신호인근전도 (EMG) 와뇌가활동할때발생하는전기신호인뇌전도 (EEG) 신호가있다. 먼저, California Institute of Technology Pasadena 의 Christopher Assad 등은 [ 그림 3] 과같이 Bio Sleeve 라는팔뚝에착용하는착용형인터페이스 (Wearable Interface) 를 이용하여근육의근전도신호를측정한후작업수행을위해로봇손과메니퓰레이터를제어하였다 [5]. 특히, 본논문의알고리즘은측정된근전도신호뿐만아니라 Bio Sleeve 인터페이스의 IMU로부터얻은데이터도사용하기때문에, 근전도센서를통해얻은데이터만을이용하여동작을분류 (Classification) 하였을때보다높은정확도로동작의분류가가능하다. 또한, South China University of Technology의 Shuyuan 등은 [ 그림 4] 와같이사용자가눈을움직였을때발생하는뇌전도신호를측정하여외골격 (Exoskeleton) 로봇을제어하였다 [6]. 해당논문에서제안하고있는알고리즘은눈의움직임에해당하는뇌전도신호를해독 (Decoding), 특징추출 (Feature Extraction) 한다. 추출된특징을바탕으로외골격로봇의 fuzzy controller를구축하여외골격로봇의 coupled dynamics와 actuator 제약조건등을고려한움직임을생성하였다. 2.3 물리적접촉인터페이스 (Direct Physical Interface) 사람과사람사이에도한사람이물리적인접촉을가해다 른사람의작업수행시위치나자세를조정하여교시할수 [ 그림 3] Bio Sleeve 를이용한메니퓰레이터제어 [ 그림 4] EEG 를이용한 Visual based Control 있듯이로봇에게도물리적인접촉을통해로봇의움직임이나자세를변화시킴으로작업수행에필요한동작을교시할수있다. 이를물리적접촉인터페이스 (Direct Physical Interface) 라고한다. 물리적접촉인터페이스는인간과로봇이공존하여작업하는환경에서의작업수행에있어보다효율적이며안전한인터페이스이다 [6]. Universit e de Sherbrooke 의 Franc ois Ferland등은사용자가모바일로봇의유연한 (Compliant) 팔에물리적인접촉을통해로봇을제어할때, [ 그림 5] 와같이팔의위치변화와손목에가해진힘을측정하여조인트공간의임피던스제어방식으로모바일로봇의움직임을제어하였다 [7]. 사용자가물리적으로접촉하여로봇을안내할때민감도를높이기위 6
특집 IROS 2015_IROS 참가보고 : 수중로봇연구동향 [ 그림 5] 조인트공간의임피던스제어방식 [ 그림 6] DIARC 전체구성도 하여조인트공간의임피던스제어방식을사용하였으며실험을통하여게임패드를이용하여로봇을제어했을때보다직접교시를통한제어가작업수행에있어월등히효율적임을실험을통해증명하였다. 이와유사하게, Georgia Institute of Technology의 Tiffany L. Chen 등은사용자가모바일메니퓰레이터 (Manipulator) 의로봇팔에물리적인접촉을가했을때모바일메니퓰레이터가물리적인접촉에반응하여사용자를따라움직이거나로봇몸통을위아래로움직여팔위치를조절할수있도록로봇을제어하였다 [8]. 로봇팔조인트를토크방식으로제어함으로서사용자가팔을당길때매우유연하게움직이도록하였다. 특별히로봇이병원이라는공간에서간호보조 (Nursing Assistant) 용으로활용될때, 게임용패드를사용할때보다물리적접촉인터페이스를사용하였을때작업수행속도, 선호도, 작업부하면에서훨씬수월하다는것을실험을통해증명하였다. 2.4 언어적의사소통 (Verbal-Communication) 사람과사람사이에의사소통할때언어적의사소통을주로이용한다. 음성인식시스템 (Speech Recognition System) 이발전함에따라로봇이사람의음성명령을인식하여작업을로봇스스로가판단하여수행하는방식의인터페이스에대한연구가되고있다. IIT의 Shilpi Dwived 등은 Hidden Markov Model (HMM) 를이용한음성인식체계를구축하여사람의말을인식한후로봇이목적지까지보행을수행하는실험을수행하였다 [9]. 하지만, 복잡한수준의말들은로봇이인식할수없으며특정걷는행동만구현이가능한한계가존재한다. Akita Prefectural University의 Shinya Kajikawa등은로봇이애매한표현을포함한음성명령을받았을때작업수행에적당한로봇의움직임을추정하는컨트롤러를제안하였다 [10]. 물체와목표지점사이의각도에관한애매한표현 (A Little, A Little More, Just A Little, Non) 을듣고작업자가움직인거리사이의관계를실험을통해직접측정한후모델링하였다. 모델링한데이터를토대로애매한표현에대해작업명령이주어졌을때경험적으로로봇의움직임을추정하는컨트롤러를본논문에서제안하였다. 하지만본논문에서는로봇이인식할수있는물체와로봇이이해할수있는목표지점사이의각도에대한애매한표현의개수가 3가지로한정되어있는한계를지니고있다. Tufts university의 Matthias Scheutz 등은인간의일상의대화에서사용하는언어 (Natural Language Dialogue) 로부터로봇이수행해야할작업을스스로판단할수있게하는새로운메커니즘으로 [ 그림 6] 와같은 DIARC architecture (Distributed, Integrated, Affect, Reflection, Cognition architecture) 를제안하였다 [11]. DIARC architecture는인간의일상의대화에서사용하는언어로부터작업 로봇과인간 7
수행명령을찾아내고스스로환경이나목표물들을인식하여작업을수행하도록하는다용도의 robotic architecture 이다. 현재로서는제한된영역에서의임무수행만이가능하다는한계를갖고있다. 2.5 비언어적의사소통 (Non-Verbal Communication) 사람과사람사이에서도언어를사용하지않고도몸의몸짓을통해의사소통을하듯이로봇에작업수행명령을내릴때몸짓같은비언어적커뮤니케이션을통해명령을내릴 [ 그림 7] 제스쳐를이용한메니퓰레이터제어알고리즘 수있다. 로봇이사용자의몸짓을통해물체를인식하고다양한작업을구분하여수행하도록연구가많이진행되어왔다. University of Alberta의 Camilo Perez Quintero 등은사람의몸짓을통하여로봇의작업수행명령을주는방법을제시하고있다 [12]. 시스템알고리즘은 [ 그림 7] 에서와같이총 4단계로구성된다. 1) Selection : 사용자가물체를가리켰을때가리킨물체의 RGB 포인트클라우드 (Point Cloud) 데이터를로봇이받아와물체를인식한다. 2) Gesture Identification : 로봇이잘못된물체를인식할가능성을고려하여사용자의확인몸짓을통해로봇스스로가정확한물체를인식했는지판단한다. 잘못된물체를인식했다면다시 Selection 단계로돌아간다. 3) Object Localization : 포인트클라우드데이터를이용하여물체의무게중심의위치를계산한다. 4) Decision : 사용자가로봇에작업수행몸짓을보냈을때로봇이사용자의몸짓을인식하여간단한작업 (Selecting, Pick Up Object, Dropping) 을수행한다. University of British Columbia의 Sina Radmard 등은 leap motion sensor를이용하여 [ 그림 8] 과같이로봇이사람손의자세와위치를인식하여사용자가손을움직이며로봇팔을제어하여작업을수행하는 Leap based interface를제안하였다 [13]. 비언어적의사소통인손동작을이용하여로봇을제어하였기때문에, 원격제어기를이용할때보다작업지시를빠르게할수있다는장점이있다. 2.6 시연을통한프로그래밍 (Programming by Demonstration) 사용자가로봇에게작업수행에필요한동작을시연하면로봇이스스로학습하여제한조건을고려하여시연동작을모방해작업을수행한다. 사용자가특정작업시나리오에맞게로봇의동작을직접프로그래밍하지않고도작업시필 [ 그림 8] 손인식을이용한로봇의위치, 방향제어 요한로봇의동작을만들어낼수있다. 8
특집 IROS 2015_IROS 참가보고 : 수중로봇연구동향 표된논문들을통해연구동향들을소개하였다. 고전적인 HRI에서는단순히인간과로봇이공존한환경에서작업수행을위해로봇을제어하기위한방법과전략에대한연구가주로진행되어왔다. 하지만최근 HRI 연구의트렌드는제어 [ 그림 9] Robot programming by Demonstration 을이용한로봇의동작생성 EPFL 의 Elena Gribovskaya 등은 [ 그림 9] 와같이 Rbd (Robot Programming By Demonstration) 를이용하여사용 자가양손을사용하는동작을로봇에가르칠때사용자의동 작을모방하는알고리즘에대해제안하고있다 [14]. 로봇의 양손제어는전통적으로로봇공학에서연구되어온주제이 지만기존의연구들은양팔로특정동작만수행할수있거나 모델링할때양팔간 coupling 을고려하지않아양팔을상호 적응 (Mutual Adaptation) 하게제어하지못하는문제들이 있었다. 그러므로해당논문에서는로봇이사람의동작을학 습할때모터시스템과 coordination constraint 를고려하여 학습함으로서이전연구들의문제점들을극복하였다. University of Washington 의 Maxwell Forbes 등은사람이 일상언어 (Natural Language) 로로봇에작업명령을주었 을때로봇이 Rbd 방식을이용하여스스로물체를판단하고 작업을수행한다 [15]. 로봇이작업을수행할때손을쓰지 않고프로그래밍이가능하며언어적의사소통을통해로봇 에작업명령을줄수있기때문에기존의 Kinesthetic teaching Rbd 방식보다도훨씬간편하다. 하지만아직까지 물체를로봇이스스로인식하는데한계가있을뿐아니라 적인측면이강조되었던기존의 HRI 연구들과는다르게로봇과사람이공존할때사회적인의사소통, 교감의중요성이중점적으로강조되고있다. 고전적인 HRI에서는단순히원격제어기, 생체신호를사용하여로봇에작업명령을주는방법에대해연구가주로진행되어왔다면최근에는사람과사람사이의소통하는방식을로봇에적용한언어적, 비언어적의사소통과 Programming by Demonstration와같은연구가활발히진행되고있다. 그중에서도사람과사람사이의주된의사소통방식인언어적의사소통을이용하여로봇에작업명령을주는방식은가장발전적인단계의 HRI 연구이다. 로봇이사람의 natural dialogue로부터작업명령을스스로인식하여수행하는것은현재로서는어려운기술이다. 현재의기술로는로봇이특정시나리오에서사람의 natural dialogue에서한정된단어들만인식하여작업을수행할수있으며사전에로봇이작업에맞게프로그래밍되어있어야한다. 위와같은 HRI의기술적한계들을극복하기위하여최근 HRI 연구들은로봇제어, 인터페이스설계외에도 AI, 인지 / 정서기능같은기술들의중요도가높아지고있다. 기존까지개별적으로연구가진행된각각의기술들이융합되어연구가진행될때현재 HRI 기술적한계를극복할수있을것으로기대된다. 복잡한명령이사람의일상언어로주어졌을때로봇이작업 수행을할수없다는단점이존재한다. 3. 결론 본고에서는사람이로봇을이용하여원하는작업을수행하기위해로봇에작업명령을주는방법에대해현재까지진행된연구들을방법별로나누어정리하였으며최근에발 참고문헌 [1] 권동수, 이강우, 인간-로봇상호작용연구 ; 인간과로봇의새로운공존을위하여, 로봇공학회지제 2 권, 제 3 호, pp. 5-8, 2005. [2] 신동준, 휴먼로봇인터랙션 : ICRA 2014 연구동향, 로봇공학학회지제 11 권, 제 4 호, pp 29-35, 2014. [3] Amber M. Walker and David P. Miller, Tele-operated Robot Control Using Attitude Aware Smartphones, 로봇과인간 9
The 7th ACM/IEEE International Conference on Humanrobot Interaction (HRI 12), pp. 269-270, March 2012. [4] Daniel J. Brooks and Holly A. Yanco, Design of a Haptic Joystick for Shared Robot Control, The 7th ACM/IEEE International Conference on Humanrobot Interaction (HRI 12), pp.113-114, March 2012. [5] Assad C., Wolf M., Theodoridis T., Glette K., and Stoica A., BioSleeve: a Natural EMG-Based Interface for HRI, The 8th ACM/IEEE International Conference on Human-robot Interaction (HRI 13), pp. 69-70, March 2013. [6] Shiyuan Qiu, Zhijun Li, Wei He, Lognbin Zhang, Chenguang Yang, and Chun-Yi Su, Brain Machine Interface and Visual Compressive Sensing-Based Teleoperation Control of an Exoskeleton Robot, IEEE TRANSACTIONS ON FUZZY SYSTEMS, VOL.25, NO.1, pp.58-69, February 2017. [7] Franc ois Ferland, Arnaud Aumont, Dominic L etourneau and Franc ois Michaud, Taking Your Robot For a Walk: Force-Guiding a Mobile Robot Using Compliant Arms, The 8th ACM/IEEE International Conference on Human-robot Interaction (HRI 13), pp. 309-316, March 2013. [8] T.L.Chen and C.C.Kemp, Lead me by the hand : Evaluation of a direct physical interface for nursing assistant robots, 5th ACM/IEEE International Conference on Human-Robot Interaction (HRI 10), pp. 367-374, Mar 2010. [9] Shilpi Dwivedi, Ashish Dutta, Amitabha Mukerjee and Prasad Kulkarni, "Development of A Speech Interface for Control of a Biped Robot", The 13th IEEE International Workshop on Robot and Human Interactive Communication (RO-MAN), pp.601-605, September 2004. [10] Kajikawa S, Hiratsuka S, Ishihara T and Inooka H, Robot position control via voice instruction including ambiguous expressions of degree, The 12th IEEE International Workshop on Robot and Human Interactive Communication (RO-MAN), pp.223-228, November 2003. [11] Schermerhorn P, Kramer J, Brick T, Anderson D, Dingler A and Scheutz M, DIARC: A testbed for natural human-robot interactions, AAAI 06 proceedings of the 21st national conference on Artificial intelligence, Volume 2, P.1972-1973, July 2006. [12] Camilo Perez Quintero, Romeo Tatsambon, Mona Gridseth and Martin Ja gersand, Visual Pointing Gestures for Bi-directional Human Robot Interaction in a Pick-and-Place Task, The 24th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN), pp.349-354, November 2015. [13] Sina Radmard, AJung Moon and Elizabeth A. Croft, Interface Design and Usability Analysis for a Robotic Telepresence Platform, The 24th IEEE International Workshop on Robot and Human Interactive Communication (RO-MAN), pp.511-516, September 2015. [14] Elena Gribovskaya, and Aude Billard, Combining Dynamical Systems Control and Programming by Demonstration for Teaching Discrete Bimanual Coordination Tasks to a Humanoid Robot, The 3rd ACM/ IEEE International Conference on Human-robot Interaction (HRI 08), pp.33-40, March 2008. [15] MaxxWell Forbes, Rajesh P.N. Rao, Luke Zettlemoyer and Maya Cakmak, "Robot Programming by Demonstration with Situated Spatial Language Understanding", 2015 IEEE International Conference on Robotics and Automation (ICRA), pp.2014-2020, May 2015. 10
특집 IROS 2015_IROS 참가보고 : 수중로봇연구동향 김준형 2017 성균관대학교기계공학부 ( 공학사 ) 2017~ 현재서울대학교융합과학기술대학원석사과정관심분야 : Bipedal Walking Control, Robot Manipulation, Human-Robot Interaction E-mail : john3.16@snu.ac.kr 김상현 2012 서울대학교기계항공공학부 ( 공학사 ) 2012~ 현재서울대학교융합과학기술대학원박사과정관심분야 : Human-robot Imitation, Robot Manipulation, Grasping Optimization, Machine Learning Email : ggory15@snu.ac.kr 박재흥 1995 서울대학교항공우주공학과 ( 공학사 ) 1999 서울대학교항공우주공학과 ( 공학석사 ) 2006 Stanford University Aero/Astro( 공학박사 ) 2006~2008 Post Doc, Stanford University AI Lab 2007~2008 Hansen Medical, Inc. Senior Engineer 2009~ 현재서울대학교융합과학기술대학원융합과학부부교수관심분야 : Robot-environment Interaction, Contact Force Control, Multicontact Control, Whole-body Dynamic Control, Biomechanics E mail : park73@snu.ac.kr 로봇과인간 11