KEIT PD ISSUE VOL 11-8 ISSUE 1 : 인간로봇상호작용 (HRI) 기술의현황과발전방향 이슈 1 인간로봇상호작용 (HRI) 기술의현황과발전방향 이상무로봇 PD
Issue Report 인간로봇상호작용 (HRI) 기술의현황과발전방향 로봇 (2011.10) 주저자 : 이상무 KEIT 로봇 PD 요약 본보고서는서비스로봇및로봇융합산업견인의핵심인 HRI (Human- Robot Interaction) 분야에대한기술개발의필요성을위해작성됨 [ 중요성 ] ㅇ HRI(Human-Robot Interaction) 기술은로봇이사용자의도를판단하고, 적합한반응과행동을수행함으로써인간과의의사소통및상호협력을가능하게하는인식-판단-표현기술임ㅇ HRI 기술은서비스로봇의상용화를위해확보해야할핵심기술로로봇에생동감을부여하는기술임ㅇ HRI 기술은시장참여자와기술공급자가클라우드환경에서목표성능을공유하고효율적으로컴퓨팅자원을사용하여실제서비스에대한대응력을높인시장지향의개방형 HRI 기술 (HRI2.0) 로발전 [ 추진방향 ] ㅇ기술수요자와기술공급자간의역할분담을통해공통핵심 HRI 기술개발및소비의밸류체인을구축해야하며, 이를위해 HRI 원천기술의개발은연구소, 학계를중심으로추진하되, 산업계의실현장 DB가제공되어야함ㅇ실험실환경에서연구중심의 HRI 원천기술개발을지양하고, 단일기능이아닌인식 판단 표현의유기적인연계가필요 서비스로봇산업생태계활성화를위해서는 HRI 라이브러리오픈마켓구축및활성화로서비스로봇상용화기술의활용도제고가필요함 KEIT PD ISSUE REPORT October 2011 Vol.8 3
1. 정의및중요성 HRI(Human-Robot Interaction) 기술은로봇이사용자의도를판단하고, 적합한반응과행동을수행함으로써인간과의의사소통및상호협력을가능하게하는인식-판단-표현기술임 o 인간과로봇이다양한의사소통채널을통해인지적 / 정서적상호작용을할수있도록로봇시스템및상호작용환경을디자인, 구현및평가하는기술 o 로봇이인간과의자연스러운의사소통및상호협력을위해사용자의의도를종합적으로판단하고, 그에맞는반응및행동을하기위한기술 o 로봇이가지는자율성, 상호작용의양방향성, 상호작용또는제어수준의다양성등에서인간-컴퓨터상호작용 (HCI: Human-Computer Interaction) 과는근본적인차이점을가지고있음 [ 그림 1] HRI 기술의개념적구성 HRI 기술은크게인식 (Perception), 판단 (Cognition), 표현 (Expression) 의 3단계가밀접하게연계되어수행될때, 사용자의만족도를가장많이높일수있음 o 인식 (perception) 기술은카메라나마이크를이용한얼굴인식, 표정인식, 제스처인식, 물체인식, 휴먼추종, 음원인식, 음색인식, 음성인식등의기술및 FSR(Force Sensing Register) 이나비접촉터치센서를이용한사용자의접촉인식, 매개체인리모콘이나아이콘명령과같은매개인터페이스기술을포함함 4 KEIT PD ISSUE REPORT October 2011 Vol.8
o 로봇이수행해야할작업, 행동및감정을판단하는판단 (cognition) 기술은인식기술에의해획득된정보들을상황인지 (situation awareness) 모듈을통해로봇이이해가능한상황정보들로바꾸며, 로봇은인터랙션모델, 태스크모델, ontology, 사용자정보들을종합적으로이용한인지적인프로세스를거쳐판단함 o 결정된로봇의감정, 행동은 multi-modal expression 모듈에서여러모달리티들을통해표현 (expression) 됨. 휠이나다리를이용한주행 (navigation), 팔을이용한조작 (manipulation), 바디모션과제스처, 얼굴로봇이나아바타를통한로봇의표정표현, TTS(Text To Speech) 를통한언어표현, 그리고음향을이용한표현들을통해로봇의의사전달력과표현력증대가가능 [ 그림 2] HRI 기술의기술적구성 HRI 기술은지능형로봇의핵심원천기술로서비스로봇의상용화를위해확보해야할필수기술임 o 시각인식, 음성인식, 감정표현, 학습등인간의다양한감각기관 지능역할을담당하여로봇에생동감을부여 지능형로봇의핵심원천기술 : 이동지능, 작업지능, 부품소재및시스템통합기술, HRI(Human-Robot Interaction) o 개인서비스로봇뿐만아니라전문서비스로봇분야까지폭넓게적용되어로봇융합산업에대한파급력이가장큰기술 KEIT PD ISSUE REPORT October 2011 Vol.8 5
[ 표 1] HRI 기술의활용영역및세부기술예시 분야활용영역세부기술예시 교육 / 오락 교사보조로봇 애완로봇 교실내학습자의의도인식및반응 동물의행동모사, 사용자와의감성교류 의 료 보행보조로봇간호보조로봇 사용자보행의지추출노약자낙상감지, 환자위치인식및투약 문 화 안내로봇공연로봇 사용자 ID 및위치인식, 안내제스처 / 표현동작동기화, 공연제스처 / 표현 홈서비스 청소로봇 정보서비스로봇 사용자명령인식, 휴대폰원격모니터링 사용자상황인지, 음성대화 사회안전인명구조로봇생존자위치인식, 원격조정, 구조물지지 / 제거 최대시장성장이예측되는서비스로봇산업육성을위해 HRI의기술적난제해결이가장시급 o 현재로봇산업부활의견인차는연평균 15% 의성장을보이는 HRI 기술의존도가큰전문서비스로봇이담당 [ 그림 3] 세계로봇산업시장전망 o 로봇의수요가인간친화서비스부문으로영역이확대될것으로보고인식, 판단, 표현등 HRI 기술투자를강화할필요있음 미국은 2011년 HRI 기술이중심이되는인간과함께일하는로봇의연구개발을위해 NRI(National Robotics Initiative) 를발표하였고, EU는 FP7과 FP8에서인지로봇및 HRI 기술개발에집중투자하고있음 6 KEIT PD ISSUE REPORT October 2011 Vol.8
2. 원천기술동향 ( 투자동향 ) 정부투자추이분석에따르면, 전체 R&D 투자에서기초 원천기술의비중이 25.4% 이며, 원천기술중에서도 HRI 분야에가장적은투자가 이루어짐 o 지금까지로봇분야연구개발은상용화위주로투자가전개되고있어시장이본격적으로열리게되면원천기술의부족으로경쟁력이떨어질것이우려됨 o 특히, 미래막대한시장규모를갖게될서비스로봇에서부가가치가큰 HRI 원천기술에대한투자를획기적으로늘릴필요가있음 ( 기술동향 ) 기초적인하드웨어중심의인식기술위주에서인지과학과융합된 복합적상황인지와행동기술로발전되고분산네트워크와접목된 HRI 기술개발도시도되고있음 o 2010년에접어들며로봇기술선진국에서의 HRI 기술은인식및로봇하드웨어와같은요소기술위주에서, 복합적상황인식및인지발달연구로집중되고있음 RobotCub(EU), Pneuborn-7II( 일본 ), PR2( 미국 ) 등의로봇시스템에대하여인간의인지및행동패턴을학습하는인지구조모델이개발중 o 분산네트워크기술을토대로방대한환경인식정보및 HRI 관련자원의공유및표준화가시도됨 Willow Garage사 ( 미국 ) 의 3차원인식클라우드서비스인 PCL(Point Cloud Library) 의경우오픈소스정책에따른 API의보급및자료공유가진행되고있고, 구글, 토요타, 엔비디아등의업체가공동으로참여중임 ( 개발동향 ) 단위인식기능별성능향상을목표로개발 o 국내외연구기관모두기존의 HRI 인식기술은얼굴인식, 화자인식, 제스처인식, 휴먼추종, 음원추적등의단위기능별로개발하고있음 o 로봇환경이아닌지능형영상처리시스템의경우각각의단위인식기술 ( 예 : 얼굴인식 ) 은전세계적으로관심이폭발적으로증가하고있음 애플은 2010년스웨덴얼굴인식업체폴라로즈를인수, 구글은올해 7월얼굴인식업체인피트팻 (PittPatt) 을인수했으며 MS는얼굴인식기능이내장된 Window 8을런칭하고있음 얼굴인식은지난수년간의시행착오끝에상당한발전을이루었음. 관련연구에따르면가만히있는얼굴정면사진에서얼굴과이름매치를잘못할에러율은 1993년 79% 에서 2010년 0.29% 로하락했음 KEIT PD ISSUE REPORT October 2011 Vol.8 7
3. 국내외기술개발현황 3.1 국내기술개발현황 휴먼인식기술 o 한국전자통신연구원에서는휴먼검출을위해, 근거리 (0.5~2.5m) 에서는얼굴검출기 ( 정면 / 측면 ), 중거리 (2m~5m) 에서는오메가 (Ω) 검출기, 원거리 (4m~9m) 에서는바디검출기를개발하였음 [ 그림 4] 얼굴검출, 오메가검출, 바디검출결과 o 중거리및근거리에서휴먼이검출되면, 추적하는기술을연동하고, 얼굴이일정크기이상입력되면얼굴인식을시도함. 또한, 화자인식을결합한멀티모달사용자인식기술을개발함 [ 그림 5] 얼굴인식및화자인식 GUI 제스처인식기술 o ETRI에서개발한로봇제어를위한원거리제스처인식기는손을흔드는동작, 로봇을부르는동작, 한손을드는동작, 양손을드는동작을인식함. 4가지인식제스처이외의일상생활동작에대해서는반응하지않도록설계되어실환경에서신뢰성있게동작하도록개발되었음 8 KEIT PD ISSUE REPORT October 2011 Vol.8
[ 그림 6] 원거리인식대상제스처영상 o 전자부품연구원에서는고선명공간투영방식의 3D 디스플레이와고정밀핑거공간터치기술을결합하여공간에투영된 3D 가상물체를터치하여상호작용하는시스템을개발하였으며 TOF 카메라와신경망을이용한제스처인식기술을개발하였음 [ 그림 7] 제스처인식기술 표정 / 음색인식및생체신호기반의휴먼감정인식기술 o ETRI 인지기술팀은표정변화에따라발생되는정면얼굴각특징점의위치변화를감지해서무표정, 웃음, 찡그림, 놀람의 4가지표정을자연스럽게인식할수있는표정인식기를개발하였음 [ 그림 8] 표정인식기술 o 포스텍 (POSTECH) 김대진교수팀은미세한표정을과장된표정으로변환할수있는 모션증폭 기술을이용하여 4가지표정을인식. 20명을대상으로실시한실험에서 88% 의성공률을보임. 영국과학전문지 뉴사이언티스트 에공개 KEIT PD ISSUE REPORT October 2011 Vol.8 9
[ 그림 9] 표정인식기술 o 숭실대학교는임베디드시스템에서실시간표정인식을위해가버웨이블릿특징기반으로화남, 행복, 평온, 슬픔, 놀람의 5가지표정인식에서평균 10.25ms의수행시간과 87%~93% 의인식성능을보임 [ 그림 10] 표정인식기술 로봇표현기술 o KAIST의 HRI Group에서는 6가지모달리티를활용하여다양한표현을하는로봇 KaMERo를개발하였음 - KaMERo는터치, 음성등으로들어온사람의감정정보와주변상황정보에따라로봇의감정상태를결정하여얼굴표정, 안테나, LED, 음향, 감정 TTS, 몸움직임의멀티모달리티를이용하여표현함 - 감정 TTS의경우일반적인 TTS의단조로운톤을피하기위해개발된새로운형태의 TTS 방식으로써로봇의감정상태에따라억양과말의속도등이변화하여발화됨 [ 그림 11] 감정표현로봇 10 KEIT PD ISSUE REPORT October 2011 Vol.8
3.2 국외기술개발현황 제스처인식기술 o 미국 Microsoft가 2009년 1월 E3에서발표한 Kinect 프로젝트는기존의게임기와달리별도의제어장치없이게임을즐길수있도록카메라및센서디바이스를이용하여사용자움직임을인지하고그에따라반응하며, 음성인식및얼굴인식을통해사용자의명령을인식함으로써보다혁신적인사용자인터랙션기능을개발함 http://www.xbox.com/en-us/live/projectnatal [ 그림 12] Kinect 프로젝트관련사진 o 미국 MIT 대학의 Media Lab에서 2009년 2월발표한 'Sixth Sense' 는실세계에디지털정보를보다편리하게연결하여사용할수있도록개발된새로운형태의착용형마커로표시된손가락및움직임을인식하고제스처를통해사용자명령을인식하는제스처기반인터페이스기술을개발함 http://www.pranavmistry.com/projects/sixthsense/index.htm [ 그림 13] Sixth Sense 제스처인식관련사진 o Willow Garage에서는 Hand Detection과 Image Descriptors를이용하여로봇에게제스처로시작및종료명령을내림 http://www.willowgarage.com [ 그림 14] Willow garage 핸드제스처명령 KEIT PD ISSUE REPORT October 2011 Vol.8 11
표정 / 음색인식및생체신호기반의휴먼감정인식기술 o EEG( 신경활동 ) 와감정 / 정서 / 인지인식기술연구 - 국외에서는간편화된 EEG 측정시스템을활용하여뉴로피드백에기반한게임기 (NEUROBOY, neurosky inc) 등이개발되어상용화 - EG 신호를측정하고이를분석하여특정상대방에게전화를걸수있도록하는연구가수행 [ 그림 15] EEG 측정과게임및전화연동 o 독일의 Fraunhofer Institute 에서는 Glove 형태의 Multi Sensor 시스템을개발하여사람의감정에따른피부전도도및심박수를감지하여 Bluetooth 등을통해단말기상에서측정신호를분석하는시스템개발 [ 그림 16] Fraunhofer Institute 의 Glove 형태의 Multi Sensor System o 뇌파조정기개발업체이모티브 (Emotiv) 가사람의표정을읽어컴퓨터에반응하는신개념헤드세트 Emotiv EPOC" 을출시 - 16개의센서가장착되어뇌의전기신호를감지하는 EEG를이용해, 뇌세포가만들어내는전기적신호를읽고그것을게임속명령으로번역 - 헤드셋이 30가지의감정과얼굴표현을읽어낼수있다고제작사는설명. 미소, 웃음, 윙크, 충격, 화등이감정은물론이고, 밀고들고당기며떨어뜨리고돌리는등의육체적의도헤드셋이해석 http://www.emotiv.com 12 KEIT PD ISSUE REPORT October 2011 Vol.8
o 미국뉴로스카이사도뇌파기반의인터페이스 MindSet 을상용화할계획으로, 뇌파감지센서가부착된헤드셋으로사용자의의도를인식하며, 사이버키네틱스는전신마비환자의머리에센서칩을장착하여 TV나컴퓨터조작성공 [ 그림 17] 뇌파기반인터렉션 o Willow Garage 에서는실내에서사용자를인식, 추종할수있는로봇시스템을개발 [ 그림 18] Willow garage 휴먼추종 로봇표현기술 o 미국 MIT의 Kismet, Leonardo 등의 robotic companion을통해생명체로서의 self motivation을통해내부 drive를발현하고, 환경정보로부터다양한감정적대응을자연스럽게함으로서, 환경에효과적으로적응하거나혹은그것을새롭게구성하고자하는 adaptive 혹은 proactive capability를구현하는연구가개발되고있음 [ 그림 19] Leonardo- 생명체형태로욕구발현시스템및사회적학습기능구현 o 미국 USC의 Robotics Research Lab. 내의 Interaction Lab. (Prof. Maja Mataric) 에서는멀티채널을활용한로봇의표현을활발하게연구함 KEIT PD ISSUE REPORT October 2011 Vol.8 13
- 얼굴표정과몸동작을통한표현을연구하기위한테스트베드로 Bandit를개발하였으며, 두번째버전까지완성된상태임 - Bandit와는별개로사람의동작을그대로모사하면서사람처럼움직일수있도록다자유도로봇시스템인 Sparky도함께개발하였으며, 이로봇은 tendon-driven 방식으로총 18개의모터를제어하여움직임을표현함. [ 그림 20] Bandit-II( 좌 ) 와 Sparky( 우 ) o 일본와세다대학의 Takanishi Lab. 에서는의인화기법을활용하여로봇을디자인하고그에맞는멀티채널표현이가능하도록연구하고있음 - 의인화기법이란사람의모습을그대로모사해서제작하는것은물론, 그구조역시사람의것과동일하게만드는것임 실린더를이용하여사람의폐를모사하고, 성대, 혀, 치아등의구강구조역시흉내내어제작함 - 다양한로봇들이개발되고있지만그중에서도 WE-4RII는감정표현에특화시켜개발하고있는로봇임 [ 그림 21] 의인화기법을이용하여디자인된다양한형태의로봇들 ( 좌측부터 WE-4RII( 감정표현 ), WD-2( 얼굴표정 ), WF-4RIV( 플룻 ), WT-7( 대화 )) 14 KEIT PD ISSUE REPORT October 2011 Vol.8
4. 향후발전방향 HRI 원천기술의개발방향 o (HRI1.0) 지금까지개발된 HRI 원천기술로서단위기능별성능향상을목표로한기술 - 정형화된환경에서인식가능하며, 시장미성숙에따른수요자의요구사항이충분히반영되지않아기업의활용도가낮음 o (HRI2.0) 시장참여자와기술공급자가클라우드환경에서목표성능을공유하고컴퓨팅자원들의효율적사용으로실제서비스에대한대응력을높인시장지향의개방형 HRI 기술 - 실제로봇서비스가제공되는환경조건과성능목표에대한데이터베이스에기초하며자원들의상호연동이가능한라이브러리의형태로기술이표현되어활용성이뛰어남 [ 표 2] HRI1.0 vs HRI2.0 구분 HRI1.0 HRI2.0 기술성격개별적기능모듈서비스지향라이브러리 기술 Needs 기술공급자기술수요자 기술형태기반 (Fundamental) 기술공통핵심 (Common Core) 기술 자원의활용 로봇자체자원만을활용 ( 자체센서, 컴퓨터등 ) 클라우드서비스환경의활용 기술범위 인식기능위주 인식 / 판단 / 표현의유기적연계 개발접근방법 Bottom-Up ( 기술 상품 시장 ) Top-Down ( 시장 상품 기술 ) 수요자참여형태과제참여기업위주의폐쇄성인터넷데이터베이스를통한개방성 HRI 원천기술의개발로드맵 o 개별적기능위주의개발에서실환경적용위주의개발로전환 o 인지기능별로상황을인식하는 HRI 개발에서상황을판단하고표현하는기술개발을목표로함 o 최종적으로는상황에맞춰스스로서비스하는 HRI 기술로발전하여야하며, 사람- 로봇-스마트장치간통합인터렉션융합됨 KEIT PD ISSUE REPORT October 2011 Vol.8 15
[ 그림 22] HRI 기술개발로드맵 HRI 2.0 기술개발방향전환 o 연속적인모니터링에기반한인식기술개발에서환경센서및분산자원융합인식기술개발로전환 o 인식이후에서비스시나리오에기반한인식 / 판단 / 표현이유기적으로연동해서비스제공 o 기존의 3H(who, what, where) 문제를해결하는인식 (Perception) 중심의연구에서지능의복합활용인 5W1H (who, what, where, why, when, how) 문제의해결로전환 who: 얼굴인식, 화자인식, 얼굴 / 화자융합 / what: 제스처인식 / where: 휴먼추적, 위치추적 why: 상황추론, 지능 ( 추론엔진 / 온톨로지연계 ) / when: 학습에따른상황적시간연계 ( 누가 ~ 했을때 ) how: 시나리오및감성표현장치 ( 햅틱, 메뉴퓨레이터등 ) 와연계 16 KEIT PD ISSUE REPORT October 2011 Vol.8
5. 시사점및정책제언 HRI2.0 원천기술의특징 o ( 서비스지향성 ) 로봇이제공하는서비스시나리오에기반하여로봇시스템을구성하는리소스의가용성을극대화하면서실환경에서성능목표를충족시키는라이브러리를구축 o ( 공통핵심성 ) 교육, 의료복지, 오락, 사회안전등사람과공간을공유하는다양한로봇분야에공통으로적용되는핵심요소기술 o ( 개방성 ) 수요자의요구사항은조건및성능데이터베이스를통해반영하고공급자의개발기술은 HRI 라이브러리마켓을통해공개함으로써기술의개방성을확보 o ( 연계성 ) 인식기능이외에지능적판단과행동및표현기능이유기적으로연계될수있도록라이브러리를구축하여기술의가용성을제고 o ( 파급성 ) HRI 기술은가장열악한환경조건에서작동하는 HCI(Human-Computer Interface) 기술로서스마트폰이나차세대정보단말기기에쉽게활용가능 시사점및지원방향 o 기술수요자와기술공급자간의역할분담을통해공통핵심 HRI 기술개발및소비의밸류체인 (Value Chain) 을구축해야함 - 산업계는서비스로봇상용화를위한사용자요구사항에기반을둔환경조건및성능목표를제시 - 기술공급자는다양한서비스로봇에활용될수있는공통핵심 HRI 기술개발필요 o HRI 원천기술의개발은연구소, 학계를중심으로 R&D를추진하되산업계에의해실현장 DB가제공되어야함 '11 년부터추진되는로봇시범사업에서확보되는실현장 DB 도 HRI 원천기술개발에활용시 HRI 원천기술업그레이드를위한좋은기회 o 실험실환경에서연구중심의 HRI 원천기술개발을지양 - 실적용되는시나리오기반으로기업들이요구하는환경에서동작이가능하도록기술개발이이루어져야상용화가능 o 단일기능이아닌인식 판단 표현의유기적인연계가필요 - 서비스지향의 HRI 구현을요구하는산업계니즈를위해인식 판단 표현이패키징된 HRI 공통핵심기술개발이필요 KEIT PD ISSUE REPORT October 2011 Vol.8 17
[ 국내외주요기술개발현황 ] 연구기관명프로젝트명개요연구기간 한국전자통신연구원 U-로봇 HRI 솔루션및핵심소자개발 HRI 관련요소 SW기술을기반으로각기술을통합하여인식성능을극대화한 HRI 턴키솔루션제공 2008-2012 지식기반로봇지능체계기술, Human Perception 한국과학기술연구원 21C 프론티어지능로봇사업단 기술, 지능형로봇청각기술, 감정인식및표현기술, 비전기반조작기술, 시각 / 청각인터페이스기술등을 2003-2013 개발 전자부품연구원 지능로보틱스연구센터사업 가정용로봇물체인식기술과로봇얼굴인식기술을개발 한국과학기술원 인간로봇상호작용핵심연구센터사업 사람의목소리, 얼굴, 터치행동으로부터감성상태를유추, 모델링하여표현하는기술개발 숭실대학교 ITRC 사업 비전을이용한 HRI 기술을개발하여얼굴인식, 표정인식, 제스처인식 2008-2011 한양대학교 로봇특성화대학원사업단 온톨로지기반지식을구축하며온톨로지기반예외상황또는예상치못한상황을찾아내고해결할수있는로봇지식관리자를개발 2009-2014 MIT Evolution robotics Chung Hwa Univ. ( 음성인식 ) 대규모음향데이터베이스에서단어를인식하고화자를인증할수있는시스템개발 (ALIVE 프로젝트 ) 인간의감성과상호작용하는키스멧로봇및가상캐릭터와인간의감성을상호작용 (Things that think) 인간과사물이감성을상호교환 (Affective Computing) 인간의감성을효과적으로인식할수있는기술연구. 새로운센서, 알고리즘, 시스템등을개발 (Commonsense Computing) 인간감성요소를추출하고, 학습및추론에대한연구진행 ( 이동물체인식 ) 지역적특징기반물체추적및인식기술 ( 사용자인식 ) 지역적특징을이용한 HMM 기반얼굴인식을통한사용자인식기술 ( 이동물체인식 ) 실시간으로여러개의이동물체를동시에추적및인식하는기술 18 KEIT PD ISSUE REPORT October 2011 Vol.8