Technical Report: TR 2012 01 시선운동및추적행동분석및모델링 인간시선행동분석및자연스러운시선행동구현연구 Android Lab. 로봇융합연구그룹 한국생산기술연구원 Korea Institute of Industrial Technology
Revision History Date Editor Contents Etc 2012/11/25 이동욱 초안작성 2012/12/18 이동욱 본문수정 (3.2 절 ) 2012/1/4 이동욱 본문수정 ( 결론 )
Contents 1. INTRODUCTION... 1 1.1 문서의구성... 1 1.2 연구배경... 2 2. HUMAN EYE MOTION... 5 2.1 인간의안구구조... 5 2.2 인간의안구운동... 6 3. ROBOT EYE MODEL... 8 3.1 로봇의기구구조... 8 3.2 시선운동모델링... 10 4. CONCLUSION... 18 5. REFERENCES... 19
1. Introduction 1.1 문서의구성 이문서는안드로이드연구실 ( 이하 Android Lab.) 에서수행하고있는 인간친화적로봇 서비스환경에서판단적합성 90% 이상인복합지식기반판단및의미기반로봇표현기술개발 과제의내용중, 시선운동및추적행동구현 을위한연구내용을정리한기술문서이다. 시선운동및추적행동구현 의세부연구내용은다음과같다. 인간의안구운동분석 대상로봇의시각시스템 시선운동및추적행동모델링 1 P age
1.2 연구배경 의사소통이란두사람이상의사이에서언어적, 비언어적수단을통한감정, 태도, 사실이나정보, 신념, 생각등을전달하는과정이다. 의사소통은의도적또는비의도적으로이루어지고한번이루어진의사소통은되돌릴수없으며반복될수없다. 따라서단한번의표현으로의도를명확하게표현할수있어야한다. 사람의의사소통은크게언어적의사소통과비언어적의사소통으로구분한다 ( 그림 1). 언어적의사소통은음성을이용한소통방법이고, 비언어적의사소통은음성외표정, 몸짓등을이용한소통방법이다. 인간은다른동물과구분되어언어를통하여자신의의사를표현할수있다. 그러나언어의 1 차적의미만으로그내용을파악하기에는다소무리가있다. 발화상황, 말의억양이나강조, 동작등의 2 차적요소들이언어의내용을보다구체화시켜주기때문이다. 비언어적의사소통은언어적의사소통보다더강한의미를전달하거나언어적의사소통에정확성을더하는역할을한다. 이는의사전달에서 70% 이상의역할을차지한다. 따라서언어적의사소통과비언어적의사소통을조화롭게사용하는것이중요하다. Communication of Human Verbal communication Speech Paralinguistic language Nonverbal communication Posture Gesture Haptic Eye gaze 그림 1. 인간의의사소통방법 2 P age
비언어적의사소통의표현은신체각부위를통한비언어적의사소통, 음성을통한비언어적의사소통, 환경을통한비언어적의사소통등으로분류한다. 신체부위를통한비언어적의사소통으로는눈마주침, 자세, 표정, 반복적행동, 접촉등이있다. 특히눈마주침은관심및감정교류의통로가되며의사소통에서중요한역할을한다. 예를들면상대방의시선회피를통해대상에대한혐오, 관심또는진실성의결여등을파악할수있다. Mori 는로봇이사람과의유사성이높아질수록어떤구간에서급속히친밀도가떨어지는것을발견하였는데이를 Uncanney valley 라고한다 (Mori 1970). 안드로이드형로봇이사람과닮으면닮아질수록점점더이상해지는현상이나타나는이유를이것으로설명할수있다. 또한그림 2 에서시체와같이움직이지않는것이친밀도를급격하게떨어뜨리는데이것은사람의자연스러운행동이친밀도를높이는데매우중요함을알수있다. 휴머노이드로봇 분라쿠인형 건강한사람 친밀도 산업용로봇 박제동물 사람과의유사성 시체 의수 좀비 그림 2. Uncanny valley Kanda(2001) 는로봇과인간의상호작용에서도눈마주침의중요성을언급하였다. 로봇은인간과의눈마주침을통하여신뢰감및친밀감을향상시킬수있다. 특히안드로이드로봇은, 사람과유사한외모를바탕으로자연스러운시선운동적용시보다더친밀한인간과의의사소통이가능하다 (Shimada, 2008). 3 Page
이러한안구움직임의로봇적용에관한연구는활발히진행되고있다. DiSalvo(2002) 는로봇에서눈의존재의중요성을언급하였고, Breazeal(1999) 과 Scassellati(1998) 는시야의여러대상중관심대상을선정하여 foveation( 상을망막의중심와에맺히게하는운동 ) 및 saccade 와 smooth pursuit 을구현하였고, Shah(2003) 은턴테이블과팬틸트유닛 (pan tilt unit) 을이용하여신경학자들이밝혀낸안구운동모델 (Carpenter, 1988) 을구현하였다. 본연구에서는인간의몇가지주요한안구운동을안드로이드에적용함으로써인간이안드로이드와의사소통시자연스러움을향상시키고자한다. 본연구에서는인간의안구운동중 saccade 와 smooth pursuit, vergence 를로봇시스템에적합하게적용하여, 시선대상의위치에따라즉각적으로반응하고보정할수있도록한다. 4 P age
2. Human Eye Motion 2.1 인간의안구구조 인간의안구를회전시키기위한근육들은그림 3 과같이구성되어있다. 하나의안구는 6 개의근육들로지지되며운동한다. 이는두쌍의직근 ( 直筋, rectus muscle) 과한쌍의사근 ( 斜筋, oblique superior) 으로이루어져있으며, 직근은 pitch, tilt 방향의움직임을, 사근은 roll 방향의움직임을담당한다. 각쌍의근육의수축과이완을통해안구가회전하게 그림 3. 인간의안구근육구조 된다. 직근쌍은시선방향과평행하게배치되어있지않아 pitch, tilt 움직임외에도약간의 roll 움직임을유발하는데, 사근은이를상쇄시키는역할을한다 (Ushida, 2007). 5 P age
2.2 인간의안구운동 인간의안구운동은두가지기능을한다. 하나는대상을급속히망막의중심와 (fovea) 에놓는 기능이고, 다른하나는망막에비친상을안정하게유지시키는기능이다. 인간안구운동의종류는 표 1 과같다 (Sparks, 2002). 표 1. 인간안구운동의종류 종류 Vestibular Reflex Optokinetic Reflex Fixation Saccade Pursuit Vergence 기능머리의운동에의해야기되는짧은기간동안의망막영상의이동을보상하기위한안구운동장시간동안지속되는머리의운동에의한망막영상의움직임을보상하는안구운동안구소켓의한위치에안구를고정함. Tremor 와 Drift 의형태가있음주변시야의물체의영상을중심와에빠른속도로위치시키는안구운동이동하는물체의영상을중심와에유지하는안구운동양안의운동방향이반대이면서물체의영상을양안의중심와에 위치시키는운동 사람이어떤대상을응시하기위해서는눈과목을이동하며, 경우에따라서허리나다리를 이동하기도한다. 눈과목의관점에서보았을때, 시선이동을위한눈, 목의이동패턴은그림 4 및 그림 5 와같다 (Pelisson, 1989). 눈과목은빠른속도로대상으로시선을이동시킨다. 눈은관성이 작고이동속도가빨라먼저반응하여목표에근접하게이동한다. 그러나안구이동범위의제약및 안구근육의피로도의증가로원위치로되돌아오려는성향을가진다. 한편목은눈에비하여 속도가느리나동작범위가크고회전축의위치가눈후면에위치하므로적은각의변화로큰 시선이동효과를낼수있다. 따라서시선이동시눈이먼저이동을하고목이이를보완하기위해 6 P age
저속으로대상방향으로이동을하여시선이목표에도달하면, 목은관성에의해특정목적까지 이동하고, 눈은시선을유지하게원위치방향으로돌아오는운동을한다 (Morasso, 1973). 그림 4. 인간의안구운동패턴 그림 5. 시선추적행동 7 P age
3. Robot Eye Model 3.1 로봇의기구구조 안드로이드로봇 EveR( 그림 6) 의시선이동을위한하드웨어시스템은다음과같이구성된다. 시스템은목 3 자유도 (roll, yaw, pitch), 눈 3 자유도 (common tilt, left pan, right pan) 의총 6 자유도로구성되어있다. 사람이어느대상을응시할때주로위치 (x, y, z) 만의식하고방위 (roll. pitch, yaw) 는무의식적으로조절한다. 따라서이시스템은위치 3 자유도에액츄에이터 6 개를갖는여유자유도시스템으로해석할수있다. 그림 7 은로봇의눈및목구조의개략도를나타낸다. 그림 6. 안드로이드로봇 EveR z x y 그림 7. 로봇의목, 눈기구구조 8 P age
정확한트래킹을위해서는대상의정확한위치를아는것이필요하다. 현재보고있는지점과보고자하는대상의위치를파악하여목적에맞는트래킹조건을이용하여시선을이동한다. 양카메라의 pan 각과 tilt 각을이용하여현재로봇이응시하고있는지점의위치를알수있다 ( 그림 8). panl l LG, P, G d tilt l RG, panr d 그림 8. 로봇이응시하고있는시스템구조 목부터눈을거쳐시선에이르는전체시스템을그림 9 에나타내었다. 9 P age
그림 9. 목및안구를포함한로봇의시선이동시스템 3.2 시선운동모델링 먼저, 두눈이이루는시차는다음과같이계산될수있다. (1) : 현재응시하고있는지점의시차각 (Parallax angle of Gaze) : 왼쪽눈의 pan 각 : 오른쪽눈의 pan 각 이를이용하여을구할수있다. (2) : 양눈의중심으로부터한쪽눈까지의거리 : 왼쪽눈에서시선대상까지의거리 (G : Gaze) : 오른쪽눈에서시선대상까지의거리 10 P age
두카메라의중심선으로형성되는평면을작업공간이라하면가로방향 모빌리티 (mobility) 는다음과같다. (3) : 모빌리티 (Mobililty) 이부분시스템의 active joint 는 2 개이므로, 실제 joint 인양눈의 pan 각으로위치를결정할수있다. 이는한쪽눈의 pan 각인 revolute joint 와시선을나타내는가상의 prismatic joint 를이용하여얻는기구학과 active angle 과의관계를통하여계산할수있다. 왼쪽눈의 pan 관절을거치기직전의좌표계로정리하면 (4) : 왼쪽눈을기준으로한좌표계 (5) (6) 가된다. 각각을시간으로미분하면 11 P age
(7) (8) 이된다. 이를행렬형태로정리하면 (9) 가된다. 이때가상의 prismatic joint 는 에의해결정되는 passive joint 이므로이를 active joint 로나타내기위해다음과같은과정을거친다. (10) 12 P age
(11) (12) 이는한쪽눈의기구로표현할수있다. 왼쪽눈을기준으로정리하면 (13) 이다. 본연구에서는안구운동의급속운동인 saccade 와이동하는대상에대한추적운동인 smooth pursuit 운동을구현한다. 시야내관심대상의급작스런등장, 관심대상의전이, 눈깜빡임이후등대상이카메라에맺힌상이이미지중심과의거리가멀경우에는 saccade, 이미대상이 optical center 에위치한후움직일경우에는 pursuit 운동을한다. 그리고시선은시차 (parallax) 를가지고운동하며, 시차는대상의위치나거리에따라변한다. 먼저시선이가는경로를위치의 trajectory 를통해모델링한다. 는의함수로구할수있다. (14) : 관심대상의위치 : 현재시선의위치 (= ) 13 P age
여기서는기구의현재위치로구할수있다. 식 4 의은다음과같이기준좌표계로 표시될수있다. (15) : 기준좌표계에서목까지의변환행렬 : 목부터왼쪽눈까지의변환행렬 : 기준좌표계에서왼쪽눈까지의변환행렬 는기구의현재위치와시선각으로구할수있다. 시선각은다음과같이구할수있다. -ye xe f ye ze xe u v u View Plane 그림 10. 시선모델링 먼저카메라로부터의물체의상대위치는영상의좌표를결정한다. 상대위치는 3 자유도 ( ) 이고화면상좌표는 2 자유도 (u, v) 이므로, 한쪽의영상만으로는 대상의위치를계산할수없다. 그러나양눈사이의거리가고정이므로한물체가투영된두 영상의좌표를이용하여물체의위치를계산할수있다. 14 P age
대상의카메라로부터의상대위치에따른가로방향에투영되는길이 a 는대상의 좌표로계산될수있다 ( 그림 10). (16) (17) 초점거리 CCD 에투영된가로방향길이 : 카메라의초점을중심으로하는상대좌표 (E : Eye) 화면상화소좌표 u 로변환하면 ( 기준 : 화면중심 ) (18) 화면상가로좌표 가로방향한픽셀당길이 가된다. 카메라의중심 (optical axis) 을기준으로대상의위치를각 ( 그림 10) 으로나타내면다음과 같다. (19) 마찬가지로세로방향 (z 방향 ) 은다음과같이구해진다. 15 P age
(20) (21) (22) 화면상세로좌표 세로방향한픽셀당길이 : 카메라의초점을중심으로하는상대좌표 은에, 에, 에를대입하여식 1 부터식 6 까지의과정을통하여 식 23 과같이구한다. (22) (23) 오차가일정범위를벗어나면안구는급속히이동하고 (saccade), 적은오차의일정범위 이내에서는안구는안정화를위해저속으로이동한다 (pursuit). 16 P age
(24) : 최고속도를결정하는상수 : 그래프의기울기를결정하는상수 17 P age
4. Conclusion 로봇이인간과같은공간에서생활하며서비스를제공하기위해서로봇의커뮤니케이션기술은계속연구되어야한다. 인간의외모와행동을모방한안드로이드로봇은이러한목적에부합하며사람이기계에대한거부감을줄이고다른사람들과의사교환을하듯이로봇과소통할수있도록고도의인식, 상황판단, 행동모방의기술이요구된다. 비언어적커뮤니케이션, 특히눈의움직임은사람들간의사소통을하는데큰역할을차지한다. 사람은상대방의눈을통하여그사람의관심, 신체상태등을파악할수있다. 또한상호시선교류를통해친밀감을높이기도한다. 따라서안드로이드로봇도사람과의시선교류를통해친밀감을향상시키고, 보다사람과유사한시선움직임의모방을통해이질감을줄일수있도록해야한다. 본연구에서는시선시스템을카메라로들어오는시선입력을 passive joint 로하는 hybrid manipulator 로모델링하고위치경로, pseudo inverse jacobian 의 weighting, 목적함수를이용하여인간의안구운동인 saccade, smooth pursuit, parallax 운동을구현하여보다인간과가까운안구운동을실현하여보다자연스러운사람 안드로이드로봇간의커뮤니케이션이가능하도록하고자하였다. 18 P age
5. References Breazeal, C., and Scassellati, B. (1999), 'A context dependent attention system for a social robot,' Proc. of the 16th Int. Conf. on Artificial Intelligence, 1146 1151. MacDorman, K. F., and Ishiguro, H. (2006), 'The uncanny advantage of using androids in cognitive and social science research,' INTERACT STUD, Vol. 7, Issue 3, 297 337(41). Morasso, P., Bizzi, E., and Dichgans, J. (1973), 'Adjustment of saccadic characteristics during head movements,' Experimental Brain Research, Vol 16, No. 5, 492 500. Mori, M. (1970), 'The uncanny valley,' Energy, Vol. 7, No. 4, 33 35. Pelisson, D., Guitton, D., and Munoz, D. P. (1989), 'Compensatory eye and head movements generated by the cat following stimulation induced perturbations in gaze position,' Exp. Brain Res. 78:654 658. Shimada, M., and Ishiguro, H., (2008), 'Motion Behavior and its Influence on Human likeness in an Android Robot,' Conf. of the Cognitive Science Society, 2468 2473. Sparks, D. L. (2002), 'The brainstem control of saccadic eye movement,' Ann. Rev. Neurosci, Vol 3. 952 964. Ushida, S., and Deguchi, K. (2007), 'Vision based motion control of a biped robot using 2 dof gaze control structure,' Humanoid Robots : Human like Machines, Vienna: Matthias Hackel, 642 657. 19 P age