남재현, 양승훈, 허웅, 김병규 Jae-Hyun Nam, Seung-Hun Yang, Woong Hu, Byung-Gyu Kim 1 서론그래픽사용자인터페이스가개발되고마우스가광범위하게사용되기시작한후 여년동안컴퓨팅상호작용의패러다임은대체로변함이없었으며키보드와스크린상의포인터만있으면어떤식으로든제어가가능하였다 기존컨트롤러부터벗어나새로운인터페이스로향하게하는변화의조짐이만들어지면서새로운하드웨어인터페이스설계자들이잇따라등장함에따라기대감을높이고있다 인간은일상생활에서제스처표정과같은비언어적인수 단을이용하여수많은정보를전달한다 자연스럽고지적인인터페이스를구축하기위해서는동작 과같은비언어적인통신수단에대한연구가매우중요하다 기존의컨트롤러가아닌적외선센서를이용하여프로젝터에적용시킨새로운인터페이스가연구가수행되었으며 여러하드웨어제품개발로이를활용한인식기법연구가되고있다 마이크로소프트사의키넥트는 인식카메라와적외선카메라적외선프로젝터를사용하여사용자의 개의관절 축의정보
를알려주는제품이다 는착용자의근육안에흐르는전기신호를인식하여손을흔들거나손가락을움직이고팔을돌리는등의움직임정보를알려주는제품이다 은키넥트처럼깊이를구분하는적외선카메라를사용하여사용자의각각의손바닥과손가락의 축정보를알려주는제품이다 모션컨트롤러하드웨어의발전과함께다양한제어기술들이제안되고있다 은키넥트의깊이센서를이용한핸드마우스를개발하였다 키넥트를통해손을인식하여이동한거리를계산하여마우스의위치를이동시키고손가락의모양을인식하여다양한클릭이벤트를구현하였다 은키넥트를활용한요가학습콘텐츠를개발하였다 키넥트의모션인식은손제스처인터페이스구축과 모델애니메이션을가능하게하여요가학습의흥미를유발시키고튜터영상과구분동작에의한학습그리고기준동작과사용자동작의 대 매칭시스템으로사용자가정확한동작을학습할수있도록돕는다 키넥트로손과손가락의움직임을인식하여 가상공간에서이동하고물체를선택하는시스템이개발되었으며 손의제스처를인식하여로봇을제어하는응용프로그램이제안되었다 움직임획득에대한관심이많아지면서많은제품들이출시를앞두고있고모션컨트롤러의공간지각적인기능을이용한제어콘텐츠제공등다양한분야에서기대효과가클것으로보고있다 본논문에서는 시스템이사용자의손과손가락의구분없이 축에대한위치정보만제공되기때문에양손을구분하고각각의손가락을구분해야하는경우오른손과왼손을인식하는방법과각각의손가락을인식하는알고리즘을제안하고기존의인터페이스를대체하여더효율적으로사용이가능한분야들을제공한다 2 Leap Motion 시스템 시스템의모습은 과같다 깊이를구분하기위한적외선카메라를이용하여 차원스캔이가능하며사용자의손바닥과손가락의정보를 에서제공하는개발지원 를이용 Fig 1 Leap motion system Fig 2 Recognition coverage of leap motion system Fig 3 Recognition accuracy of leap motion system 하여가공이가능하다 와같이디바이스를중심으로 부터구형으로최대초당 프레임인식한다 은 반경으로된반구영역에서 를인식하는정밀함을보여준다 3 Leap Motion 시스템기반의제어알고리즘 은손과손가락을인식하지만그손이왼손인지오른손인지어떤손가락인지구별하지않고개발지원 에서도손을구별하는기능은제공되지않고있다 시스템 절 에서설명을했듯이좋은성능을가지고있기때문에손과손가락을구별할수있게된다면더많은분야에 을적용시킬수있을것이다 과같이 장치가운데를기준으로 축에대한위치정보를받아들이면오른손왼손인지와각각의손가락에대한구분없이위치
Fig 4 The reference coordinate for position information of leap motion system Fig 6 The local coordinate of each hand 정보만있기때문에양손을구분하고각각의손가락을구분해야하는경우대한과정과방법을정해야할필요성이있다 본연구는개발지원 를통해가공되지않은 를양손을인식하는과정 절 과개별의손가락을인식하는과정 절 을통해제어알고리즘을제안한다 31 양손인식 는 시스템으로부터얻은데이터를이용하여양손을인식하는흐름도이다 에서얻은데이터에서손이 개인지확인하고 축을기준으로좌표를비교작은값이왼손이되고큰값은오른손이된다 그러나 축의좌표값만으로비교를하게되면손의위치가바뀌었을경우왼손과오른손을구별할수없게된다 보통의사람은생리적으로엄지와검지가손의반대방향을향한다 정상적으로손이위치해상태에서는엄지와검지의 축선을연장한양손의값이 축을기준으로교차해지나갔을때 좌표의작은값이오른손큰값이왼손이되고손의위치가바뀌었을때는 좌표의작은값이오른손큰값이왼손이된다 32 손가락인식 Fig 5 The flow of recognition with two-hands 은 으로부터얻은데이터를양손으로인식한뒤하나의손에서부터각각의손가락을인식하는흐름도이다 먼저양손인식과정을거쳐진하나의손을왼손이라고가정하면손가락의개수가 개인지확인한다 손가락의좌표정보중 축의좌표값이가장작은손가락을중지손가락으로인지한다 다음으로 개의손가락중 축의가장큰좌표값을엄지손가락으로인지하고 개의손가락중 축의좌표값이가장작은손가락을새끼손가락으로인지한다 남은 개의손가락에서 축을비교하여작은값을갖는손가락을약지손가락으로인지하고 축좌표값이큰쪽의손가락을검지손가락으로인지한다 오른손의경우 축좌표값이가장작은손가락을중지손가락 축좌표값이가장큰손가락을새끼손가락 축좌표값이가장작은손가락을엄지손가락
Fig 8 The flow of the developed application system Fig 7 The flow of finger pattern recognition (case of left-hand) 남은 개의손가락들중 축을비교해작은값을갖 는손가락을검지손가락으로하고큰값을갖는손가 락을약지손가락으로인식하도록개발하였다 4 손동작인식기반응용소프트웨어 41 모션제어시스템흐름도 개발된응용소프트웨어는 이며왼손과오른손을 아바타 에매핑하여왼쪽과오른쪽을제어할수있고제어 하는동안의움직임을녹화하고녹화된 아바타의 움직임을편집할수있는소프트웨어이다 는개발된응용시스템흐름도를보여준다 본시스템은두가지의전처리과정을통해모션및 아바타를제어한다 첫번째로 으로 부터사용자의손과손가락에 축위치정보를 얻어와클라이언트에서오른손왼손으로인식한다 절 두번째로손가락을인식하는과정 절 을 통해 아바타를제어하여녹화및편집하고동영 상으로출력할수있다 Fig 9 The software structure of the developed system 42 모션소프트웨어구성 개발된시스템구성은 와같으며 과 을기반으로사용자의움직임을통해 아바타를제어편집하고재생하는 과추가적으로오디오를제어편집하고재생 할수있는 으로구성되었으며 개발환경은 과같다 Table 1 Development environment 5 실험결과 51 양손인식실험결과 은 을사용해얻은데이터로
Leap Motion 시스템을 이용한 손동작 인식기반 제어 인터페이스 기술 연구 (a) 1267 (b) Fig 10 Result for recognizing two-hands at same time: (a) skewed pattern and (b) backward pattern Leap Motion은 X, Y, Z축의 위치 정보뿐만 아니라 Pitch, Roll, Yaw 값도 얻어 올 수 있다 손의 움직임을 손모양의 3D 객체에 매핑하여 손의 움직임에 따라 3D 객체도 같 이 움직이는 것을 확인 할 수 있다 양 손을 인식하는 실험의 사진이다 왼손과 오른손 구별은 정확도가 매우 높았고 손가락 의 경우 사람의 개인차에 따라 인식률이 떨어지는 사람도 있다 전체적으로 손과 손가락 모두 높은 인 식률을 보였다 53 응용 소프트웨어 제어 52 손가락 인식 실험 결과 Fig 11은 Leap Motion을 사용해 얻은 데이터로 양 손을 구별하고 개별의 손가락을 구별하는 실험의 사진이다 사용자의 양 손을 인식해 구별한 다음 개 별의 손가락을 구별하여 다양한 시스템제어에 활용 이 가능하다 Table 2는 Fig 5와 Fig 7의 제안 알고리즘에 대한 인식률 결과이다 A, B, C, D 는 실험을 한 사람이고 Table 2 Recognition Rate sequence A B C D Hand 99% 99% Finger 97% 97% (a) Fig 12와 같이 각 손가락 패턴 및 손 모양에 따라 제어 기능을 설계하였다 Fig 13은 양 손 구별과 각 각의 손가락을 구별하는 과정을 거쳐 3D 아바타를 제어하는 사진이다 3D 아바타를 제어하기 위해 이 러한 패턴 인식을 통하여 손가락의 움직임으로 제어 4 를 할 수 있다 세밀한 움직임을 위해 손가락이 개인 5 5 3D 아바타의 상체를 제어하고 손가락 이 4개이면 하체를 제어할 수 있다 양 손의 특정 모 션과 기울기에 따라 3D 아바타를 회전 걷기 앉기 등 과 같이 특정 행동을 제어할 수 있다 제어를 한 손과 손가락의 정보가 1초당 30프레임으로 XML(eXtensible Markup Language)파일에 저장 하는 녹화 기 경우와 개인 경우로 제어 기능을 나누었다 손가락 이 개일 경우 능으로 시간별 움직임에 대한 정보를 삭제 부분추가 등과 같은 기본적인 편집이 가능하다 (b) Fig 11 Results for recognition of finger patterns
6 결론 Fig 12 The designed hand gestures and finger patterns for controling 3D avatar 본논문에서는 시스템을사용하여얻은데이터를통해양손을구분하고각각의손가락을구분해야하는경우오른손과왼손을구별하는방법과각각의손가락을구별하는방법을제안하였다 제안된방법으로단순히손과손가락의정보만쓰는것이아니라손과손가락이특정위치나특정한동작을취했을때등과같은정보들을이용할수있기때문에많은것을표현할수있다 아직 의하드웨어와개발지원 에서지원을하고있지않고연구가많이진행되지않아부족한부분이많지만시간이지날수록손과손가락구별에대한알고리즘이필요하게될것이고알고리즘은발전할것이고손과손가락을구별알고리즘이오차없이정확하게된다면 의기능을다양한분야에활용할수있게될것이다 REFERENCE Fig 13 Results for controling and editing of 3D avatar: (a) standing, (b) walk to left side, and (c) jump
년선문대학교컴퓨터공학과학사 년 현재선문대학교컴퓨터공학과석사관심분야 영상신호처리 년선문대학교컴퓨터공학과학사 년 현재선문대학교컴퓨터공학과석사관심분야 영상신호처리 년선문대학교컴퓨터공학과학사 년 현재선문대학교컴퓨터공학과석사관심분야 영상신호처리 년부산대학교전기공학과학사 년한국과학기술원전기및전자공학과석사 년한국과학기술원전기및전자공학과박사 년 년한국전자통신연구원선임연구원 년 현재선문대학교컴퓨터공학과부교수관심분야 비디오신호처리 비디오압축이론 영상신호처리및지능시스템 임베디드멀티미디어기술