<312E20B9E9BCAEB4EB5FC0CCB8E9C0E7B1B3BCF6B4D45FB5BFC0DB20C0CEBDC420B0D4C0D3C0C72E687770>

Size: px

Start display at page:

Download "<312E20B9E9BCAEB4EB5FC0CCB8E9C0E7B1B3BCF6B4D45FB5BFC0DB20C0CEBDC420B0D4C0D3C0C72E687770>"

명수 맹
5 years ago
Views:

1 동작인식게임의융합발전방향 이면재 백석대학교정보통신학부 A Study on Convergence Development Direction of Gesture Recognition Game MyounJae Lee Division of Information Communication, BaekSeok University 요약동작인식은동작을인식하여처리하는기술로사용자에게편이성과직관성을제공한다. 이러한장점때문에동작인식기술은군사, 의료, 교육등여러분야에융합되어응용되고있다. 특히, 게임분야에서동작인식은실제동작과유사하게플레이할수있다는장점때문에, 의료, 군사, 교육등의분야와융합되어지고있다. 본논문은이러한배경을바탕으로동작인식게임의융합발전방향을논하기위한것이다. 이를위하여본논문에서는동작인식기술현황과게임을살펴보고동작인식게임의문제점과개선방안을기술한다. 본논문은국내동작인식게임의융합경쟁력을향상시키는데도움을줄수있다. 주제어 : 게임융합, 동작인식, 동작인식게임 Abstract Gesture recognition provides the ease and immediacy to users in the processing technique for recognizing the gesture. Because of these benefits, gesture recognition technology has been applied and fused in many areas, such as the military, health care, education. In particular, the gesture recognition in game field since it can provide users to play games similar to the actual gesture, it being fused with many areas such as medical, military, and education. This paper is to discuss the future convergence direction of motion recognition games based on this background. In this paper, it looks at technology status and the game of gesture recognition, describe the problem and improvement of gesture recognition game. This paper can help improving the competitiveness of domestic convergence on gesture recognition game. Key Words : Game Convergence, Gesture Recognition, Gesture Recognition Game 1. 서론 마이너리티레포트와아이언맨에서주인공이손모션으로컴퓨터기기들을조작하는모습은동작인식기술의대표적인사례로꼽힌다 [1]. 동작인식은카메라에서촬영된동작을컴퓨터프로그램을이용하여분석하여어떤동작인지를인지하는것을말한다. 이당시에는카 메라에서동작을추출하는기술이주된기술이었다. 이후에동작인식은동작인식컨트롤러와스마트기기, 다양한센서들이개발되면서범위가확장되어져갔다. 즉, 동작을인식하는단계로부터현재는컴퓨터와의인터렉션영역으로까지확장되어지고있는것이다. 이와같이인터페이스단계로확장된것에는사용자들의인터페이 본논문은 2014년도백석대학교대학연구비에의하여수행된것임 * 교신저자 : 이면재 (davidlee@bu.ac.kr) 접수일 2014년 9월 12일수정일 2014년 11월 26일게재확정일 2014년 12월 21일

2 한국융합학회논문지제 5 권제 4 호 스에대한편이성과직관성에관한요구가강한결과이다. 마우스나키보드등의별도의인터페이스장치를이용하는것이아니라실제생활의동작그자체가인터페이스가됨으로써사용자들은이전보다훨씬편리하게컴퓨터를조작할수있게된것이다. 동작인식기술은가속도, 빛, 음파, 전파와같은여러가지물리적요소를활용하며, 그중에서가속도센서가휴대폰을중심으로먼저대중화가되었다.

동작인식게임은게임으로써즐거움을주는역할뿐만아니라학습, 의료, 간접체험, 증강현실등에서도현재다양하게활용되고있다. 즉동작인식게임은게임과여러분야가융합될수있는가능성을갖고있는분야이다. 또한동작인식기술자체가영상감시, 사람과컴퓨터의상호작용, 지능로봇등다양한분야가융합된분야이다 [2].

2 2 한국융합학회논문지제 5 권제 4 호 스에대한편이성과직관성에관한요구가강한결과이다. 마우스나키보드등의별도의인터페이스장치를이용하는것이아니라실제생활의동작그자체가인터페이스가됨으로써사용자들은이전보다훨씬편리하게컴퓨터를조작할수있게된것이다. 동작인식기술은가속도, 빛, 음파, 전파와같은여러가지물리적요소를활용하며, 그중에서가속도센서가휴대폰을중심으로먼저대중화가되었다. 가속도센서를이용한동작인식은디바이스를손에들고움직여야하기때문에스마트폰처럼항상손에들고있는디바이스에적합하게사용되는기술이다. 특히게임분야에서는동작인식컨트롤러를손에들고몸을움직이며게임을함으로써기존의게임패드와는다른신나는경험이가능해진것이다. 실생활의운동기구와유사한장치를가지고게임을플레이함으로써플레이어들의게임몰입을향상시킬수있을것이다. 동작인식게임은게임으로써즐거움을주는역할뿐만아니라학습, 의료, 간접체험, 증강현실등에서도현재다양하게활용되고있다. 즉동작인식게임은게임과여러분야가융합될수있는가능성을갖고있는분야이다. 또한동작인식기술자체가영상감시, 사람과컴퓨터의상호작용, 지능로봇등다양한분야가융합된분야이다 [2]. 본논문에서는이러한연구배경을바탕으로동작인식게임의국내외현황과문제점을살펴보고발전방안에대해서논한다. 본논문의구성은다음과같다. 2장에서는동작인식게임동향을조사하고 3장에서는동작인식게임의융합분야를살펴본다. 4장에서는동작인식게임의문제점, 개선방안, 발전방향을논한다. 그리고, 5장에서는결론및추후연구방향에대해기술한다. 인식인터페이스는센서나장치를사용자신체에접촉하여움직임정보를받아이용하는방식이다. 비접촉식인터페이스는주로카메라를이용하여사용자의움직임정보를받아이를이용하는방법이다 접촉식동작인식접촉식동작인식기술은플레이어의신체에센서나장치를부착해서정보를획득하고획득된정보를동작인식게임에활용하는방법이다 [3]. 이방법은신체에부착되므로사용자의동작정보를정확하게획득할수있다는장점을갖고있지만장비착용의불편함과터치패널과같은입력장치를통해기기와직접접촉해야하기때문에장소에제약이있을수있다. 닌텐도 Wii의 Wii 리모컨 이대표적인예이다. SONY 의플레이스테이션은아이토이카메라와컬러 LED를이용하여사용자가인식할수있는빛의개념을추가한것이가장큰특징이다. 이두컨트롤러는전방카메라가플레이어의궤적을파악하고컨트롤러에내장된가속도센서, 자이로센서, 자기계센서등의각종데이터를실시간으로 S/W적으로처리하여서위치와회전, 속도, 각속도, 가속도등의데이터를알려준다. 미국실리콘밸리의신생기업인탈믹랩스 (Thalmic Labs) 는 'MYO' 라는제품은웨어러블디바이스의형태인팔에착용하는밴드로제작되었다. 2. 동작인식게임동향 본장에서는동작인식게임의동향을살펴본다. 이를위해먼저동작인식에사용된기술을조사하고국내외동작인식게임을알아본다. 2.1 동작인식에사용된기술동작인식인터페이스는신체의접촉여부에따라접촉식방법과비접촉식방법으로구분된다. 접촉식동작 [Fig. 1] MYO 비접촉식동작인식비접촉식동작인식기술은주로카메라를이용해사용자의움직임정보를추적하여정보를인식하는방법이다 [3]. 이방법의특징은사용자의자유도가높으며움직임또한자연스러운특징이있다. 그러나, 사용자의행동패턴과이를추적하는데에는기술적인어려움이있다. 이인식기술에는깊이값을이용한인식방법과영상을

동작인식게임의융합발전방향 3 이용한인식방법이있다. 게임에서사용하는대표적인비접촉식동작인식기반의사용자인터페이스로는 SONY의플레이스테이션2 아이토이 (EYE TOY가 ) 있다. 이두가지모두깊이값을이용한인식을수행한다. 아이토이카메라는 RGB 카메라한대로사용자의몸윤곽과배경을분리하여사용자가취하는동작에맞게콘텐츠를제어한다.

나머지 2개의 RGB 카메라는색을인식하고심도정보를조합하여사용자의관절을추적하여동작을인식한다 [4]. 깊이값을이용한동작인식방법은카메라로영상을입력받은후적외선파장이나음파를사용하여측정되는시간을계산하여깊이값을구한다. 그리고입력된이미지를 3차원형태로변형하고, 변형된손이나사람의몸등의위치를이용해동작을인식하는방법을사용한다.

립모션에서개발한장치는작은크기의장치로 8입방피트의 3차원공간을파악한다. 립모션의작동원리는마이크로소프트의키넥트와비슷하다. 적외선을이용해동작을인식하며키넥트보다 200배높은감도를가지며 1/100mm 의움직임까지감지한다. 컴퓨터에마우스와키보드의기능을대신하는입력장치는립모션이대표적이다. [Fig.

3 동작인식게임의융합발전방향 3 이용한인식방법이있다. 게임에서사용하는대표적인비접촉식동작인식기반의사용자인터페이스로는 SONY의플레이스테이션2 아이토이 (EYE TOY가 ) 있다. 이두가지모두깊이값을이용한인식을수행한다. 아이토이카메라는 RGB 카메라한대로사용자의몸윤곽과배경을분리하여사용자가취하는동작에맞게콘텐츠를제어한다. 이러한동작인식게임은보통증강현실 (AR) 과접목되어동작과움직임의위치를화면에일치시켜서게임이플레이되도록한다. 프라임센스 (Primesense) 에서는 3D센싱과인식을기반으로한동작인식모듈을개발하였다. 카메라가 3개인데이중하나가적외선조명기로적외선을방출하고공간또는물체에반사된적외선을수집하여공간또는물체의심도를계산한다. 나머지 2개의 RGB 카메라는색을인식하고심도정보를조합하여사용자의관절을추적하여동작을인식한다 [4]. 깊이값을이용한동작인식방법은카메라로영상을입력받은후적외선파장이나음파를사용하여측정되는시간을계산하여깊이값을구한다. 그리고입력된이미지를 3차원형태로변형하고, 변형된손이나사람의몸등의위치를이용해동작을인식하는방법을사용한다. 깊이정보를이용한동작인식및물체추적은많이사용되는방법이다. 깊이정보를이용하는동작인식방식에는마이크로소프트의키넥트, 립모션콘트롤러등이있다. [Fig. 2] Kinect 키넥트는웹카메라형태로눈에보이지않는많은적외선을출력하여사물이나환경에충돌되어반사되는것을인식하여깊이값을계산하고 3D 형태로인식한다. 3 차원형태로인식된화면을통해서동작을최종적으로인식한다. 립모션에서개발한장치는작은크기의장치로 8입방피트의 3차원공간을파악한다. 립모션의작동원리는마이크로소프트의키넥트와비슷하다. 적외선을이용해동작을인식하며키넥트보다 200배높은감도를가지며 1/100mm 의움직임까지감지한다. 컴퓨터에마우스와키보드의기능을대신하는입력장치는립모션이대표적이다. [Fig. 3] Leap Motion 카네스타에서개발한동작인식칩은 CMOS 기반의반도체로써사용자의동작을추적하기위한동작인식센서이다. 사용자의동작을인식하여기기를작동시키기위해개발되었다. [Fig. 4] Virtual laser of Canesta 비접촉식동작인식방법의다른방법은영상을이용하여동작을인식하는것이다. 이방법은깊이이미지를이용한방식과는다른방법으로영상을인식한다. 영상을이용한동작인식방법중핑거링크인터액션시스템은터치와동작인식을통해하나의독립적인인터페이스를갖추고있으며, 터치패드가없는터치리스센싱과제스처인식을통하여시스템을조작할수있다. 이기술은대부분의동작인식과는다르게깊이카메라를사용하지않고일반적인 CMOS 이미지센서를이용하며, 동작인식과터치기술을소프트웨어로처리한다 [5]. 2.2 동작인식게임현황본절에서는동작인식게임의국내외현황을살펴본다 국내현황올아이피정보통신에서개발한 ' 팝업 (Pop Up)' 은국내최초의립모션전용게임이다. 장르는리듬액션이다. 플레이는두개라인이있고음악에맞춰건반형식의노

4 한국융합학회논문지제 5 권제 4 호 트가떨어지면왼손과오른손으로센서를감지시키는방식으로진행된다. 평범하게터치해도되고, 주먹을쥐고흔들어도된다. 헬로앱스는동작인식기능을활용해사용자와상호작용이가능한 홀로그램디스플레이키트 ' 를출시했다.

동작인식게임응용분야 동작인식게임은엔터테인먼트분야, 교육분야, 의료분야, 군사분야등다양한분야에서제작되고있다. 1) 엔터테인먼트분야스포츠게임, DDR과같은댄스게임등이주류를이루고있다.

2) 교육분야동작인식기기를이용하여음악기기를손에들고연주하는것을교육하는등의다양한체험학습에도움을줄수있다 [4]. 또는과학실험시위험한실험을직접하지않고가상실험으로대체할수있다 [5]. 또한 Xbox 360을이용하여체육수업에게임을적용한 G 러닝학습도진행되고있다.

4 4 한국융합학회논문지제 5 권제 4 호 트가떨어지면왼손과오른손으로센서를감지시키는방식으로진행된다. 평범하게터치해도되고, 주먹을쥐고흔들어도된다. 헬로앱스는동작인식기능을활용해사용자와상호작용이가능한 홀로그램디스플레이키트 ' 를출시했다. 유사홀로그램의일종인데스마트폰의영상을반사장치에표시하고스마트폰의카메라를이용하여동작을인식한다. 홀로그램키트는동작인식기능, 게임분야외에도영화및각종디지털공연콘텐츠, 스마트러닝, 광고분야에도적용될수있을것으로예상된다 [2]. G 러닝은동작인식게임이교육분야에적용된대표적인예가될수있다. G 러닝은게임을이용한학습을말한다. [Fig. 5] Interactive hologram [Fig. 6] PopUP display key 해외현황마이크로소프트는별도의컨트롤러없이사람의신체와음성을감지해 TV화면안에그대로반영하는신개념동작인식게임을즐기기위해키넥트를출시했다. [Fig. 7] 은키넥트를이용한스포츠게임예를보여준다. 댄스센트럴스포트라이트는하모닉스스튜디오에서개발한게임으로키넥트를이용한다. 이게임은많은모션과함께정확한트레킹을제공하고 2명으로플레이어가게임을즐길수있다 [3]. [Fig. 7] Kinect [Fig. 8] Dance Game 3. 동작인식게임응용분야 동작인식게임은엔터테인먼트분야, 교육분야, 의료분야, 군사분야등다양한분야에서제작되고있다. 1) 엔터테인먼트분야스포츠게임, DDR과같은댄스게임등이주류를이루고있다. 특히스포츠게임의경우자세와움직임을정확히체크해주며초보자부터프로운동선수까지다양한분야의사용자들이트레이닝을받을수있도록설계된것이특징이다. 게임화면주위에 3D 영상을프로젝트에투영하여실제감을증대시키기도한다. 2) 교육분야동작인식기기를이용하여음악기기를손에들고연주하는것을교육하는등의다양한체험학습에도움을줄수있다 [4]. 또는과학실험시위험한실험을직접하지않고가상실험으로대체할수있다 [5]. 또한 Xbox 360을이용하여체육수업에게임을적용한 G 러닝학습도진행되고있다. 3) 의료분야운동재활, 수술중화면제어등에사용될수있다. 예를들어외과의사가의료장비를키넥트로제어하거나동작인식기기를이용하여낙상가능성이높은노인들의운동기능저하를파악할수있는연구등이진행되고있다. PC를이용한물리치료시자세를교정받고상호작용하는맞춤형치료와중증장애인의입모양을감지해서컴퓨터를조작하는기술이있다. 4) 군사분야특수전의상황에적합하게대응하는능력을키우기위해동작인식기반시스템과군사훈련이융합되는게임이출시되고있다. 반복적인실내사격훈련의경우실내공기정화, 고막파열등의문제들이발생할수있는데, 이러한것을카메라와동작인식인터페이스를사용하여실내에서반복훈련을할수있도록유도한게임도있다 [3]. [Fig. 9] 는해군의특수전시스템을보여준다. 전방의동작과거리를인식하여자동으로경계하는무인감시시스템도있다.

동작인식게임의융합발전방향 5 있는게임기술이필요하다. [Fig. 9] Special warfare systems 4) 동작인식솔루션국내개발필요동작인식을위해제공되는솔루션에는키넥트, 립모션, 아이사이트등의외국제품이주류를이루고있다. 국내동작인식게임의성장을위해서는하드웨어인터페이스개발이필요하다. 이를위해서는동작인식인터페이스의표준에따른하드웨어개발과지원이필요하다. 4. 동작인식게임의융합발전방향 본장에서는동작인식게임의문제점과개선방안을살펴보고발전방향에대해논한다.

5 동작인식게임의융합발전방향 5 있는게임기술이필요하다. [Fig. 9] Special warfare systems 4) 동작인식솔루션국내개발필요동작인식을위해제공되는솔루션에는키넥트, 립모션, 아이사이트등의외국제품이주류를이루고있다. 국내동작인식게임의성장을위해서는하드웨어인터페이스개발이필요하다. 이를위해서는동작인식인터페이스의표준에따른하드웨어개발과지원이필요하다. 4. 동작인식게임의융합발전방향 본장에서는동작인식게임의문제점과개선방안을살펴보고발전방향에대해논한다. 4.1 동작인식게임의문제점과개선방안 1) 센서와동작인식의정확성동작을인식하는센서와동작인식에오차가발생하는경우정상적인게임플레이가어렵다. 현재에도사용자의움직임보다늦게반응하는문제점이있다. 이를처리하기위해서는인체의움직임과관련된특정부위에무선센서를통해통신하여카메라를통해인식하는속도의감소를줄이도록한다. 2) 동작인식반경의제약동작인식의반경이적은경우제한된공간내에서플레이해야한다는제약사항이발생되어동작인식게임만이줄수있는인터페이스의편이성과직관성의장점을상실할수있다. 그리고카메라안에여러명이들어와서플레이하는것이어려울수있다. 따라서동작인식의반경을넓이기위해서는센서와카메라인식이결합되는형태가이에대한해결책이될수있다. 즉센서를통해카메라에서인식할수없는반경을인식하도록하는것이다. 3) 조작감증대방안동작을인식하여게임이진행되는경우플레이어의조작감이감소될수있다. 즉아케이드게임에서와같이실제와유사한특정한기기를통하여게임이조작되는희열을플레이어에게제공하는것이어려울수있다. 이를개선하기위해서는플레이어에게조작감을제공할수있는인터페이스와동작과인터페이스자체를인식할수 4.2 동작인식게임의발전방향사용자들은보다더직관적이고편한인터페이스를요구할것이다. 이요구를충족시키기위해다양한인터페이스가개발될것이며이를이용한다양한게임이출시될것이다. 1) 동작인식센서이용영상을이용하여동작인식을구별하는방법보다동작인식센서를사용하여동작인식게임을제작할가능성이높아질것으로판단된다. 이와같이센서를이용하는경우정확성이향상되겠지만동작표현에자연스러움에방해가되지않도록해야한다. 따라서센서크기의소형화와경량화, 그리고자체네트워크통신이가능한센서들이개발될것으로기대된다. 2) 동작인식기반의유저인터페이스의확산동작인식기술은실제와같은동작으로인터페이스가제공되기새로운인터페이스가다양하게개발될것이다. 이에따라서기존동작인식게임도다양한인터페이스를이용하여제작될것이다. 현재인체의손가락을이용한인터페이스를주로제공하는게임들이많지만향후발, 몸등의신체전체의움직임을인식하는인터페이스가제공되어이를이용한게임들도많이제공될것이다. 3) 동작인식부위의다양성과정확성향상손이나, 발처럼동작인식솔루션이쉽게인식가능한부위로부터시작된동작인식기술은점차적으로얼굴표정근육, 손이나팔관절, 그리고척추관절등으로다양화될것이다. 보다정확한동작을인식하기위해서는팔과발뿐만아니라이부위들을움직이는근육이나척추, 관절부위들을인식해야만하기때문이다. 이렇게함으로써이전보다다양한동작인식과정확성을갖는동

6 6 한국융합학회논문지제 5 권제 4 호 작인식솔루션이개발될것이다. 또한 BCI(braincomputer interface) 의개발로동작그자체의생각으로동작을인식할수있는시대로도가능할것으로기대된다. 4) 동작인식게임기의다양화다양한동작인식솔루션의개발로동작인식게임을플레이할수있는기기또한다양화될것이다. 스마트폰과 PC에서스마트 TV에서도동작인식솔루션이제공될것이다. 5) 동작인식기반의기능성게임성장동작인식게임은플레이어에게실제와같은현장감을제공하기때문에실제와같은효과를플레이어에게제공해줄수있다. 그러므로특정한분야와동작인식기반의게임이융합된기능성게임 [6] 이발전될것이라예상된다. 특히, 동작인식게임을지원하기위한센서와모션컨트롤러의소형화와경량화가구현되는경우게임플레이의즉시성과편이성때문에동작인식기반의기능성게임이성장될것이라고판단된다. 5) 타기술과의융합가능성증대동작인식게임은동작을인식하는단계, 인식된동작대로게임이플레이되는기술로구분될수있다. 이러한기술들에는센서기술, 인체분석기술, 컴퓨터그래픽스기술, 네트워크기술, 그리고가상현실기술, 입체영상기술, 모션센싱기술들이융합될수있다. 그리고동작인식게임이의료, 군사, 교육등에접목되는경우게임분야와해당분야가융합된게임이제작될것으로판단된다. 6) 게임의긍정적인효과증대동작인식게임의경우활동성과실제성을사용자들에게제공하고여러명이함께플레이할수있다는장점때문에오프라인에서스포츠, 교육등의다양한분야를대체할수있는효과를가지고있다. 스크린골프의경우가성인들의여가문화로서자리를잡은것과같이동작인식게임의확산은가족문화와여가문화에긍정적인효과를낳을것으로기대된다. 5. 결론및추후연구방향 동작인식게임은동작을인식하여이를처리하는기술이기때문에동작인식이필요한여러분야에응용되어지고있다. 본논문에서는국내외동작인식게임의국내외현황과기술을살펴보고이에대한문제점과발전방안을제시하였다. 현재국내는스마트폰중심의동작인식게임이주를이루고있으며동작인식을처리하기위한인터페이스기술및솔루션이부족한실정이다. 융합되어응용되어질분야는많은데, 이와비교하여원천기술확보가부족한상황이다. 추후에는다양한인터페이스를갖는동작인식게임의처리기술을살펴보고이에대한문제점과해결방안을제시하는연구를진행할예정이다. References [1] HoonJu Yoon, Motion and speech recognition technology trends, Digital Electronics Industry news, [2] J.Y Chang, M.W, Ryu, Technology Trends of Range Image Based Gesture Recognition, Electronics and Telecommunications Trends, Vol. 29, No. 1, pp , [3] Changju Im, DongHwan Kim, Gesture recognition-based game content Present and Future, Journal of Electronic Engineering, Vol. 39, No. 2, pp , [4] Kocca, Human-Device Interaction Technology, CT Insight, No.27, pp , [5]. Broadcasting and Communications Department, Development Direction of Smart UI Technology, Trends and Prospects, Vol. 65, pp , [6] Kyoung-Nam Kim, Myoun-Jae Lee, DaeYoung Kim, A Study on Development Methods of Serious Game, Journal of the Korea Convergence Society, Vol. 2, No. 2, pp , [7] MyounJae Lee, A Study on Game Production Education through Recent Trend Analysis of 3D Game Engine, Journal of the Korea Convergence Society, Vol. 4, No. 1, pp. 7-12, 2013.

7 동작인식게임의융합발전방향 7 저자소개 이면재 (Myoun-Jae Lee) [ 종신회원 ] 2009년 3월 ~ 현재 : 백석대학교정보통신학부교수 < 관심분야 > : 게임프로그래밍, 게임엔진, 기능성게임

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770> Journal of the Korea Academia-Industrial cooperation Society Vol. 13, No. 2 pp. 866-871, 2012 http://dx.doi.org/10.5762/kais.2012.13.2.866 증강현실을 이용한 아동교육프로그램 모델제안 권미란 1*, 김정일 2 1 나사렛대학교 아동학과, 2 한세대학교 e-비즈니스학과