Journal of Digital Art Engineering & Multimedia Vol.6, No.1, June (2019), pp. 1-8 디지털예술공학멀티미디어논문지 http://dx.doi.org/10.29056/idaem.2019.06.04 모션캡처기반태권도움직임궤적시각화미디어아트기법 Motion Capture based Taekwondo Motion Trajectory Visualization Media Art Technique 이지용 1, 김영은 2, 남상훈 3 * JiYong Lee 1, YoungEun Kim 2, SangHun Nam 3 * 요약 인간의움직임의궤적을시각화하기위한예술적인노력은계속해서진행되었다. 일정시간동안발생하였던움직임의궤적을하나의프레임안에서시각화하면움직임이가지고있는특성을시각적으로형상화할수있다. 본연구에서는공간에서인간의움직임을추적할수있는모션캡처기술로생성된데이터를기반으로하여게임엔진을사용하여움직임의궤적들을심미적으로표현하는시각화기법을연구하였다. 특히, 공중동작의역동성과발차기의화려한기술을갖고있는대한민국의대표적인무도인태권도움직임데이터를사용하여움직임의궤적을심미적으로표현하는미디어아트작품의제작기법에대하여연구하고작품을제작하였다. 핵심어 : 모션캡처, 태권도, 움직임궤적, 움직임시각화, 미디어아트 Abstract Artistic efforts to visualize the trajectory of human motion have been tried consistently. By visualizing the trajectory of motion that occurred during a period of time in one frame, it is possible to visualize the characteristics of motion. In this paper, visualization technique that expresses the trajectories of motion based on spatial data generated by motion capture technology has been studied using a game engine. In particular, we studied about the production technique of media art that expresses the trajectory of Taekwondo, representative martial art of Republic of Korea, which has dynamic technique of aerial motion and splendid technique of kicking. Keyword : Motion Capture, Taekwondo, Motion Trajectory, Motion Visualization, Media Art 1 Department of New Media, Seoul Media Institute of Technology, Seoul, Korea [Graduate School] e-mail : wisrage@gmail.com 2 School of Public Administration and Public Policy, College of Social Science, Kookmin University, Seoul, Korea [Professor] e-mail : naankim@gmail.com 3 Department of New Media, Seoul Media Institute of Technology, Seoul, Korea [Professor] e-mail : shnam@smit.ac.kr, (Corresponding Author) * 본논문은 2017 년도정부 ( 과학기술정보통신부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (No. NRF-2017R1D1A1B03034041) Received(March 26, 2019), Review Result(1st: April 08, 2019), Accepted(June 03, 2019), Published(June 30, 2019) ISSN: 2508-9099 JDAEM c 2019 NCISS 1
Motion Capture based Taekwondo Motion Trajectory Visualization Media Art Technique 1. 서론 물체의연속된움직임을시각화하려는예술적인노력들은계속진행되었다. 미래주의의영향을받은 Giacomo Balla의 Line of Movement and Dynamic Succession (1913) 는하나의캔버스에움직이는새의형상을반복적으로그리고움직임의흐름을곡선으로표현하면서회화작품에서시간과움직임을표현했다 [1][2]. 시차사진술 (time of picture) 을사용한 Eadweard Muybridge 와 Etienne Jules Marey 는인간의눈으로인지하기힘든빠른움직임들을사진기술을사용해서이미지를획득하고배치함으로써아주짧은시간에변화하는사물의움직임을시각화하여정보를전달하였다 [3]. 과거에는사물의움직임을캔버스나필름과같이평면적으로분석하였다면최근에는모션캡처기술을사용하여사물의움직임을 3차원공간에서분석할수있다. 모션캡처기술은영화, 게임산업에서주로활용되며발전해왔으며, 가상현실을비롯하여의료, 스포츠, 미디어아트등의분야로사용성이확대되며다양한종류와가격대의장비들이출시되고있다. 모션캡처방식은영상추적 (visual tracking) 방식과, 몸에장비를부착하는비영상추적 (non-visual tracking) 방식으로분류할수있다 [4]. 대표적인영상추적방식은적외선마커 (IR marker) 를사람의몸에부착하고다수의적외선카메라들이마커의위치를정확하고빠르게추적한다. 작은범위의공간에서는키넥트 (Kinect) 가주로사용되며, 사람의움직임과뼈대 (skeleton) 을실시간으로제공하기때문에신체인터페이스로많이사용된다 [5]. 비영상추적방식은 IMU가내장되어있는장치를신체에부착하여사용하는방식으로최근자이로 (gyro) 센서의드리프트문제가보완되었으며, 마커기반의모션캡처장비보다가격이낮고외부장치를설치하지않아도되기때문에사용이간편하다는장점을갖는다 [6]. 춤, 무용, 무술과같은비언어예술 (non-verbal art) 은언어가아닌움직임을통하여메시지를전달하기때문에움직임의표현이다양하다. 300 Years Hakka Kung Fu: Re-Actor 작품에서는 Kung Fu 마스터가적외선마커가부착된의상을입고쿵푸를시연했으며, 신체의움직임의궤적을다양한시각적효과를적용하여시각화하였다 [7]. Theatron 공연에서는실제배우들과함께자이로모션캡처장비를착용한액터 (Actor) 가실시간으로무대공간의아바타를연기하였다 [8]. 본논문은공중동작의역동성과발차기의화려한기술을보여주며 Jump 와같은퍼포먼스공연으로세계인의사랑을받고있는태권도를주제로하였다. 태권도의모션캡처데이터를사용하여태권도동작의움직임의궤적을심미적관점에서표현하는미디어아트제작기법에대하여연구하였으며, 실시간인터랙션기반의미디어아트로의확장을고려하여유니티게임엔진을사용하였다. 2. 태권도캐릭터애니메이션생성 3 차원공간에서의태권도움직임데이터를획득하기위하여모션캡처장비가필요하다. 태권도 2 c 2019 NCISS
Journal of Digital Art Engineering & Multimedia Vol.6, No.1, June (2019) 는팔과다리의움직임이크고빠르기때문에시연자가장비를착용하지않고자유롭게움직일수있도록광학식모션캡처장비가적합하다. 태권도시연자의모션캡처데이터를획득하기위하여 [ 그림 1] 과같이적외선카메라들을설치하고정확한카메라들사이의관계를정의하는캘리브레이션 (calibration) 작업을수행하였다. 일반적으로시연자는반사마커가부착된의복을착용하지만공중동작등태권도움직임에방해되지않도록적외선마커를신체에직접부착하였다. [ 그림 1] 태권도모션캡처시스템 [Fig. 1] Taekwondo Motion Capture System 모션캡처시스템은적외선카메라들에입력되는영상들의상관관계를사용하여 [ 그림 2] 와같이 시연자에게부착된 27 개의마커 (head, cla_r, cla_l, c7, R_shoulder, R_elbow, R_wrist, R_hand, L_shoulder, L_elbow, L_wrist, L_hand, sternum, R_hip, L_hip, T12, L2, L5, sacrum, R_knee, R_ankle, R_heel, R_toe, L_knee, L_ankle, L_heel, L_toe) 들의위치를계산하여저장한다. 모션캡처시스템은 100fps 로데이터를획득함으로써 [ 그림 3] 과같이발차기와공중동작과같은빠른움직임을안정적 으로획득하였다. 모션캡처장치에서획득된적외선마커들과유니티게임엔진에서사용할캐릭터의스켈레톤과 맵핑하기위하여 Autodesk 사의모션빌더 (Motion Builder) 를사용하였다. [ 그림 4] 와같이마커들과 캐릭터의스켈레톤을정확하게맵핑하기위하여시연자의 T 자세에서획득한마커의위치와모션 빌더에서추가한액터 (actor) 의신체적특성이일치하도록신장, 팔, 다리, 허리등의신체부위들이 일치하도록길이와방향등을조절한다. T 자세에서마커들과캐릭터의뼈대 (skeleton) 와의관계를 맵핑한후 Marker Set 를저장한다. 추후에동일한마커위치를갖는모션캡처데이터들이입력되면 쉽게 Market Set 를맵핑할수있다. Actor Settings 에서 Active 를설정하면마커들의위치와캐릭터가 ISSN: 2508-9099 JDAEM c 2019 NCISS 3
Motion Capture based Taekwondo Motion Trajectory Visualization Media Art Technique 일치하며액터와 Market Set 이결합한다. 기본스켈레톤 (bone_skeleton) 을생성하고캐릭터를생성한 후기본스켈레톤과 Biped 방식으로결합한후, 캐릭터의 Input Typed 를 Actor 로변경하고 Active 를 설정하면액터와캐릭터가결합하며캐릭터기반의애니메이션데이터를생성할수있다. [ 그림 2] 마커기반 3D 움직임데이터 [Fig. 2] Marker based 3D Motion Data [ 그림 3] 태권도동작데이터획득 [Fig. 3] Taekwondo Motion Data Capturing 4 c 2019 NCISS
Journal of Digital Art Engineering & Multimedia Vol.6, No.1, June (2019) [ 그림 4] 모션빌더마커 - 캐릭터맵핑 [Fig. 4] Motion Builder Marker-Character Mapping 3. 태권도움직임시각화 사람의움직임애니메이션을시각화하는미디어아트작품들은주로 Autodesk 3DS Max, Maya, Maxon Cinema 4D와같은모델링및렌더링소프트웨어를사용한다. 고품질의시각효과를나타내기위해서는계산량이많은작업을수행하기때문에프레임 (frame) 단위로렌더링한이미지들을연결하여동영상을생성한다. 최근에는하드웨어의성능이좋아지고실시간특성을갖는게임엔진을사용함으로써실시간미디어아트콘텐츠를제작하는사례가증가하였다. 게임엔진을사용하면렌더링소프트웨어를사용하는것보다는시각효과품질의제한이있지만사용자와상호작용을할수있고시각효과를실시간으로변화시킬수있다. 모션빌더에서생성된캐릭터애니메이션은유니티게임엔진에서인간형아바타에적용하여실시간으로애니메이션을할수있다. 유니티를사용하여움직임애니메이션을나타내는방식은크게아바타의형상데이터를사용하는방식과뼈대데이터를사용하는방식으로나눌수있다. 첫째로 [ 그림 5] 와같이캐릭터애니메이션에결합된인간형아바타의폴리곤데이터와텍스처 (texture) 를사용하면직관적인태권도동작애니메이션을표현할수있다. 아바타의기하학적특성을나타내는폴리곤또는정점 (vertex) 들의데이터를사용하고연속적인시간에서중복적으로데이터를시각화하면 [ 그림 6] 과같이아바타형상의잔상을표현함으로써태권도의움직임의변화를시각화할수있다. ISSN: 2508-9099 JDAEM c 2019 NCISS 5
Motion Capture based Taekwondo Motion Trajectory Visualization Media Art Technique [ 그림 5] 아바타기반태권도애니메이션 [Fig. 5] Avatar Based Taekwondo Animation [ 그림 6] 기하학기반태권도애니메이션 [Fig. 6] Geometry Based Taekwondo Animation 둘째로는아바타의뼈대데이터를사용하여움직임의궤적을시각화할수있다. 아바타가가지고있는뼈대에서움직임의특성을잘나타낼수있는뼈 (bone) 들을선택한다. 태권도미디어아트는시각화에사용하는스켈레톤을 9개의뼈 (Head-Hips, LeftHand-LeftForeArm, LeftForeArm-LeftArm, RightHand-RightForeArm, RightForeArm-RightArm, LeftUpLeg-LeftLeg, LeftLeg-LeftFoot, RightUpLeg- RightLeg, RightLeg-RightFoot) 들로단순화하고뼈의내부에궤적발생체 (trajectory object) 들을설정하였다. 태권도의움직임을살펴보면발의움직임은크고작은회전움직임을갖으며손의움직임은빠르고직선적인움직임을갖는다. 태권도의중요한특성을나타내는 4개의조인트 (LeftHand, RightHand, LeftFoot, RightHand) 에궤적발생체를설정하였다. 궤적발생체에연속된위치데이터의시간, 속도, 거리등의물리적인데이터를속성값으로적용하고, line, mesh, texture, trail, particle 과같은시각효과컴포넌트들을적용함으로써 [ 그림 7] 과같이다양한시각적효과를나타낼수있다. 6 c 2019 NCISS
Journal of Digital Art Engineering & Multimedia Vol.6, No.1, June (2019) [ 그림 7] 시각효과컴포넌트 [Fig. 7] Visual Effect Component 4. 결론 본논문은모션캡처시스템으로획득한사람의움직임의궤적을시각화하는미디어아트를제작하는제작기법에대하여연구하였다. 대한민국의무도인태권도시연자의움직임을모션캡처시스템을통해획득하였으며, 모션캡처데이터를사용하여움직임의궤적을심미적으로표현하는미디어아트를제작기술을소개하였다. 적외선마커데이터를인간의뼈대형태를갖는움직임데이터로변환한다. 인간의뼈대를아바타에적용하여아바타의외형데이터가가지고있는정점의위치데이터를사용하여인간의형상을갖는움직임의궤적을표현하는방법과, 뼈대와조인트의위치를기반으로하는움직임의궤적의표현방법을설명하였다. ISSN: 2508-9099 JDAEM c 2019 NCISS 7
Motion Capture based Taekwondo Motion Trajectory Visualization Media Art Technique References [1] S. H. Artut, Futurism art and its significance to computational generative art, Proceedings of XXI Generative Art Conference, (2018) December 18-20; Roma, Italy. [2] G. Balla, Lines of Movement and Dynamic Succession, https://www.wikiart.org/en/giacomo-balla/lines-ofmovement-and-dynamic-succession-1913, Retrieved: May 25 (2019). [3] A. P. Shimamura, Muybridge in motion: travels in art, psychology and neurology, History of Photography. (2002) Vol.26, No.4, pp.341-350. [4] H. Zhou and H. Hu, Human motion tracking for rehabilitation - A survey, Biomedical Signal Processing and Control. (2008) Vol.3, No.1, pp.1-18. [5] M. Song, S. A. Mokhov, S. P. Mudur, and P. Grogono, Rapid interactive real-time application prototyping for media arts and stage performance. SIGGRAPH Asia 2015 Courses, (2015). [6] S. Narang, A. Best, A. Feng, S. H. Kang, D. Manocha, and A. Shapiro, Motion recognition of self and others on realistic 3D avatars, Computer Animation and Virtual Worlds. (2017) Vol.28 No.3-4 [7] S. Kenderdine, EMBODIED MUSEOGRAPHY, The digital in Cultural Spaces Conference Publication, Culture Academy Singapore. (2012), pp.24-43. [8] A. Andreadis, A. Hemery, A. Antonakakis, G. Gourdoglou, P. Mauridis, D. Christopoulos, and J. N. Karigiannis, Real-time motion capture technology on a live theatrical performance with computer generated scenery, Proceedings of the 14th Panhellenic Conference on Informatics, (2010) September 10-12; Tripoli, Greece. 8 c 2019 NCISS