내지 (4) mok.fm

Size: px

Start display at page:

Download "내지 (4) mok.fm"

여진 간
6 years ago
Views:

1 한국CAD/CAM학회논문집 Vol. 19, No. 4, pp December 2014 Transactions of the Society of CAD/CAM Engineers DOI < 응용논문 > pissn eissn D 아바타동작의선택제어를통한감정표현 이지혜 진영훈 채영호 중앙대학교첨단영상대학원영상학과 Emotional Expression through the Selection Control of Gestures of a 3D Avatar JiHye Lee, YoungHoon Jin, and YoungHo Chai Graduate School of Advanced Imaging Science, Multimedia and Film Chung-Ang University Received 7 October 2014; received in revised 30 October 2014; accepted 8 November 2014 ABSTRACT In this paper, an intuitive emotional expression of the 3D avatar is presented. Using the motion selection control of 3D avatar, an easy-to-use communication which is more intuitive than emoticon is possible. 12 pieces different emotions of avatar are classified as positive emotions such as cheers, impressive, joy, welcoming, fun, pleasure and negative emotions of anger, jealousy, wrath, frustration, sadness, loneliness. The combination of lower body motion is used to represent additional emotions of amusing, joyous, surprise, enthusiasm, glad, excite, sulk, discomfort, irritation, embarrassment, anxiety, sorrow. In order to get the realistic human posture, BVH format of motion capture data are used and the synthesis of BVH file data are implemented by applying the proposed emotional expression rules of the 3D avatar. Key Words : Avatar emotion, BVH, Interactive avatar control, Selection control 1. 서론 사회를구성하고있는집단의구성원들사이에서의의사소통은올바른정보전달을위해다양한형태로진화되어왔다. 의사소통이란대화상대의생각과의도를수신자가인지한이후발신자의느낌과동작들을올바르게인식하고연결성있고지속적인의미의내용들을연속성있게전달하는것을의미한다 [1]. 과거의의사소통방식이면대면 (face-to-face communication) 의사소통이었다면, Corresponding Author, yhchai@cau.ac.kr 2014 Society of CAD/CAM Engineers 현재의사소통방식은스마트폰을이용한 SNS(Social Networking Service), 즉가상환경안에서의의사전달방식으로진화되었다. 한국에서가장많이사용되고있는 SNS 로는 카카오톡 (Kakao talk), 라인 (Line), 틱톡 (Tictoc) 을대표로들수있다. 이러한가상환경안에서의의사소통은빠르게상대방과소통한다는장점은있으나직접적인만남으로의사를전달할때에비해서발신자의정확한의도가전달되지못한다는단점이있다. 텍스트만으로의사를전달하기에는오해의소지가생길수있으며, 정확성이떨어지게된다. 그렇기때문에오늘날가상환경에서의의사소통에는 이모티콘 이라는대부분표정으로이루어진평면 (2D)

2 444 이지혜 진영훈 채영호 형태의그림을이용한전달방식이추가되었다. 기존의가상공간안에서의감정전달은 텍스트 와 음성 또는 평면 (2D) 이모티콘 의단순한형태로전달되어왔다. 하지만성공적으로의사를전달하기위해서는전달자의표정과동작이효과적으로병행되어야하고, 수신자가이를올바르게해석할수있어야한다 [2]. 그러기위해서는사람의감정표현과유사한 입체 (3D) 아바타 를생성하고, 입체 (3D) 아바타 를통하여발신자의감정을올바르게전달이가능하도록하여야한다. 기존의 이모티콘 들을참고하여, 감정표현을돕는동작들을분류하고, 사람의감정과연관하여 입체 (3D) 아바타 의감정으로분류를하도록한다. 감정을표현하는 입체 (3D) 아바타 의동작은모션캡처데이터를이용하여짧은시간안에동작을생성할수있도록한다. 모션캡처데이터는현재영화, 입체 (3D) 게임, 애니메이션등다양한분야에서사용되어지고있다. 하지만이러한다양하고방대한모션캡쳐데이터들중에사용자가원하는감정을표현하는동작을찾는것은매우어렵다. 따라서이미저장되어있는모션캡쳐데이터들중에사용자가원하는감정을표현하는동작들을선택하여조합할수있도록입체 (3D) 아바타의동작선택을제어하여조합한다. 본논문은전달자와수신자의의사소통을원활하고, 정확하게주고받기위하여전달자가직접본인의감정을표현할수있도록다양한감정동작들을조합하여, 수신자에게전달할수있도록한다. 즉, 감정표현동작을사용자가원하는의도로감성적이면서명확하게전달할수있는선택제어를제안한다. 본논문의 2 장에서는사람의감정표현을분류하고, 한국정서에따른감정을분류한다. 또한가상환경에서사용되는 평면 (2D) 이모티콘 의감정 표현들을분류한다. 3 장에서는입체 (3D) 아바타의감정표현을분류하고정의하여사람의감정을표현하는 입체 (3D) 아바타 를생성한다. 4 장에서는 입체 (3D) 아바타 의감정을표현하는동작을선택하고제어하는방법에대해제시하고, 사용자실험을통해본논문의제안을입증한다. 5 장은감정을제어하는 입체 (3D) 아바타 의향후연구계획에대해언급한다. 2. 사람의감정표현 가상환경안에서가장많이사용되어지고있는 이모티콘 으로표현되어진사람의감정에는슬픔, 화, 두려움, 혐오, 기쁨, 놀람으로총 6 가지의감정이있다 (Table 1) [3-7]. 대표적인사람의감정분류에는이자드 (Izard, 1977) 가제시한 관심, 기쁨, 분노, 두려움, 수치심, 역겨움, 죄책감 등의기본정서가있고 [8], 미국의심리학자에크만 (Paul Ekman, 1971) 은 행복, 슬픔, 공포, 분노, 놀람, 혐오감 의 6 가지의기본감정존재를제시하였다 [9-11]. 엡스타인 (Epstein, 1984) 은 기쁨, 슬픔, 분노, 두려움 을기본으로제시하며 사랑 이라는감정이포함될수있음을제시하였다 [12]. Current Biology 에발표된글래스고대학의 (University of Glasgow) 과학자들은사람의감정은 4 가지의기본감정이존재하며, 기본감정으로는 행복, 슬픔, 공포 ( 놀람 ), 분노 ( 혐오감 ) 가존재한다고제시하였다 [13]. 세이버 (Shaver, 1987) 와그의동료들은 135 개의단어를분류작업을통해상위수준에서는 긍정적인정서 와 부정적인정서 로분류하였고, 기본수준에서는 사랑 (love), 기쁨 (joy), 슬픔 (sadness), 화 (anger), 두려움 (fear) 의 5 개의기본정서로제시하였다. 즉, 상위수준에서의 긍정 Table 1 Classify emotion expression Izard (1991) Ekman (1992) Damasio (1994) Plutchik (2001) Kalat & Shiota (2007) Sadness Sadness Sadness Sadness Sadness Anger Anger Anger Anger Anger Fear Fear Fear Fear Fear Disgust Disgust Disgust Disgust Disgust Joy - Joy Joy Joy Surprise surprise surprise Surprise -

3D 아바타 동작의 선택 제어를 통한 감정 표현 445 과 부정 의 감정은 감정의 평가적 차원이고, 기본 수준에서의 감정들은 감정의 강도를 나타낸다고 발표하였다[14,15]. 2.1 한국의 정서에 따른 감정 분류 1990년대부터 한국의 정서구조를 정의하고, 한 국인의 감정을 표현하는 단어들을 분류하려는 연 구가 시작되었다.

3 3D 아바타 동작의 선택 제어를 통한 감정 표현 445 과 부정 의 감정은 감정의 평가적 차원이고, 기본 수준에서의 감정들은 감정의 강도를 나타낸다고 발표하였다[14,15]. 2.1 한국의 정서에 따른 감정 분류 1990년대부터 한국의 정서구조를 정의하고, 한 국인의 감정을 표현하는 단어들을 분류하려는 연 구가 시작되었다. 이만영과 이흥철(1990)의 연구 에서는 대학생들의 응답을 대상으로 기쁨, 두려 움, 분노, 짜증과 경멸, 슬픔과 괴로움, 각성 의 6개의 군집으로 감정을 분류하였다[16]. 유학심 리학을 기반으로 단어들을 분류한 한덕응(2000)은 성리학의 4단 7정에 해당하는 단어들을 추출하여 분류하였다. 사양, 양보, 사랑, 기쁨 의 4개 긍정적인 감정과 측은, 슬픔, 수치심, 두려 움, 욕심, 화남/혐오, 분함 의 7개의 부정적인 감정으로 분류하였다[17]. 박인조, 민경환(2005)의 연구에서는 현대 한국어의 어휘 빈도 자료집을 기준으로 분류하였고, 분석한 결과 쾌, 불쾌와 타 인 초점적, 자기초점적이라는 감정으로 분류하였 다. 쾌 에는 반하다, 즐겁다, 행복하다, 정겹 다 등의 감정이 존재하며, 불쾌의 감정으로는 괘 씸하다, 황당하다, 배신감, 싫증나다 등의 감 정으로 분류하였다[18]. 이준웅(2008)의 연구에 따 르면 1차적으로 긍정적 감정과 부정적 감정으로 구분되며, 이를 다시 2차적으로 긍지, 기쁨, 사랑 (긍정적 감정), 공포, 분노, 연민, 수 치, 좌절, 슬픔 (부정적 감정)으로 분류하는 것 이 감정을 명확하게 표현하는 것이라고 발표하였 다. 더 나아가 3차적으로는 감동, 행복, 긍지, 흥분, 두려움, 놀람 등의 25개의 감정들을 포 함시켰다[19]. 정미강(2007)의 연구에 따르면 손으 로 얼굴을 받치면, 생각과 고민을 표현하는 행위 이며, 두 팔을 교차시키면 부정을 뜻하는 표현이 며, 감사함이나 긍정의 표현은 박수를 치는 행위 로 분류하였다. 고개를 돌리는 행위는 대화를 거 부한다는 감정 표현이고, 팔과 어깨를 늘어뜨리고 고개를 떨구면 실망의 감정을 표현한다고 분류하 였다. 두 팔을 높이 올리면 기쁨과 환호를 뜻하고, 두 팔을 높이 올리고 뛰어가는 행위는 공포를 의 미하며, 바닥에 주저 앉는 행위는 절망을 표현하 는 것으로 분류하였다[20]. 김진옥(2011)의 감정 자 세의 특징을 분류한 연구 에 따르면 24개의 감정 결정 자세의 특징을 설정하고 있다. 감정에 따라 Fig. 1 Emoticons of SNS 신체 자세가 어떻게 변화하는지 특징을 포착하 고, 주요 신체의 특징을 설정하여 사람의 감정으 로 정의 내렸다(Fig. 1)[21]. 2.2 SNS 이모티콘 감정 분류 한국에서 스마트폰 사용자들이 가장 많이 사용 하고 있는 SNS 메신저들 중에는 카카오톡 (Kakao talk), 라인 (Line), 틱톡 (Tictoc) 등이 있다. SNS 에서 사용되어지고 있는 감정 표현을 위한 이모 티콘 들을 분류한다. 대부분의 이모티콘 들은 얼 굴 표정만으로 감정을 표현하고 있지만, 최근에는 동작을 추가한 이모티콘 들이 등장하고 있으며, 사람 모양의 형태보다는 동물의 형태이거나 혹은 새로운 형태의 캐릭터를 만들어 감정을 표현하고 있는 평면(2D) 이모티콘 이 대다수이다. 분류의 형태는 2.1 사람의 감정 분류를 참고하 여 감정을 표현하는 단어와 다양한 SNS에서 사용 되어 지고 있는 이모티콘들 중 유사한 동작을 취 하고 있는 평면(2D) 이모티콘 들을 취합하고 카 테고리화 한다. 분류의 기준은 팔 동작의 형태와 표정으로 분류하였다. 분류되어진 평면(2D) 이모 티콘 들의 감정 표현에는 기쁨, 슬픔, 놀람, 두려 움, 분노, 혐오 등의 감정이 존재한다(Fig. 1). 3. 입체(3D) 아바타 감정 표현 생성 3.1 입체(3D) 아바타의 감정 분류 2장에서 분류했던 사람의 감정과 SNS 메신저에 서 평면(2D) 이모티콘 을 통한 감정 표현을 근거 하여 입체(3D) 아바타 의 감정 표현을 분류한다. 각각의 SNS의 평면(2D) 이모티콘 들은 다양한 캐

4 446 이지혜 진영훈 채영호 Fig. 2 Hierarchy of 3D avatar Emotion 릭터를제공하고있어다양성과창의성은있으나규칙화되어지지않았다. 수신자와발신자의감정표현은개개인의성향에따라다양하게표현될수있고, 환경과상황에따라변화될수있다. 입체 (3D) 아바타 의감정의분류를상위단계에서긍정적인감정 (+Emotion) 과부정적인감정 (-Emotion) 으로구분하고, 중간단계의감정은크게희 ( 喜 ), 노 ( 怒 ), 애 ( 哀 ), 락 ( 樂 ) 으로분류한다. 중간단계에속하는희 ( 喜 ), 노 ( 怒 ), 애 ( 哀 ), 락 ( 樂 ) 의감정을세분화하고, 각각의감정에는환호, 감동, 기쁨, 환영, 재미, 즐거움, 분노, 질투, 노여움, 좌절, 외로움, 슬픔의감정이포함되어진다 (Fig. 2). 현실세계에서사람들사이의감정표현을위한동작은대부분팔동작으로이루어진상반신위주의동작들이대부분이다 [22]. 따라서 입체 (3D) 아바타 의감정표현을위한동작또한상체의동작위주로구성하고, 사용자의필요에의해각각의동작에하체동작을추가하여감성을좀더풍성하게표현할수있다. 3.2 입체 (3D) 아바타의감정동작정의전달하고자하는감정을표정의변화를제외한신체의동작만으로상대방에게전달하는것은매우어렵다. 대부분의감정을전달하는의사소통은같은동작이지만다양한표정의변화를통하여의사를전달하기때문이다 [23]. 입체 (3D) 아바타 의경우동작만으로감정을표현하기위하여상체 (Upper Body) 와하체 (Lower Body) 로분리하여동작을구성하고, 감정에따라다른동작을표현하도록한다. 상체로이루어진감정표현에하체동작들을조합하여, 새로운감정을생성할수있다. 3.1 입체 (3D) 아바타 의감정분류에해당하는 감정표현의동작을각각의감정에적합하도록정의한다. 상위단계긍정적인감정 (+Emot ion) 에속하는감정표현으로각각의감정은기쁨, 환호, 감동, 즐거움, 환영, 재미의감정으로구성되어있으며이감정들은상체의움직임으로구성되어있다 (Table 2, Fig. 3). 상위단계부정적인감정 (-Emotion) 에속하는감정표현에는노여움, 분노, 질투, 슬픔, 좌절, 외로움의감정으로구성되어있으며감정들을표현하는동작은상체의움직임으로구성되어있다 (Table 3, Fig. 4). 하체의동작은기본적인대화에사용하거나혹은감정을강조하고자할때취하는동작으로구성한다 (Table 4, Fig. 5). Table 2 +Emotion Upper body Gesture 감정 동작 1 기쁨 양팔벌리기 2 환호 위로팔벌리기 3 감동 한손입가리기 4 환영 한팔들기 5 즐거움 양팔흔들기 6 재미 양팔사방으로흔들기 Table 3 -Emotion Upper body Gesture 감정 동작 1 노여움 팔짱끼기 2 분노 양손으로머리잡기 3 질투 외면하기 4 슬픔 양손으로얼굴가리기 5 좌절 양손으로입가리기 6 외로움 한손으로이마잡기 Table 4 Lower Body Gesture 감정 동작 1 흔들기 양다리번갈아앞으로내밀기 2 달리기 앞으로달리기 3 걷기 앞으로걷기 4 발차기 앞으로발차기 5 앞뒤반복 양다리앞뒤로반복 6 천천히걷기 천천히앞으로걷기 7 급정지 앞으로달리다가멈추기

사람의신체중요추의후굴자세의정상범위는 20 o ~30 o 이고, 경추의후굴, 측굴자세의정상범위는 45 o 이다. 슬관절의정상범위는 150 o 이며, 고관절의정상범위는 120 o 이다 [24].

2 LHipJoint Spine 3 LowerBack Spine1 4 Neck1 Neck 5 Head Head 6 LeftShoulder L Clavicle 7 LeftArm L UpperArm 8

5 3D 아바타동작의선택제어를통한감정표현 447 Fig. 3 +Emotion of 3D Avatar 3.3 입체 (3D) 아바타생성사람은상황에따라표현하고자하는감정표현을위하여관절들을각각의동작범위안에서움직인다. 기본적으로사람이감정을표현하기위해많이사용하는상체의경우하체와는다르게그각도가다양한범위에서동작이가능하다. 사람의신체중요추의후굴자세의정상범위는 20 o ~30 o 이고, 경추의후굴, 측굴자세의정상범위는 45 o 이다. 슬관절의정상범위는 150 o 이며, 고관절의정상범위는 120 o 이다 [24]. 이러한정보를토대로사람의관절과 입체 (3D) 아바타 의관절을일치시킨다 (Fig. 6). 사람의감정표현을위한동작을 입체 (3D) 아 Fig. 6 Joint of Human and 3D Avatar Fig. 4 -Emotion of 3D Avatar Fig. 5 Lower Body Gesture of 3D Avatar Table 5 3D Avatar Joint and BVH Joint set BVH Joint Avatar Joint 1 Hips Pelvis 2 LHipJoint Spine 3 LowerBack Spine1 4 Neck1 Neck 5 Head Head 6 LeftShoulder L Clavicle 7 LeftArm L UpperArm 8 LeftForeArm L Forearm 9 LeftHand L Hand 10 RightShoulder R Clavicle 11 RightArm R UpperArm 12 RightForeaArm R Forearm 13 RightHand R Hand 14 LeftUpLeg L Thigh 15 LeftLeg L Calf 16 LeftFoot L Foot 17 RightUpLeg R Thigh 18 RightLeg R Calf 19 RightFoot R Foot

6 448 이지혜 진영훈 채영호 바타 가동일하게표현하기위해서카네기멜론대학에서제공하는모션캡처 BVH 파일포맷을이용한다. 모션캡처데이터를이용한 BVH 데이터의관절과입체 (3D) 아바타의관절들을동일하게일치시킨다. 사람의골격을구성하는뼈의수는 206 개로구성되어져있다. 206 개의뼈를연결시켜주는관절들을 입체 (3D) 아바타 의관절들과모두대응시키는방법은매우복잡하고어렵다. 본논문에서는관절의최소화를위하여감정을표현하는동작중많이사용되어지는관절들을선택하여관절의개수를총 19 개로구성하였다 (Table 5, Fig. 6) [25-28]. 4. 입체 (3D) 아바타의동작선택제어 4.1 입체 (3D) 아바타의감정표현을위한선택제어사용자가표현하고자하는 입체 (3D) 아바타 의감정표현을제어하기위하여상체와하체의선택을제어할수있는단계를구성한다. Step 1 시작과함께모션캡처를이용한 BVH 데이터의관절과 입체 (3D) 아바타 의관절을일치시켜주는단계이다. 정확하게관절이일치되어야관절의움직임이자연스럽기때문에시작과동시에실행되는단계이다. Step 2 사용자가원하는감정표현을직접선택 할수있는단계로긍정적인감정 (+Emotion) 을표현하는동작과부정적인감정 (-Emotion) 을표현하는동작을선택할수있는단계이다. 사용자가선택한감정의표현은 bvhavatar1 에저장된다. Step 3 사용자가직접선택한 bvhavatar1 에하체 (Lower Body) 를이용한동작을추가하는단계이다. 상체와하체가조합된동작은 bvhavatar2 에저장되어진다. 사용자는하체의동작을통해감정을더풍성하게만들수있지만, 하체를비 ( 非 ) 선택시에는 bvhavatar1 에저장되어있는기본감정을표현할수있다. Step 4 사용자가선택한감정을최종적으로출력하는단계이다. 사용자는원하는또다른감정을표현하기위해출력후에도 Step1 의단계로돌아가감정을재선택할수있다 (Fig. 7). 4.2 입체 (3D) 아바타의감정표현을위한복합동작상체 (Upper Body) 와하체 (Lower Body) 의조합을통한감정표현을위해하체 (Lower Body) 의동작을 3 가지의긍정 (+Emotion) 의동작과, 4 가지의부정 (-Emotion) 의동작으로분류한다 (Fig. 8). 조합된감정은상체의움직임에근거하여, 하체 (Lower Body) 의동작을조합하여상체 (Upper Body) 의감정에하위단계에속하는감정을표현한다. 상체로이루어진감정표현에하체동작을조합한 입체 (3D) 아바타 의감정은기존의감정과는다른새로운감정을표현할수있다. 사용자의상황에맞춰상체와하체의조합을통한감정표현이가능해진다 (Fig. 9, Fig. 10). 상체의긍정적 (+Emotion) 인감정에하체의긍정적 (+Emotion) 인감정을조합하면긍정의 Fig. 7 Flow chart of selection control Fig. 8 Classification of Upper Body and Lower Body

또한상체의부정적인 (-Emotion) 감정에하체의긍정적 (+Emotion) 인감정을조합하면상체로표현되어지는부정적 (-Emotion) 인감정에근거하여감정의강약의정도가조절되어지고, 하체로표현되는부정적인 (-Emotion) 감정을조합하면부정의 (-Emotion) 감 감정 상체 조합 하체 1 흥겨움 환호 흔들기 2 흥분 환호 달리기 3 영광 환호 걷기 4 환호

7 3D 아바타동작의선택제어를통한감정표현 449 Table 6 Combination Emotion Fig. 9 Classification of Combination +Emotion Fig. 10 Classification of Combination -Emotion (+Emotion) 감정이표현되며, 하체의부정의 (-Emotion) 감정을조합하면상체로표현되는긍정의 (+Emotion) 감정에근거하여감정의강약의정도가조절되어진다. 또한상체의부정적인 (-Emotion) 감정에하체의긍정적 (+Emotion) 인감정을조합하면상체로표현되어지는부정적 (-Emotion) 인감정에근거하여감정의강약의정도가조절되어지고, 하체로표현되는부정적인 (-Emotion) 감정을조합하면부정의 (-Emotion) 감 감정 상체 조합 하체 1 흥겨움 환호 흔들기 2 흥분 환호 달리기 3 영광 환호 걷기 4 환호 ( 강 ) 환호 앞뒤반복 5 환호 ( 중 ) 환호 천천히걷기 6 환호 ( 약 ) 환호 급정지 7 행복함 감동 흔들기 8 감탄 감동 달리기 9 놀람 감동 걷기 10 놀람 ( 강 ) 감동 앞뒤반복 11 놀람 ( 중 ) 감동 천천히걷기 12 놀람 ( 약 ) 감동 급정지 13 후련함 기쁨 흔들기 14 신남 기쁨 달리기 15 성취감 기쁨 걷기 16 기쁨 ( 강 ) 기쁨 앞뒤반복 17 기쁨 ( 중 ) 기쁨 천천히걷기 18 기쁨 ( 약 ) 기쁨 급정지 19 흡족함 환영 흔들기 20 열망 환영 달리기 21 반가움 환영 걷기 22 환영 ( 강 ) 환영 앞뒤반복 23 환영 ( 중 ) 환영 천천히걷기 24 환영 ( 약 ) 환영 급정지 25 유쾌함 재미 흔들기 26 짜릿함 재미 달리기 27 흥미로움 재미 걷기 28 재미 ( 강 ) 재미 앞뒤반복 29 재미 ( 중 ) 재미 천천히걷기 30 재미 ( 약 ) 재미 급정지 31 설레임 즐거움 흔들기 32 열광 즐거움 달리기 33 뿌듯함 즐거움 걷기 34 즐거움 ( 강 ) 즐거움 앞뒤반복 35 즐거움 ( 중 ) 즐거움 천천히걷기 36 즐거움 ( 약 ) 즐거움 급정지

450 이지혜 진영훈 채영호 Table 6 Combination Emotion 감정 상체 조합 하체 37 노여움 ( 강 ) 노여움 달리기 38 노여움 ( 약 ) 노여움 걷기 39 짜증남 노여움 발차기 40 실망함 노여움 앞뒤반복 41 얄미움 노여움 천천히걷기 42 약오름 노여움 급정지 43 분노 ( 강 ) 분노 달리기 44 분노 ( 약 ) 분노 걷기 45

발차기 58 상실감 슬픔 앞뒤반복 59 허탈함 슬픔 천천히걷기 60 수치스러움 슬픔 급정지 61 좌절 ( 강 ) 좌절 달리기 62 좌절 ( 약 ) 좌절 걷기 63 참담함 좌절 발차기 64 초조함 좌절 앞뒤반복 65 괴로움 좌절 천천히걷기 66 답답함 좌절 급정지 67 외로움 ( 강 ) 외로움 달리기 68 외로움 ( 약 ) 외로움 걷기 69 비참함 외로움

8 450 이지혜 진영훈 채영호 Table 6 Combination Emotion 감정 상체 조합 하체 37 노여움 ( 강 ) 노여움 달리기 38 노여움 ( 약 ) 노여움 걷기 39 짜증남 노여움 발차기 40 실망함 노여움 앞뒤반복 41 얄미움 노여움 천천히걷기 42 약오름 노여움 급정지 43 분노 ( 강 ) 분노 달리기 44 분노 ( 약 ) 분노 걷기 45 격분함 분노 발차기 46 억울함 분노 앞뒤반복 47 괘씸함 분노 천천히걷기 48 불쾌함 분노 급정지 49 질투 ( 강 ) 질투 달리기 50 질투 ( 약 ) 질투 걷기 51 신경질 질투 발차기 52 증오함 질투 앞뒤반복 53 혐오함 질투 천천히걷기 54 토라짐 질투 급정지 55 슬픔 ( 강 ) 슬픔 달리기 56 슬픔 ( 약 ) 슬픔 걷기 57 원망함 슬픔 발차기 58 상실감 슬픔 앞뒤반복 59 허탈함 슬픔 천천히걷기 60 수치스러움 슬픔 급정지 61 좌절 ( 강 ) 좌절 달리기 62 좌절 ( 약 ) 좌절 걷기 63 참담함 좌절 발차기 64 초조함 좌절 앞뒤반복 65 괴로움 좌절 천천히걷기 66 답답함 좌절 급정지 67 외로움 ( 강 ) 외로움 달리기 68 외로움 ( 약 ) 외로움 걷기 69 비참함 외로움 발차기 70 걱정스러움 외로움 앞뒤반복 71 서러움 외로움 천천히걷기 72 심란함 외로움 급정지 정이표현된다. 하지만, 원활한의사소통과명확한감정의전달을위하여상체와하체의조합으로표현하고자하는기본적인감정을정의내리도록한다 (Table 6). 긍정적 (+Emotion) 인감정에속하는환호, 감동, 기쁨, 환영, 재미, 즐거움의감정표현에하체 (Lower Body) 로이루어진긍정적인감정 (+Emotion) 표현인흔들기, 걷기, 달리기의움직임을조합하여기본적인긍정 (+Emotion) 의조합감정인흥겨움, 놀람, 유쾌함, 반가움, 산남, 열광의감정을표현할수있다. 부정적 (-Emotion) 인감정에속하는분노, 질투노여움, 좌절, 슬픔, 외로움의감정표현에하체 (Lower Body) 로이루어진부정적인감정 (-Emotion) 표현인급정지, 발차기, 앞 Fig. 11 Combination of +Emotion Gesture Fig. 12 Combination of -Emotion Gesture

9 3D 아바타동작의선택제어를통한감정표현 451 뒤반복, 천천히걷기의동작을조합하여기본적인부정 (-Emotion) 의조합감정인불쾌함, 토라짐, 짜증남, 초조함, 수치스러움, 서러움의감정을표현할수있다. 상체 (Upper Body) 와하체 (Lower Body) 의조합으로표현할수있는조합된감정들중 12 가지의감정표현을기본조합감정으로정의내린다 (Fig. 11, Fig. 12). 4.3 입체 (3D) 아바타의대표복합동작에대한사용자실험감정을표현하는 입체 (3D) 아바타 를통한감정전달기반의의사소통을위해사용자가 입체 (3D) 아바타 의동작만을전달받았을경우그에대응하는감정을느꼈는가에대한조사가이루어졌다. 감정은일반화되어지기가어려우며, 개개인마다감정을표현하는성향이다르며, 주어진상황에따라감정의기복이달라지고, 그에따라취하는동작또한변하게된다. 사용자실험을통해감정을표현하는 입체 (3D) 아바타 의대표복합동작들의정확도를평가하도록한다. 본연구에서는사용자실험을계획함에있어평소 SNS 를사용하는집단을대상으로평가를계획하였다. 자료수집의방법으로는표적집단설문조사를실시하였다 사용자실험피시험자구성및실험방법실험대상은스마트폰을사용하고, SNS 를사용하는 20 대 ~50 대남녀 25 명으로구성하고, 사용자경험과복합동작으로감정을표현하고있는 입체 (3D) 아바타 (Fig. 11, Fig. 12) 를감정단어 (Table 6) 들과연관짓는설문조사를실시하였다. 피시험자그룹구성으로는 20 대 10 명, 30 대, 10 명, 40 대 3 명, 50 대 2 명으로각연령대별남녀비율은남성보다여성이더높았다. 각연령대별비율은 20 대남성 16%, 여성 24%, 30 대남성 12%, 여성 28%, 40 대남성 4%, 여성 8%, 50 대남성 4%, 여성 4% 로각연령대별 SNS 를가장자주이용하는그룹으로 20 대여성과 30 대여성으로조사되었다. SNS 상에서의기존의 이모티콘 과본논문에서제안하는 입체 (3D) 아바타 를비교하기위하여다음과같은항목의조사를실시하였다. 우선적으로, 이모티콘 을이용한감정전달의정확성을판단하기위하여 이모티콘 의사용현황과 Fig. 13 User Test Group 감정을표현하는 입체 (3D) 아바타 에관한선호도에관하여조사를실시하였고, 그이후감정을표현하는 입체 (3D) 아바타 에관한설문조사를실시하였다 사용자실험평가결과사용자평가에서가장많이사용하는 SNS 로는카카오톡 (68%), 라인 (24%), 틱톡 (8%) 의순서로조사되었다. SNS 상에서 이모티콘 을사용하는가에대한조사에서는약 98% 로매우높은사용량을알수있었고, 이모티콘 사용자들을대상으로조사한주로사용하는 이모티콘 의감정표현으로는긍정적인 이모티콘 을주로사용한다는대답율이 91% 로대다수의사람들은부정적인감정과중립적인감정에비해긍정적인감정을 이모티콘 으로표현하고있다는것을알수있었다. 이모티콘 의사용으로사용자의감정이잘못전달되었던경험이있는가에대한질문에는약 85% 의사람들이경험이있다고답했으며, 이러한경험이있는사람들을대상으로사용자가동작을선택하여감정을표현하는 입체 (3D) 아바타 를통해상대방과의의사소통에감정의전달이원활하게이루어질것에대한기대감을묻는질문에는 75% 의사람들이기대감을드러냈으며, 이러한 입체 (3D) 아바타 가 SNS 상에서사용할수있다면사용할것인가에대한질문에는 95% 이상이사용할것이라고답했다 (Table 7). 첫번째사용자평가를통해 입체 (3D) 아바타 를사용하겠다는사람들을대상으로복합동작을통해감정을표현하고있는 아바타 에대한분류테스트를실시하였다. 긍정적인동작을표현하고있는그룹과부정적인동작을표현하고있는그룹을분류하는조사에서는 100% 의사람들이그룹을

10 452 이지혜 진영훈 채영호 Table 7 User Test 1 Q A 백분율 1 주로사용하는 SNS는? 카카오톡 68.00% 2 이모티콘 사용여부 YES 97.91% 2-1 주로사용하는감정표현 긍정 91.66% 3 감정전달의오류경험 YES 85.41% 3-1 입체아바타를통한의사소통의가능성 YES 75.00% 4 입체아바타의사용여부 YES 95.83% Fig. 14 User Test 2(+Emotion accuracy) 정확하게분류하였다. 감정전달의정확성을판단하기위해긍정적인감정을표현하는그룹 (Fig. 11) 과부정적인감정을표현하는그룹 (Fig. 12) 을 Table 6 의감정단어들과연관하여선택하는조사를실시하였다. 긍정적인감정에대한실험결과로열광을표현하는감정은 60%, 반가움을표현하는감정은 80%, 유쾌함을표현하는감정은 64%, 신남을표현하는감정은 60%, 놀람을표현하는감정은 80%, 흥겨움을표현하는감정은 68% 로평균 68.66% 감정일치를보여주었다 (Table 8, Fig. 14). 부정적인감정에대한실험결과로불쾌함을표현하는감정은 64%, 수치심을표현하는감정은 72%, 서러움을표현하는감정은 68%, 초조함을표현하는감정은 80%, 토라짐을표현하는감정은 72%, 짜증남을표현하는감정은 64% 로평균 70% 감정일치를보여주었다 (Table 9, Fig. 15). 조사결과동작으로표현하는긍정적인감정과부정적인감정의평균감정의일치률은 69.33% 로조사되었다. 본조사는감정을표현하는동작과제안된감정 Table 8 User Test 2(+Emotion) 감정 열광 반가움 유쾌함 신남 놀람 흥겨움 총 열광 반가움 유쾌함 신남 놀람 흥겨움 총 Table 9 User Test 2(-Emotion) 감정 불쾌함 수치심 서러움 초조함 토라짐 짜증남 총 불쾌함 수치심 서러움 초조함 토라짐 짜증남 총

11 3D 아바타동작의선택제어를통한감정표현 453 들끼리연관하여통합한후사람들에게선택할수있도록하고, 사용자의상황변화에초점을맞추어사용자가감정을세분화하고표정을추가하고동작들을확장하여감정의조합이제한적이지않도록감정의특징들을정확하고다양하게표현하도록한다. 감사의글 Fig. 15 User Test 2-1(-Emotion accuracy) 단어들과연관성을알아보았던조사로긍정적인감정과부정적인감정의분류는정확하게분류가되었다. 하지만긍정적인감정들에포함되어있는세부적인감정분류와부정적인감정들에포함되어있는세부적인감정분류는사람마다느끼는감정의표현단어가일관적이지않음이조사결과밝혀졌다. 그렇지만긍정적인감정표현에서 반가움 과 놀람 의감정표현의경우 80% 의일치률을보였고, 부정적인감정표현에서 초조함 의감정표현이 80% 의일치률을보였다. 5. 결론 상체 (Upper Body) 로표현되는감정과상체 (Upper Body) 와하체 (Lower Body) 의조합으로표현할수있는 입체 (3D) 아바타 의감정표현은최소 12 가지의감정에서약 84 가지의동작을선택제어하여감정을표현할수있으며, 발신자의감정을현실세계에서의감정표현과유사하게전달할수있어수신자와발신자사이의감성적인의사표현을가능하게할것으로생각된다. 실제사람들이표현하는감정표현은개인의취향과상황에따라차이가있을수있고, 개인의특징에따라다른동작으로다양하게표현된다. 실험결과동작으로만감정을전달할경우감정의완벽한전달은어려웠다. 긍정적인감정의 열광 과 신남, 흥겨움 의감정표현동작들은감정표현방식이유사하여표정의변화없이정확하게감정을전달하는것은어려울것으로판단되어지고, 마찬가지로부정적인감정에서의 불쾌함, 짜증남 의감정표현역시표정의변화가추가되어야정확한감정전달이가능할것으로생각된다. 따라서향후제안되어진감정들을유사한감정 본논문은 2012 년도교육부의재원으로한국연구재단의기초연구사업 (NRF-2012R1A1A ) 의지원으로인한결과물임을밝힙니다. References 1. Pantic, M. and Rothkrantz, L.J., 2003, Toward an Affect-sensitive Multimodal Human-computer Inter Action, Proceedings of the IEEE, 91(9), pp Lee, M.Y., Hong, S.H. and Kim, J.H., 2011, Making Packets from Animation Gestures-Based on the Effort Element of LMA, The Journal of the Korea Contents Association, 11(3), pp Izard, C.E., 1991, The Psychology of Emotions. Springer. 4. Ekman, P., 1992, An Argument for Basic Emotions, Cognition and Emotion, 6, pp Damasio, A.R., 1994, Descartes' error : Emotion, reason and the Human Brain, NewYork, NY : Grosset/Putnam Book. 6. Plutchik, R., 2001, The Nature of Motions. American Scientist, 89(4), pp Kalat, J.W. and Shiota, M.N. Emotion elmont, CA: Thomson Wadsworth. 8. Izard, C. E. (Ed.), 1977, Human Emotions. Boom Koninklijke Uitgevers. 9. Ekman, P., 1971, Universals and Cultural Differences in Facial Expressions of Emotion. In Nebraska Symposium on Motivation. University of Nebraska Press. 10. Ekman, P., 1992, Are There Basic Emotions?. Psychological Review, 99, pp Ekman, P., 2007, Emotions Revealed: Recognizing Faces and Feelings to Improve Communication and Emotional Life. Macmillan. 12. Epstein, S., 1984, Controversial Issues in Emotion Theory. Review of Personality & Social Psychology. 13. Oatley, K. and Johnson-Laird, P.N., 1987, Towards a Cognitive Theory of Emotions. Cognition and Emotion, 1(1), pp

454 이지혜 진영훈 채영호 14. Shaver, P., Schwartz, J., Kirson, D. and O'connor, C.

, 1992, Cross-cultural Similarities and Differences in Emotion and Its Representation. Sage Publications, Inc. 16. Lee, M.Y. and Lee, H.C., 1990, The Structural Analysis of Adjective Meanings : Related to Affective Voca Bulary Korean, Korean Jounal of Experimental and Cognitive Psychology, 2, pp.

H., 2005, Making a List of Korean Emotion Terms and Exploring Dimensions Underlying Them,Korean Jounal of Social and Personality Psychology, 19(1), pp.109-129. 19. Song, H.J., Kim, H.S. and Lee, J.W.

12 454 이지혜 진영훈 채영호 14. Shaver, P., Schwartz, J., Kirson, D. and O'connor, C., 1987, Emotion Knowledge: Further Exploration of a Prototype Approach, Journal of Personality and Social Psychology, 52(6), pp Shaver, P.R., Wu, S. and Schwartz, J.C., 1992, Cross-cultural Similarities and Differences in Emotion and Its Representation. Sage Publications, Inc. 16. Lee, M.Y. and Lee, H.C., 1990, The Structural Analysis of Adjective Meanings : Related to Affective Voca Bulary Korean, Korean Jounal of Experimental and Cognitive Psychology, 2, pp Hahn, D.W., 2000, Empirical Studies on the Four Seven Emotion Debate of Korean Neo Confucianism, Korean Jounal of Social and Personality Psychology, 14(2), pp Park, I.J. and Min, K.H., 2005, Making a List of Korean Emotion Terms and Exploring Dimensions Underlying Them,Korean Jounal of Social and Personality Psychology, 19(1), pp Song, H.J., Kim, H.S. and Lee, J.W., 2008, Cogni tive Appraisal of Primary Polls, Emotional Responses, and their Impacts on Political Action Korean Language and Literature Association, 52(4), pp Chung, M.G., Lee, M.Y., Kim, S.H. and Kim, J.H., 2007, The Study on Body Language in Animation as Functional Aspects-Focusing on Mulan, Beauty and the Beast, Aladdin, Sinbad, Jounal of Korean Society of Design Science, 20(1), pp Kim, J.O., 2011, Posture Features and Emotion Pre Dictive Models for Affective Postures Recognition, KSII Transactions on Internet and Information Systems, 12(6), pp Pollick, Frank E., et al., Perceiving Affect from Arm Movement, Cognition 82.2 (2001): B51- B Park, W., 1997, The Case Study on the Nonverbal Communication. University of Inha. 24. Kim, S.J. and Kuc, T.Y., 1998, Motion Control of 3D Human Character Using Motion Database, Multimedia-Assisted Language Learning, (2), Jin, Y.H., Kim, D.B., Chai, Y.H. and Nam, S.H., 2013, Adaptive Hierarchical Motion Authoring for 3D Mobile Avatar, Journal of the Korean Data And Information Science Sociaty, 40(9), pp Jin, Y.H. and Chai, Y.H., 2014, Spontaneous Motion Authoring for Mobile Avatar Using Particle Dynamics, Journal of the Korean Data and Information Science Sociaty, 41(5), pp Lee, J., Han, J. and Yang, J., 2014, Depth Camera-Based Posture Discrimination and Motion Interpolation for Real-Time Human Simulation, Transactions of the Society of CAD/CAM Engineers, 19(1), pp Jung, M., Lee, K., Cho, H., Kim, T., Yanzhao, M. and Lee, S., 2007, Digital Human Modeling for Human-centered CAD System, Transactions of the Society of CAD/CAM Engineers, 12(6), pp 이지혜 2012 년서울디지털대학교컴퓨터정보통신공학사 2012 년 ~ 현재중앙대학교첨단영상대학원석사과정관심분야 : HCI, 가상환경, UX 진영훈 2005 년서울산업대학교컴퓨터공학사 2014 년중앙대학교첨단영상대학원영상공학석사 2014 년 ~ 현재중앙대학교첨단영상대학원영상공학박사과정관심분야 : 영상처리, 인공지능 채영호 1989 년중앙대학교기계공학사 1989 년 ~1992 년삼성전기연구원 1994 년 SUNY Buffalo 기계공학석사 1997 년 ISU 기계공학박사 1998 년 ~1999 년중앙대기계공학부 1999 년 ~ 현재첨단영상대학원교수관심분야 : UI/UX, 가상디자인

27 2, 17-31, , * ,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 2007 * ( :

27 2, 17-31, , * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** ( : 27 2, 17-31, 2009. -, * ** ***,. K 1 2 2,.,,,.,.,.,,.,. :,,, : 2009/08/19 : 2009/09/09 : 2009/09/30 * 2007 ** *** (: dminkim@cau.ac.kr) 18 한국교육문제연구제 27 권 2 호, 2009. Ⅰ. (,,, 2004). (,, 2006).,,, (Myrick,