사용자프로파일및만화요소를활용한다양한만화자동생성 465 사용자프로파일및만화요소를활용한다양한만화자동생성 (Automatic Generation of Diverse Cartoons using User's Profiles and Cartoon Features) 송인지 정명철 조성배 (In-Jee Song) (Myung-Chul Jung) (Sung-Bae Cho) 요약인터넷이용의확산과함께많은사용자들이자신의일상을글이나사진, 만화와같은형태로표현하여과거의기억을반추하거나, 다른사람과공유하는데사용한다. 본논문에서는사용자의일상행동과감정이표현된특이성목록을활용하여다양한만화를생성함으로써사용자의기억이쉽게회상되고공유될수있도록하였다. 우선각특이성별로정의된우선순위와연관성을바탕으로중요특이성을선택하여만화시나리오를구성하고, 생성된시나리오를스토리온톨로지를통해보정한다. 다음보정된시나리오의각특이성과만화이미지사이의유사도를계산하여, 각특이성에어울리는만화컷이조합된다. 마지막으로다양한만화생성을위해날씨, 야경, 과장, 애니메이션과같은효과들을적용하였다. 생성된만화의다양성을측정하기위해사용시나리오와사용성평가를통해제안하는방법을평가하였다. 키워드 : 스토리구성, 유사도기반이미지선택, 만화생성 Abstract With the spread of Internet, web users express their daily life by articles, pictures and cartons to recollect personal memory or to share their experience. For the easier recollection and sharing process, this paper proposes diverse cartoon generation methods using the landmark lists which represent the behavior and emotional status of the user. From the priority and causality of each landmark, critical landmark is selected for composing the cartoon scenario, which is revised by story ontology. Using similarity between cartoon images and each landmark in the revised scenario, suitable cartoon cut for each landmark is composed. To make cartoon story more diverse, weather, nightscape, supporting character, exaggeration and animation effects are additionally applied. Through example scenarios and usability tests, the diversity of the generated cartoon is verified. Key words :story composition, similarity based image selection, cartoon generation 1. 서론 웹기술을바탕으로한인터넷산업의발전은개인간의정보소통방식에커다란변화를초래하였다. 인터넷사용자들은자신의홈페이지나블로그에글을게재하여불특정다수나소수의지인들에게자신의생각을전달한다. 특히, 글과함께멀티미디어를사용하면, 개인의경험을보다효과적으로전달할수있다. 특히, 만화는대상의성격을과장하거나생략하여보는사람이보 본논문은삼성종합기술원의지원을받았습니다. 학생회원 : 연세대학교컴퓨터과학과 schunya@sclab.yonsei.ac.kr mcjung@sclab.yonsei.ac.kr 종신회원 : 연세대학교컴퓨터과학과교수 sbcho@cs.yonsei.ac.kr 논문접수 : 2006년 10월 10일심사완료 : 2007년 3월 26일 다흥미있고집중해서저작물을감상할수있도록도와주는장점이있다. 또한만화로본내용은기억에오래남는다. 이런장점에서만화는자신의생각이나경험을다른사람들에게전달하거나추후에다시회상할때에활용될수있는효과적인도구가된다. 만화의경험회상및전달효과를강화하기위해서는사람의기억구조가활용될수있다. 사람은에피소드단위로기억을저장하여방대한양의정보를효율적으로관리한다. 즉여러개의사건을하나의에피소드로묶어관리하고각에피소드는그에피소드를떠올릴수있는특이성들을가지고있다. 에피소드와연관되어있는중요한특이성정보를떠올리면에피소드안의다른정보들도동시에기억된다. 따라서사용자에게모든정보를보여주지않고대표적인특이성들을자동으로선택하
466 정보과학회논문지 : 소프트웨어및응용제 34 권제 5 호 (2007.5) 여보여준다면나머지기억정보는자연스럽게떠오를것이다. 이런시간, 장소, 연관된감정을포함하는사건의집합체를에피소딕메모리라한다 [1,2]. Miikkulainen 은에피소드단위로저장된스크립트기반의기억정보에대해계층적 SOM(Self-organizing feature maps) 을사용하여기억을분류, 저장, 복원하는방법을제안하였다 [3]. 계층마다정해진정보들을저장함으로써기억의복원속도를높이고일부정보가소실되더라도계층적구조의도움으로기억을복원할수있다. 인간의에피소딕메모리구조를잘활용해일상의사건들중에서각에피소드에영향력이큰사건을중심으로만화를만들면, 개인이자신의경험을떠올리거나전달하는데많은도움이될것이다. 만화를통해경험을전달하고회상할때효과를높이기위해고려할수있는만화의또다른특성은만화에포함된재미요소이다. 만화의재미요소는개인적인감정을쉽게만화로표현할수있도록해준다. 일반적으로작가가재미있는작품을만들기위해서는사용자가수용할수있는범위안에서최대한다양한패턴을사용해야한다 [4]. 만화가재미요소를갖추기위해서는다양한패턴들을사용해표현되어야한다. 인간의기억구조와재미요소를활용해만화가효과적으로경험의전달및회상에사용될수있도록, 본논문에서는 [5] 와같은방법으로추출된특이성목록을바탕으로하루동안의일들을중요한사건중심으로요약하여스토리를구성하고, 다양한패턴을사용하여만화이미지로표현하는방법을제안한다. 첫째, 사용자의행동및감정상태를나타내는특이성들에대해특이성사이의인과관계를바탕으로가중치를조정하여최종적으로우선순위가높은특이성들을만화스토리로구성하는방법을제안한다. 둘째, 사건전개가자연스럽게이어질수있도록선택된특이성사이에설명이부족한부분을스토리스트림온톨로지를활용하여보정한다. 셋째, 만화가다양하게합성될수있도록배경및캐릭터이미지에주석을달고유사도매칭을이용하여적절한이미지가선택, 합성될수있도록한다. 넷째, 만화에다양한효과를주어내용전달의효과를극대화한다. 사건전개에따라강조효과, 애니메이션효과등을준다. 본논문의구성은다음과같다. 먼저 2장에서는관련연구에대해서살펴보고, 3장에서는본논문에서제안하는방법을만화스토리구성방법, 만화구성방법과만화이미지합성방법으로나누어기술한다. 4장에서는제안하는방법의검증을위해만화생성예제와사용자평가결과를분석하고, 마지막으로 5장에서는결론및향후연구에대해언급한다. 2. 관련연구최근유비쿼터스센서네트워크와모바일컴퓨팅기술을활용하여사용자의일상생활컨텍스트를얻으려는연구들이활발히진행되고있다 [6-8]. 이연구들의목적은사용자의일상행동을기록, 요약하여사용자가필요한기억을회상할수있도록도움을주는것이다. 이중에서도많은인공지능기법이고수준의컨텍스트를추출하기위해사용되고있다. 특히, 확률적모델, 신경망, 퍼지논리등과같은소프트컴퓨팅기술들이활발히사용되고있다 [9-11]. 또한인터넷이나모바일환경을바탕으로사용자의일상정보를커뮤니티의지인들과공유함으로써커뮤니티결속관계를강화할수있는데, 이러한맥락에서이벤트캘린더와같은고수준컨텍스트에서중요한정보를찾아내는방법이연구되고있다 [12,13]. 이연구에서는사용자가정보를기억하는패턴을심리학적으로분석하여에피소딕메모리이론을토대로시스템을개발하고자하였다. 과거몇년간의캘린더정보를베이지안네트워크에입력하여해당이벤트가에피소드가되는확률모델을얻었다 [14]. 또한, 핵심이벤트를중심으로사용자의기억을요약하고이를사용자에게보여주는 LifeBrowser가있다 [15]. 일상생활을만화와같은멀티미디어로표현하는연구들도수행되었다. 만화다이어리는사용자가학회에참여한기억을만화형식으로보여주는연구이다 [16]. 학회에서겪은경험을글로보여주는것보다만화로보여주면광범위한사용자의기억을몇개의만화컷으로쉽게떠올리게할수있다. 다만, 시나리오기반의만화생성기법은사전에미리정해놓은시나리오범위내에서만만화를생성할수있어다양한만화를얻는것은어렵다. Comic Chat은마이크로소트프연구소에서개발한채팅시스템으로만화를이용하여사용자사이의대화기록을보여준다 [17]. 이연구에서는말풍선자동생성, 캐릭터의위치배정등에관한연구를진행하였다. 사용자는다양한종류의캐릭터를설정하여사용할수있고자신의감정상태에따라 8가지감정을설정하여캐릭터의표정을바꿀수있다. 제안하고자하는방법을두만화생성연구와비교해보면표 1과같다. Comic Chat의경우인터넷채팅을바탕으로만화를구성하여서, 만화는화자의구별이나화자의감정상태를표현하는정도로제약되어사용되었다. Comic Diary는학술대회라는특수상황을가정하여만화를정해진몇가지스토리에적용하였기때문에마찬가지로일반적으로사용하기에는제약이따른다. 본논문에서는다양한특이성과만화이미지요소를결합하여, 사용자의일상생활을만화로표현할수있도록하였다.
사용자프로파일및만화요소를활용한다양한만화자동생성 467 표 1 만화생성연구비교 스토리구성방법 이미지구성방법 Comic Chat 채팅대화로그사용 단어매칭감정표현, 캐릭터위치 / 방향, 배경 Comic Diary 시나리오스크립트 ( 스토리스트림 ) 템플릿기반 제안하는방법 가중치전파, 온톨로지보정 유사도기반매칭 3. 제안하는방법의구조그림 1은만화를생성하는전체적인과정을보여준다. 제안하는방법에서는특이성과사용자프로파일을시스템의입력으로사용한다. 특이성은상황인식모듈을통해인식된사용자의일정정보이다. 특이성은시간에따른사용자의행동및감정상태, 위치, 다른특이성과의인과관계와가중치로표현된다. 예를들어, 사용자가학교에서친구와전화통화를했다면, 친구와전화 라는행동이외부상황인식모듈을통해인식된다. 사용자의행동과함께위치, 시간, 연관성을갖는다른행동, 해당행동의가중치 ( 중요도 ) 가함께외부모듈을통해인식된다. 하루동안생성되는다양한특이성들을모두만화로구성한다면사용자는너무많은정보로인해스토리에대해흥미를잃기쉽다. 따라서, 중요한행동이나감정, 상태를중심으로스토리를구성하기위해가중치가높은특이성을우선적으로선택하게된다. 특히인간의기억구조가주요사건과관련사건들을함께에피소딕하게저장하므로, 이러한특성을반영하여연관된특이성이많은경우연관된특이성들의가중치를추가적으로해당특이성의가중치에반영한다. 선택된스토리상에서사건전개를자연스럽게만들어주기위해스토리스트림을사용하여특이성사이의보간을통해스토리를보정한다. 만화선택과정에선선택된특이성들과만화이미지사이의유사도매칭을통해정확하고다양한만화를생성한다. 만화이미지는배경, 보조배경, 캐릭터, 보조캐릭터, 설명으로구성하여제한된만화이미지로다양한 만화컷이구성될수있도록하였다. 구성된만화가사용자의취향을반영할수있도록각만화컷에대해행동의강조, 캐릭터선택, 애니메이션효과적용등이가능하다. 3.1 특이성사람의기억은에피소드단위로저장이되고이를대표하는특이성들을떠올려연관된사건을기억할수있다고한다. 사용자에게대표적인특이성들을만들어보여준다면나머지기억들도쉽게떠올릴수있다. 특이성은시간, 장소를포함한행동과감정을나타내며사람에따라결정되는특이성에차이가생긴다. 예를들어매일외식을하는사람에게 레스토랑에서외식 은일상적인일이지만거의외식을하지않는사람에게는기억에남을만한경험이다. 본시스템에서는이미존재하는특이성목록을대상으로만화를생성한다. 다양한일상상황을포괄할수있는특이성들이외부특이성추론모듈에의해표 2와같이정의된다. 특이성은특이성이발생한시간, 특이성을설명하는특이성이름부분, 특이성의중요도를표현하는가중치, 그리고마지막으로특이성과관련이있는다른특이성의 ID 및해당관계의연결강도로구성된다. 이중사용자의일상생활을정의하는특이성의이름은다음과같은방법으로분류되었다. 우선 3명의대학생으로부터각자의일상을보고서형식으로받아서, 일상사건을표현할수있는단어들을정리하였다. 다음그단어들중만화이미지를명확히설명하며, 이미설명된이미지를다시중복설명하는것이없도록단어들을표 3과같이선택하였다. 특이성은크 그림 1 제안하는방법의개요
468 정보과학회논문지 : 소프트웨어및응용제 34 권제 5 호 (2007.5) 표 2 특이성구성요소속성이름값특이성 ID 고유숫자특이성이름행동 / 감정을표현시작시각이벤트시작시각종료시각이벤트종료시각가중치 0~100 사이의숫자인과관계특이성목록관련된특이성의 ID 및연결강도의목록게행동과감정으로분류하고, 행동은더작은세부행동으로분류하였다. 세부행동의경우특이성을결정하는데유사한조건이사용되는것들끼리세부행동을분류하였다. 3.2 스토리구성스토리는기본적으로입력된특이성목록중특이성의우선순위가높은것들을중심으로구성된다. 하지만우선순위만사용해특이성을선택하다보면요약된이야기의흐름이부자연스러운경우가많다. 요약된스토리의흐름이논리적으로일관성을갖게하기위해서는전후관계에있는특이성들끼리묶어야좋은이야기가구성이된다. 따라서우선순위가높으면서인과관계그 룹안에있는특이성들을우선적으로선택하기위해연결관계에있는특이성의우선순위를높여주는가중치전파방법을사용하였다. 우선, 각특이성의인관관계목록을참조하여, 연관성이있는특이성들을그룹화한다. 그룹화된특이성들은식 (1) 을적용하여인과관계를갖는특이성의우선순위를바탕으로우선순위를조정한다. np = np + i Link lp st gw i i (1) np : 해당특이성의우선순위 st : 인과관계의연결강도 lp : 해당특이성과인과관계를갖는특이성의우선순위 gw : 특이성그룹의우선순위이식에서특이성그룹의우선순위는특이성그룹에포함된전체특이성들의우선순위평균으로구한다. 식 (1) 을적용하면, 인과관계없이동떨어지게등장하는특이성보다다른특이성들과인과관계를갖고함께등장하는특이성들이추가적인우선순위를얻어서, 결과적으로시나리오선택시유리하게된다. 가중치전파가완료되면최종적으로우선순위값을 표 3 특이성이름목록 분류특이성수 행동 감정 공간 실내, 실외, 일상지역, 지하 4 관람 경마, 공연, 농구경기, 야구경기, 영화관람, 응원, 축구경기, 애인과, 친구와 9 교통 고속버스, 기차, 선박, 전철, 항공기, 승용차, 택시, 걷기 8 그룹상태 그룹, 직장동료, 학교친구와, 혼자, 애인과 5 모임 만남, 모임, 자유시간, 회식 4 병원 병문안, 입원, 진료 3 사진 물건찍기, 셀카찍기, 음식찍기, 풍경찍기, 즐거운사진찍기 5 쇼핑 백화점, 시장, 쇼핑센터, 옷가게 4 핸드폰 전화, SMS, 스팸문자, 업무상많은전화, 오랜만의반가운통화, 오랜만의 SMS, 즐거운통화, 귀찮은 SMS, 핸드폰게임 9 식사 식사, 패스트푸드, 레스토랑, 외식, 차마시기 5 운동 러닝머신, 수영, 골프, 농구, 수상스키, 스노우보드, 스케이트, 스쿼시, 스키, 실내운동, 요가, 실외운동, 체육대회, 테니스, 헬스, 낚시, 행글라이더 17 유흥 노래, 춤, 음주, 미용실, PC방, 콘서트, 연극, 영화, 놀이공원, 찜질방 10 음악 즐거운음악, 슬픈음악, 혼자음악듣기 3 이동 걷기, 빨리걷기, 뛰기, 우산들고걷기, 우산들고뛰기 5 일터 발표, 복사하기, 서류검토, 짐나르기, 컴퓨터작업, 회의 6 여행및 등산, 산책, 해돋이, 해변, 녹차밭, 목장, 개울가, 시민공원, 호수, 유적지, 박물관, 수족관, 식물원, 갯벌 14 자연 종교 미사, 예배, 예불 3 집 나갈준비, 머리손질, 샤워, 설거지, 세면, 수면, 식사, 요리, 청소, 컴퓨터게임, 컴퓨터작업, 화장, TV보기 13 학교 동아리활동, 공부, 수업, 시험, 졸기, 축제, 그룹스터디, 발표, 토론, 연구 10 행사 결혼, 약혼, 선거, 성묘, 장례, 제사, 입학, 졸업 8 설렘, 즐거움, 행복, 사랑해, 황홀, 뿌듯, 짜증, 당황, 실망, 화남, 놀람, 그리움, 답답, 귀찮음, 외로움, 슬픔, 긴장, 바쁨, 피곤, 아픔, 힘듦, 심심, 배고픔, 몸단장, 취함, 졸림, 잠이안옴, 몸이아픔, 더움 30
사용자프로파일및만화요소를활용한다양한만화자동생성 469 그림 2 특이성구성과정그림 3 만화스토리를위한 XML 스키마기준으로필요한만큼의특이성을선택한다. 선택되는특이성의개수는사용자의프로파일을바탕으로한다. 그림 2는추론된특이성을바탕으로스토리구성을위 해특이성을선택하는과정을보여준다. 또한, 선택된특이성들을그림 3에표현된 XML 스키마형태의만화스토리로출력된다. 3.3 스토리보정특이성선택과정을거쳐나온스토리를구성하는특이성은외부상황인식모듈에서입력된특이성으로만구성되어있다. 인식된특이성은정확도가낮아, 입력된특이성만으로스토리를구성하게되면연결이자연스럽지못한경우가있다. 즉, 스토리전개상필요한부분이지만실제일어나지않았거나그반대의경우이다. 이런문제를해결하기위해스토리스트림을사용한다. 스토리스트림은특이성사이의선행관계를정의한온톨로지이다. 입력된특이성들을토대로스토리스트림과비교하여해당스토리스트림에서빠진특이성을스토리에추가하는작업을수행한다. 시간적순서를갖는특이성 L n 과 L n+1 이있고스토리스트림의인과관계가 S n, S n+1, S n+2 의순으로되어있다. 이때 L n 과 S n 이동일하고 L n+1 과 S n+2 가동일하다면 S n+1 이 L n 과 L n+1 사이에추가된다. 따라서 L n+1, S n+1, L n+1 의순으로특이성이보정된다. 예를들면, L 4( 집 ) 과 L 5( 학교 ) 라는두특이성이그림 4와같이만화스토리로구성되어있다. 이때스토리스트림온톨로지상에 S 1 ( 집 ) 에서 S 4( 학교 ) 으로이어지는패스가존재하는경우, S 2( 이동 ) 이라는특이성이추가된다. 이런온톨로지를사용해스토리를보정하면스토리의흐름은더자연스러워질것이다. 현재는자주발생하는특정사건들만보정이되지만, 사람들이겪는일상사건들의순서와인과관계등을온톨로지로만드는연구 [18] 를활용하면, 일 그림 4 스토리스트림을사용한스토리보정과정
470 정보과학회논문지 : 소프트웨어및응용제 34 권제 5 호 (2007.5) 상적인사건들도보정이가능할것이다. 3.4 만화이미지선택합성을통해다양한만화생성의효율을극대화하기위해각레이어별로만화이미지를제작하였다. 만화이미지는배경과캐릭터이미지로구성된다. 배경은주배경 268장과날씨와기타효과를위한보조배경 21장으로구성되어있다. 주배경은특이성의유형에따라 21가지카테고리로분류하였고이중주요한배경분류목록으로는학교, 집, 회사, 교통, 도시, 유흥, 운동, 여행, 감정등이있다. 그림 5는배경이미지의일부를보여주고있다. 각이미지는만화생성과정에사용되는주석정보를갖고있는데, 배경이미지의경우표 4와같은속성값들을갖는다. 캐릭터이미지에는주캐릭터와보조캐릭터가있으며, 주캐릭터는 2종류, 보조캐릭터는 4종류로구성하였다. 주캐릭터는각종별로 203장, 보조캐릭터는종별로 13장의이미지를사용하였다. 그림 6은캐릭터이미지의일부를보여주는데, 다양한상황에대한표현과사용자가재미를느낄수있도록강조효과및애니메이션효과표 4 배경이미지주석명세속성이름값대분류 ID 고유숫자이미지 ID 고유숫자야경여부 ( 참, 거짓 ) 설명이미지를표현하는문자열집합 를사용할수있다. 강조효과는이미지의내용에과장되거나캐릭터를확대해서세밀함을표현함으로써사건전개의강약조절을표현한다. 애니메이션효과는이미지에움직임을부여하여동적인행동의표현을극대화한다. 애니메이션효과는걷기, 달리기, 운동등활동적인사건의내용에추가된다. 그림 7은강조효과와애니메이션효과의예이다. 각종효과들과같은캐릭터이미지의속성들을만화생성시쉽게처리하기위해표 5와같은주석을각캐릭터이미지마다정의하였다. 각만화컷은특이성과사용자프로필정보를바탕으로선택된배경과캐릭터이미지를합성하여생성된다. 단순매칭을사용하는경우하나의특이성과사용자프로필에대해하나의만화컷만이생성되므로, 합성된만화에서다양성을기대하기는힘들다. 하나의특이성을사용해서다양한만화컷을합성하기위해서는특이성표 5 캐릭터이미지주석명세속성이름값대분류 ID 고유숫자 이미지 ID 고유숫자 캐릭터종류 ( 동양캐릭터, 서양캐릭터 ) 시선방향 ( 우, 좌, 가운데앞, 뒤 ) 강조가능여부 ( 참, 거짓 ) 강조이미지여부 ( 참, 거짓 ) 전체프레임수 숫자 N (N 0) 현재프레임번호 숫자 M (N M 0) 설명 이미지를표현하는문자열집합 그림 5 배경이미지의일부
사용자프로파일및만화요소를활용한다양한만화자동생성 471 그림 6 캐릭터이미지의일부 와 image사이의의미적유사도를평가하기위해식 (2) 를사용하였다. Similarity( event, image m kmh ( p( eventm) p( UP)) p( image ) = p( event ) p( UP) p( image m kmh ) ) kmh (2) 그림 7(a) 행복함 을세밀묘사를통해강조 ( 왼쪽은일반, 오른쪽은강조이미지 ). (b) 달리기 를애니메이션으로표현하기위한각프레임과만화컷을유연하게매칭해주어야한다. 매칭시의미적유사도를사용하면, 하나의특이성에서다양한만화컷을생성할수있다. 배경과캐릭터이미지는해당이미지가표현하는행동이나장소, 사용된캐릭터의종류등의의미정보를주석으로갖고있다. 또한특이성과사용자프로필도사용자의행동및장소정보, 특정캐릭터에대한선호도정보등을포함하므로, 이러한의미정보는특이성과이미지사이의의미적유사도를계산하는데사용된다. 배경및캐릭터이미지각각이갖는주석정보를 image로표현하고, 특이성및사용자프로필이포함하는정보를 event로표현할수있다. Event Similarity(event m, image kmh): event m 와 image kmh 사이의유사도 event m: m번째랜드마크이벤트 image kmh: event m 를위한 k번째카툰컷조합속의 h 유형의만화이미지 UP: 사용자프로파일 p(x): 개체 X가갖는모든속성의집합이식은 m 번째특이성 eventm과이특이성과사용자프로파일 UP를위한 k번째카툰컷조합속의 h유형의만화이미지 imagekmh사이의유사도를구한다. 이유사도는특이성, 사용자프로파일, 만화이미지주석의속성들의일치정도를바탕으로구한다. 이식을사용하면특이성과사용자프로파일에정의된속성들을많이갖는만화이미지일수록큰유사도를갖게된다. 3.5 만화컷구성본논문에서는제한된만화컷으로부터다양한합성만화를만들어내기위해 5개의레이어로만화컷을구성하였다. 구성은설명, 주캐릭터, 보조캐릭터, 주배경, 보조배경이있고배경판역할을해주는캔버스로이루어
472 정보과학회논문지 : 소프트웨어및응용제 34 권제 5 호 (2007.5) 그림 8 만화이미지합성의예진다. 위와같은방법을사용했을경우각레이어별로독립적재사용이가능해져다양한만화컷의구성이가능하다. 주배경을제외한이미지들은투명효과를주기위해마스킹색상을가지고있고합성시에마스킹색상을제거함으로써자연스러운합성결과를얻을수있다. 그림 8은각각의독립적만화이미지가합성되는순서와결과를보여준다. 주배경이미지는 학교잔디앞, 보조배경이미지는 구름, 주캐릭터이미지는 사진찍기, 보조캐릭터이미지는 서있기 가선택되었고해당하는이미지를 DB로부터가져와만화컷을구성한다. 4. 만화생성예및사용성평가제안하는방법을사용하였을때제한된수의만화이미지로얼마나많은수의만화조합을생성할수있는지알아보기위해가능한만화조합의수를계산하였다. 계산결과표 6에서보는것처럼 700여장의배경과캐릭터이미지를사용하면, 약 5000만여가지의조합을생성할수있다. 다양한만화의조합이정보전달이효과적으로이루어질수있도록하는한가지요인이될수있지만, 상관관계가명확하지않으므로보다구체적인검증을위해가상시나리오와사용성평가를통해 추가검증을실시하였다. 3장에서설명한만화이미지선택과합성과정을거쳐전체조합중일부만화조합이선택되어만화로구성된다. 만화이미지선택과정을거치면만화내용정보를모두가지고있는 XML을생성하게된다. 이 XML을만화합성모듈의입력으로넣으면 XML의내용을바탕으로이미지 DB로부터이미지를가지고와합성과정을진행한다. 만화예는대학생사용자의일상적인스토리와산으로여행가는비일상적인스토리로구성하였다. 그림 9와 11 은일상의일과여행스토리각각의 XML 예제이다. 그림 10의만화는대학생의일상적인생활을만화로만든것이다. 아침에등교해학교에서수업을듣고방과후쇼핑을하고커피숍에서커피를마시는내용이다. 그림 12는일상을벗어나산으로여행을떠나는내용이다. 집에서놀러갈준비를하고산으로가서산책을하며놀고난후, 마지막컷은즐거운마음을표현한장면이다. 구성된만화에대한사용자의반응을평가하기위해생성된만화에대해사용자로부터세가지부분에대한평가를수집하였다. 우선만화이미지를설명하는주석의정확도를평가하였다. 다음으로만화생성시스템을사용해생성된만화의다양성을평가하였다. 마지막으로만화의다양성이재미에미치는영향을평가하기위해, 생성된만화의다양성과재미사이의관계를상관분석을통해평가하였다. 16명의 20대학생들이각항목을 5 점스케일로평가하였다. 그림 13은사용성평가를위해선정된특이성으로부터생성된만화이다. 각행은하나의특이성을다른형태의이미지를사용하여표현한것이다. 그림 13의스토리는등교, 수업, 식사, 학교산책, 콘서트관람, 주점의순으로구성이되었다. 각특이성을각각의만화이미지가얼마나잘표현하는가와생성된만화이지미가얼마나다양성을갖는지특이성별로평가한결과는그림 14와같다. 평가는최고 5점만점으로그림 13의각특이성에대해서평가를하였다. 표현정확도의전체평균은 2.96이고, 다양성의평균은 3.54이다. 평균정도의정확도로표현된만화이미지가사용되었음에도, 평균이상의다양성을갖는 표 6 조합가능한만화의수 배경 캐릭터 기본 (Bs) 204 100 효과 날씨 (Wt) 21 친구 (Fr: 남 / 여 ) 26 (13*2) 과장 (Ex) 69 야경 (Ns: 실외배경만 ) 49 애니메이션 (An) 9 스타일 (St: 동양 / 서양 ) 2 전체이미지수 Bs+Wt+Ns=204+21+49 274 (Bs+Ex+An*4+Fr)*St=(100+69+9*4+26)*2 462 전체조합의수 (Bs+Ns)*(Wt+1)=(204+49)*(21+1) 5566 (Bs+Ex+An*2)*(Fr+1)*St=(100+69+9*2)*(26+1)*2 10098
사용자프로파일및만화요소를활용한다양한만화자동생성 473 그림 9 XML 예 ( 일상의일 ) 그림 10 생성된만화예 ( 일상의일 ) 그림 11 XML 예 ( 여행 ) 그림 12 생성된만화의예 ( 여행 ) 만화를생성함을볼수있었다. 그림 13의각특이성중에하나씩을선택해서 4개의서로다른만화스토리를만들었다. 생성된 4개의만화 스토리각각에대해서다양성과재미의정도를질문하였다. 그결과각만화스토리는그림 15와같은다양성과재미의정도를갖고있었다. 또한, 이결과를사용하
474 정보과학회논문지 : 소프트웨어및응용제 34 권제 5 호 (2007.5) 로나타났고, 0.015의유의도를가져서유의도 0.05 수준에유의함을보였다. 따라서, 제안된시스템으로부터생성된다양한만화가사용자의재미를이끌어내고, 재미요소의강조로추후에사용자가자신의기억을회상하거나또는다른사람들에게전달하고자할때유용하게사용될수있음을보였다. 5. 결론 그림 13 특이성을표현한만화. (a) 등교 (b) 수업 (c) 식사 (d) 산책 (e) 콘서트 (f) 주점그림 14 각특이성을대상으로생성된만화이미지의다양성및표현정확도그림 15 생성된만화의다양성과재미의정도여상관도분석을실시한결과다양성과재미의정도사이의상관도는 0.300으로양의상관관계를갖는것으 본논문에서는사용자의프로파일과외부상황인식모듈에서입력된행동및감정상태등의특이성정보로부터만화를생성하고만화표현을다양화하기위한방법을제안하였다. 특이성으로부터스토리를생성하고, 스토리스트림을사용하여스토리를보정하였다. 보정된스토리의각특이성과만화이미지와의의미적유사도매칭을통해적절한이미지가선택되도록하였다. 제한된이미지리소스로부터다양한만화를생성하기위해 5단계의레이어로나누어만화를합성하였다. 또한만화에강조나애니메이션효과를사용하여만화를다양하게표현했다. 예제시나리오와사용성평가를통해제안한방법으로다양하면서재미있는만화스토리가생성됨을확인하였다. 현재연구의특이성및스토리생성은학생을대상으로설계되어다양한계층의사람들의생활을만화로표현하는데는한계가있다. 이러한한계를극복하기위해서는특이성, 스토리스트림, 만화생성에있어일상적인사람의생활형태와계층에따른행동에대한분석을통해각계층에맞는구성이필요하다. 또한특이성및특이성의전후관계를정의하는스토리스트림온톨로지는전문가설계에만의존하면확장하는데한계가있다. 참고문헌 [1] E. Tulving, Elements of Episodic Memory, Clarendon Press, 1983. [2] D. Griffiths, A. Dickinson, and N. Clayton, "Episodic memory: What can animals remember about their past?" Trends in Congnitive Science, vol. 3, no. 2, pp. 74-80, 1999. [3] R. Miikkulainen, "Script recognition with hierarchical feature maps," Connection Science, vol. 2, pp. 83-101, 1990. [4] R. Koster and W. Wright, A Theory of Fun for Game Design, Paraglyph Press, 2004. [5] K.-S. Hwang and S.-B. Cho, "Modular Bayesian networks for inferring landmarks on mobile daily life," Lecture Notes in Artificial Intelligence, 2006. [6] P. Korpipaa, J. Mantyjarvi, J. Kela, H. Keranen, and E.-J. Malm, "Managing context information in
사용자프로파일및만화요소를활용한다양한만화자동생성 475 mobile devices," IEEE Pervasive Computing, vol. 02, no. 3, pp. 42-51, 2003. [7] D. Patterson, L. Liao, D. Fox, and H. Kautz, "Inferring high-level behavior from low-level sensors," Proc. of the Fifth Int. Conf. on Ubiquitous Computing, pp. 73-89, Seattle, WA, October, 2003. [8] M. Raento, A. Oulasvirta, R. Petit, and H. Toivonen, "ContextPhone: A prototyping platform for context-aware mobile applications," IEEE Pervasive Computing, vol. 4, no. 2, pp. 51-59, 2005. [9] P. Korpipaa, M. Koskinen, J. Peltola, M. Satu- Marja, and T. Seppanen, "Bayesian approach to sensor-based context awareness," Personal and Ubiquitous Computing, vol. 7, pp. 113-124, 2003. [10] S.-W. Lee, and K. Mase, "Activity and location recognition using wearable sensors," IEEE Pervasive Computing, vol. 1, issue 3, pp. 24-32, 2002. [11] J. Mantyjarvi, J. Himberg, and T. Seppanen, "Recognizing human motion with multiple acceleration sensors," IEEE Conf. on Systems, Man and Cybernetics, vol. 2, pp. 747-752, 2001. [12] E. Horvitz, C. M. Kadie, T. Paek, and D. Hovel, "Models of attention in computing and communications: From principles to applications," Communications of the ACM, vol. 46, no. 3, pp. 52-59, 2003. [13] E. Horvitz, S. Duamis, and P. Koch, "Learning predictive models of memory landmarks," 26th Annual Meeting of the Cognitive Science Society, August 2004. [14] W. W. Gibbs, "Considerate computing," Scientific American, pp. 54-61, Jan 2005. [15] M. Ringel, E. Curtrell, S. Dumais, and E. Horvitz, "Milestones in time: The value of landmarks in retrieving information from personal stores," 9th Int. Conf. on Human-Computer Interaction, 2003. [16] Y. Sumi, R. Sakamoto, K. Nakao and K. Mase, "ComicDiary: Representing individual experiences in a comics style," Ubicomp 2002, pp. 16-32, 2002. [17] D. Kurlander, T. Skellly, and D. Salesin, "Comic Chat," Proc. of SIGGRAPH'96, pp. 225-236, 1996. [18] P. Singh, B. Barry, and H. Liu, "Teaching machines about everyday life," BT Technology Journal, vol. 22, no. 4, pp. 227-240, 2004. 정명철 2004년 2월연세대학교컴퓨터과학과 ( 학사 ). 2006년 8월연세대학교컴퓨터과학과 ( 석사 ). 현재 LG엔시스재직중. 관심분야는지능형에이전트, 상황인지, 웹서비스 조성배 1988년연세대학교전산과학과 ( 학사 ). 1990 년한국과학기술원전산학과 ( 석사 ) 1993 년한국과학기술원전산학과 ( 박사 ) 1993 년~1995년일본 ATR 인간정보통신연구소객원연구원. 1998년호주 Univ. of New South Wales 초청연구원. 1995 년~현재연세대학교컴퓨터과학과정교수. 관심분야는신경망, 패턴인식, 지능정보처리 송인지 2005 년연세대학교기계전자공학부정보산업전공졸업. 2005 년 ~ 현재연세대학교대학원컴퓨터과학과석사과정. 관심분야는지능형에이전트, 유비쿼터스가정환경