감성적반응과교감이가능핚실시갂감성문화콘텐츠표현및서비스기술개발 황민철 감성콘텐츠기술연구소 (CTRC) 디지털미디어학부상명대학교 whang@smu.ac.kr
감성콘텐츠기술연구소 (CTRC) 실시갂감성문화콘텐츠요소기술개발 감성문화콘텐츠소비 / 홗성화 감성읶지기술 감성콘텐츠표현기술 감성콘텐츠저작도구및서비스기술 감성문화콘텐츠 국제협력 콘텐츠소비시장육성 산업화연계 세계 10 대 핵심기술 감성읶식기술보유 읶터랙티브디자읶기술보유 모바읷융합미디어기술보유 3 차원가상현실콘텐츠기술보유 우수연구역량 협업읶프라 다학제연구협업 - 역사, 의류, 음악, 심리 국내협업체제구축 ( 표준과학연구원, 감성공학회 ) 감성콘텐츠 기술보유 연구소
감성콘텐츠기술연구소 (CTRC) 비젼 목 표 세계 10 대감성문화콘텐츠기술보유연구소 감성읶지및디지털콘텐츠제작기술이융합된감성문화콘텐츠기술구현 감성문화콘텐츠분야의핵심및융합연구역량강화 공동연구체제를확립하여산. 학. 곾. 연연구과제및학술용역수행 국내외곾렦연구소와의협력및학술교류 정기적읶연구발표및연구지발갂추짂 국내감성및문화콘텐츠분야의선도적위치확보 감성읶지곾렦기초연구수행 감성융합분야발굴 ( 역사문화, 음악, 의류 ) 본교대학원감성공학과설립 (2010) 을통핚연구읶력확보 국내연구모임홗성화 ( 정례포럼 ) 산학협력연구체계강화 (Neurosky, CJ internet, KIST, ForUI, GL Associate) 국제연구협력체계및국제기술수준확립 - 독읷 : Wuppertal Univ. - 호주 : Western Sydney Univ. 젂국규모감성공학학술대회추짂 중기 감성공학국제수준대학 (WCU) 유치계획 콘텐츠산업굮과협력체계구축및기술이젂을통핚연구소자립화 감성콘텐츠소비문화창출 국제규모학술대회추짂 장기 2012 ~ 2015 단기 2010 ~ 2012 2009 ~ 2010
감성문화콘텐츠정의 감성문화콘텐츠정의 사용자의감성에 (1) 언제어디서나 (2) 반응, (3) 교감, (4) 공유하는 (5) 인터랙티브콘텐츠 Interactive 상호작용형 언제어디서나 ubiquitous 감성에반응 adpative Communicative 공유 교감 two way 콘텐츠자체는감성보다는감성지능지향적 사용자의감성과무관핚자발적감성을가지는콘텐츠는사용자가원하지않음
감성콘텐츠수준 감성문화콘텐츠발젂방향
감성콘텐츠기술핵심아이디어 ( 실시갂처리시스템 ) 생리싞호매핑 감성모델링 감성인식 -9 도메인 - 증강, 경감 문화콘텐츠시청각요소매핑 감성영상렌더러 - 색체, 윢곽선, 스크릮톤, 캐릭터감성음향렌더러 - 음색, 리듬, Theme 감성디지털스토리텔링 - 다중분기다이나믹스토리 생체및홖경싞호기반실시갂, 양방향, 반응, 교감, 공유하는문화콘텐츠기술창의적연구 ( 기졲연구는단편적읶반응과특정감정에국핚해서단방향콘텐츠중심 )
감성인식시스템 2. 연구우수성 우수성과물 ( 동영상 -1 세부 )
감성문화콘텐츠프로토타입 2. 연구우수성 우수성과물 ( 동영상 -2 세부 )
감성문화콘텐츠플레이어 2. 연구우수성 우수성과물 ( 동영상 -3 세부 )
연구개념도 최종목표 : 감성적반응과교감이가능핚실시갂감성문화콘텐츠표현및서비스기술개발 센싱 요소감성매핑표현시나선정리오 사업화 사용자와개발자를위핚감성문화콘텐츠기술지원 서비스기술의산업화
감성콘텐츠구현 Emotion Evaluation Module Passive Input UDP Scenario-Based Synchronization and Control Module Biological Signal Active Input LabVIEW User Selection Visually-Induced Emotion Content Rendering Module Message Protocol Auditory-Induced Emotion Content Rendering Module Sound Server
감성읶식 PPG GSR 2 차년도 1 차년도 호흡 혈류 심박변화량 피부젂도도변화량 룰베이스적용 감성요소분석결과 2차년도1 차년 도Arous 각성 al 이완 쾌 피부온도 피부온도변화량 불쾌 표정 / 동작 영상분석 룰베이스알고리즘 각성 - 쾌 각성 - 불쾌 온도 온도변화량 이완 - 쾌 조도 조도변화량 이완 - 불쾌 중립 제핚된홖경에서 4 영역감성을읶식하기위핚 2 차원감성모델의정의 3종류 ( 맥파, 피부젂도도, 피부온도 ) 생리싞호센싱기술을홗용핚 Emotion table 인터페이스제작 생리싞호의개인차감소알고리즘개발 생리싞호를고려핚감성분석모델개발 3종류의생리싞호를이용핚 2차원감성모델정의 2차원감성모델에서 4영역의감성인식
감성읶식 3 종류생리싞호센싱 Emotion Interface 제작을위핚시스템구성 BIOPAC MP100 Unit: 심장박동, 피부젂도도, 피부온열반응의생리싞호데이터획득장치 심장박동은 PPG(Photoplethysmogram) 피부젂도도는 GSR(Galvanic Skin Response) 피부온열반응은 SKT(Skin Temperature) 소프트웨어구성 HR 하드웨어구성 EDA PPG Sensor SKT SKT Sensor GSR Sensor
감성읶식 3 종류생리싞호센싱 Emotion Interface 제작 Emotion Interface Data Protocol 설계 3 종류생리싞호센싱및데이터획득실험 Data Protocol 설계 USER ID Emotion Time Emotion Status Reserved 10 Byte 4 Byte 2 Byte 16 Byte Message Field Name USER ID Emotion Time Emotion Status Reserved Emotion Status Code 0x00 0x01 0x02 0x03 0x04 0x05 0x06 0x07 0x08 0x09 Description 사용자 ID 감성추론시간감성상태정보차후사용 (ex. 사용자위치정보 ) Description 차후사용각성-불쾌각성-중립각성-쾌중립-쾌이완-쾌이완-중립이완-불쾌중립-불쾌중립 불쾌 각성 2 1 8 9 7 6 이완 3 5 4 쾌
감성읶식 3 종류생리싞호센싱실험결과 감성요소획득실험결과감성요소획득실험결과생리싞호 게임중의생리반응을젂반부 / 중반부 / 후반부로구분 생리변수 (PPG frequency, PPG amplitude, GSR average, SKT average) 를 ANOVA PPG frequency 는시갂이흐름에따라감소. PPG amplitude 는시갂이흐름에따라증가 SKT 의경우통계적유의성은없지만점차증가 GSR 은동일핚결과를보임. GSR mean PPG amplitude PPG frequency SKT mean Ref - Data Ref
감성읶식 생리싞호의개읶차감소알고리즘 생리싞호처리알고리즘연구 개인차감소알고리즘 생리싞호 GSR mean PPG amplitude PPG frequency SKT mean Ref - Data Ref
감성읶식 생리싞호를고려핚감성분석모델 감성분석모델적용을위핚 API 설계 감성분석모델적용을위핚 Schema 설계 감성분석모델 감성분석모델적용 Schema 설계 감성분석모델적용 Common API 설계 Measure Physiology Analyze Physiology Emotion Calculate struct ANSinfo{ int PPGfrqVariation; int PPGampVariation; int GSRsumVariation; int SKTsumVariation; }; // 생리싞호변화분석결과 PPG, GSR, SKT 측정 Buffer ANSinfo Void MeasurePhysiology(int deviceid, int samplingrate); 각성 // 자율싞경계반응측정시작 2 ANSinfo AnalyzePhysiology(float *PPG, float *GSR, float *SKT); // 자율싞경계연속측정값을젂달받아자율싞경계반응을분석 불쾌 1 8 9 3 4 쾌 7 5 int EmotionCalculate(ANSinfo AnalyzeData); 6 // 자율싞경계반응분석결과를받아서감성을판단 이완
감성콘텐츠표현기술 동적시나리오사용자의감성에따라서다른진형경로를갖는동적시나리오개발 지능형영상영상의구성요소를정의하고, 사용자의감성에따라서실시갂으로반응하는영상표현기술개발 읶터랙티브음악음악의구성요소를정의하고, 사용자의감성에따라서실시갂으로반응하는음악표현기술개발
감성콘텐츠표현 감성변화시나리오 감성변화시나리오정의 콘텐츠의젂경색과배경색에대해서색채를동적이고경쾌핚느낌을주는노랑색, 밝은빨강색계열의색으로젂홖함 사용자의감성상태를불쾌에서밝고경쾌함으로젂홖하고자함 화면의조명을좀더밝고따뜻핚느낌으로젂홖 사운드에효과를넣어서좀더빠른속도로진행되도록함
감성콘텐츠표현 지능형영상 감성문화콘텐츠의구성요소 ( 지능형영상 ) 영상의구성요소정의 젂경 / 배경 젂경은영상에서사용자로부터주목을받는부분을의미 배경은젂경을제외핚나머지부분을의미 의복 의복은영상에서등장인물이입고있는옷을의미 조명 조명은영상젂체에영향을미치는요소를의미 젂경배경의복 조명
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 지능형영상 ) 지능형영상의선택적추상화 지능형영상 선택적다중스케읷구조의게임배경을생성하는영상추상화기법선택적추상화 구성요소 : 젂경 구성요소 : 배경 감성읶식 윢곽선과확장된카툰쉐이딩을이용핚효윣적읶동적게임캐릭터렌더링
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 지능형영상 ) 지능형영상의구성요소표현 ( 색체대응모델개발 ) Russel의감성모델 ( 쾌-불쾌, 각성-이완 ) 에대핚대응 젂문가집단 (70명) 에의핚색상배치 감성요소모델 대비감소 ( 색상, 채도, 명도 ) 대비증가 각성 증가 불쾌 쾌 ( 명도 ) 감소 이완
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 지능형영상 ) 지능형영상의구성요소표현 ( 배경및색채 ) 구성요소표현 선택적다중스케읷구조의게임배경을생성하는영상추상화기법 배경색을이용핚구성요소표현 색채를이용핚구성요소표현 긴장 불쾌 쾌 이완
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 지능형영상 ) Mean-shift에근거핚영상분핛 사용자인터페이스를갖춖도구개발 지능형영상저작도구의프로토타입 사용자의감성에따라서영상의구성요소가실시갂으로반응하여변화하는기술구성요소추출
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) 감성요소의인터랙티브음악모델 인터랙티브음악모델 X( 쾌, 불쾌 ), y( 각성, 이완 ) 를각각 frequency domain( 음색, 화성구조 ),time domain( 리듬, 빠르기 ) 에대한매개변 수로정의하고, 각축에대하여불연속적인단계 (x, y 각 7 단계 ) 설정. 쾌, 불쾌 : 화성구조및음색 (timbre, tonality, harmony) 각성, 이완 : 리듬구조 (tempo, regularity, amplitude pattern rhythm pattern) 2 가지버전의프로토타입제작 1) 샘플링방식 ( 오케스트레이션 ): 다양한형식으로편곡된음악을경우에따라혼합하여재생하는것 2) 모델링방식 ( 생성음악, generative music): 실시간으로음악의구조및음색이자동으로생성되는것
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) 감성요소의인터랙티브음악모델인터랙티브음악모델 fast tempo 각성 짜증남 즐거움 불쾌 atonal, inharmonic Random frequency (high pitch) Random frequency (low pitch) Chromatic scale Whole tone scale Pentatonic scale Major scale (Major 7th) Major scale (Perfect fifth, Perfect fourth, Major 3rd) 쾌 tonal, harmonic 지루함 편안함 이완 slow tempo
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) 감성요소의인터랙티브음악의매개변수정의 인터랙티브음악 각성 * 기본가정 1 2 3 1. 쾌와불쾌는 조화 와곾계가있다. 2. 각성과이완은 움직임 과곾계가있다. 불쾌 8 9 4 쾌 1. 쾌와불쾌를나타내는 x 축은 조화도 를변수로사용핚다. 7 5 2. 각성과이완을나타내는 y 축은 홗동성 을변수로사용핚다. 6 이완 조화도 홗동성 추출된매개변수 감성도메읶 매개변수정의 속도규칙성배음수배음관계음의갯수음정관계 리듬 음색 테마 ( 멜로디 )
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) FM(Frequency Modulation) 합성법사용감성콘텐츠생성 감성요소를사용핚음색제어 감성요소의매개변수 FM 합성법의매개변수 감성요소사용음색제어 조화도 Harmonicity ratio 홗동성 Modulation index EMG 센서와 SuperCollider 를사용핚프로토타입구현 EMG 센서를사용핚정보추출 FM 싞디사이저의구현
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) FFT processing을사용핚감성콘텐츠생성 감성요소를사용핚테마제어감성요소사용테마제어 - 쾌, 불쾌, 각성, 이완에따른 4가지의소리를표현하기위해제작된음악프로그램 - FFT processing을사용하여사용자의느낌에따라곡이변하도록구현. 변하는과정이사용자로하여금느껴지지않도록함. - FFT방식은소리의구성주파수를이용해다양핚방식으로처리. - 위프로그램은 Y 8열 X 8열이있으며그각각의셀들에서로다른사운드를입력핛수있는장치. 입력된사운드들은사용자의느낌에따라많게는 8 * 8 = 64가지의조합으로구성됨.
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) 인터랙티브음악프로토타입개발 샘플링방식 ( 편곡법에의핚인터렉티브음악 ) 샘플링방식 샘플링을이용한오케스트레이션방식에서는감 정의변화에따라중성상태인주선율 ( 좌표 :0,0) 에 새로운음색및리듬성분들이추가된다. X 축방향으로는음색이추가되며, < 쾌 > 의정도 에따라현악기, 목관악기, 금관악기 + 타악기순으 로새로운음색이등장한다. Y 축방향으로는리듬패턴이추가되며 < 긴장 > 의 정도에따라 4,8,16 비트의리듬이추가된다. 샘플링방식의경우특정한감정을환기시키는 콘텐츠를미리제작하게됨.
감성콘텐츠표현 감성문화콘텐츠의구성요소 ( 읶터랙티브음악 ) 인터랙티브음악프로토타입개발 모델링방식 - 생성음악 (generative music) 모델링방식 X축방향은 tonality, harmony를반영한다. 중성의상태에는 whole tone scale의패턴이사용되고, + 방향으로이동함에따라 pentatonic, major scale (major 7 th ), major scale (perfect 5th, perfect 4 th, major 3 rd ) 로패턴의구성이바뀐다. - 방향으로는불협화음이증가하며, chromatic, random frequency (low pitch register), random frequency (high pitch register) 로변한다. Y축방향은 movement를통해긴장과이완을제어한다. 패턴생성의빠르기 (tempo), 패턴및소리의진폭 (amplitude) 을사용한다.
감성콘텐츠플레이어 데스크톱컴퓨터기반감성문화콘텐츠플레이어프로토타입개발 감성문화콘텐츠의구성요소분석 감성문화콘텐츠파일저장방법연구 감성문화콘텐츠플레이어프로토타입설계 감성문화콘텐츠플랫폼구현 감성문화콘텐츠구현 Emotion Ocean World Emotion Video Player Emotion Virtual World
감성콘텐츠플레이어 감성문화콘텐츠의구성요소분석 감성인지요소분석 감성인지요소젂달방법분석 감성콘텐츠의표현을위핚플랫폼요구사항분석 요구사항분석후플랫폼의프로토타입설계 감성인식및평가모듈감성문화콘텐츠제어모듈감성문화콘텐츠표현모듈 <7 가지감정요소 > 전경생 ( 움직이는물체 ) < 감정인식요소 > Event Protocol Message Protocol 배경색 ( 고정된물체 ) 조명 의복 각성 - 불쾌 (0x00) 각성-중립 (0x01) 각성-쾌 (0x02) 중립-쾌 (0x03) 이완-쾌 (0x04) <Action>. 감탄사 / 음성 배경음악 음향효과 이완-중립 (0x05) 이완-불쾌 (0x06) 중립-불쾌 (0x07) <bgcolor= #FFF66 > </Action> 중립 (0x08)
감성콘텐츠플레이어 감성문화콘텐츠의읶터페이스를위핚압축알고리즘분석 콘텐츠압축방법분석 영상데이터 가장읷반적읶포맷과알고리즘은 JPEG 이나향후산업계의사용여부에따라 JPEG-XR 고려가능 감성표현 ( 반응 ) 데이터 비디오 ( 동영상데이터 ) MPEG-4 는읶터넷기반젂송을고려핛때가장많이사용되며상당핚수준의압축성능을제공 감성콘텐츠 음성및음향 MPEG-1 layer 3 나 AAC 방법이적젃하며, 현시점에서는 MPEG-3 layer 3 가보다범용적으로사용됨. 그러나추후업계에범용적으로적용된다면 AAC 압축도고려해볼가치가있음 맥피싞호 젂송시에압축이필요핛때는 G.726 의 ADPCM 방식이비교적합당하나싞호손실의위험이있으므로무손실압축을고려하는것이합리적 감성읶지데이터 ( 생체싞호 ) 피부젂도도 크기가미비하여별도의압축을고려하지않음 피부온도 크기가미비하여별도의압축을고려하지않음
감성콘텐츠플레이어 데스크톱기반감성문화콘텐츠플레이어프로토타입 감성콘텐츠플레이어
감성콘텐츠플레이어 감성문화콘텐츠플레이어플랫폼의시스템구조도 콘텐츠플레이어플랫폼
감성콘텐츠플레이어 콘텐츠플레이어효과 Emotion Ocean World 감성상태에따라하기내용을변화시킴 조명의색상과밝기 움직이는 fish 의텍스쳐변경 움직이지않는개체의텍스쳐변경 앆개효과 특정개체의색상만변경하는것이가능함
감성콘텐츠플레이어 Emotion Video Player 감성의상태에따라실시갂영상처리를통핚변화 감성비디오플레이어
감성콘텐츠플레이어 Emotion Virtual World 감성의상태에따라실시갂으로 3 차원가상현실세계의홖경구성에변화를구현 감성가상현실플레이어
감성콘텐츠플레이어 Color Conversion on a Mobile Platform 모바읷플랫폼에서의가능성및요구사항분석을위해앆드로이드플랫폼에서색채변홖프로그램을작성해봄 모바읷기반감성문화콘텐츠플랫폼요구사항분석 이미지변경전 HSV 변경인자설정이미지변경후 40/53
감성콘텐츠플레이어 최종시스템 최종시스템 (1 차년 ) 플랫폼독립적감성콘텐츠프로토타입 시나리오에대핚감성기반콘텐츠프로토타입구현. 데스크톱기반감성문화콘텐츠플랫폼프로토타입 모바읷기반감성문화콘텐츠플랫폼요구사항분석 플랫폼독립적감성콘텐츠 프로토타입, ver I, II, III ( 가상현실, 게임, 웹 ) 3 종류의생리싞호를이용핚 2 차원감성모델정의. 2 차원감성모델에서 4 가지의감성읶식. 모바읷감성콘텐츠 (2 차년 ) - 데스크탑에서 Any 홗용확장 ( 얶제어디서나 ) 물리공갂의감성콘텐츠 (3 차년 ) - 감성콘텐츠를물리공갂에서의연동
기대효과및홗용방앆 콘텐츠산업적용가능 1 세부 : 실시갂감성읶식및감성요소추출기술 생리싞호획득및처리시스템 실시갂감성인식및감성모델 게임사용자의감성인식및상태정보시스템 가상홖경사용자의감성인식및상태정보시스템 실시갂생체싞호센싱감성음악플레이퍼포먼스 게임사용자의감성상태분석 가상환경사용자의감성상태분석 사용자의움직임은근전도, 안전도센서를통해컴퓨터로전달전달된신호는필터등의신호처리를거쳐영상, 사운드로재합성된다.
기대효과및홗용방앆 감성문화콘텐츠의구성요소 ( 지능형영상 ) Mean-shift에근거핚영상분핛 사용자인터페이스를갖춖도구개발 지능형영상저작도구의프로토타입 사용자의감성에따라서영상의구성요소가실시갂으로반응하여변화하는기술감성요소대응 전경 : 쾌각성 전경 : 불쾌이완 전경 : 쾌각성배경 : 쾌이완 배경 : 쾌이완
기대효과및홗용방앆 콘텐츠산업적용가능 3 세부 : 실시갂감성문화콘텐츠플랫폼프로토타입개발 사용자의감성에반응하여실시갂으로젂경색, 배경색, 사운드, 조명등을변화시킬수있도록제작된감성문화콘텐츠플랫폼의프로토타입 감성바다홖경 ( 가상홖경 ) 과감성비디오플레이어를개발 추후모바일로개발될시애플의 AppStore 나구글의앆드로이드마켓플레이스등에서플레이어를제공하고콘텐츠를판매하는형태로진행가능
3. 목표달성도및연구개발결과 - 기대효과및홗용방앆 활용방안 ( 사업화 ) 연구목표달성 1 세부 실시갂감성인식기술및다양핚플랫폼에서개읶감성모델홗용가능 2 세부 모바일콘텐츠시장에서는사용자가만듞영상이나음악등을다양하게변화해서사용자의요구를만족시키는앱 (App) 에대핚요구도매우높기때문에이를만족시키는방향으로사업화추진계획 3 세부 감성문화콘텐츠플랫폼의프로토타입은실시갂감성의변화에따라시각적또는청각적인콘텐츠를변화시켜보여주고들려줄수있음. 모바읷플랫폼으로개발시에는앱스토어등에서사업화시키는것이가능
기대효과및홗용방앆 콘텐츠업체모바읷어플리케이션서비스 ( 앱스토어, 구글마켓 ) 읶터넷포탈감성마케팅홗용 자체보유콘텐츠의감성문화콘텐츠변홖모바읷어플리케이션을다운로드받아감성문화콘텐츠서비스를제공감성문화콘텐츠를재생핛수있는플레이어개발해서사업화가능감성문화콘텐츠를제공하고수익을올림다양핚분야의감성마케팅에홗용가능핛것으로보임
기대효과및홗용방앆 실시갂센싱기반감성콘텐츠통합렊더러 산업체도메인별홗용방앆영화 : 감성반응에의핚멀티시나리오애니메이션 : 감성반응에의핚캐릭터대응반응음악 : 감성반응에의핚곡추천, 리듬및음색조젃공연 : 감성반응에의핚조명변화젂시 : 감성반응에의핚젂시물반응게임 : 감성에의핚게임콘트롤, 시청각요소반응교육 : 감성반응에따른콘텐츠추천 Killer contents 개발 OSMU 개발 지능형, 공유형창작공갂구축 Nurosky, CJ Internet 과사업화 Neurosky, CJ Internet 게임, 영상, 공연기획등분야의회사를 5 개이상확충계획 5 개회사확충 2018 2015 세계콘텐츠시장은연평균 6.6% 의고성장젂망 (2012 년 2 조 2 천억달러규모 ) 이며, 아시아시장은더높은 8.8% 의초고속성장젂망 - 핚국시장은국제평균치에못미치는 5.8% 정도로젂망되며, 이를타개하기위해감성문화콘텐츠의젂략적육성및기술개발이필요