MATLAB 을사용한영화에서 사용되는색채심리학분류 한국외국어대학교및독일어통번역학한영수 ( 박사 ) 및강사 2015 The MathWorks, Inc. 1
참조목차 1. 발표자약력 2. 프로젝트개요 3. 프로젝트의인문학적배경 4. 기술적인해결과제 5. MathWorks 솔루션을통한해결방안및결과 6. 결과및정리 7. 다음과제 8. 결론 2
발표자소개 학력 한국외국어대독일어과졸업 ( 문학사 ) 한국외국어대국제지역대학원유럽연합졸업 ( 지역학석사 ) 독일지겐대학 & 영국랭캐스터대학유럽및글로벌학전공박사과정졸업 ( 사회학박사 ) 약력 현한국외국어대독일어통번역학과강사 전서강대학교인문역량강화사업연구교수 - 융합 SW 과정교과목개발 전서강대학교경기꿈의대학 강사 ( 미디어및인공지능강의 ) 전원광대학교독어독문학과연구재단과제참여연구원 독일문학디지털아카이브구축개발 전 ( 주 ) 세중나모 ( 나모웹에디터개발참여 - 자바스크립트라이브러리개발 ) 연구분야 인공지능인문학, 디지털인문학, 영화미디어컴퓨터비전처리 컴퓨터언어 : C, C++, C#, Javascript, MATLAB, R, 파이썬 3
프로젝트개요 색채심리학컴퓨터비전및인공지능개발 이미지가 ( 영상 ) 가관객에게미치는심리적효과를분류및예측인공지능개발 이미지 ( 영상 ) 을인문학적상상력을이해하는인공지능개발 : MATLAB 활용컴퓨터비전처리 통계학습및알고리즘개발 교수 & 학생공동학술논문발표 4
프로젝트추진의시대적배경 인문계연구교육방향성제시 OTT 시장확대 자율주행차상용화 그림출처 https://news.samsung.com/kr/4 차 - 산업혁명 - 시대 - 내 - 일자리는 - 무사할까 https://www.multichannel.com/news/analyst-ott-helps-boost-tv-viewership-409259 http://global-autonews.com/bbs/board.php?bo_table=bd_035&wr_id=349&page=2 5
문송합니다 의해결의방향성제시 융합교육의시대 코딩교육의무교육? 인문계 : 문송합니다 공대생 : 취업깡패 그림출처 : http://news.donga.com/3/all/20160107/75770659/1 6
인문역량강화사업 (CORE) 융합 SW 과정사례 /SW 중심대학 OO 대학융합 SW 교육과정개설 문과생에게 C, 파이썬, R 을강의하는수업개설 C: 자료구조배웠어, 파이썬 : 이젠 copy paste 할수있어, R: Excel 을계속써야지! 워드클라우드, 텍스트마이닝등할수있다! ( 이건중고등학생도할수있다 ) 결과 : 처참함학점 학생들대탈출 실패! 7
SW 인재강조하는 OO 싸구려코더양성소? 8
인공지능인문학은달라야한다 공학적인식의기초 산은산이요물은물이다 이미지분류간단 ( 이미지의레이블이단순 ) 인문학인식프레임 인문학은이미지를비과학적으로인식 이미지를 ( 상상, 심리, 무의식, 감정 ) 으매개로인식 9
인문학의이미지 image classification 은복잡 ( 멀티레이블데이터 ) 공학의 image classification 개 인문학의 image classification 반려견 : 가족 식재료 사냥개 : 도구 개새끼 : 나쁜놈 Bitch: 발정난년 플란다스의개 토사구팽 : 한신 용감한조리 뎅뎅이 공포 반가움 10
인문학의 image classification: 멀티레이블데이터사례 공학적이미지분류 남자 자동차 노란색 인문학이미지분류 노란색 ( 죽음을경고하는색 ) 자동차 ( 롤스로이스 : 부를상징 ) 그림출처 : https://sites.google.com/site/fitzgeraldsgreatest/literary-scholar 11
인공지능인문학에필요한지식 인문학적이미지인식및분류프레임 ( 상상, 상징, 정신분석등에관련되이론과사상 : 괴테, 프로이트, 바슐라르, 라캉등 ) 수학및통계모델링 ( 선형대수학 & 미적분 / 중급통계학 ) 프로그래밍언어 (MATLAB) 12
OTT 시장확대 OTT (Over the Top) 가서비스시장확대 ICT 업체의미디어시장진출 관객 (Spectator) 의미디어소비에대한정보수집가능 미디어콘텐츠에대한관객의심리적반응데이터 그림출처 : https://www.mediapost.com/publications/article/297570/ott-viewing-climbs-traditional-tv-usagedrops.html?edition=101548 13
자율주행차상용화 5G 통신망구축 자율주행차상용화 자율주행차시대운전자의행태? 수면, 학습, 식사, 미디어콘텐츠소비등 자가용은사적공간 자가용 : 몰입형콘텐츠소비공간? 그림출처 : https://www.independent.co.uk/life-style/gadgets-and-tech/driverless-cars-travel-technologygovernment-control-autonomous-cars-a8413301.html 14
미디어에대한관객의심리 & 정서적반응을색채분석활용 & 예측데이터이축적 & 활용 그림출처 : https://www.verywellmind.com/color-psychology-2795824 15
프로젝트의인문학적배경 16
괴테의색채론 괴테의이탈리아여행 (1786~1788) 괴테는이탈리아에서예술에사용된색채에관한호기심 독일로돌아온후뉴튼의광학론을학습및실험 괴테는뉴톤이색채를과학적으로만접근한것에대하여반감을가지고대안적이론을제시. 17
괴테의색채론 괴테는뉴튼의광학론에반감을가짐 괴테는색채를심리적관점에서색의특성을연구할필요성 색채가가지고있는비과학적인측면 ( 감성 ) 을연구주장. 18
에바헬러 Eva Heller << 색의유혹 (2002) >>, 예담 색채가사람에게미치는영향을분류 색채심리에통계적방법론을적용 19
에바헬러의색채심리분류 색깔파랑빨강노랑검정녹색주황보라분홍금색은색갈색회색 색채심리그리움의파란꽃사랑에서증오까지뾰족한웃음소리마법의색흰색, 삭막한청결함모나리자의드레스삶의기쁨달콤한죄의궁전다정한에로스빛의탄생차가움거리감바삭바삭한비스킷망각과과거 20
Heller 의색채심리통계설문자료 심리적반응 색상 심리적반응 색상 freshness green (34%) aggression red (58%) quietness green (40%) heat red (46%) conservative black (40%) energy red (38%) strength black (29%) desire red (34%) power black (48%) dynamic red (25%) happiness yellow (16%) coldness blue (58%) objective white (27%) calmness blue (29%) lightness white (37%) longing blue (27%) liveliness green (38%), 21
기술적인해결과제 인문계열학생의융합교육및연구프로젝트 색채심리를통계적처리 이미지처리및컴퓨터비전처리 이미지머신러닝처리 하드웨어제약사항극복 : ( 맥 OSX) 에서구현 22
프로젝트초기기술적문제 파이썬과 R 의기술적문제 인문계학생의수학 & 통계학 / 머신러닝 / 프로그래밍동시학습부담경감 연구성과재현용이성 23
오프소스 ( 파이썬 & R) 을버리고 MATLAB 을선택한이유 24
R 언어의문제 R 언어는우수한통계학언어 R 언어의한계점노출 R 언어버전과외부라이브러리호환성및업데이트관리문제! 특히자바 딥러닝라이브러리지원부실 R 에서이미지 ( 컴퓨터비전 ) 처리? 이미지처리거의불가능 R 에서텍스트마이닝도상대적으로부실 비정형멀티미디어파일처리에취약 일부수학은외부라이브러리의존 파이썬과충돌 25
파이썬의문제점 1 : 데이터처리에부적합 데이터를처리를외부라이브러리에의존 : 너저분하고복잡 파이썬의배열 (array) 구조는데이터처리에부적합 그림출처 : https://boostlog.io/@olofsson23/chapter-13-numpy-in-python-5aa798c8bc9e6c004e367074 26
파이썬의문제점 1 : 2.7 과 3.x 호환성문제 언어 (2.7과 3.x이 ) 호환성문제는시한폭탄 맥 OSX: 파이썬 2.7 디폴트내장 2.7과호환성에문제가발생하는기타 SW와충돌이자주발생 27
파이썬의문제점 2: R 과충돌문제 Keras interface for R 와파이썬문제 아나콘다설치후파이썬에서텐서플로우테스트후맥시스템문제발생 기타애플리케이션실행시오류발생 R, Python 3.x 업그레이드, Keras 등의설치순서에유의해야함 28
파이썬의문제점 3: 수학적표현에적합하지않음 인공지능은수학 & 통계학지식을전산기술과결합하는것이핵심 비전공자에데이터과학에필요한수학 ( 공업수학또는선형대수학 + 미적분학 )/ 통계학 / 프로그래밍 ( 대학강의언어 : C/R/ 파이썬 ) 을동시학습은어려움 공업수학을처음부터 MATLAB 으로학습하는것이효과적 파이썬은프로그램코딩구문이길어지고명령어가수학통계언어랑유사하지않음 MATLAB 은수학통계용어를프로그램명령어로프로그래밍에직접사용 29
파이썬의미래는 Visual Basic? 수학 & 통계학기초가약한코더가인공지능시장에대량으로유입되어사용량이증가한언어? 과거수많았던 Visual Basic 개발자? 수학및통계학에특화된언어가아니면서인공지능시장에서최적화의장점없이장기적으로생존이가능할까? 파이썬자체가수학처리를구현하는것이아닌단순한인터페이스조작언어 Visual Basic 냄새풀풀 30
범용언어의한계 컴퓨터산업역사적사례 전문분야에특화된언어가생종 범용언어가보편적으로사용된사례? 자바스크립트와 PHP 웹에특화된언어? 현재도웹에서가장많이사용 전지전능주장한자바? 현재자바도특정분야에특화되어사용 데이터과학, 수학통계에특화된언어가생존 31
파이썬과 Tensorflow 의문제점 딥러닝은사실상대량의데이터를조작하여 Logistic Regression 을반복하는것 대용량데이터처리및하드웨어성능에크게좌우 구글은파이썬과 Tensorflow 를개발자를대량으로유인하여구글클라우드사업종속되도록전략을펼칠것으로예상 데이터와알고리즘을구굴에노출시키는것은위험? 32
인공지능교과서시장양분화 세계명문대학출판사와학술교재 : MATLAB 예제사용 : Bishop, Murphy 등 33
파이썬사용인공지능교재 Cookbook 교재 - Packtpub, Oreilly 등 : 오픈소스주로파이썬예제사용 책에사용된소스코드 : Copy & paste 실습교재 오류및버그다수발견. 학술논문에인용하기어려운문헌 수학통계모델링을다루지않는 Cookbook 상당수는불쏘시개용 제한적실용성 학술논문에서참조및인용하기어러움 34
오픈소스연구성과재현의어려움 인문계학생 / 디지털인문학연구자 / 인공지능인문학 오픈소스 SW & HW 세팅이어려움 터미널열고 pip install 연구성과재현이너무어려움 공대생조교투입필수 35
MATLAB 선택 MATLAB R2017b Image Processing Toolbox Statistics and Machine Learning Toolbox Deep Learning Toolbox MATLAB 은오픈소스의불안정성에서자유로움 MATLAB 은컴퓨터비전분야에서검증된툴 MATLAB 툴박스및문서지원우수 36
MathWorks 솔루션을통한해결방안및결과 37
실험절차 색채분류기준선정 분석대상영화선정 알고리즘선정 동영상을이미지시퀀스 (image sequence) 로전환 영화를숏 shot 기준으로단위를나누어서색채분석을적용가능한이미지선정 시퀀스이미지분석 CSV 분석표작성 MATLAB Statistics and Machine Learning Toolbox 활용처리 38
분석대상영화선정 : << 라라랜드 >> 영화라라랜드는사용된색채의수가매우적음 영화가사계절로테마구분 각계절에서색채를일관적으로시용 강력한원색을주로사용 뮤지컬영화의특성인음악과제한적대사와색채의결합으로분석결과가단순명료하게나옴 39
색채의미분류기준 Color Psychological Impact Color Psychological Impact Red Powerful Lusty Defiant Anxious Angry Romantic Yellow Exuberant Obsessive Daring Innocent Cautionary Idyllic Blue Powerless Cerebral Warm Cold Passive Orange Warm Naiv e Romantic Exotic Toxic Natural Earth Green Healthy Ambivalent Vital Poisonous Ominous Corrupt Purple Asexual Illusory Fantastic Mystical Ominous Ethereal Bellantoni (1936-2016) If It s Purple, Someone s Gonna Die. Focal Pres, (2005) 40
알고리즘선정 : Decision Tree 41
동영상을 VLC Player 활용이미지시퀀스 (image sequence) 로전환 VLC Player [Preference] [Show all] [Video] [Filters] [Scene Filter] 42
이미지시퀀스폴더화면 43
이미지시퀀스사진예 44
색채분류표기준에따라서브폴더화 45
MATLAB Statistics and Machine Learning Toolbox & Classification Learner App MATLAB Statistics and Machine Learning Toolbox 사용 CSV 파일분석처리 Decision Tree 알고리즘처리 MATLAB Classification Learner App 유용활용 46
CSV 포맷파일 ( Character, object, color, meaning) 47
MATLAB 으로 CSV 파일불러오기 48
CSV 자료검토 49
MATLAB Classification Learner 50
결과및정리 실험함목 결과 Decision Tree 색책 ( 로맨티 & 무기력 : 6:4) 딥러닝이미지분류 이미지인식률이기대에못미침 기술적문제 MATLAB 은실험수행에기술적문제가발생하지않음설치및실험수행용이함 51
통계적해석 캐릭터 색채심리 통계치 Mia Romantic 59% Sebastian Powerless 41% 52
MATLAB 개선사항 공대과정을제외한 MATLAB 인문계열학습자료개선 MATLAB Toolbox 관련자료검색및접근성불편 ( 찾기어려움 ) 관련문서가대부분영어자료 ( 웹자료가영어한글혼용 ) MATLAB 주사용자공대성위주출판물, 온라인자료, 매뉴얼 인문계열학생및연구자를위한튜토리얼보강및개선필요 디지털인문학, 인공지능인문학, 경상계열학생및연구자를고려한자료지원강화필요 53
다음과제 이미지를컴퓨터가직접인식해서색채심리분석 MATLAB Computer Vision Toolbox MATLAB Deep Learning Toolbox 이미지속의색채분류성능제고방법 영화속의다양한객체와색채와 shape, 색조채도등의추가레이블설정과정필요 분석대상영화데이터의확대를통한색채심리데이터축적 향후베이지안데이터처리검토 문학 ( 영화 ) 전자지도도개발 (MATLAB Mapping Toolbox) 54
결론 MATLAB 은오픈소스의학습의어려움및불안정성에서자유로움 인문계융합 SW 과정데이터과학및인공지능교육및실험에최적선택 색채심리분석으로영화의주제파악가능 딥러닝이미지색채분류는인식률제고필요 ( 레이블작업 & 지도학습이필요 ) 인문계학생 MATLAB Toolbox 활용후속연구에대한자신감 & 기대감가짐 55