Olfactory Display for Emotional Contents 호서대학교전자공학과김정도교수 jdkim@hoseo.edu 010-2208-2856
목차 1. Introduction 2. Olfactory Recognition 3. Olfactory Presentation 4. Olfactory Modality 5. Olfactory Information 6. 현재후각디스플레이응용의문제점 7. 후각상호작용을위한표준화 8. 후각기술의응용범위및종합
Introduction
Research scope of olfactory display Olfactory Presentation - Olfactory coding and information Olfactory Recognition - Electronic nose - Gas sensor Software - Digitalization of smell Hardware - Scent Generator Considerations - Multi-modal user interface - Olfactory communication Application - Multimedia - Virtual and augmented Reality - Game and E-entertainment - MPEG - Environmental Monitoring - Measurement - Medical Application
Olfactory Recognition
Olfactory Recognition To mimic some aspects of biological olfactory system Electronic Nose An array of chemical sensors (Olfactory Receptor) Electronics and Software Pattern recognition (PCA, SOM, FCMA, RBF, BP)
Different Sensor Technologies Quartz microbalance Metal Oxide Conducting polymer
Conducting polymer Film Aromascan plc Array of 32 sensors
Osmetech Electronic Nose
AromaScan Electronic Nose
Hoseo University 0.25 0.2 0.15 UNKNOWN SAMPLE 1 HAZELNUT COFFEE 0.25 0.2 0.15 HAZELNUT COFFEE 0.1 0.05 0-0.05 RAISON MANSOL MILD SEVEN THIS PLUS MOCHA COFFEE 0.1 0.05 0-0.05 UNKNOWN SAMPLE 2 THIS PLUS MILD SEVEN RAISON MANSOL MOCHA COFFEE -0.1 DENHILL MARLBORO -0.1 MARLBORO -0.15-2 -1 0 1 2-0.5 0 0.5 1 DENHILL -0.15-2 -1 0 1 2-0.5 0 0.5 1
Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Normalised Response Olfactory Recognition 은여러종류의센서를어레이로구성하여각냄새 ( 가스 ) 에대한특징 ( 일종의지문 ) 을추출하는방법 : 다양한신호처리알고리즘이필요 Patterns generated to a v ariety of substances 0-2 -4 acet i c aci d 0-5 pr opanoi c 5 10 15 20-6 -10-8 -10-15 5 10 15 20 0-2 Sensor No. but yr i c aci d 0-2 i soval er i c 5 10 15 20-4 -4-6 -6-8 -8-10 -12 5 10 15 20 0 Sensor No. val er i c aci d 12 4-ethyl phenol -2 10-4 8 6-6 4-8 -10 5 10 15 20 Sensor No. phenol 2 0-2 5 10 15 20 Sensor No. i ndol e 10 5 0-5 -10 5 10 15 20 Sensor No. skatol e 10 8 6 4 2 0 5 10 15 20 Sensor No. ammoni a 10 10 8 8 6 6 4 4 2 2 0 5 10 15 20 Sensor No. 0 5 10 15 20 Sensor No.
2nd Dimension Urine Samples -detailed Analysis 30 20 10 Diseased population -20-15 -10-5 5 10 15 20-10 -20-30 Normal population -40-50 1st Dimension AB118.DBA AM118.DBA CP118.DBA GB118.DBA IC118.DBA JG118.DBA KS118.DBA PD118.DBA PEA118.DBA SB118.DBA SXW118.DBA TFA118.DBA TFB118.DBA WZ118.DBA XY118.DBA KCP108.DBA PAW108.DBA PE108.DBA RB108.DBA SB108.DBA TAF108.DBA TF108.DBA
A variety of sensor technologies applicable to Electronic Nose applications are now available. None of these are yet capable of emulating the human nose in terms of sensitivity and selectivity. For dedicated applications many of the systems produce useful results. Current trends are towards arrays containing sensors of more than one technology.
Olfactory Presentation
국가연구주체연구내용 일본 미국 이스라엘 유럽 동경공업대 시세이도 NTT 오감산업포럼 디지센츠 MIT 미디어랩 센세이트인코퍼레이션 바이즈만과학연구소 International Fravors Fragrances 조합형후각디스플레이장치및후각레코더의개발 인터넷을통해향수냄새를출력하는기술개발 휴대폰을이용한향 - 메일서비스시연 후 ( 미 ) 각의적용을위한학문적연구포럼 가상현실과연동되는향전달시스템과컴퓨터로제어가능한향분사하드웨어개발 후각디스플레이의이론적접근 냄새를전송하기위한방법및장치 ( 특허 ) 냄새를인터넷을통해전달하는시스템원리 ( 특허 ) 동영상및기타미디어와발향장치의연동 ( 특허출원 )
Firefighter training system Sensorama Application at stock market
Tokyo Institute of Technology Olfactory Recorder : Gas Sensor Spirited Away 4Minutes 11 scenes Olfactory display system with Cooking Game. Olfactory Display for Virtual Reality
Smellovision : smelling your way around your home theater "Fragra": Entertainment System Utilizing Olfactory Display
ScentAir ScentKiosk Scent Dispenser ICT Scent Collar : This wireless olfactory display system DIODE Project
Integrating a projection-based olfactory display with interactive audio-visual contents
TriSenx AromaJet Game Medical
호서대 (1) 발향장치개발 ( 휴대용, 조합형등 ) (2) 응용서비스개발 - 향 - 메일서비스 - 감성증강용디지털앨범 : 후각상호작용가능한 JPEG - e-health 응용 : 자전거운동기구를이용한가상현실시스템에서의발향장치적용 - 후촉감표현이가능한멀티미디어플레이어 - 감성메신저 (3) 가상현실과후각상호작용방법론개발 환경모니터링 사용자감성평가 가상도우미와발향장치를이용한감성콘텐츠 내부온습도센서외부온습도센서내부가스센서외부가스센서일별최적온습도데이터 PCA 알고리즘 FCM 알고리즘 감성대표냄새 6 개발향 주위온도환경에따른상황 운동할때상황 주위냄새환경에따른상황
.. 호서대 + 송도 U-city 체험관 영상의감성과관객의수및거리에연동하는발향서비스 Photo sensors.. 3D sound system Scent generators Control server Zigbee Image server for wall screen projector Image server for floor projector Wall screen Floor
기타 - 인터넷을통해향수냄새를출력하는기술개발 ( 일본, 시세이도 ) - 향기, 감촉을전하는오감통신시스템개발중 : 냄새와촉각전달휴대폰 (NTT,2002년) - 공간에자동으로향을분사하여오락의정도를향상시키는모션의자개발 ( 미국 ) - 가상현실과연동되는향전달시스템과컴퓨터로제어가능한향분사하드웨어개발 ( 미국 )
Olfactory Modality
Multimodal Combination (1) 시각화와후각디스플레이 (Olfactory Display) 후각인지 (Olfactory perception) 은시각인지에비하여상당히느리기때문에인지능력은시각에의존하여야한다. 그러나, 후각인지의경우기억능력을향상시키고강력한연상기억 (associate memory) 을제공하기때문에심리적이고감성적인면의조절이가능하다. 예를들어가상현실시뮬레이터에서상황의급박함을강조할수있을뿐만아니라, 때에따라서는급박한상황에서심리적안정을찾아줄수있는조절자의역할도가능하다. 하지만, 후각의경우대뇌의감성을지배하는부분에직접적으로작용하기때문에시각보다강한지속성을가진다. (2) 음향화와후각디스플레이후각의경우, 음향인지에비해서도상당히느리기때문에즉각적인인지능력은역시청각에의존하여야한다. 그러나, 인지후에후각은음향에비해비슷하거나더강력한연상능력을가질수있다, 그러므로, 후각의경우음향의감성을조절하는배경미디어 (background media) 로서의역할을하게하여야한다. (3) 후각디스플레이와햅틱피드백촉각은시각이나청각에비해더직접적인자극이다. 인지반응이시각과비슷하게빠를뿐만아니라, 감성을지배하는역할에서도시각이나청각보다직접적이며강하다고할수있다. 촉각은후각보다빠른인지능력을가진다. 감성을지배하는능력은짧은기간동안에는후각보다강하다고할수있다. 하지만촉각의경우후각에비해상당히짧은지속성을가지며연상작용면에서는뒤진다고할수있다.
Cross Modality 효과 후각에의한공감각 (synesthesia) 후각에의한모달리티사이의부조화문제 후각에의한모달리티사이의불일치문제 문제점해결방법 냄새의강도 (intensity) 에비례하기때문에이를이용하여조절이가능하므로, 냄새의강도를참고자료로하여정보화에이용하여야함 냄새가공감각과연관될수있는객관적인요소는냄새의지속성, 심미도및냄새의특성등이라할수있다. ( 공감각중에서타인과구분되는기억에의해나타날수있는개인적공감각문제는예외적인현상으로고려하지않는다.) 냄새는다른감각과는달리상당히느린미디어라할수있다. 이러한부조화문제를해결하기위해서는반드시냄새의지속성과발향의양 ( 발향시간 ) 등이표시되어야한다. 냄새의경우, 다른감각과의모달리티불일치문제를해결하기위해서는냄새가가지고있는최소한의감성, 감각표현이되어야한다. 정보화를위한주요요소 냄새의강도 (intensity) 냄새의지속성 (persistence) 냄새의심미도 (hedonic tone) 냄새의특성 (character description) 냄새의지속성 발향의양 ( 발향시간 ) 냄새의감성 냄새의감각
Olfactory Information
냄새의멀티미디어화를위한 5 가지특성 번호 특성 내 용 1 한계농도 사람이냄새를감지할수있는한계농도 2 강도 감지되어지는냄새의세기 3 지속성 최고의강도로냄새가주어졌을때, 한계농도까지떨어지는데걸리는기울기를의미 4 심미도 냄새의쾌, 불쾌정도 5 특성묘사 다른냄새와구별되어지는냄새의특성 냄새의특성묘사방법 번호표현방법내용 1 지각표현 종류 : 꽃, 과일, 동물, 생선개별 : 장미, 자스민, 복숭아, 고양이등 2 감각표현 향기로운, 탄등 3 감성표현 좋은, 싫은 4 인상표현 소박한, 관능적인, 고상한, 품위있는 5 향료전문표현 심플, 오리엔탈, 후레아등
현재후각디스플레이응용의문제점
후각디스플레이장치의제한성 후각정보부호화의부재와객관적평가방법의부재 후각정보의사용자인터페이스방법의부재 참고할만한응용서비스의부재 아직조합형발향을위한장치가개발되지않고있음연구실단위에서는많은연구가이루어지고있으나발향시간및농도등을조절할수있는장치의개발이시급 일본, 미국의경우멀티미디어용발향장치의개발이이루어지고있어, 국내외에서 5 년이내에상용화제품이출시될것으로판단됨. 단, 제품개발에있어화학기술, 나노기술등의복합기술이필수적이므로대기업의참여가요구됨 후 ( 미 ) 각인식을위한전자코 ( 전자혀 ) 의기술은급속하게발전하고있으나, 아직생물학적후 ( 미 ) 각기능에비해너무뒤떨어진기능을보여주고있다. 현재센서기술의발전속도로보아 10 년이내에현재의문제점을보완할센서의개발이가능할것으로예상됨
후각디스플레이장치의제한성 후각정보부호화의부재와객관적평가방법의부재 후각정보의사용자인터페이스방법의부재 참고할만한응용서비스의부재 현재, 국외의후각디스플레이기술이각각의서비스마다별도의정보표현방법을사용하고있어표준화된정보체계의개발이시급 후 ( 미 ) 각의경우화학적조성이수백만가지에이르고감성적요인에밀접하게관련되어있어분류의어려움이존재하기때문에표준정보체계를구축하는데많은어려움이예상된다. 또한, 후각정보를감성정보와연결시켜표현하고자할경우후각감성정보인자에대한객관적평가방법이제시되지않고있다.
후각디스플레이장치의제한성 후각정보부호화의부재와객관적평가방법의부재 후각정보의사용자인터페이스방법의부재 참고할만한응용서비스의부재 후각정보를이용하고자할때, 사용자프로그램과인터페이스될수있는표준후각디스플레이편집방법이없어후각을위한사용자인터페이스표준방법이제시되어야한다. 이문제를해결하기위해, 후각관련장치의하드웨어표준화와미들웨어에대한연구가진행되어야하며, 편리한사용자인터페이스를위해색편집기의방식과유사한냄새편집기가개발되어야함
후각디스플레이장치의제한성 후각정보부호화의부재와객관적평가방법의부재 후각정보의사용자인터페이스방법의부재 참고할만한응용서비스의부재 후각디스플레이응용시에, 아직상용화되거나이용가능한참고프로그램과 API 함수등이존재하지않아기존콘텐츠개발자들이응용프로그램을개발할수없다. 표준방법론에연구가부족하여발생한문제이므로후 ( 미 ) 각표준부호화와더불어서비스표준방법론이개발된다면해결가능
후각상호작용을위한표준화 ( 국내및국외연구종합 )
후각상호작용의개념도 User 1 User 2 Olfactory Display Device (Scent Generator) Olfactory Recognition Device - Smell sensor, - Electronic nose, - Human Olfactory Presentation Request The Information of Olfactory Display Device Olfactory Presentation Request Olfactory Interaction Model Olfactory Presentation Request The Information of Olfactory Display Device No Device Olfactory Display Device (Scent Generator) User 3 User 4
국내표준화동향 국내표준상황 표준기관표준내용비고 TTA 표준 TTA 표준 TTA 표준 TTA 표준 인공미각시스템용스마트센서후각정보표현참조모델후각상호작용메타데이터 JPEG에서의후각상호작용을위한파일포맷 TTA 표준 전자코시스템을위한메타데이터 TTA 표준 IT 응용서비스를위한가스센서메타데이터 예정 TTA 표준 IT 응용서비스를위한발향장치기본규격 예정 Olfactory Recognition - 국내의경우, 다양한가스센서의개발능력은보유하고있으나, 스마트가스센서에대한표준화및후각인식에대한표준화에는큰관심이없음 - 강원대와호서대의경우만유럽 GOSPEL 과교류하고있음 - 아바타효과에따른 4D 미디어에대한관심이늘고있음
국제표준화동향 후각인식및센서분야는활발히진행되고있으나, 후각표현분야는아직활발한표준화작업이진행되지않고있음, 아직후각표현의적용이기술적한계에있어산업적적용이제한적이기때문이다. 하지만특허출원의경우, 폭발적증가를보이고있어, 원천적기술의확보를위해각국이상당히힘을기울이고있음을후각관련특허분석을통해파악할수있다. 하지만, 일본, 한국, 영국및미국등의학자를중심으로 W/G 를구성하려는움직임을보이고있음 2009 년에는 ISO 에 TC 가구성될것으로예상되고있다. 현재유럽에서는멀티모달리티에대한기술보고서및참조표준 ETSI EG 202 048 v1.1.1(2002-08), Human Factors(HF); Guidelines on the multimodality of icon, symbols and pictograms 에서후각모달리티에관한가이드라인이제시되고있으며, 또한바이오메디컬을위한사용자인터페이스기술보고서 Multimodal Presentation of Biomedical Data 에서도후각에관한기술보고서가제출되고있다. 이는표준화를위한작업이이미시작되었음을의미하고있다. - 작년 MPEG 회의에서후각미디어에관한기고가있었음 - 일본과한국을중심으로후각미디어 W/G 조직의움직임있음
Artificial Olfaction 과 Olfactory Recognition 의표준화를위해 EU 에서는 GOSPEL 을결성 ( GOSPEL is the European Network of Excellence in Artificial Olfaction ) 또한, GOSPEL 의준비작업단계로 NOSE II Project 를통해 IEEE 1451 기반의후각센서의인터페이스표준안및데이터처리에대한표준방법을연구한바있다. 주요연구분야는 Healthcare Security Environment Process automation and control Micro and nano systems Multi-dimensional data processing GOSPEL 의주요참여자들은 ISOCS (International Society for Olfaction and chemical sensing) 을결성하여그영역을바이오센서및응용분야까지넓혀가고있다.
일본의경우, 오사카과학기술센터에오감산업포럼을설치하여 2003 년부터매년 2 회의포럼활동을통해삶의질을향상시키기위한중요한기술로서시각, 청각, 촉각, 후각, 미각등인간의오감을기술화하고시스템화하는데주력하고있다. 일본은아직표준화가진행되고있지는않지만, 가장특허출원이많은국가로서표준화가진행될경우가장앞선국가가될가능성이높다. 현재오감산업포럼산하에색의오감산업연구회, 음의오감산업연구회, 센서의오감산업연구회, 생활오감산업연구회등 4 개의연구회가구성되어감각정보의기술화를추진하고있고센서나정보기기를통해실용화되고있는기술을선보이고있다. 오감산업포럼에서는오감의입출력정보를처리하는인터페이스문제해결을위해센서디바이스를고도화하고, 이러한센서기술을이용하여편리한인간의오감에대응하는 스마트 디바이스의설계기법도중요한이슈로다루고있다. 또한아직미완성단계의냄새, 미각, 촉각을전송하는기술등도주요이슈로부각되고있다. ETRI 의경우, 새로운 MPEG W/G 에후각을포함하는다중감각의인터렉션방법을표준화하려고준비중이있다.
표준화대상기구및범위 세계적으로표준이부진했던이유 - 후각디스플레이, 후각상호작용및후각사용자인터페이스기술의기반이되는후각부호화의경우, 화학적작용의문제때문에표준화가쉽지않아 IT 쪽에서접근보다는식품이나환경쪽에서연구가주를이루었기때문에표준화가 IT 분야에서미진하였음 - 최근의융합기술의영향에따라 IT 전문가와화학및생명공학연구자들의합동연구결과가이제막제시되고있으며, 삼성및노키아등의회사가이제야관심이증폭되고있음 - 화학적조성문제때문에표준화가느렸으나, 최근의 IT 연구와메이터연구에서는이를극복할방법이제시되고있으며, 이제막원천적특허들이제시되고있음 표준화대상기구 표준기구 TC 및 SC 제목 1 ISO TC159/SC4 Ergonomics of human-system interaction 2 ISO/IEC JTC 1/SC 35 User Interface 2 ISO/IEC JTC 1/SC MPEG
집중해야할기술및표준화범위 (1) User Interface - Multimodal User Interface - Visualization (2) Olfactory Information - Olfactory Coding - Visualization - Olfactory Communication (3) Multimedia - Virtual reality - Augmented Reality - Fusion Method (4) Olfactory Recognition - Electronic Nose - Smell Sensor (5) Hardware - Scent Generator - Hardware unification - 멀티모달인터렉션방법 - MPEG 적용방법 후각정보전송및동기화기술개발 - 후각을이용한가상및증강현실융합모델링기법개발 - 게임응용표준방법론 - 냄새에대한감성평가방법 - IEEE 1451 을이용한스마트센서 - 표준측정방법 - IEEE 1451 을이용한설계 - IEEE 1451 기반오감프레임워크개발
후각기술의응용범위및종합
응용분야 교육분야 멀티미디어분야 게임및 E-health 분야 문화콘텐츠분야 활용분야 멀티미디어백과사전 교육용플래쉬애니메이션 e-book 주문형오감비디오 음악서비스분야 실감영화 감성 - 메일서비스 감성 MSN 발향기능조이스틱 가상현실결합운동기구 네트워크게임 증강현실을이용한문화콘텐츠 실감있는설명을위한발향기능 후각을이용해교육효과최적화 활용방안및방법 후촉감인식을통한인터렉티브 Story Book 의구성과후촉감표현을통한실감효과 MPEG 에에후촉감표현기능추가 음악을느낌을후각과촉감으로 의자에추가된장치를통해영화의증강효과 메일기능에후각과촉감을통한감성 - 메일서비스로진화 MSN 의이모티콘이후촉감표현이가능한감성이모티콘으로진화 이미일본의경우 Playstation 같은게임기에후각기능을추가할계획임 자전거운동기구및런닝머신에서의가상현실과발향장치응용 촉감표현기능이외에후각표현기술을이용한현실감증대 지방토산물소개의현실감증대 음식에대한극적효과 가전분야 디지털 TV 이용 e-shopping 실제적으로적용이될지의문임 ( 사용자와발향장치간의거리문제 ) 발향장치가추가컴퓨터 향후, 컴퓨터나프린터의필수부속품으로자리잡을것으로예상
종합 지금까지시, 청각중심의 IT 분야에서새로운차원의오감정보통신분야확립개별감각연구개발진행단계에서오감의종합적, 체계적연구는전무함 ( 후각기술의경우다른감각과의융합이라는전제하에서의연구가필요함 ) 기초과학적인분야의후각과정보통신기술분야와의커뮤니케이션갭이존재공학, 생리학, 화학, 심리학분야와의학술적연계필요 문화컨텐츠, 라이프사이언스분야에엄청난파급효과 일본등선진국의경우, 특허출원을통해후각디스플레이에대한원천적기술보유를목표로배타적연구에집중하고있음 => 공동 W/G 을조직해표준화작업을시작해야함