02본문

Size: px

Start display at page:

Download "02본문"

진아 표
5 years ago
Views:

1 76 특집 : 사물인터넷과미디어 특집 사물인터넷과미디어 미디어융합을위한후각디스플레이기술 김정도 / 호서대학교 요약최근기존의시청촉감이외에후각을이용하려는시도가증가하고있으며, 상용화에접근하고있다. 후각의경우는자주사용되지는않지만, 매우강력한기억과연상메카니즘을제공하며기존감각의극적인증강효과를제공할수있으며, 방송이나인터넷에서의미디어의실감효과뿐만아니라가상현실과증강현실을실제현실처럼느끼게만들수있을것이다. 이러한후각디스플레이기술의현황과연구및표준화방향을소개하고후각디스플레이의적용에있어고려해야하는문제등을정리하고자한다. Ⅰ. 서론 인간은보통지식을습득하는데있어약 80% 를시각에의존하고, 11% 를청각에의존하며 3.5% 를후각, 그리고 1~1.5% 를촉각과미각에의존하고있다. 그러므로이러한여러가지형태의오감미디어를함께융합한다면지식전달과지식의흡수능력이더높아질것은당연하다고할수있다. 미디어에서인간의이런오감을효율적으로재현할수있을까? 최근인간이느낄수있는색상, 소리, 향기, 맛, 촉감을디지털신호로바꿔이를이용하는오감기술이개발되고있다. 컴퓨터로구현된시각과청각정보는현실에가깝지만나머지는이제시작단계에있다. 후각의경우는자주사용되지는않지만, 매우강력한기억과연상메카니즘을제공하며기존감각의극적인증강효과를제공할수있으며, 컴퓨터나인터넷에서의미디어의실감효과뿐만아니라가상현실과증강현실을실제현실처럼느끼게만들수있을것이다. 꽃그림을포함한전자우편을열면꽃향기가나거나, 컴퓨터상의가상화원에서는다양한 이논문은 2015 년도정부 ( 미래창조과학부 ) 의재원으로정보통신기술진흥센터의지원을받아수행된연구임 (No.R , 후각바이오정보기반감성증강인터랙티브콘텐츠기술개발 ) 76 방송과미디어제 20 권 3 호

02_1본본:02본본 18. 8. 3. 본본 4:35 Page 77 미디어 융합을 위한 후각 디스플레이 기술 313 꽃향기가 넘쳐난다. 영화 속에서 스타벅스에서 커피 족 등으로 제한적인 적용연구만이 진행되어 왔다.

2 02_1본본:02본본 본본 4:35 Page 77 미디어 융합을 위한 후각 디스플레이 기술 313 꽃향기가 넘쳐난다. 영화 속에서 스타벅스에서 커피 족 등으로 제한적인 적용연구만이 진행되어 왔다. 를 마시는 장면이 나오면 실제 그윽한 커피 향을 느 후각 미디어의 IT 적용 기술은 아직 상용화와 표 끼거나, 전쟁터의 화약 냄새를 맡으며 스타크래프트 준화가 완전하게 이루어지지 않은 분야이기 때문에 게임을 즐길 수 있다. 컴퓨터가 보고 듣는 재미에 이 원천기술의 획득가능성 또한 높은 분야이다. 특히 어 향기로 코를 자극하는 첨단 멀티미디어 서비스를 멀티-모달 인터페이스를 위한 기술과 MPEG에서 제공하기 때문이다. 필자는 최근 HMD를 이용하여 의 후각 표준화는 후각 적용 기술의 기반 기술로 자 가상현실 공간에 들어가 본 적이 있는데, HMD 기술 리 잡을 가능성이 높다고 할 수 있다. 과 영상기술의 발달로 필자가 실제 통나무집안에 있 본 고에서는 후각 미디어에 대한 연구에 대한 현재 는 듯한 느낌을 받은 적이 있으나 통나무집에서 나 의 연구동향을 제시하고 현재 진행되고 있는 연구 분 는 나무향이 없었다는 아쉬움을 가지고 있다. 야와 표준분야 등을 소개하며, 미디어 융합을 위해 후 이러한 서비스를 가능하게 하기 위한 연구가 선 각 시스템이 고려해야 하는 점 등을 설명하고 한다. 진국을 중심으로 활발히 진행되고 있다. 특히 일본 과 미국의 경우, 이미 후각을 기존의 시청각과 더불 어 반드시 필요한 미디어로 생각하고 기초 및 적용 연구를 활발하게 진행한 바 있다. 최근 우리나라의 Ⅱ. 후각 디스플레이 역사와 기술 현황 경우도 후각 디스플레이에 관한 관심도가 높아지고 있어 응용에 관한 활발한 시도가 이루어지고 있으 인간의 후각을 모방하기 위해 가스센서 어레이와 나, 체계적인 연구의 부족과 융합을 위한 이해의 부 냄새/가스의 종류를 구별 할 수 있는 알고리즘으로 <그림 1> 현재 연구되고 있는 후각 UI 분야 2015년 7월 77

3 02_1본본:02본본 본본 4:35 Page 특집 : 사물인터넷과 미디어 구성된 전자코는, 1980년대 후반부터 유럽을 시작 러나 최근 몇 년 전부터 이들 기술이 멀티미디어 기 으로 2000년대 초반까지 주로 측정기 또는 계측장 술에 적용되기 시작함에 따라, 향후 후각 미디어 기 치로 음식의 맛과 냄새 테스트, 공장의 배출가스 감 술은 기존 기술과 융합하여 융합콘텐츠 분야의 새 시, 유해성분 분류, 폭발물 검사 등 주로 식품 및 환 로운 분야를 창출할 것으로 기대된다. 최근 연구되 경 부분에 다양하게 사용돼왔다. 이러한 전자코 시 고 있는 후각 미디어 분야는 <그림 1>과 같다. 스템은 현재 발전된 센서기술을 기반으로 자동차 관련 분야 및 호기를 이용한 의료용 질병 조기진단 1. 후각 표현 분야 시스템으로 사용이 다양화됐다. 최근 ICT 기술의 발전에 따라 냄새의 검지를 위한 장치뿐만 아니라 1) 해외 연구 동향 냄새를 발향할 수 있는 장치가 개발되고 있다. 발향 미국의 경우, 후각을 기존의 시청각과 같이 미 장치는 PC 및 멀티미디어 기기와 연동되어 게임, 디어로 인식하여, 이를 적용하기 위한 연구가 가 방송, 영화 등에서 감성을 증강시키기 위해 장면에 장 일찍 진행되어 왔으며, 현재 MIT 미디어랩을 맞는 향기를 제공하며, 향기치료, 자동차와 휴대전 중심으로 이론적 연구가 진행되고 있다[1][2]. 또 화 등의 적용으로 확장될 수 있다. 이렇게 후각 미 한 후(미)각과 관련된 원천 특허의 출원이 급증하고 디어에 대해 많은 연구가 이뤄져 왔지만 여전히 관 있다[3][4]. 련 장치의 미진한 개발과 표준화되지 못한 적용 방 동경공업대의 나카모도 교수는 냄새를 측정하여 법 등에 의해 상용화 단계는 계속 미뤄져 왔다. 그 정보화하고, 저장된 냄새를 재현하는 장치를 개발 (a) Sensorama (d) 게임 (b) 소방 훈련 시스템 (e) 애니메이션 <그림 2> 후각 디스플레이 기술의 적용 사례 78 방송과 미디어 제20권 3호 (f) 가상현실(Fragra) (c) 증권시장 (g) 유물체험

미디어융합을위한후각디스플레이기술 315 (a) Smell-O-Gram (b) Smell-O-Phone < 그림 3> Smell-O-Phone 과 Smell-O-Vision 하였으며, 이장치는카레라이스요리과정을보여주는가상현실소프트웨어에성공적으로적용되어시연되었고, 향기영화 ( 센과치히로의모험 ) 시연에도성공적으로적용되었다 [5].

또한 Fragra 라고부르는후각디스플레이기술이적용된 VR 게임이개발된바있다. 이것은 Nara Institute of Advanced Science and Technology 에서개발하였다 [7]. Cater 는향을이용한표준소방훈련시스템을개발한바있다 [8].

4 미디어융합을위한후각디스플레이기술 315 (a) Smell-O-Gram (b) Smell-O-Phone < 그림 3> Smell-O-Phone 과 Smell-O-Vision 하였으며, 이장치는카레라이스요리과정을보여주는가상현실소프트웨어에성공적으로적용되어시연되었고, 향기영화 ( 센과치히로의모험 ) 시연에도성공적으로적용되었다 [5]. Papin 은 2003 년후각피드백 (Feedback) 이가능한 DIODE 프로젝트를수행한바있은데, HMD(Head Mount Display) 를쓰고있는사용자는 HMD의영상에투영된방돔스퀘어를걸어다닐수있으며, 상호작용의상황에따라사용자주변환경에설치된 3개의발향장치에서냄새를발향한다 [6]. 또한 Fragra 라고부르는후각디스플레이기술이적용된 VR 게임이개발된바있다. 이것은 Nara Institute of Advanced Science and Technology 에서개발하였다 [7]. Cater 는향을이용한표준소방훈련시스템을개발한바있다 [8]. 일본의 NICT 는 Aroma Shooter 라는독자적인발향장치를개발하여유물을소개할때유물의촉감과함께향을느낄수있는시스템을개발한바있다. 이스라엘의경우, 향기를인터넷에포함하여전송하는기술을 2000 년에선보인바있으며, 프랑스등에서는동영상및음성과연동하는방법에대한특허가출원된바있다. 최근에는 Smell-O- Phone 과 Smell-O-Grams 및 Smell-O-Vision 등이개발되어후각디스플레이기술이 iphone 에적용되었을뿐만아니라 e-book 과영상시스템에적용되기시작하였다. 특히, 일본의경우후 ( 미 ) 각기술의상업화를위해지난 2000년대학과기업의사람들로구성된 " 오감정보통신에관한조사연구회 " 를발족한바있으며, 2004 년 12월 NTT와 OCN은오감정보통신의하나인향기통신에대해일반인들을대상으로공개실험을진행하였으며, 이를기반으로학계, 산업계및관계가참여하는오사카산업포럼을설립하여후 ( 미 ) 각의적용에관한연구를체계적으로진행해오고있다. 미국샌디에고대학은삼성전자의지원을받아, 수백개의냄새를발향할수있는초소형장치를개발하고있으며 TV와휴대폰에적용하는것을목표로연구가진행되고있다. 이기술의원리는리드와이어를통해전류가흐르면서수분이있는솔루션을가열하게되고이열은압력을만들어내작은구멍을열어향기를발산하는것으로서프린터카트리지처럼교체가능하도록설계하는것을목표로하고있다 [9] 년 7 월 79

316 특집 : 사물인터넷과미디어 < 그림 4> 미국샌디에고대학의발향기술연구 2) 국내연구동향국내의경우, 후 ( 미 ) 각관련기술중전자코및전자혀와같은단위인식과센서기술에관해서는많은연구가진행되어왔으나, 후각을미디어로여겨이를 IT 기술과결합하려는연구는 2000 년후반까지단지한두명의연구자에의해서만진행되어왔다.

5 316 특집 : 사물인터넷과미디어 < 그림 4> 미국샌디에고대학의발향기술연구 2) 국내연구동향국내의경우, 후 ( 미 ) 각관련기술중전자코및전자혀와같은단위인식과센서기술에관해서는많은연구가진행되어왔으나, 후각을미디어로여겨이를 IT 기술과결합하려는연구는 2000 년후반까지단지한두명의연구자에의해서만진행되어왔다 년, 호서대와전자통신연구소를중심으로하여발향기를개발한바있으며, 이를이용하여후각기능과촉감기능이포함된감성-메신저를개발하여킨텍스에서시연을보인바있다 [10]. 역시호서대에서는후각기능과촉감기능이포함된동영상적용과 Active-X 를이용한향-메일서비스를개발한바있다. 또한 2003 년경주세계문화엑스포 2000 을위한 VR 극장이설계된바있는데, 이 VR 극장은기존의 VR 극장과는달리향의발생이추가되었는데, 아로마발생기는액체향원을위해 5 개의용기를가지며, 컴퓨터에의해발향시간과향 의종류를제어할수있도록하였다 년에는호서대에의해인천송도투모로우시티체험관의다목적홀에향디스플레이가적용되었다 [11] 년이후, 한국정보통신기술협회 (TTA) 내의차세대 PC 표준화포럼을통해후 ( 미 ) 각정보표준화에대한논의가진행되고있으며, 이를통해 10여건이상의 TTA 표준이개발되어후각디스플레이기술의적용의가이드라인이제시되고있다. 최근들어후각디스플레이기술에대한관심이높아지면서, 후각기술을연구하려는시도가증가하고있는것은그나마다행이라할수있다. 특히, 2010 년전자통신연구원과호서대와의협력연구를통해방송시스템에후각디스플레이기술을적용하려는연구가진행된바있으며 [12], 후각디스플레이의효율적저작을위한저작도구가개발된바있다 년에는전자통신연구원, 강원대와호서대를중심으로후각디스플레이를위한기술개발과 80 방송과미디어제 20 권 3 호

02_1본본:02본본 18. 8. 3. 본본 4:35 Page 81 미디어 융합을 위한 후각 디스플레이 기술 317 <그림 5> 후각 표현 기능이 추가된 감성 메신저와 멀티미디어 플레이어 <그림 6> 방송 콘텐츠를 위한 후각 저작도구와 개발된 발향장치 표준화 작업이 시작되어 집중적인 연구가 진행되고 센서들의 어레이와 패턴인식 기법 및 제어 시스템을 있다.

후각 인식 분야 종류의 화학 또는 물리적 가스센서들을 어레이화해 사용되는 것으로, 단일 센서를 사용하는 것보다 각 전자재료 및 컴퓨터의 발달로 사람이 가지고 있 각의 센서가 반응하는 응답 패턴으로부터 어떤 특정 는 감각을 모방한 여러 가지 센서 시스템기술이 발 의 냄새의 존재를 보다 확실하게 알 수 있는 동시에 전하고 있다.

6 02_1본본:02본본 본본 4:35 Page 81 미디어 융합을 위한 후각 디스플레이 기술 317 <그림 5> 후각 표현 기능이 추가된 감성 메신저와 멀티미디어 플레이어 <그림 6> 방송 콘텐츠를 위한 후각 저작도구와 개발된 발향장치 표준화 작업이 시작되어 집중적인 연구가 진행되고 센서들의 어레이와 패턴인식 기법 및 제어 시스템을 있다. 결합하여 미지의 냄새를 분석하는 시스템을 말한다 [14]. 전자코 시스템의 기본은 여러 개의 서로 다른 2. 후각 인식 분야 종류의 화학 또는 물리적 가스센서들을 어레이화해 사용되는 것으로, 단일 센서를 사용하는 것보다 각 전자재료 및 컴퓨터의 발달로 사람이 가지고 있 각의 센서가 반응하는 응답 패턴으로부터 어떤 특정 는 감각을 모방한 여러 가지 센서 시스템기술이 발 의 냄새의 존재를 보다 확실하게 알 수 있는 동시에 전하고 있다. 이러한 센서시스템 중에서 인간의 후 그 냄새들의 정량을 신뢰성 있게 분석할 수 있다. 각을 모방한 전자코 시스템의 개발이 1982년 영국 <그림 7>, <그림 9>, <그림 10>에서 보이는 것처럼 의 맨체스터대학 퍼사드 교수와 워릭대학의 도드 다양한 전자코 시스템이 만들어지고 인간의 감각을 교수에 의해 최초로 소개된 후 유럽을 중심으로 응 넘어서는 영역까지 검지 및 정량분석이 가능함으로 용 분야에 따른 다양한 시스템이 개발되었다[13]. 인간의 후각을 대체해 식품, 의료, 환경, 자동차 등 전자코 시스템이란 사람의 후각 기능과 구조의 이 다양한 분야에서 계측기 또는 모듈로 사용된다. 해를 바탕으로 다양한 가스분자 감응소자로 구성된 이러한 전자코 시스템들은 검지된 냄새들을 신호 2015년 7월 81

7 02_1본본:02본본 본본 4:36 Page 특집 : 사물인터넷과 미디어 <그림 7> 상용 전자코 시스템 <그림 8> 센서 어레이 신호처리 및 패턴인식을 통한 냄새 인식 <그림 9> 무선통신을 이용한 소형 전자코 시스템(호서대 연구팀) 82 방송과 미디어 제20권 3호

미디어융합을위한후각디스플레이기술 319 < 그림 10> 디지털 smell 카메라 처리및패턴인식알고리즘들을이용해 < 그림 8> 과같이분석및인식할수있다. 각종전자코시스템은현재응용분야에따라다양하게사용되고있다. 현재강원대의변형기교수와호서대의김정도교수를중심으로후각인식기능과 ICT의결합연구가진행되고있다 [15]. Ⅲ.

이러한멀티모달리티교차와부조화문제가고려되지않는다면감성과실감의증감을위해사용된냄새미디어가오히려실제감과감성을떨어트릴수있다. 1. 후각모달리티특성 1) 후각은인류의사진첩으로강력한연상작용을가진다. 후각과두뇌의해부학적구조로인하여강한감정을일으키는냄새에대한기억은오래도록머리에남아있다. 그에비해뇌의언어중추는후각중추보다훨씬늦게개발된영역이다.

8 미디어융합을위한후각디스플레이기술 319 < 그림 10> 디지털 smell 카메라 처리및패턴인식알고리즘들을이용해 < 그림 8> 과같이분석및인식할수있다. 각종전자코시스템은현재응용분야에따라다양하게사용되고있다. 현재강원대의변형기교수와호서대의김정도교수를중심으로후각인식기능과 ICT의결합연구가진행되고있다 [15]. Ⅲ. 미디어융합을위한후각디스플레이기술의고려사항냄새의기본적특성은다른감각과는다르게화학적성분에의해좌우되고, 인식을위한시간이필요하며문화적개인적차이가존재하기때문에다른미디어와의융합을위해서는냄새가가지는모달리티특성이분석되어야하며, 이러한후각모달리티특성을기반으로타감각과의융합시에발생할수있는교차모달리티와모달리티간부조화문제를정확히분석해야할필요가존재한다. 이러한멀티모달리티교차와부조화문제가고려되지않는다면감성과실감의증감을위해사용된냄새미디어가오히려실제감과감성을떨어트릴수있다. 1. 후각모달리티특성 1) 후각은인류의사진첩으로강력한연상작용을가진다. 후각과두뇌의해부학적구조로인하여강한감정을일으키는냄새에대한기억은오래도록머리에남아있다. 그에비해뇌의언어중추는후각중추보다훨씬늦게개발된영역이다. 언어로묘사되는기억은훨씬시각적이고이성적이지만, 냄새가갖는감성의풍부함을따를수는없다. 언어로된기억은기록의힘을빌리지않고는오래남겨두기어렵지만냄새로이루어진기억은작은단서만있으면언제어디서든회상될수있다. " 냄새는오랜세월동안덤불속에감춰져있던지뢰처럼기억속에서슬며시폭발한다. 냄새의뇌관을건드리면다양한신경망들이폭발되는것과같이모든추억이한꺼번에터져나온다." 고말할수있다. 2) 냄새의인식은지연시간이존재하는 Slow media이다. 미국의케인은피검자의눈을가린채로어떤냄새를맡게한뒤시간이지나다시냄새를맡게하 2015 년 7 월 83

9 320 특집 : 사물인터넷과미디어 면서같은냄새가나면알려달라고했다. 그결과동일한냄새를가장잘인지하는시간은대략 12초가지나서였다. 냄새분자가인간의수용체에도달하였다하더라도인간의뇌가단순히냄새가난다는것을파악할수있는시간 ( 인지시간 ) 도약 1.2초의시간이필요하다. 이러한점때문에영상과의정확한동기화를위해서는이러한시간지연이고려되어야한다. 3) 냄새의인지시간은사람의호흡주기에따라다르다. 인간의호흡주기는약 3초로서사람마다다른호흡주기를가지고있어, 같은냄새가발향되었다하더라도호흡주기의차이에의해최대 3초의인지시간차이를가질수있다. 그러므로영상과의융합시정확한동기화를필요로하는경우에는가급적냄새를발향하지않는것이좋다. 특히, 촉감은매우빠른접촉미디어이기때문에촉감과냄새와의동기화는거의불가능하며, 동시에같이사용하는것은고려하지않는것이좋다. 그런데시간이경과하면사정이다르다. 실험을계속한결과시각정보의기억이또렷한사람은 3개월후에는 60% 로떨어졌다. 이에반해후각정보의기억은실험직후와거의변하지않아 3개월후에도 70% 가까운사람이기억하고있었다. 5) 냄새는배경미디어 (Background media) 이다인간이후각을느낄때많은경우복합감각일경우가많다. 예를들어사과를먹을때는후각뿐만아니라촉감과시각이동시에작용하게되는데, 이러한복합감각을후각으로착각하는경우가대부분이다. 인간이다중감각을동시에느낄수있도록여러가지장치를컴퓨터기술에의해동시에표현하고자할때각감각을정확하게동기화시키기불가능할뿐만아니라개인적느낌차이가존재하기때문에냄새의발향이실제감이나감성을증가시키는것은기술적으로매우어려운일이다. 이러한점때문에냄새는배경음악과같이배경향으로사용되는것이가장적절할수있다. 4) 냄새는지속성이강한미디어이다. 냄새는지연시간이존재하지만일단우리의뇌속에단단히기억되면상당히오랫동안지속된다. 피실험자에게얼굴그림을보이고몇분이지난후다른그림과섞어서보였는데, 90% 이상의사람이정확히구분해냈다. 즉, 시각기억은짧은시간에서는잘남는다는것이다. 그럼후각은어떨까, 어떤냄새를맡게하고, 역시몇분이지난후다른냄새를맡게하자 70% 이상의사람이구별해냈다고한다. 치킨과군고구마처럼오래전부터맡았던것은그렇지않겠지만새로운냄새의경우, 시각정보보다기억에남기어렵다. 6) 냄새는 Ambient 미디어이다. 보고듣고만지지않아도전달될수있는유일한미디어수단이다. 7) 냄새는문화적차이, 인종적차이및문화적차이가존재한다. 냄새는기본적으로인종적, 문화적및개인적차이가존재하기때문에구체성을필요로하는냄새의발향은가급적피해야한다. 8) 냄새는뇌에직접적인긴박감을제공할수있는미디어이다. 84 방송과미디어제 20 권 3 호

10 미디어융합을위한후각디스플레이기술 321 냄새와기억의관계에서냄새의효과는순간적으로발현될수있기때문에생각할시간을갖기도전에이미감정을자극한다. 이때문에우리는특정한냄새를인지했을때, 그실체나이유를이해하기도전에알수없는긴장감과긴박감에휘말리기도한다. 이경우향의강도는매우중요할수있다. 9) 냄새의종류뿐만아니라냄새의질이라는변수가존재하며, 감성은주로향의질에의존한다. 향의표현파라미터는기본적으로 < 표 1> 과같이구분할수있다. 향의표현에서개별적 Perception 표현방법은개인적느낌의차이가매우크기때문에발향에의해미디어로사용되는것은감성과실제감을증강시키는데있어역효과를발생시킬가능성이매우높다. 이러한점때문에구체적인냄새의발향은가급적자제되어야한다. 하지만, 실제인간은구체적인냄새의인지에서감성을느끼기보다는향의질을나타내는 sensation, emotion 및 impression 인자에의해결정되는경우가많다. 10) 냄새는알러지를알으킬수있다. 냄새는인간에게알러지를일으킬수있기때문 에, 향의성분과알러지의관계는항상고려대상이되어야한다. 2. 후각미디어와관련된교차모달리티후각과시각, 후각과청각및후각과촉각등서로다른감각들사이에는후각이다른감각과서로간섭하여판단이나결과에영향을줄수있는데, 이를교차-모달리티 (cross modality) 라한다. 즉, 멀티모달인터페이스는멀터-유니모달인터페이스는아니며, 멀티모달인터페이스의마지막결과는각요소의합과는다를수있다. 이관점에서의 3가지주요한교차모달리티효과는다음과같다. 1) 후각에의한공감각 (synesthesia) 본래시각 청각 미각 후각 촉각등의모달리티와, 그원인이되는물리적자극 ( 시각에서의가시광선, 청각에서의음파, 후각에서의냄새 ) 사이에는 1 대 1의대응이있는데, 때로는이원칙에반하여냄새가인가될때냄새를느낄뿐만아니라영상을느끼는수가있다. 그밖에글씨를보고냄새를느낄때도있다. 이와같은감각의모달리티의경계를넘어선감각현상이공감각인데, 공감각에는 2차감각이현실적인경우와기억표상적 ( 記憶表象的 ) 인경 < 표 1> 향의표현방법 번호 표현방법 내용 1 Perception 형 (Type) 에의한표현 : flower, fruit, animal, fish 개별적 (Indivisual) 표현 : rose, jasminie, etc 2 Sensation sweet, burnt etc 3 Emotion like, dislike 4 Impression rustic, sexual, noble, elegant 5 Odor terminology simple, oriental 2015 년 7 월 85

11 322 특집 : 사물인터넷과미디어 우, 또는단순한사고에그치는경우등정도의차이가있으며, 이런소질이없는보통사람도, 특수한실험조건아래서는다른양상의감각간에상호영향이생길수있다. 보통영화와드라마에서는영상의표현을통해관객과시청자에게강한공감각을심어주는경우가대부분이다. 이러한공감각은시청자대부분이공통적으로느낄수있는공감각임에비해냄새에의해얻어지는공감각은인간의경험에의해발현되는경우가대부분이기때문에개인의경험차이에의해달라질수있다. 만약영상에의해제공된공감각과냄새에의해발현된공감각이불일치한다면오히려감성이떨어지는역효과가발생할수있다. 만약영상에서제공하는공감각이매우구체적이며강렬할경우에는냄새를발향하지않는것이나을수있다. 냄새를통해공감각을제공하려할경우, 향이배경미디어로사용되어야한다. 냄새에의해공감각을발현시킬경우, 공감각은보통냄새의강도 (intensity) 에따라비례하는현상을가진다는것이생물학자들과심리학자들에의해밝혀졌기때문에특히냄새의강도에유의하여야한다. 2) 후각에의한모달리티사이의부조화문제모달리티사이에는부조화문제가존재할수있는데, 보통영화의어떤장면에서시각자극보다청각자극이더오래지속되는경우를볼수있는데, 이는같은시각에자극이가해졌다하더라도서로다른지속성을가지기때문에일정시간후에는모달리티의부조화문제가나타날수있다. 특히후각의경우, 다른감각보다지속성이크기때문에부조화문제가크게대두될수있다. 3) 후각에의한모달리티사이의불일치 ( 대립 ) 만약후각과함께다른감각이제시될때, 후각과다른감각이서로다른특성을가지면어떻게인식될것인가? 시각적으로레몬의영상이보이면서달콤한향기를부여한다면영상을통해인간의기억속에서나온신맛의느낌은후각을통해부여한달콤한냄새와충돌할수있을것이다. 또한게임에서의급박한전투장면속에숲향기가부여된다면급박한게임의느낌과후각과는서로대립하는관계를형성할수있다. 이경우, 하나의모달리티가다른모달리티에흡수되기보다는전체적인감각의마이너스현상을가져오게되는불일치현상을가질수밖에없다. 보통영상은빠르게전개되는미디어이기때문에느리고지속성을가지는미디어인냄새와같이사용될경우에, 영상의장면전환후에도냄새의감성이남아있게된다면현재의영상과반하는부조화가생길수밖에없다. 영상과융합할경우에는반드시향의지속성과향의발향시간을조절할수있어야한다. Ⅳ. 후각미디어를위한국제협력및표준동향 1. 국제협력동향 유럽에서는멀티모달리티에대한기술보고서및참조표준 ETSI EG v1.1.1( ), Human Factors(HF); Guidelines on the multimodality of icon, symbols and pictograms 에서후각모달리티에관한가이드라인이제시되었으며, 또한바이오메디컬을위한사용자인터페이스기술보고서 Multimodal Presentation of Biomedical 86 방송과미디어제 20 권 3 호

12 미디어융합을위한후각디스플레이기술 323 Data 에서도후각에관한기술보고서가제출된바있다. EU의 GOSPEL Project에서는 NOSE II Research Project 를통해 IEEE 1451 기반의후각센서의인터페이스표준안및데이터처리에대한표준방법을연구한바있으나. 프로젝트가끝난후경제상황변동으로후각관련표준화연구분야의확장은진행되지않았다. 그러나 ISOCS (International Society Olfaction & Chemical Sensing, Chair Prof. Santiago Marco in Spain, 와 ISOEN(International Symposium on Olfaction and Electronic Noses) 을중심으로미국및유럽에서 BT 및 ICT를융합한후각관련연구가증대되고있다. 최근 DOS(Digital Smell Society, Chairs Prof. Marvin Edeas in France & Prof. Takamichi Nakamoto in Japan, 가만들어져첫번째 Conference 를 2012 년 11월독일베를린에서개최한바있으며, 현재후각분야상업화와보편화를목표로활발하게활동중에있다. 현재 DOS의연구 Track 은다음과같다. Track 1: Devices which capture odors Track 2: Odors turned into digital data Track 3: Restitution of odors Track 4: Artificial olfaction : biologicallyinspired models Track 5: High Smell Technologies : electronic noses, machine olfaction, artificial intelligence olfaction systems Track 6: Digital Scent Media : SMS, , website, USB flash driver, CD, DVD, scented-print Track 7: Olfactory Marketing & Neuromarketing : olfactive ads, olfactory packaging, interactive website, QR olfacodes, scented-menu Track 8: Food Industry : quality & safety control of food products Track 9: Digital Cosmetology : own fragrance creation on line, smell-emarket Track 10: Olfaction and jewelry : revolutionary watches, alarmradio, scented brooch Track 11:Olfactory entertainment : olfactory 3D movie-theaters, home's gadgets, guided-tour in biology & perfumery museums Track 12: Formation and olfactory memory : class-rooms, cooking shows Track 13: Digital scents at the service of Army : simulating training systems, detection of danger, perfumes of military attack Track 14: Interactive scented games : odorant teddy, video games Track 15: Digital olfaction at the service of Human Health : pattern mimicking the sniffing dogs, e-aromachology, nursinghomes, psychiatric hospitals, smell icons for blind people, olfactory diagnosis Track 16: Housekeeping, coziness & safety at home 2015 년 7 월 87

13 324 특집 : 사물인터넷과미디어 : home-care products, digitized fragrance house diffuser, hazardous odor detection devices Track 17: Olfaction & Auto industry : olfactive attention assistance for tired driver Track 18: New Generation of Sensors & E- nose Track 19: Cancer & Olfaction: from Dogs to Digital Olfaction Track 20: Robotics & Digital Olfaction 이러한 Society 들은서로의경쟁을통하여후각관련산업 (ICT for every life, Food, Safety, Cosmetic, Entertainment etc.) 의선점을위한후각표준화작업에경쟁적으로뛰어들가능성이매우높다. 또한, 일본은 NTT 및 NICT 를비롯하여동경공업대학나까모토교수 ( 일본향산업협회회장및 IEEE) 를중심으로이미많은단계의후각관련 Device 및후각을이용한산업적용시나리오를만들었으며, 이들은현재국내학자들과좋은유대관계를형성하고있고, 특히, NICT 는한국과멀티모달후각기술국제표준화공조체제구축을위한공동연구및국제표준화사업을하기를희망하고있다. 2. 국내및국제표준동향융합콘텐츠의표준화영역은 ISO, ITU 등의공식표준화기구를포함하여 W3C, IEEE, OMA 등다양한표준화기구를통해진행되고있다. 후각분야디바이스개념의각종센서 (Sensor) 및액추에이터 (Actuator) 를위한스마트트랜듀서인터페이스 (Smart Transducer Interface) 에관련된표준화 는 IEEE 센서기술위원회 (TC-9: Technical Committee on Sensor Technology) 를통해 2007 년 IEEE Std X 로구분되어이미승인발행됐지만, 이를통해만들어진표준안에는후각의융합콘텐츠이용을전자코및발향장치, 그리고장치의유기적인사용을위한멀티모달인터페이스표준은없다. HCI(Human Computer Interface) 분야에서후각이용을위한여러논의가 ISO TC 150 Ergonomics Committee 에서있어왔지만, 근본적인융합콘텐츠응용을위한논의는국내연구자들이 2007 년부터국내 TTA PG415 회의에서부터논의를시작했으며이를기반으로 2009 년런던에서개최된 ISO/IEC JTC1/SC29/WG11(MPEG) 회의에서 MPEG-V(Media Context and Control) 부분에후각인터액션모델 (Olfactory Interaction Model) 에관련된제안서를내기시작하면서관심이고조됐다. 이번절에서는 MPEG 에서의전자코및발향장치의국내외표준화동향을살펴보기로한다. 1) 국내표준동향국내의후각관련표준화는차세대 PC 표준화포럼의오감정보워킹그룹에서처음으로미각및후각정보의데이터포맷및부호화, 동기화를위한표준기술을분석하면서시작되었다. 그후 2007 년후각정보표현참조모델규격을작성해 TTA 단체표준안으로승인되었으며, 2008 년에는 JPEG 에서후각상호작용을위한메타데이터표준을비롯하여후각상호작용관련표준화를추진해 TTA 단체표준화를실현하였다. 그후국제표준화작업과함께 2009 년 TTA PG415 에서전자코시스템을위한메타데이터, 2010 년실감콘텐츠를위한발향장치데이터구조및가스센서메타데이터를표준화했다. 그리고 2011 년콘텐츠와후각인식장치간상호협력 88 방송과미디어제 20 권 3 호

14 미디어융합을위한후각디스플레이기술 325 을위한디바이스정보데이터시트의구성, 콘텐츠와후각인식장치간의상호협력참조모델국내표준을제정했으며, 최근 2012 년에는가상현실을위한전자코기반서비스참조모델국내표준화를진행하였다. 제안된국내 TTA 표준을정리하면다음과같다 년 : 후각정보표현참조모델 2007 년 : 후각상호작용메타데이터, JPEG 에서의후각상호작용을위한파일포맷 2008 년 : 전자코시스템을위한메타데이터 2009 년 : 실감콘텐츠를위한발향장치데이터구조 2010 년 : 실감콘텐츠를위한가스센서메타데이터 2012 년 : 가상현실을위한전자코기반서비스참조모델 2) 국제표준동향후각관련국제표준화는 2000 년대초 EU-FP 에서시작된 NOSE II 연구과제로부터시작되었으며이들은전자코시스템의국제표준을최초로지향했다. NOSE II는 3개의워킹그룹으로구성되었고, WG1 에서는서로다른기종의전자코시스템간에데이터호환을유지하기위한데이터포맷을정의하며, 데이터변환시간을단축하려는것으로제안된 NOSE II 표준데이터포맷 V0.2 는 XML 문서로기술되었다. WG2 에서는전자코시스템측정과연관된항목과장비특성에대한정의및인식알고리즘을위한표준화등을추진했다. WG3 에서는전자코시스템의하드웨어와소프트웨어인터페이스정의및센서의자동인터페이스를위한 IEEE 1451 표준적용에대한연구를추진하였다. 그러나유럽각국의 사정과이에동반된이해관계등으로원활한추진없이과제가끝났으며, 그후 GOSPEL 이라는이름으로다시시작했으나성과가없었다. 또한, 일본에서는 NTT, NICT, 동경공업대등에서후각발향장치에관련된연구들이많이수행되었고, 오감산업포럼등을통해오감관련연구는매우활발하나표준화에는아직적극성을표현하고있지않고, ICT 강국인한국과협력방안을모색하고있다. 그러므로국제표준화부분은국내전문가들의적극적인참여와적절한지원이병행된다면관련장치는물론서비스시장을선점하는데매우좋은분야로사려된다. 후각표현기술의 MPEG 적용을위한움직임은처음엔매우미약하지만국내전문가들이 2009 년런던에서개최된 ISO/IEC JTC1/SC29/WG11(MPEG) 회의에서 MPEG-V(Media Context and Control) 부분에후각인터액션모델 (Olfactory Interaction Model) 에관련된제안서를내기시작하면서활성화됐고, 이부분은현재도국내전문가들이주도하고있다. Ⅴ. 맺음말 후각디스플레이기술은촉감디스플레이기술과더불어아직미지의분야중의하나이다. 아직상용화가진전되지않은관계로표준화또한이제시작단계이며, 원천성이뚜렷한특허또한아직확실하지않다. 하지만현재미국, 일본등의특허출원상황과연구진행사항을보면그저안심하고있을상황은아니다. 특히표준화가진행중인 MPEG-21 과같은콘텐츠표준에반드시우리가제안한후각기술이채택되도록해야한다. 국내에서도촉감과더불어후각에관한많은연구와국가적투자가진행되기를바란다 년 7 월 89

326 특집 : 사물인터넷과미디어 참고문헌 참고문헌 [1] J. Kaye, Master thesis, Media Lab., MIT, 2001. [2] J. Kaye, ACM Interactions, 11(1), 48-61, 2004. [3] C.Watkins, U. S. PAT. 6,357,726, 2002 [4] T.

15 326 특집 : 사물인터넷과미디어 참고문헌 참고문헌 [1] J. Kaye, Master thesis, Media Lab., MIT, [2] J. Kaye, ACM Interactions, 11(1), 48-61, [3] C.Watkins, U. S. PAT. 6,357,726, 2002 [4] T. Yukinobu, European Patent A1, 2003 [5] T. Nakamoto et al, IEICE Transaction on Fundamentals of electronics, Communications and Computer Sciences, Vol..E89-A, No.11, 2006 [6] J. Papin et al, Proc. 5th Int. Conf. on (VRIC '03). Laval, France, [7] A. Mochizuki et al, Proc. SCI '04, Kyoto, Japan, , [8] J. Cater, Proc. IEEE Int. conf. systems, man and cybernetics, San Antonio, [9] Hyunsu Kim et al, Angew, Chem, Int, Ed, 2011 [10] 김정도 et al, 한국정보처리학회논문지, 제 8권, 제 5호, 2010년 5월 [11] 김정도 et al, Journal of the Ergonomics Society of Korea, Vol. 29, No. 4, August 2010 [12] Jeong Do Kim et al, ETRI Journal, Volume 37, Number 1, February 2015 [13] K. Persaud et al, Nature, Vol. 299, pp. 352~355, [14] J. Garner et al, Sensors&Actuators B 18-19, pp. 211~220, [15] Jeong Do Kim et al, Talanta. Vol 70, 필자소개 김정도 년 8 월 : 성균관대학교전자공학과공학사 년 2 월 : 성균관대학교전자공학과공학석사 년 2 월 : 성균관대학교전자공학과공학박사 년 ~ 2004 년 : 삼척대학교제어계측공학과부교수 년 ~ 2010 년 : 차세대 PC 표준화포럼오감정보분야 W/G 장 년 ~ 현재 : 호서대학교전자공학과교수 - 주관심분야 : 후미각디스플레이, 전자코, 오감정보처리, 센서신호처리, 초음파엑추에이터제어기설계 90 방송과미디어제 20 권 3 호

Embedded Processor ARM

Embedded Processor ARM Olfactory Display for Emotional Contents 호서대학교전자공학과김정도교수 jdkim@hoseo.edu 010-2208-2856 목차 1. Introduction 2. Olfactory Recognition 3. Olfactory Presentation 4. Olfactory Modality 5. Olfactory Information