IT 기획시리즈 주간기술동향통권 1280 호 2007. 1. 24. 세계일류 IT 기술 5 상황인지휴대폰기술개발동향 김경중연세대학교컴퓨터과학과박사과정 kjkim@cs.yonsei.ac.kr 조성배연세대학교컴퓨터과학과교수 sbcho@cs.yonsei.ac.kr 1. 기술의개요 2. 상황인지휴대폰 3. 모바일지능기술 4. 결론 1. 기술의개요 상황인지휴대폰은외부의상황정보와내부의사용자정보를토대로사용자의상태를인식하고추론하여서비스를제공하는것이다. 최근휴대폰이단순전화통화뿐만아니라멀티미디어데이터를생성하고관리하고저장하는도구로발전하면서보다많은정보를수집하고처리할수있는형태로진화하고있다. 사용자가단순히제공하는기능을이용하는수준을넘어서휴대폰을이용하여정보를생성하고가공하는단계로발전하였으며, 휴대폰에서수집이가능한정보와사용자가생성한정보를토대로다양한부가서비스의창출이가능해졌다. 휴대폰이상황을인지하기위해가용한정보는휴대폰에부착가능한센서정보 ( 위치, 온도, 습도, 조도, 접촉여부, 근접물체인식, 가속도 ), 휴대폰사용기록 ( 전화통화내역, SS 발송내역, 애플리케이션이용기록 ), 사용자가생성한데이터및개인정보 ( 사진, 동영상, 스케줄러, 주소록 ) 등이있다. 이러한정보는직접이용할수도있으나, 전처리를거쳐보다상위수준의의미정보로변환하는과정을거쳐야한다. 변환된정보는상황인식주소록, 모바일다이어리, 블로그연동, 일상요약, 추천서비스등에서사용이가능하다. 최근휴대폰의기능이점차강화되면서휴대폰의저장공간및메모리도폭발적으로증가하고있다. 하드디스크를장착한휴대폰의등장으로보다많은멀티미디어정보를관리할수있게되었고장기간에걸친사용자기록도관리가가능하게되었다. 하지만한편으론여전히불편한 * 본컬럼은연세대학교컴퓨터과학과소프트컴퓨팅연구실에서작성한내용입니다. 본내용과관련된사항은연세대학교조성배교수 ( 02-2123-2720) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITA 의공식적인입장이아님을밝힙니다. - 26 -
IT 기획시리즈 - 세계일류 IT 기술 5 ( 그림 1) 휴대폰기반상황인지기술트리 사용자인터페이스, 작은화면, 제한된메모리공간, 제한된컴퓨팅능력등으로인해기존의데스크탑환경과는다른문제점을지니고있다. 휴대폰에서의상황인지는제한된계산능력과불편한인터페이스, 휴대폰에차별화된입력정보등으로인해데스크탑에서수행하던상황인지와는다른다양한문제를야기시키고있다. 차별화된상황인식기반인터페이스, 휴대폰에서가용한정보의특색을반영한전처리및추론, 경량의추론및학습기술개발, 최소한의입력으로검색이가능한상황기반멀티미디어관리등휴대폰만이가지고있는특성을반영한서비스및기술개발이필요하다. ( 그림 1) 은휴대폰상에서컨텍스트정보를처리하기위해필요한기술트리를보여준다. 컨텍스트를인식하는단계부터관리하고프로그래밍하며최종적으로서비스생성단계까지세부적으로필요한기술이나열되어있다. 2. 상황인지휴대폰현재휴대폰관련상황인지관련기술동향은 ( 그림 2) 처럼컨텍스트의수준과기술의복잡도에따라정리해볼수있다. 컨텍스트의수준은센서를통해직접적으로들어온수치를그대로이용하는경우를낮은수준이라하고, 이를해석하고후처리하는과정을거쳐사람이이해할 - 27 -
주간기술동향통권 1280 호 2007. 1. 24. ( 그림 2) 관련연구분포도 수있고서비스로연결될수있는형태로변환한경우를상위수준이라고한다. 기술의복잡도 는사용한기술의난이도에따라분류한것이다. 가. 하위수준컨텍스트휴대폰에센서를부착하여다양한정보를얻으려는연구는유럽을중심으로이루어져왔다. 핀란드 NOKIA 의지원을받은 VTT 연구소는적은배터리소모와무선통신기능, 빌트인센서모듈을탑재한 SoapBox(Sensing, Operating, and Activating Peripherial Box) 를개발하였다 [1]. 이모듈은현재가속도, 조도, 근접센서, 온도센서, 나침반센서등을장착하고있다. 유럽연합의 Smart-Its 프로젝트는휴대폰을포함한일상의모든객체에부착이가능한소형의센서개발에초점을맞추고있다 [2]. 머그컵에부착하여온도를측정한후사용자에게현재컵속의액체가어떤상태인지를알려주는서비스등이하나의예이다. 유럽의휴대폰기업과연구소를중심으로진행된 TEA(Technology for Enabling Awareness) 프로젝트는휴대폰에부착이가능한센서모듈을제작하였고, 수집된센서정보의지능적인처리방법의개발을연구하였다 [3]. - 28 -
IT 기획시리즈 - 세계일류 IT 기술 5 가속도, 온도, 조도, 접촉, 압력, 적외선, 소음센서를포함하고있으며휴대폰에장착가능한모듈을실제제작하기도하였다. 유럽의기본연구는다양한응용연구의기초플랫폼이사용되었다. 실제휴대폰이책상위에놓여있는지, 사용자가지니고있는지등과사용자의상태 ( 걷기, 뛰기, 조깅, 산책 ) 등을구분하기위해센서정보를분석하는연구도진행되었다. 나. 중간수준컨텍스트휴대폰에직접센서를부착하여정보를수집하는방법은비용면이나확장성면에서어려움이있다. 휴대폰의크기를가능한한작게만들어야하는업체입장에서는많은비용이들어가고모양에도영향을주기때문에쉽게제품으로만들지못하고있다. 대신에소프트웨어적으로수집가능한정보에초점을맞추어정보를수집하는방법이개발되고있다. 즉, 지속적으로휴대폰에서수집되는여러가지정보를부가적인센서의사용없이획득가능한것만모으는것이다. 이러한소프트웨어적인정보수집의대표적인사례로 NOKIA LifeBlog 가있다 [4]. 이것은일종의응용소프트웨어로서사용자가휴대폰을사용하면서발생한 SS, 사진, 동영상정보등을시간순과날짜별로구분하여보여주는데스크탑인터페이스이다. 이소프트웨어는사용자휴대폰에저장된정보를추출하여시각적으로데스크탑에서보여주는역할을담당한다. NOKIA LifeBlog 에서획득가능한정보의종류가많지않기때문에보다많은정보에접근할수있는소프트웨어가필요하다. 노키아의지원을받아헬싱키대학에서진행한 ContextPhone 프로젝트는휴대폰으로수집가능한다양한정보를지속적으로수집해주는소프트웨어이다. NOKIA 60 시리즈스마트폰에서만작동하며현재공개소프트웨어로소스코드를다운받을수있다 [5],[6]. 기본적으로사용자의위치정보, 블루투스정보, SS, 전화통화내역, 애플리케이션사용기록, 미디어 ( 사진, 오디오, 비디오, 텍스트 ), 배터리상태, 주소록검색내역등의정보를수집해준다. 이프로그램은 IT Reality ining Group 의상황인지휴대폰연구에사용되었으며, 모바일블로그, 상황인지주소록등에이용되기도하였다. 다. 상위수준컨텍스트기본적인센서및로그정보수집기술이외에실제상황인지휴대폰을구현한사례가몇가지있다. 카네기멜론대학의 SenSay 프로젝트는사용자의움직임 (otion, Speech), 위치 (GPS, WiFi), 스케줄 ( 시간사이클, 캘린더 ), 생리학적인정보 ( 열량, 온도 ) 등을바탕으로사용자의상태를추론하고이를토대로사용자에게적합한핸드폰세팅을제공해준다 [7],[8]. 사용자의상태를분류하기위해 SO(Self-Organizing ap) 이사용되었다. IT Reality ining Group 에서 - 29 -
주간기술동향통권 1280 호 2007. 1. 24. 는핀란드헬싱키대학에서개발한 ContextPhone 소프트웨어를사용하여상황인지휴대폰을개발하고자하였다 [9]-[11]. 이그룹에서는엔트로피분석과 Hidden arkov odel 을사용하여사용자가현재있는장소를예측하는방법을개발하였다. Bluetooth 모듈을이용하여근접한사람들과프로파일이일치할경우만남을주선하는 Serendipity 서비스도개발하였다 [12]. 이그룹에서는사용자의로그를수집하고분석하는데그치지않고다이어리형태로변환하는연구에대해서도제안을하였다. LifeLog 라고불리우는이시스템은현재제안만된상태로실제구현이되어작동하는단계에는이르지못하고있다. 제안사항에따르면, 내가 ike 와점심을마지막으로먹은것이언제이며, 주변에누가있었고, 장소가어디며, 그다음에뭘했지? 와같은질문도처리가가능하다. 수개월간수집한데이터를학습하여현재사용자의정보를토대로앞으로의행동을예측하는것도가능하다고주장하고있다. 또한 IT edia 연구소의 Commonsense Reasoning Group 과의협력을통해보다상위수준의정보로이루어진 LifeLog 를구성하려는연구를계획하고있다 [13]. 핀란드의 VTT 연구소는 NOKIA 로부터지원을받아센서기반의상황인지휴대폰을연구하였다 [14]-[16]. VTT 그룹에서는휴대폰으로부터들어온조도와가속도정보를주로활용하여사용자가현재어떤상황인지를추론하는모듈을개발하였다. 기본적인방법은컨텍스트정보를퍼지로표현하고퍼지추론과베이지안추론을이용하여현재사용자의상태를추론하였다. 사용자가현재어두운곳에있는지혹은달리고있는지등을추론하여휴대폰화면의글씨크기와밝기를조절해주는방법을제안하였다. 노키아는자체적으로상황인지휴대폰에대한비전을담은컨셉비디오를제작하였다. 노키아가제안한휴대폰의이름은 DrWhatsOn 으로개념적으로만존재할뿐실제로제품으로나온상태는아니다. IT Ambient Intelligence Group 에서는휴대폰의위치정보를토대로사용자가찍은사진의이름을붙여주는방법을제안하였다 [17]. IT Wearable Computing Group 에서는휴대폰에서가용한정보를토대로특징추출, 분류, 행동으로이어지는소프트웨어모듈을제안하고제작하였다 [18]. 버클리대학의 Garage Cinema 그룹에서는휴대폰에서촬영한사진정보로부터위치및사용자가누구인지와같은정보를추출하는방법을개발하고테스트해보았다 [19]. VTT 연구소는컨텍스트정보를휴대폰을통해시각적으로공유하는서비스를제안하였다 [20]. < 표 1, 2, 3) 은각각상황인지휴대폰의연구동향을정보자원, 정보분석방법, 서비스목록에따라정리해본것이다. 사용한정보자원의경우가속도, 소리, 위치정보가많이사용되었다. - 30 -
IT 기획시리즈 - 세계일류 IT 기술 5 < 표 1> 상황인지휴대폰의사용한정보자원 센서기반외부정보 전화기내부정보 인터넷 구분 가속도 조명 온도 습도 접촉 소리 VTT O O O O O O 위치 IR 태그 WG O O O O 블루투쓰 전화로그 전화기상태 SS 로그 IT RG O O O O AG O O CU O O O O WG: Wearable Computing Group, RG: Reality ining Group, AG: Ambient Intelligence Group < 표 2> 정보분석방법에따른분류 IT 구분 퍼지표현 전처리 P C A I C A N B B N 분류 S O K- means 모델링 H D B N 추론 F A G FUZZY 웹문서 VTT O O O O O O WG O RG O O CU O O O BN: Bayesian Network, NB: Naïve Bayes, G: Gaussian ixture odel, FA: Finite Automata achine < 표 3> 서비스목록에따른분류 온톨로지 구분 VTT IT CU RG AG 서비스목록 휴대폰폰트및밝기조정, 벨소리크기조정, Context Sharing 서비스 Social Network 분석, 사용자행동예측 Photo Annotation, Context Sharing 서비스 대화중에는사용자전화를 reject 하고 SS 보내줌, 중요한전화에는벨소리를크게해줌, 주변환경이시끄러우면소리를크게해줌 3. 모바일지능기술휴대폰의상황인지를위해서는이에특화된지능기술이필요한데, 여기서는크게정보를수집하는부분과정보를처리하는부분및서비스를제공하는부분으로나누어소개한다. ( 그림 3) 에서처럼수집가능한로그정보는 GPS, Call, SS, 사진, P3 플레이어사용정보, 디바이스상태등이있다. 이밖에도웹을통해수집가능한정보 ( 날씨, 뉴스, 증권 ), 사용자의개인정보등을활용할수있다. 로그수집모듈은지속적으로정보를모아서가공가능한형태로변환하 - 31 -
주간기술동향통권 1280 호 2007. 1. 24. ( 그림 3) 모바일디바이스를위한지능기술 는과정을담당한다. 입력정보는매우저수준이기때문에실제로사용자가사용하기위해서는전처리를거쳐야한다. GPS 신호의위치정보에존재하는오류및신뢰도가낮은정보의제거및보정기능이필요하며, 위도와경도좌표로들어오는정보를실제서비스에서이용가능한형태인건물의이름, 주소, 거리명등으로변환하는위치변환모듈이필요하다. 또한다양한정보의중요도를판별하기위해통계적인분석을실시하여해당이벤트가자주일어나는지아니면드물게일어나는지와같은것도분석을하여야한다. 자주일어나지않지만중요한정보를찾기위해기회발견 (chance discovery) 과같은기술이이용될수있다 [21]. 이와는반대로주기적으로자주일어나는패턴의발견을위해데이터마이닝기술이활용될수있다 [22]. 모바일디바이스는일반적으로제한된메모리공간을가지고있고자료를검색하거나처리하는데많은계산량과큰화면을사용할수없다는어려움이있다. 이러한어려움을극복하기위해수집된정보를효과적으로조직하고관리하는기술이필요하다. 즉해당정보를일반 DB 와같은일차적인구조로저장하는것이아니라사람의기억구조와유사하게에피소드단위로저장하는것이다. 즉, 사건단위로정보를저장해놓고이를호출하기위해메모리랜드마크라불리우는표적을사용한다. 사용자는메모리랜드마크만을검색하여해당에피소드를불러오며적은검색량과제한된정보만으로도전체정보를효과적으로검색하거나이용할수있다. 정보를에피소드형태로저장하는연구는마이크로소프트연구소를중심으로활발하게진행되고있다 [23],[24]. 모바일디바이스에서의추론및학습은두가지형태로구분할수있다. 먼저, 휴대폰에서직접정보를수집하여이를서버에원격으로보내고서버에서추론과학습이이루어진후에결과 - 32 -
IT 기획시리즈 - 세계일류 IT 기술 5 만휴대폰으로전송되는방식을생각할수있는데, 이러한지능기술을 Streaming Intelligence 라고부른다 [25]. 또다른것으로는추론및학습과관련한모듈을휴대폰내부에탑재하여입력정보를원격서버와의통신없이휴대폰자체적으로처리하는것이다 [26]. 두방법은각기장단점이있는데, 원격서버를이용할경우계산량과메모리의제한은없으나, 항상인터넷과같은무선통신에접속해있어야한다는문제가있고실시간처리가불가능할수도있다. 반면휴대폰내부에서처리하는경우에는추가적인통신비용이발생하지않지만추론과학습에소요되는계산량과메모리사용에는많은제약을받게된다. 베이지안네트워크추론기술의경우모바일에서사용가능한라이브러리가공개되어있지만변수의개수가많아질경우추론이불가능하다는문제가있다 [27]. 모델링및해석부분은상위수준의정보처리부분으로수집된정보를의미적인정보로변환하는과정이다. 수집된정보를의미네트워크형태로변환하여단순히사건단위의개별적구조로인식하는것이아니라사건들사이의관계를네트워크형태로모델링하고그연관관계를통해검색및의미를파악하는것이다. 이러한구조를형성하기위해서는사건들사이의관계를모델링할수있는도메인지식이필요하며휴대폰도메인에적절하게수작업을통해구축하거나 IT Commonsense 그룹의상식 DB 를활용할수있을것이다. 마지막단계인정보생성에서는수집된정보를사용자가질의하고검색해볼수있도록하는인터페이스를제공한다. 휴대폰의화면이작고인터페이스가불편하기때문에최소한의인터랙션만으로원하는정보를효과적으로찾을수있는보다시각적이고개념적인인터페이스가요구된다. 예를들면, 방향키만으로검색을수행할수있도록지원하거나개념적인질의어를다룰수있도록하여야한다. SK 텔레콤의 1mm 서비스와같은대화를기반으로하는인터페이스나아바타를토대로하는인터페이스도사용자가정보를검색하는데드는노력을줄일수있을것이다. 4. 결론휴대폰은항상몸에지니고다니기때문에음양으로사용자로부터많은정보를수집할수있다. 전화통화내역뿐만아니라사용자의위치이동패턴, 사진정보, SS 정보, 응용프로그램사용내역, 주변에있는사람등과같은정보를효과적으로얻어낼수있다. 이러한정보를활용하면기존에제공하기어려웠던다양한상황인지기반서비스를창출해낼수있을것이다. 최근휴대폰의기능이한계에봉착하여, 새로운기능이나오기보다는보다작고얇은디자인의휴대폰을개발하는데초점을맞추고있다. 휴대폰의크기경쟁이마무리될즈음에는새로운서비스를갖춘휴대폰이주목을끌게될것이다. NOKIA 를중심으로연구되고있는다양한부가서비 - 33 -
주간기술동향통권 1280 호 2007. 1. 24. 스의개발도이런맥락에서볼수있다. 현재의지능기술들은휴대폰에직접이용되기에는여러가지측면에서어려움이있으며, 이러한어려움은다양한연구그룹들이모바일에특화된새로운기술을개발하도록자극하고있다. 실례로연세대학교소프트컴퓨팅연구실에서는휴대폰으로부터수집된정보를수집및가공하고분석하는방법을개발하였고, 이를개인일상요약의목적으로만화로변환하는기술및효과적인브라우징기술을연구개발하고있다 [29],[30]. < 참고문헌 > [1] E. Tuulari, and A. Ylisaukko-oja, SoapBox: A platform for ubiquitous computing research and applications, Lecture Notes in Computer Science, Vol.2414, 2002, pp.125-138. [2] The Smart-Its Project, http://www.smart-its.org/. [3] Technology for Enabling Awareness, http://www.teco.edu/tea/. [4] NOKIA LifeBlog, http://www.nokia.com/lifeblog/. [5] Context Project, University of Helsinki, http://www.cs.helsinki.fi/group/context/. [6]. Raento, A. Oulasvirta, R. Petit, and H. Toivonen, ContextPhone A Prototyping platform for context-awre mobile applications, IEEE Pervasive Computing, Vol.4, No.2, 2005, pp.51-59. [7] D. Siewiorek, A. Smailagic, J. Furukawa, A. Krause, N. oraveji, K. Reiger, J. Shaffer, and F. L. Wong, SenSay: A context-aware mobile phone, 7th IEEE International Symposium on Wearable Computers, 2003, pp.248-249. [8] A. Krause, A. Smailagic, and D. P. Siewiorek, Context-aware mobile computing: Learning context-dependent personal preferences from a wearable sensor array, IEEE Transactions on obile Computing, Vol.5, No.2, 2006, pp.113-127. [9] IT Reality ining Group, http://reality.media.mit.edu/. [10] N. Eagle, achine Perception and Learning of Complex Social Systems, Ph.D. Thesis, Program in edia Arts and Sciences, IT, 2005. [11] N. Eagle, and A. Pentland, Social serendipity: obilizing social software, IEEE Pervasive Computing, Vol.4, No.2, 2005, pp.28-34. [12] N. Eagle, Can serendipity be planned? IT Sloan anagement Review, Vol.46, No.1, 2004, pp.10-14. [13] LifeNet: 1st-Person Commonsense, http://web.media.mit.edu/~neptune/lifenet.html. [14] P. Korpipaa, J. antyjarvi, J. Kela, H. Keranen, and E.-J. alm, anaging context information in mobile devices, IEEE Pervasive Computing, July-September 2003, pp.42-51. [15] J. antyjarvi and T. Seppanen, Adapting applications in handheld devices using fuzzy context - 34 -
IT 기획시리즈 - 세계일류 IT 기술 5 information, Interacting with Computers, Vol.15, No.4, 2003, pp.521-538. [16] P. Korpipaa,. Koskinen, J. Peltola, S.-. akela, and T. Seppanen, Bayesian approach to sensor-based context awareness, Personal and Ubiquitous Computing, Vol.7, No.2, 2003, pp.113-124. [17] D. Relihan, PhotoWhere: Annotation of digital photographs based on GPS and Web data, http://ambient.media.mit.edu/photowhereaup.pdf [18] The Context Aware Cell Phone Project, http://www.media.mit.edu/wearables/mithril/phone.html. [19]. Davis,. Smith, F. Stentiford, A. Bambidele, J. Canny, N. Good, S. King and R. Janakiraman, Using context and similarity for face and location identification, Proceedings of the IS&T/SPIE 18th Annual Symposium on Electronic Imaging Science and Technology Internet Imaging VII, 2006. [20] J. antyjarvi, H. Keranen, and T. Rantakokko, Sharing multimedia context information between mobile terminals, Pervasive 2004 Workshop on emory and Sharing of Experiences, 2004. [21] Y. Ohsawa, and P. cburney, Chance Discovery, Springer, 2003. [22] J. Han, and. Kamber, Data ining: Concepts and Techniques, organ Kaufmann, 2000. [23] E. Horvitz, S. Dumais and P. Koch, Learning predictive models of memory landmarks, 26th Annual eeting of the Cognitive Science Society, 2004. [24]. Ringel, E. Cutrell, S. Dumais and E. Horvitz, ilestones in time: The value of landmarks in retrieving information from personal stores, Proceedings of Interact 2003, the 9th IFIP TC13 International Conference on HCI, 2003, pp.184-191. [25] E. Horvitz, J. Apacible, R. Sarin, and L. Liao, Prediction, expectation, and surprise: ethods designs, and study of a deployed traffic forecasting service, Uncertainty in Artificial Intelligence, 2005. [26] E. Horvitz, P. Koch, R. Sarin, J. Apacible and. Subramani, Bayesphone: Context-sensitive policies for inquiry and action in mobile devices, Proceedings of the 10th Conference on User odeling, 2005. [27] GeNIe & SILE, http://genie.sis.pitt.edu/. [28] 지능형인터페이스 1mm, http://www.1mm.com/. [29] S.-J. Han and S.-B. Cho, A hybrid personal assistant based on Bayesian networks and a rulebased system inside a smartphone, International Journal of Hybrid Intelligent Systems, Vol.2, No.3, 2005, pp.221-234. [30] I.-J. Song,.-C. Jung and S.-B. Cho, Automatic generation of funny cartoons diary for everyday mobile life, 19th Australian Joint Conference on Artificial Intelligence, 2006. - 35 -