상황인지휴대폰의지능인터랙션기술 동향및전망 2007 년 12 월 4 일 연세대학교컴퓨터과학과조성배
발표순서 동기및배경 기술개발동향 지역별관련연구 기술트리및기술동향분석 결론및향후과제 2
동기및배경 휴대폰 State-of of-the-art 카메라폰 PDA 폰 Watch 폰 mp3 폰 Gaming Phone 카메라폰 미디어폰 3
동기및배경 휴대폰 State-of of-the-art: 디지털융합 Multiple functions PIMS, Camera, Game, MP3, High performance XScale 400MHz 600MHz, 100g ~ 300g Down sizing 4
동기및배경 지능인터랙션기술의필요성 지능기술 인터페이스 서비스 휴대폰 입출력이어려움 - 작은스크린, 필기인식, 엄지키보드, 서비스융합의부재 - 여러첨단기술의단순조합 사용자 5
지역별기술개발동향
기술개발동향 관련연구의지역별구분 핀란드 (VTT, Nokia) 연세대 벨기에 (StarLab) Sony Ericsson 미국 (CMU, 마이크로소프트, MIT) 7
유럽지역
Technology for Enabling Awareness (TEA Project) http://www.teco.edu/tea 기술개발동향 : 유럽 European commission의지원을받아진행된 2년짜리프로젝트로서네개의연구기관 StarLab, Nokia, Teco, Omega이협력하여수행 모바일장비의상황인지를위한즉각적으로탑재할수있는컴포넌트개발 조도, 가속도, 소리, CO, 적외선, 압력, 온도센서, 접촉센서 TEA sensor board I TEA sensor board II Mobile Phone Demonstration 9
기술개발동향 : 유럽 TEA (2) TEA 핸드폰 (Karlsruhe/StarLab/Nokia, 1998-2000) 10
기술개발동향 : 유럽 TEA Context 인식개발 Context Awareness 를위한소프트웨어개발 소프트웨어구조 11
기술개발동향 : 유럽 TEA Project 상위수준의 Context 인식 센서정보로부터상위수준의 Context 인식 ( 규칙, SOM) 12
기술개발동향 : 유럽 VTT Technical Research Center of Finland Context 표현 Fuzzy 논리사용 Context 추론 Naïve Bayes, Markov Chain 이용 서비스제공 Fuzzy Control Fuzzification Context Ontology 13
기술개발동향 : 유럽 VTT Technical Research Center of Finland (2) Naïve Bayes 를이용한분류 14
기술개발동향 : 유럽 VTT Technical Research Center of Finland (3) 컨텍스트정보를 fuzzy 기법을사용하여표현하고 fuzzy control 시스템을이용하여휴대폰의폰트크기, 화면밝기, 볼륨의크기조정 현재는연구단계로서실제시제품을만들지않고 context 데이터를처리하여실험하고사용자로부터의견을들음 사용자는자신의허락을받지않은갑작스러운변화에불만 볼륨 밝기 폰트 15
기술개발동향 : 유럽 컨텍스트인식을이용한적응적서비스 Environment:Light Intensity: Normal User: Activity Periodic Movement: Not Available User: Activity Periodic Movement: Running Frequency 16
기술개발동향 : 유럽 Kontti Project 모바일서비스와어플리케이션은변화하는컨텍스트와주변환경에서사용됨 컨텍스트를인지하는서비스는사용자에게시기적절한정보를제공 VTT Electronics (Jan 2002-Dec 2003) 컨텍스트인지서비스플랫폼개발 컨텍스트, 사용자의현재상태정보, 컨텐트등의관리및공유기능 컨텍스트적응및컨텍스트를고려한메세징서비스 개인화및컨텍스트툴개발 인간중심의디자인 개발초기부터사용자와서비스제공자의의견반영 Context interview: 28 명의사용자가원하는서비스와컨텍스트의종류에대해조사 Context ontology: 컨텍스트인터뷰내용을바탕으로구성 결과 컨텍스트인지서비스플랫폼의가장기대되는서비스는이벤트가이드와전문적인사용임 컨텍스트정보의전달은사용자들에게매우흥미로운것으로판단 컨텍스트는메세징을위한새로운통신채널을개설하는데사용 모든사람이공동메시지를받을수있는환경에서컨텍스트는중재자역할도수행 17
기술개발동향 : 유럽 Context Sharing [VTT 2004] Context 정보의공유를시각적인 icon을통해구현 장비와장비사이의 communication을위한ontology 필요 18
기술개발동향 : 유럽 Nokia Nokia 7650 (2002) 외부조명에따라 LCD의발광지속시간을조정함 손에들고전화를할수없는경우 스피커폰모드를지원하며근접센서에의해자동으로해지가가능 귀에가져가면자동으로스피커폰모드해지 Nokia 6230, 6820, 7200 사용자의상태를표시하도록하고친구들이알수있도록함 (Presenceenhanced chat), SMS 서비스를하고싶을때상대방의상태를보고판단 (Free for chat) Proximity Sensor Light Sensor 19
DrWhatsOn [Laerhoven 2003] 기술개발동향 : 유럽 TEA 프로젝트가종료된후 Nokia 에서만든 context sensitive 폰에대한시나리오기반발표로부터나옴 Context-sensitive 폰은모바일폰으로부터나온순수센서정보, 모바일장비의상태, 개인적인선호도, 활동 ( 내부캘린더로부터 ) 정보를결합 올바른정보를올바른때에배경에맞추어제공 ( peripheral attention ) 20
기술개발동향 : 유럽 CyPhone (University of Oulu, Finland) 음성으로전화를걸수있으며 Context를감지하고여러사람에게동시에참여하는멀티미디어서비스를증강현실의맥락에서지원 GPS기반의위치감지서비스와미리정의되어있는 3차원표지점 (Landmark) 의인식을통해 context-awareness 지원 3 차원객체의인식 CyPhone Prototype 을이용하며사이클을탐 시스템구조 21
기술개발동향 : 유럽 CyPhone (2) Personal Navigation 시나리오 HMD 를통해보여지는화면및최적경로탐색 증강현실을이용한정보제공 22
북미지역
기술개발동향 : 북미 Microsoft Research Ken Hinckley (HCI, Interface Design), Eric Horvitz (Probabilistic Reasoning), Mike Sinclair (Hardware Design) 2000년도 ACM User Interface 학회에서 Best paper award를수상하면서관심을모음 세가지종류의센서사용 두개의선형가속도센서 (tilt sensor) 접촉센서 : 핸드폰을잡고있는지여부탐지 적외선근접센서 : 주변의물체인지 Cassiopeia E105 Pocket PC에구현 : Simulated phone call 실제전화기능은없음 24
기술개발동향 : 북미 Microsoft Research (2) 25
기술개발동향 : 북미 Microsoft Research (3) 전화가온것을알리는방법결정 Quiet ringing 전화기에손을대는것만으로전화기의볼륨이줄어듦 Acknowledging and ignoring calls 사용자가전화기를손에잡고기울기를자신쪽으로조정하면사용자가전화가온것을확인한것으로간주 사용자가전화기를주머니속에넣어전화를무시하면 notification 을멈춤 Target device for notifications 사용자가사용하는장비가여러개일경우가장최근에사용되었던것에 notification을함 Vibration notification 사용자가전화기를잡고있으면자동으로진동모드로변환 26
기술개발동향 : 북미 SenSay CMU 에서개발 : http://www.neemanet.com/projects_sensay.html 사용자의상태를감지하고 state-diagram 을통해사용자의상태변화를결정 27
기술개발동향 : 북미 SenSay (2) Thresholding 을통한 context 의인식 28
기술개발동향 : 북미 SenSay (3) Self-Organizing Map 을이용한 context 의분류 29
기술개발동향 : 북미 The Context Aware Cell Phone Project MIT Media Lab http://www.media.mit.edu/wearables/mithril/phone.html 네가지종류의센서사용 GPS 수신기 : 외부에서의사용자위치 가속도센서 : 사용자의활동상태 ( 걷기, 서있기등 ) 에대해정보제공, 제스처기반입력을이해 IR tag와 reader: 사용자의실내에서의위치인식 ( 회의실, 사무실 ), 자동차안의시트등특별한장소인식 Microphone: 사용자의음성을인식하여사용자가대화중인지판단 추론엔진 : MIT Real-time Context Engine 현재상태 : Wearable computer와 motorola 핸드폰을연결시킴, wearable computer에서추론을수행하고경량의 java interface를통해핸드폰에서프로파일변경 30
기술개발동향 : 북미 MIT Ambient Intelligence Lab MIT Media Laboratory Ambient Intelligence Group by Pattie Maes Etherthreads [Lassey 2004] GPS & Message Server Blue-tooth를이용한 indoor 위치결정 ( 접속가능한여러대의 blue-tooth 서버의위치를종합하여결정 ) 날짜, 시간, 사용자의위치등의정보를이용하여상황에적절한메시지를전달 PhotoWhere [Relihan 2004] GPS & Camera Phone Blue-tooth를이용하여웹데이터베이스서버에접속 사용자의위치에따라서디지털사진의파일명을결정해줌 31
Attentive Cell Phones (Queen s s University, Canada, IBM) http://hml.queensu.ca 기술개발동향 : 북미 사용자가현재다른사람과대화중인상태를센서정보를통해파악 Bayesian Network를이용한추론 마이크로폰을통해들어온사용자의음성신호와카메라정보를통한사용자의시선의위치를통해대화여부를파악 ( 일반적으로대화도중 40% 정도의시간을상대방의눈을쳐다봄 ) 현재사용자의상태에따라핸드폰에사용자가선호하는통신방법이나타남 ( 메시지, 진동, kock sound) 32
TiltText (University of Toronto) 기술개발동향 : 북미 속도는 MultiTap 에비해빠르지만입력에러율이높음 기울이는정도의차이로대소문자구분 33
아시아
기술개발동향 : 아시아 Ericsson Ericsson R520 (2001년도중순출시 ) 스피커폰모드를자동으로변환하기위한 proximity 센서탑재 Ericsson T630 IMPS (Instant Messaging Presence Service) 지원 Ericsson, Motorola, Nokia에의해설립된Wireless Village Initiative의노력으로탄생 Nokia는 Presence 라는용어를사용, Ericsson은 My friend 라는용어를사용 R520 35
Location Sensitive Services (Ericsson Research) 위치기반서비스제공 교통정보제공 목적지에도착하도록경로설정서비스 E-couponing 서비스 Ericsson R380 기술개발동향 : 아시아 경로설정서비스 교통정보서비스 근접지역검색 E-coupon 서비스사용자선호정보의저장서비스의개인화 36
연세대 - 모바일로그기반지능기술 기술개발동향 : 아시아 GPS Call SMS 사진 MP3 Device 로그수집 - 로그수집 / 가공도구 - 랜드마크추출엔진 마이닝 특이성추출 모델링 에피소딕메모리 시맨틱표현 추론학습 해석 의미이해 - 모바일모델링라이브러리 - 모바일추론학습엔진 - 모바일해석엔진 정보생성 정보추천정보검색정보관리 Context-aware service Query by memory fraction - 대화인터페이스 - 모바일검색엔진 - 아바타생성 / 제어도구 37
기술개발동향 : 아시아 연세대 & 삼성종기원 -만화다이어리 Logging Preprocessing Landmark Detection Story Generation Cartoon Generation GPS SMS Call Log Battery Level MP3 Player Log Photo Viewer Log Weather (from Web) Impact Factor Location Labeling Daily Frequency Time Interval Instant Impact Daily Impact Event Time-Span Manual building Learning Modularization Noisy-OR gate Ontology User feedback Domain knowledge Common sense Ontology Landmark grouping Story template User preference Fun factor Diversity Image DB impact value. 15 10 5 0 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 time 38
만화다이어리예 기술개발동향 : 아시아 Comic Diary <CartoonDiary date="20060306" char_style="oriental"> <CartoonCut no="1" ch_main= Stand" bg_main= Subway2" comment= Too many persons ㅡ,. ㅡ "/> <CartoonCut no= 2" ch_main= Course" bg_main= Classroom2" comment= I got it /> <CartoonCut no= 3" ch_main= Walk" bg_main= Shopping mall"/> <CartoonCut no= 4" stress="true" ch_main= Moving with shopping bag" bg_main= department store"/> <CartoonCut no= 5" ch_main= coffee or tea" bg_main= in coffee shop" comment= Enjoy Tea"/> <CartoonCut no= 6" stress="true" ch_main= Sending SMS" bg_main= Inside Bus 1" comment= Rapid Bus ㅋ "/> <CartoonCut no= 7" ch_main= Sleeping" bg_main= Myroom2" comment="zzz..."/> </CartoonDiary> 39
기술개발동향 : 아시아 지능형위치기반서비스 [ 연세대, 2004] 방법 사용자의위치감지 GPS 센서이용 클러스터링 시퀀스데이터의비교사학습 GPS data { Recurrent SOM 위상보전 + 차원축소 지역모델학습 각클러스터의이동패턴학습 Markov model 이용 Pattern 5 Pattern 4 Pattern 3 Pattern 1 Pattern 2 구현 ipaq 5450 (Pocket PC 2003) Embedded Visual C++ 4 40
기술개발동향 : 아시아 스마트폰을위한캐릭터 스마트폰의특징 다기능 다목적 통신, 정보검색, 일정관리, 카메라, 오디오, 게임, 고도로개인화된기기 매우다양한종류의사용자정보를얻을수있음 새로운고수준정보의추론 암시적인단편적인사실들과도메인지식이용 사용자의상태에적응적인서비스의제공 합성캐릭터 (synthetic character) 사용자와스마트폰의상태를반영 수집된저수준 + 추론된고수준정보 목표설정 행동선택 41
기술트리및기술동향분석
기술동향분석 기술트리 : 개요 휴대폰을위한상황인지기술 컨텍스트인식기술 센서기술전처리기술표현기술모델링기술추론기술 컨텍스트관리기술 온톨로지기술 컨텍스트공유기술 컨텍스트프로그래밍기술 작응적서비스생성기술 컨텍스트시각화기술 43
기술동향분석 컨텍스트인식기술컨텍스트관리기술컨텍스트프로그래밍기술적응적서비스생성기술 센서기술 전처리기술 표현기술 모델링기술 온톨로지기술 Context 공유 Context 시각화 기술트리 : 세부 센서 Packaging 센서 Fusion Clustering PCA & ICA Crisp Segmentation Fuzzy Logic Bayesian Network Collaborative Recognition Ontology Language 캐릭터기술 Self-Organizing Map 에이전트모델객체지향모델규칙기반서비스선택행동네트워크 44
연구기관 내용 입력 ( 센서, Call log, ) VTT Electronics 컨텍스트인식및추론프레임워크제안 소리, 온도, 습도, 빛 Nokia Nokia 7650 Proximity, Light EU StarLab Teco MIT Microsoft CMU 핸드폰을위한하드웨어장비및소프트웨어개발 Context Aware Cell phone Project 센서정보를이용한사용자의 attention 부담줄이기 센서정보를이용사용자의현재상태에맞는서비스수행 가속도, 빛, 온도, 접촉, 마이크로폰, CO, 적외선, 압력 GPS, 가속도, IR Tags, Micropho ne 가속도, Proximity, 접촉센서 가속도, 빛, Micropho ne 사용한 context ( 바쁨정도, 행동 ) 손위에있는지여부, 조명의종류, 날씨, 정자 / 걷기 핸드폰근접, 조명상태 핸드폰의위치 ( 손, 테이블, 주머니 ) 실외위치, 사용자상태 ( 걷기, 정지 ), 실내위치 ( 차안 ), 대화여부 잡고있는지여부, 휴대폰의방향성, 근접여부 한가함, 바쁨, 높은활동성, 정상 Context 추론방법 (BN, 패턴인식 ) Naïve Bayes, Markov Chain 규칙, Self- Organizing Map Bayesian Inference Self-Organizing Map 예시한서비스 주변환경의변화에맞게 fontsize 와밝기조절 스피커폰모드자동변환, 발광시간조정 레스토랑에들어갈때, 자동차에앉을때프로파일변경 자동녹음, 기울기에따른 display 변경, 자동 power up, 기울기를이용한 scroll 사용자의상태를발신자에게보내줌 Ericsson Ericsson R520 Proximity 핸드폰근접 스피커폰모드 자동변환 서비스제시방법 (rule, BN) Fuzzy Control Rule Rule Rule 기술동향분석 평가 (context 추론의신뢰도, 서비스의현실성 ) 실제핸드폰에적용되어구현되지는않았음 상용화 핸드폰에들어갈수있는하드웨어개발에주력, 제시한소프트웨어구조의유용성에대한충분한테스트미흡 프로젝트중단 (?), Motorola i85s iden phone 에구현작업중이라고밝힘, 관련자료의부족으로판단어려움 PDA 에실제구현 Context 정보를수집하기위한센서정보에만주력, 보다복잡한 context 정보이용에는부족 여러가지센서를몸에부착해야함 상용화 45
기술동향분석 Context Studio Context Level DrWhatsOn VTT (Collaborative) VTT (Ontology) TEA (software) VTT (Layered Structure) MIT (Globuddy2) Attentive CellPhone VTT (fuzzy) CMU (SenSay) CyPhone VTT (Symbolic Clustering) 기술복잡도 Mobilearn Microsoft MIT (Affective) VTT (Kontti) Ericsson (LBS) MIT (Ambient Group) VTT (PCA & ICA) Nokia (7650) TiltText TEA (hardware) 46
결론및향후과제 LBS 의폭넓은이용과휴대폰의성능향상, 컨버전스등의경향은상황인지의필요성을증대시킴 휴대폰도메인에서의상황인지 휴대폰은항상사용자와함께하고개인적인정보를포함하고있기때문에상황인지의유용성이큼 메모리, CPU, 프로그래밍환경등의제약이크기때문에복잡한 context 인식기술을구현하기는어려움 Virtual context 와 physical context 를동시에사용하고 ontology, domain knowledge 등의사용을통해상황인지의정확도향상 현재제공되고있는서비스를활용하여 context-aware 기능의유용성을보임 SMS (Short Message Service), 카메라및캠코더기능, 게임기능 Domain 지식의활용과복합 context 의이용을통해상황인지의성능을향상시키고 killer application 의개발에주력할필요있음 47