2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 57 논문 2007-44CI-3-9 유비쿼터스환경에서개인화된 스마트오브젝트제어및미디어콘텐츠제공을위한 맥락인식모바일증강현실시스템 ( CAMAR: Context-Aware Mobile AR System for Personalized Smart Object Control and Media Contents Provision in Ubiquitous Computing Environment ) 서영정 *, 박영민 *, 윤효석 *, 우운택 ** 1 ( Youngjung Suh, Youngmin Park, Hyoseok Yoon, and Woontack Woo ) 요 약 모바일증강현실분야에서는이동성이라는특성으로인해발생하는기술적인난제들의해결에주로많은관심을두어왔다. 그러나이러한기술적인난제들뿐만아니라유비쿼터스컴퓨팅환경에서사용자의상호작용을위한서비스인터페이스및콘텐츠제공에관한문제들도동시에고려되어야한다. 본논문에서는유비쿼터스컴퓨팅환경에서의모바일증강현실기반환경제어, 미디어콘텐츠의개인화, 선택적공유및협업의개념을포함하는맥락인식모바일증강현실 (Context-Aware Mobile AR) 시스템을제안한다. 유비쿼터스컴퓨팅인프라의발전으로눈에보이지않는컴퓨팅리소스들로부터획득되는환경및개인의맥락정보와미디어콘텐츠활용의용이성이증가하고있다. 하지만사용자들이눈에보이지않는수많은스마트오브젝트들을인지하기가어려우며, 인터페이스의복잡성으로인하여스마트오브젝트들을제어하는것역시쉽지않다. 또한, 유비쿼터스환경에대한고려없이사용자들에게다양한종류의방대한미디어콘텐츠를일방적이고일괄적인방식으로제공하는것은사용자들에게혼란만가중시킬것이다. 따라서, 제안된시스템은맥락인지기술과모바일증강현실기술을접목하여개인화된스마트오브젝트컨트롤과개인화된미디어콘텐츠의증강및선택적인공유를가능하게하고자한다. Abstract Researchers in mobile AR systems have so far put the value on the technical challenges involved in the limitations imposed from mobility. Beyond such immediate technical questions, however, are questions regarding the possible contents that are to be used for the user s interaction in ubiquitous computing environment. Various aspects of context of user and environment can be utilized easily as well as effectively. Moreover, the environment will be equipped with lots of pervasive but invisible computing resources. However, it is difficult for users to have access to those computing resources. At the same time, as the smart appliances get to have more features, their user interfaces tend to become harder to use. Thus, in this paper, we propose Context-Aware Mobile Augmented Reality (CAMAR) system. In our system, users only need to take a picture of smart appliances with a built-in camera in a mobile device when they intend to control the appliances. It lets users interact with the smart appliances through personalized control interfaces on their mobile devices. Also, it supports enabling contents to be not only personalized but also shared selectively and interactively among user communities. Keywords : context-aware, mobile AR, personalization, selective sharing * 학생회원, ** 종신회원, 광주과학기술원정보기전공학부 (School of Information and Mechatronics, GIST) 본연구는 21세기프론티어연구개발사업의일환으로추진되고있는정보통신부의유비쿼터스컴퓨팅및네트워크원천기반기술개발사업의지원에의한것임. 접수일자 : 2007년4월4일, 수정완료일 : 2007년5월4일 (245)
58 유비쿼터스환경에서개인화된스마트오브젝트제어및미디어콘텐츠제공을위한맥락인식모바일증강현실시스템서영정외 Ⅰ. 서론증강현실분야에서는사용자의실제세계에대한지각력및상호작용을향상시키기위하여가상객체를증강시키는기본개념을충실히실현시키는연구를진행해왔다 [1][2]. 따라서증강, 상호작용, 렌더링등과같은증강현실의기본개념을구현하는데발생하는기술적인문제들에주된관심을두어왔다. 한편, 트랙킹기술및컴퓨팅능력의발전으로모바일증강현실시스템의개발이증가하고있다. 모바일증강현실분야에서도이동성이라는특성으로인해발생하는기술적인난제들의해결에주로많은관심을두어왔다 [3][4]. 그러나이러한기술적인난제들뿐만아니라유비쿼터스컴퓨팅환경에서사용자의상호작용을위한서비스인터페이스및콘텐츠제공에관한문제들도동시에고려되어야한다. 모바일장치를휴대하고다니는사용자에게서비스인터페이스나콘텐츠를제공하는시스템을개발함에있어서모바일증강현실기술을접목시키려는시도를해온연구들이있다 [5][6]. 하지만이러한모바일증강현실관련연구들은사용자의취향과는상관없이일률적인인터페이스만을제공한다. 또한, 모바일증강현실기술을활용한다할지라도유비쿼터스환경에대한고려없이사용자들에게다양한종류의방대한미디어콘텐츠를일방적이고일괄적인방식으로제공하는것은사용자들에게혼란만가중시킬것이다. 유비쿼터스컴퓨팅환경에존재하는다양한종류의사용자및환경에대한맥락정보를활용하여사용자에게개인화된사용자인터페이스및미디어콘텐츠를제공할수있다. 이러한맥락인식개념을도입하여유비쿼터스환경에서활용될수있는증강현실시스템을개발한연구그룹들이있다 [7][8][9]. 그러나이들은모바일증강현실시스템에맥락인식의개념을도입함에있어서공간및위치정보와같은제한적인맥락정보를활용하였다. 또한, 이러한연구들은증강현실기술을기반으로맥락정보를활용하는개인화, 상호작용, 공유, 협업에대한개념이아직부족하다. 이러한제약성을극복하기위해맥락정보에기반한정보공유가가능하고, 실감형정보를제공할수있는맥락정보기반정보증강및공유시스템 (apost-it) 이제안되었다 [10]. 하지만 apost-it은해당오브젝트로부터획득한웹페이지를통한미디어콘텐츠의개인화만을지원하며오브젝트제어인터페이스에대한개인화는고려하지않았다는 한계점이있다. 또한사용자가웹페이지를통하여콘텐츠공유여부를명시적으로설정하는방법으로선택적공유를지원한다. 위에언급한기존연구들의한계점을극복하기위하여본논문에서는유비쿼터스컴퓨팅환경과모바일증강현실을접목한맥락인식모바일증강현실 (Context- Aware Mobile AR) 시스템을제안한다. 제안된시스템에서는사용자가휴대하고다니는모바일증강현실장치상의개인화된제어인터페이스를통하여사용자가스마트오브젝트와직관적이며개인화된방식으로상호작용하도록한다. 사용자의프로파일을반영하여동일한대상에대해서도각사용자가원하는개인화된미디어정보를증강하고활용할수있도록하는시스템이다. 또한, 환경및사용자의맥락정보를분석하여공통관심사를추출함으로써개인화된미디어콘텐츠의암묵적인선택적공유를지원한다. 제안된시스템은현실공간에정보증강및협업을통한회의시스템, 다양한스마트오브젝트의리모컨서비스등모바일기기로개인화된서비스를제공하여야하는서비스분야에적용될수있다. 본논문의구성은다음과같다. Ⅱ장에서는맥락인식증강현실시스템에대한개요및응용가능한시나리오사례를기술한다. Ⅲ장에서는응용시나리오기반시스템구현에대해서살펴본다. Ⅳ장에서는구현한응용시스템의사용성평가및고찰을다룬다. 마지막으로 Ⅴ장에서는제안된시스템의향후연구방향에대해언급함으로써결론을맺는다. Ⅱ. 시스템개요유비쿼터스컴퓨팅인프라의발전으로눈에보이지않는컴퓨팅리소스들로부터획득되는다양한서비스활용의용이성이증가하고있다. 하지만사용자들이눈에보이지않는수많은스마트오브젝트들을인지하기가어려우며, 인터페이스의복잡성으로인하여스마트오브젝트들을제어하는것역시쉽지않다 [11]. 따라서유비쿼터스컴퓨팅환경의사용자들에게접근과사용이용이하고편리한사용자인터페이스를제공하는것은필수적이다. 일반적으로 point-and-click 은컴퓨터사용자가모니터스크린상의특정위치로마우스커서를움직여서마우스버튼을클릭하는컴퓨터와의상호작용방식으로알려져있다. 제안된시스템에서는사용자가사용하고자하는의도가있는특정스마트오브젝트를 (246)
2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 59 카메라가내장된모바일장치를이용하여촬영하기만하면되는사용자인터페이스로서 point-and-click interface [12] 를제시한다. 사용자의특정스마트오브젝트에대한관심도를표현하기위해카메라로촬영하는행위는마우스커서로 Point" 하는행위와, 실제촬영한스마트오브젝트를제어하는것은컴퓨터명령을실행시키기위해마우스버튼을통해수행하는 Click 이라는행위와대응됨으로써직관적인사용자인터페이스를제공한다. 또한, 사용자로하여금자신의모바일장치상에증강되는개인화된제어인터페이스를통해환경의스마트오브젝트와개인화된방식으로상호작용할수있도록지원한다. 다음으로, 모든사용자에게동일한콘텐츠를일괄적으로제공하지않고관심사를공유하는그룹을형성하는사용자들에게만제공하도록지원하는것은유비쿼터스컴퓨팅시스템의중요한특징중의하나이다 [13]. 제안된시스템은사용자및환경의맥락정보를활용하여미디어콘텐츠를개인화하고, 공통관심사를가지는사용자커뮤니티내에서만선택적으로공유할수있도록지원한다. 서로다른사용자가각자휴대한카메라가내장된모바일장치를통해환경의특정스마트오브젝트에존재하는동일한증강현실용마커를보더라도각자의맥락정보가반영되어개인화된미디어콘텐츠를제공받을수있다. 개인화된미디어콘텐츠는시스템이사용자의맥락정보를분석함으로써암묵적으로구성한하나의커뮤니티내에서선택적으로공유될수있다. 그림 1은지능형 TV(ubiTV), 지능형창 (MR Window), 지능형테이블 (ARTable) 등으로구성된지능형정보공간에서모바일증강현실기반환경제어, 미디어콘 Personalized Contents Augmentation Mobile AR-based Co ntrol Personalized control interface augmentation Co mmunity-b ased selective sharing 그림 1. 맥락인식모바일증강현실시스템개념도 Fig. 1. The concept diagram for CAMAR system. 텐츠의개인화, 선택적공유및협업의개념을포함하는맥락인식모바일증강현실 (Context-Aware Mobile AR) 시스템을보여주는개념도이다. Ⅲ. CAMAR: 시스템구현 본장에서는맥락인식모바일증강현실시스템의구현내용과기술들을살펴본다. 제안된시스템의유용성을증명하기위하여사용자가개인화된제어인터페이스를통하여환경에존재하는스마트오브젝트들을제어할수있는개인화된스마트오브젝트 AR 컨트롤러와문화재답사시에방문자가획득한사진, 동영상등으로부터추출된맥락정보기반의개인화된미디어 Contents synchroniz ation AR Server Contents User input app.(1) u-contents Contents personalizatio n and management object ID, pose Object tracking Internal parameter Camera calibration ( Offline) mobile UI app.(2) User profile User profile management Access to smart objects User s access detection Mobile Device [UMPC] app.(1): Smart Object ARContr oller Application Community info. Community management Management user ID lists User detection Sensing app.(2): Contents Augmentation and Sharing Profile based display and service User profile with priority Multiple users collision MRWindow ubilight ubitv ARTable Smart Appliances 그림 2. 맥락인식모바일증강현실시스템블록다이 어그램 Fig. 2. Context-Aware Mobile AR system block diagram. 표 1. 시스템플랫폼명세 Table 1. System platform specification. HW/SW UMPC OS Software Development IDE Specification SONY VAIO VGN-UX-17LP Microsoft Windows XP Professional Microsoft Windows Visual Studio 2005 Camera Library OpenCV beta 5 Image Processing Library UPnP SDK [19] ARToolkit Plus 2.1.0 [18] Glut 3.7.6 Intel Authoring Tools for UPnP Technologies (Build1825) Intel Tools for UPnP Technologies (Build 1768) (247)
60 유비쿼터스환경에서개인화된스마트오브젝트제어및미디어콘텐츠제공을위한맥락인식모바일증강현실시스템서영정외 콘텐츠의증강및선택적공유를위한시스템을구현하였다. 그림 2는맥락인식모바일증강현실시스템의전체시스템블록다이어그램을보여준다. 표 1은 CAMAR 시스템의개발환경및구현에사용된 HW/SW 명세를보여주고있다. 1. 모바일장치를이용한개인화된스마트오브젝트제어개인화된스마트오브젝트 AR 컨트롤러는사용자가휴대하고다니는모바일장치상의개인화된제어인터페이스를의미하며, 사용자가스마트오브젝트와개인화된방식으로상호작용할수있도록지원한다. 대부분의사용자가모바일장치를하나씩휴대하여활용한다는특성은모바일장치가개인화된사용자인터페이스를제공하기용이하다는점을설명한다. 예를들어, 하나의모바일장치는사용자가익숙하게사용해왔거나선호하는제어인터페이스를개인화된인터페이스로써사용자에게제공하는것이용이하면서도자연스럽다. 우리는사용자가개인화된제어인터페이스를통하여환경에존재하는스마트오브젝트들을제어할수있는개인화된스마트오브젝트제어기를디자인하고구현하였다. 이는사용자가스마트오브젝트를제어하고자하는의도가있을때, 사용자는자신의모바일장치에내장되어있는카메라로해당스마트오브젝트를촬영하기만하면제어가가능하도록지원한다. 사용자가스마트오브젝트를모바일장치의카메라로촬영하면사용 자의모바일장치는해당스마트오브젝트로부터그오브젝트가제공가능한기능들에대한정보를포함하는맥락정보를받아서사용자에게적합한제어인터페이스를생성해내는데활용한다. 개인화된스마트오브젝트 AR 컨트롤러는네가지기능을제공한다. 첫째, 사용자의선호도를반영한사용자인터페이스를생성및제공하는모바일장치의개인화기능이다. 둘째, 사용자가위치한홈네트워크상에서연결된장치와서비스를발견하여사용자에게알려주는사용가능한서비스알림기능이다. 셋째, 그림 3 에서볼수있듯이하나의 TV, 전등, MRWindow 및 ARTable 등과같은여러장치및서비스제어를가능하게하는유니버설리모콘기능이다. 마지막으로사용하고자하는서비스를다른사용자가사용하고있을시, 서비스추천및제어권이양및획득을가능하게하는서비스추천및제어권획득기능이다. 이를위해개인화된스마트오브젝트 AR 컨트롤러는스마트오브젝트와사용자를연계시킬수있는통합프레임워크와컨트롤러구현사례 (AR Controller) 로구성된다. 그림 4는서비스디스커버리, 서비스선택및서비스상호작용모듈을중심으로구성된스마트오브젝트 AR 컨트롤러시스템의전체구조를나타내고있다. 스마트오브젝트는공유하는장치에따라 ubi-ucam (Unified Context-aware Application Model for Ubiquitous Computing Environment) [16] 을기반으로한다양한맥락인식서비스가배치된다. 스마트오브젝트에설치되는맥락인식서비스는사용자의맥락을수집하고이를통합, 해석및관리를거쳐개인 (a) (b) (c) (d) (e) (f) 그림 3. UMPC 및 PDA 버전의 AR 콘트롤러를이용한스마트오브젝트제어 (a-c) UMPC AR 컨트롤러 (d-f) PDA AR 컨트롤러 Fig. 3. Smart object control with AR Controller embedded in UMPC and PDA respectively, (a-c) UMPC AR Controller, (d-f) PDA AR Controller. 그림 4. 스마트오브젝트 AR 컨트롤러시스템구조 Fig. 4. A base framework for smart object AR controller. (248)
2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 61 화된서비스를제공한다. ubitv는디스플레이및오디오장치를공유하면서실시간방송, 영화, 음악등을제공하는다양한맥락인식미디어서비스로구성된다. ubilight는전등장치를기반으로사용자의상황에알맞은밝기를제공하는전등서비스및전등제어기로구성된다. 보다원활한서비스사용을위해각사용자의 선호도및서비스상황을인지함으로써충돌을인지한다. 이렇게인지한충돌을해결하기위해서등록된응용의프로파일과사용자의맥락을활용하여서비스를추천하는맥락을생성한다. 마지막으로, 최종맥락전달기는충돌이해결된맥락을서비스제공기와서비스환경내의다른응용에전달한다. 사용자들은이러한스마트오브젝트를 AR 컨트롤러를통해제어한다. AR 컨트롤러는사용자가휴대하는모바일장치이며설치된서비스발견모듈을통해이용가능한서비스를시각화해줄뿐만아니라내장된카메라를통해관심있는스마트오브젝트를인식하고개인화된인터페이스를제공한다. 제어인터페이스획득과정에서필요한 AR 기술관련마커인식부분은가시적인마커를환경에스며들게하여환경의일부로인식되도록하는마커를제작하여활용하였다. TV, MRWindow, ARTable의경우사용자가다가가면평상시의액자형태에서마커로변화하는스크린세이버형태이다. 전등스위치의경우조명스위치덮개인동시에마커의역할을수행하는테두리형태로개발하였다. AR 컨트롤러는 PDA와 UMPC 두가지플랫폼에구현된다. PDA는 UMPC에비해소형이고, 가격이저렴하며휴대성이뛰어난반면, 이미지프로세싱처럼많은연산이필요한작업에대해서는처리속도가현저히떨어진다. 반면, UMPC는노트북과대동소이한연산능력을가지고있지만, 가격, 크기면에서는 PDA보다떨어진다. 따라서두가지플랫폼에모두적용하여각각의장단점을절충한다. 그림 5는각플랫폼에구현된 AR 컨트롤러를보여준다. AR 컨트롤러를실행을하면, 우선환경의스마트오브젝트와서비스를주기적으로검색하고서비스의알림 (Announcement) 메시지를확인한다. 이를위해 UPnP [19] 의메시지를입력으로받고발견된서비스목록을서비스 DB에저장한다. 사용자가서비스를사용할때에는목록에서선택하거나관심스마트오브젝트를모바일장치의카메라로촬영을하여제어인터페이스를얻어올수있다. 이때에는촬영된스마트오브젝트를입력받아패턴리스트와비교하여높은유사도를지니는 (a) 그림 5. (a) PDA 플랫폼의 AR 컨트롤러, (b) UMPC 플랫폼의 AR 컨트롤러 Fig. 5. Smart object AR Controller in (a) UMPC platform and (b) PDA platform, respectively. Camera-based UI acquisition Image acquisition through capturing embedded mark with a built-in camera in UMPC Image analysis through template matching Device/service user interface acquisition Start AR Controller UPnP discovery (available device/service list) Control interface augmentation with personalized menu Service control (ubitv, ubilight, MRWindow, ARTable) (b) Discovered service list-based UI acquisition Available device/service list acquisition in the environment Conversion discovered device/service list into menu items Device/service user interface acquisition from selection of menu 그림 6. 스마트오브젝트 AR 컨트롤러동작과정흐름 도 Fig. 6. A procedural diagram for smart object AR Controller. 스마트오브젝트로인식한다. 사용자가선택한스마트오브젝트와서비스가확인이되면, 사용자의선호도, 행동패턴에따라모바일장치의사용자인터페이스를개인화한다. 이를위해사용자프로파일정보를활용하며, 사용자가자주사용하는메뉴의가중치를부가하여사용자에적합한메뉴트리를생성한다. 이러한동작과정은그림 6에서보여주고있다. 2. 맥락정보기반미디어콘텐츠의증강및선택적공유모바일 AR 기술및맥락정보인지기술을활용한미디어콘텐츠의증강및공유기술을보여주기위하여우리는사용자들이문화유적지에서찍은사진들을증강하고공유할수있는하나의에듀테인먼트시스템을구현하였다. 실생활의푯말이나지도의모형들을직접활용하는방법을통하여실제운주사환경의유적지를표시하는데어울리는증강현실용마커를디자인하고 (249)
62 유비쿼터스환경에서개인화된스마트오브젝트제어및미디어콘텐츠제공을위한맥락인식모바일증강현실시스템서영정외 UMPC ARTable Community construction User detection Personalized contents augmentation Selective sharing based on group context 그림 7. 맥락정보기반미디어콘텐츠의증강및선택 적공유시스템개요도 Fig. 7. A system overview of context-based media contents augmentation and selective sharing system. 그림 9. 맥락정보기반미디어콘텐츠의증강및선택 적공유시스템개요도 Fig. 9. A system overview of context-based media contents augmentation and selective sharing system. 표 2. 시스템에활용된맥락정보 Table 2. Context Information used in the system. Context Element Who Meaning who the user is: user ID Description Father, mother, child, etc. When when the interaction takes place The time the picture is taken of. The time the user interacts with contents in ARTable. 그림 8. 맥락정보기반미디어콘텐츠증강및선택적 공유시스템구조 Fig. 8. A base framework for context-based media contents augmentation and selective sharing system. 추적하여해당콘텐츠를증강시켰다. 그림 7은 ARTable을중심으로사용자의맥락정보에기반하여개인화된멀티미디어콘텐츠를증강하고선택적으로공유하는전체시스템의개요도를보여준다. 그림 8은사용자의모바일기기에서동작하는플랫폼및 ARTable을포함한전체시스템의중요콤포넌트의구조를보여준다. 본시스템은문화재답사시에방문자에의해획득되는사진, 동영상등으로부터맥락을추출하고, 이를모바일증강현실시스템을활용하여다른사용자와선택적으로공유할수있는 Context Copy 의개념을구현 Where What Why How where the user is what the interaction is about what the user is interested in how much the user wants to reveal his private info. Spatial context when taking the picture in the real Unju-Temple. Spatial context when exploring the virtual Unju-Temple in the virtual world displayed on the ARTable. Service ID Contents ID Preferences: mathematics, photography, history, etc. Not yet used 하였다. 문화유적지탐방시, 사람들은추억을간직하거나다른사람들과자신들의경험을공유하기위해서유적지의문화재사진을찍어서자신의모바일장치에저장및관리하는성향을가지고있다. 이러한면에서획득할수있는맥락정보는유적지에서사진을찍은시간및장소등과같은정보이다. 시간, 장소등과같은개인적인맥락정보는 UMPC 와같은개별적인모바일장치에서관리된다. 우리는사용자가운주사를방문한경험이있는지없는지에따라두사용자에게서로다른콘텐츠를보여주는시스템을디자인하고구현하였 (250)
2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 63 다. Context Copy는그림 9에서와같이어느특정시점, 공간에서의사용자의경험이나느낌을다른시점및다른공간에서사용자와사용자의상황에해당하는맥락정보를고려하여재현하고, 또다른사용자와공유 하는경우공유한사용자에게도동일하게재현되는개념이다. 이러한개념이구현된본시스템에서는표 2 에나타낸것과같이사진에관련된중요맥락정보및사용자에관한 5W1H 맥락정보 [20] 를활용한다. 맥락정보가첨부된사진은사진이찍힌지역의지도가보여지는 ARTable을중심으로사용자들이휴대한모바일장치를통해재현된다. ARTable은사용자의상호작용에따라동적으로반응하여영상을보여주며 [17] 구현된시스템에서는서비스제공의공간및다수사용자의상호작용공간을구성한다. 사진을찍은장소를특정유적지로가정하여, ARTable에는유적지의전체지도가표시된다. 지도에는사진들이찍힌장소의주요유적지를나타내는마커를표시한다. 각사용자가휴대하는모바일기기에는지도에표시된마커에자신이가지고있는사진중해당지역에서찍은사진만이증강된다. 그림 10에서볼수있듯이지도상에표시되는마커에는사진의맥락정보가반영된다. 먼저, 서비스의우선권을가진사용자를선별하여해당사용자가소유한사진들이찍힌장소에만마커를표시한다. 또한, 동일한장소에서찍은사진의수가많을수록마커의크기를상대적으로크게표시하여사용자가소유한콘텐츠의상태를파악하기쉽도록암시한다. 개인화된미디어콘텐츠의선택적공유는서비스를이용중인다수의사용자중공통된관심사를가진사용자들로사용자커뮤니티가구성되어개인의사진을공유함으로써이루어진다. 즉, 모바일장치를통해동일한지역을보고있는사용자들은공통지역에대한관 그림 10. 사진맥락정보에기반하여사용자가사진을소유한지역에만마커를표시, 사진의수에비례하여마커의크기를조절 Fig. 10. Customized map of Unju temple showing the sites visited by the user with AR markers. (a) 그림 11. 두사용자사이에커뮤니티가형성되어오른쪽사용자 (b) 의사진이왼쪽사용자 (a) 와공유되는장면 Fig. 11. Context-based photo contents sharing among two users within a community (photos of a user (b) are shared with a user (a)). User 2 User 1 User 2: be asked to share contents from User1 User 1:has priority over User 2 Acquire available service lists on ARTable Take a picture of marker on AR Table Screen saver mode Start context copy service Trigger AR Table with control interface ARTable On Fetch marker position with contex t of User 1 Spatial user context UMPC Observe the same marker with User 1 Observ e a specific marker Symbolic lo cation context in virtual map ARTable Augment conten ts B which reflects User 2 s context Augment conten ts A which reflects User 1 context (b) Accept share from User 1 Recom mend share of contents A Display markers on the map (the places where User 1 visit and take the pictures) Time Augmen t contents A Deliver contents A to User 2 그림 12. ARTable 에서의맥락정보기반미디어콘텐츠증강및공유를위한동작과정흐름도 Fig. 12. A process flows for context-based media contents augmentation and sharing in ARTable. 심을갖고있으므로, 사용자커뮤니티가자동으로구성된다. 커뮤니티내특정사용자가요청을통해우선권을획득하는경우, 앞에서설명한것과같이 ARTable 에표시된지도에는우선권을가진사용자의사진맥락정보가반영된다. 다음으로커뮤니티의멤버들의모바일장치에는우선순위사용자의사진이공유되어증강된다. 그림 11은두사용자가공통관심커뮤니티로형성되어사진을공유하는장면을보여준다. 이시스템은사용자의미디어콘텐츠에대한선호도를해석하여해석된결과에따라그사용자에게개인화된미디어콘텐츠를제공한다. 추가적으로둘이상의사용자들의통합된맥락과그들간의관계를분석함으로써공통된선호도및관심사를추출하여그룹맥락을생성및관리한다. 그룹맥락의관리를통하여공통관심사를가진사용자들간에미디어콘텐츠를선택적으로공유할수있도록지원한다. 그림 12는한사용자가다른사용자에대해시스템에대한우선권을가지고있 (251)
64 유비쿼터스환경에서개인화된스마트오브젝트제어및미디어콘텐츠제공을위한맥락인식모바일증강현실시스템서영정외 을때, ARTable을중심으로사용자가휴대하는모바일장치를통해사진콘텐츠를제공하고다른사용자와공유하도록지원하는시스템의동작과정에대한흐름도를나타내고있다. Ⅳ. 사용성평가및고찰 제안된시스템의사용성을평가하기위하여문헌고찰및사용자설문조사, 전문가면접을통하여구현기 표 3. 시스템사용성평가항목 Table 3. User questionnaire for evaluation lists. 구분평가항목세부항목 구현기술과콘텐츠간의적합성 기기조작의편리성 기술에대한만족도 제공되는정보의유용성 개인화된콘텐츠의만족도 기타의견 시스템접근방식의용이성 ( 마커증강 ) AR Table interface ubitv 컨트롤 전등컨트롤 전체시스템인터페이스의일관성 기타의견 하나의컨트롤러로여러개의매체를컨트롤하는것에대한편리성 CAMAR 장치로사진을찍어원하는사진또는정보를제공받는사용방법과이에대한서비스는유용하다고생각하십니까 CAMAR 장치로사진을찍어자신만의개인화된정보를제공받는사용방법과이에대한서비스는유용하다고생각하십니까 ARTable에서타인과본인이원하는공통의정보혹은데이터 (EX. 사진 ) 를공유하는것이유용하다고생각하십니까현재개인화된채널정보외에어떤정보를더받고싶은가 ubitv, 전등앞의마커를찍어본인의 CAMAR 장치에개인화된메뉴를제공받는방식에대해어떻게생각하십니까 AR Table에서지도위의마커를통한 AR Table의사용방법에대해어떻게생각하십니까 CAMAR 장치를이용해 ubitv를컨트롤하는조작방법이용이하다고생각하십니까 CAMAR 장치를이용해전등을컨트롤하는조작방식이편리하다고생각하십니까전체적으로인터페이스가일관성있고사용하기편리하다고생각하십니까현인터페이스의조작방식이유용하다고생각하십니까그러한경우와그렇지않은경우왜그렇습니까 현재사용하는 CAMAR 장치사용방법및형태가이해하기쉽고사용하기쉽다고생각하십니까 술과콘텐츠간의적합성, 기기조작의편리성, 기술에대한만족도를중심으로평가항목을도출하였다. 그에따른세부평가항목은아래표 3과같으며, 이를이용하여 2006년 11월한국경기도 KINTEX 에서열린차세대컴퓨터산업전시회에참여한관람객을대상으로본시스템의만족도평가를시행하였다. 참여한실험자는 30명이었으며각각의설문항목들은 5단계로평가되었다. 표 3는 CAMAR 장치의사용성평가항목을나타낸다. 만족도평가및분석은크게구현기술과콘텐츠간의적합성, 기기조작의편리성, 기술에대한만족도로분류하여이루어졌으며이에따라제시된기준들을바탕으로본시스템의사용자만족도평가및전문가의의견을참고하여평가및분석을진행하였다. 1. 구현기술과콘텐츠간의적합성 그림 13의 (a) 에서볼수있듯이, 구현기술과콘텐츠간의적합성측면에서 자신의 CAMAR 장치에 ubitv의개인화된채널을제공받는것에있어개인화된서비스가만족스러운가? 라는질문에 64% 정도가그렇다고답을해주었다. 자신만의개인화메뉴를자동적으로제공받는것은편리하지만사용자본인이직접선택할수있는부분도있어야한다는의견과개인 의특성과환경을잘분석하여사용자가진정으로원하는메뉴를제공해주어야한다는의견도있었다. 그림 13의 (b) 에서와같이 ARTable에서타인과본인이원하는공통의정보혹은데이터 ( 사진 ) 을공유하는것이유용한가? 라는질문에는 75% 가그렇다고답하였다. 기타의견으로는흥미는있지만유용한지는모르겠다는의견이있었고개인의기억을더듬어서개인 (a) 그림 13. 구현기술과 콘텐츠 간의 적합성 측면 (a) CAMAR 장치를통해서비스의개인화를제공받 는것에대한만족도, (b) 사진공유의유용성 Fig. 13. Compatibility of embodied technology and contents. (a) satisfaction with the personalized service for offered CAMAR service and (b) usefulness of photo sharing, respectively. (b) (252)
2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 65 의경험을구체화시킬수있는콘텐츠를제공해주었으면좋겠다는의견과가족개개인의스케줄등정보공유의기능과가족이함께즐길수있는엔터테인먼트기능의콘텐츠가제공되었으면좋겠다는의견등이있었다. 또한마커를찍는방법이어렵게느껴졌다는의 견과증강할때의화면이조금씩끊겨서불편했으며공유하는방식이명확하게이해되지않는다는의견이있었다. 2. 기기조작의편리성기기조작의편리성측면에서 현제의 CAMAR 장치가이용하기쉽고사용하기쉽고편리할것같습니까? 라는질문에, 그림 14의 (a) 에서처럼, 68% 가그렇다고답하였다. 사용하기어려운부분으로는마커를찍는것이어려울것같다는의견과손으로터치해서조작하기에화면속그래픽인터페이스가너무작은것같아정확성이떨어질것같다는의견등이다. CAMAR 장치를통해가전기기들앞의마커를찍어개인화된정보를제공받는것이유용한가? 라는질문에는, 그림 14의 (b) 에서와같이, 79% 가그렇다고답하였다. 단순히하나의전등을제어할경우의유용성은크지않지만전등여러개가존재할경우각각의전등을찍어서컨트롤하는방식은굉장히유용할것같다는의견이있었다. 또한개인의기분이나심리적인측면을자동적으로인식하여그것을전등색깔제어에반영했으면좋겠다는의견도있었다. (a) 그림 14. 기기조작의편리성측면 (a) CAMAR 장치사용의편리성, (b) 마커촬영의유용성 Fig. 14. Convenience of device manipulation. (a) usefulness of being with CAMAR device and (b) usefulness of photographing marker, respectively 3. 기술에대한만족도기술에대한만족도평가에서 홈환경에서 CAMAR 장치라는하나의가전제품으로여러가지기기들을제어하는것이유용한것인가? 라는질문에, 그림 15에 (b) 그림 15. 기술에대한만족도측면 Fig. 15. Satisfaction of embodied technology. 서보이듯이, 88% 가그렇다고답하였다. 이에대한기타의견으로는 CAMAR 장치를가지고가전제품 ( 보일러, 에어컨등 ) 전원제어를하고싶다는의견과실내실시간동영상을확인하고싶다는의견, 도어락잠금여부체크등의시큐리티기능을이동중제어할수있는기능들을사용하면좋을것같다는의견등이있었다. Ⅴ. 결론및향후연구 본논문에서제안한맥락인식모바일증강현실 (Context-Aware Mobile AR) 시스템은유비쿼터스컴퓨팅환경에서사용자의프로파일과맥락정보에기반하여미디어콘텐츠를개인화시키고, 공통관심사를가진사용자커뮤니티내에서선택적으로공유할수있다. 또한, 사용자는카메라가내장된모바일장치로환경내에존재하는스마트오브젝트들을찍어서개인화된방식으로제어할수있다. 추후연구로서구현기술과콘텐츠간의적합성을고려하여 CAMAR 장치를통하여개인의경험을구체화시킬수있는콘텐츠를선정하고자한다. 또한구현기술에대한사용자들의만족도를높이기위해서 CAMAR 장치를통해스마트홈환경에서의가전기기제어뿐만아니라다양한종류의서비스제어의가능성을보여줄수있는연구를진행하고자한다. 참고문헌 [1] R. Azuma, A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments. vol. 6, no. 4, pp. 355-385, Aug. 1997. [2] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. MacIntyre, Recent advances in augmented reality, IEEE Computer Graphics and Applications, vol. 21, Issue 6, pp. 34-47, Nov.-Dec. 2001. [3] W. Pasman and C. Woodward, Implementation of an augmented reality system on a PDA, The (253)
66 유비쿼터스환경에서개인화된스마트오브젝트제어및미디어콘텐츠제공을위한맥락인식모바일증강현실시스템서영정외 Second IEEE and ACM International Symposium on Mixed and Augmented Reality, pp. 276 277, 2003. [4] J. Wither, S. Diverdi, and T. Hollerer, Using aerial photographs for improved mobile AR annotation, IEEE/ACM International Symposium on Mixed and Augmented Reality, pp.159-162, Oct. 2006. [5] H. Matsuoka, A. Onozawa, and E. Hosoya, Environment Mapping for Objects in the Real World: A Trial Using ARToolkit, Proc. First IEEE Intl. Augmented Reality Toolkit Workshop (ART02), Darmstadt, Germany, Sep. 2002. [6] C. Geiger, B. Kleinjohann, C. Reimann, and D. Stichling, Mobile AR4All, Proc. The Second IEEE and ACM International Symposium on Augmented Reality (ISAR 01), New York, Oct. 2001. [7] A. Henrysson and M. Ollila, UMAR: Ubiquitous Mobile Augmented Reality, Proceedings of the 3rd international conference on Mobile and ubiquitous multimedia (MUM 2004), vol. 83, pp. 41-45, Oct. 2004. [8] S. Long, D. Aust, G. Abowd, and C. Atkeson, Cyberguide: Prototyping context-aware mobile applications, In CHI 96 Conference Companion, pp. 293 294, Apr. 1996. [9] S. Feiner, B. MacIntyre, T. Höllerer, and T. Webster, A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment, In Proc ISWC 97 (Int. Symp. on Wearable Computing), pp. 74 81, Oct. 1997. [10] Y. Oh, M. Lee, S. Jung, and W. Woo, Dynamic Contents Provision of Context-based Information Augmentation & Sharing System, ACM/IEEE ICAT04, pp. 594-597, 2004. [11] VV Badami and NW Chbat, Home appliances get smart, Spectrum, IEEE, vol. 35, pp. 36~43, Aug. 1998. [12] Michael Beigl, Point & Click - Interaction in Smart Environments, Handheld and Ubiquitous Computing: First International Symposium, HUC'99, LNCS 1707, pp.311-313, 1999. [13] M. Kohno, and J. Rekimoto, Searching Common Experience: A Social Communication Tool Based on Mobile Ad-hoc Networking, ACM MobileHCI '05 pp.15~22, September 2005. [14] Y. Lee, S. Oh, B. Lee, J. Park, Y. Park, Y. Oh, S. Lee, H. Oh, J. Ryu, K. H. Lee, H. Kim, Y. Lee, J. Kim, Y. Ho, and W. Woo, Responsive Multimedia System for Context-based Storytelling, LNCS (PCM), vol.3767, pp.361-372, 2005. [15] Y. Lee, S. Oh, and W. Woo, A Context-based Storytelling with Responsive Multimedia System (RMS), LNCS(ICVS), 3805, pp. 12-21, 2005. [16] Y. Oh, C. Shin, W. Jung, and W. Woo, The ubitv application for a Family in ubihome, 2nd Ubiquitous Home workshop, pp. 23-32, 2005. [17] Y. Park and W.Woo, The ARTable: An AR-based Tangible User Interface System, LNCS (Edutainment), vol.3942, pp.1198-1207, 2006. [18] D. Wagner and D. Schmalstieg, First Steps Towards Handheld Augmented Reality, Proceedings of the Seventh IEEE International Symposium on Wearable Computers (ISWC 2003), pp. 127~135, Oct. 2005. [19] UPnP, http://www.upnp.org [20] S. Jang and W. Woo, Unified Context Representing User-Centric Context: Who, Where, When, What, How and Why, ubicomp workshop (ubipcmm), pp. 26-34, 2005. (254)
2007 년 5 월전자공학회논문지제 44 권 CI 편제 3 호 67 저자소개 서영정 ( 학생회원 ) 2001 년전남대학교컴퓨터공학과학사졸업. 2003 년광주과학기술원정보기전학부정보통신학과석사졸업. 2007 년광주과학기술원정보기전학부정보통신학과박사과정. < 주관심분야 : HCI, Mixed Reality, Contextawareness, Ubiquitous Computing> 박영민 ( 학생회원 ) 2004 년강원대학교전기전자정보통신공학부학사졸업. 2006 년광주과학기술원정보기전학부정보통신공학과석사졸업. 2007 년광주과학기술원정보기전학부정보통신공학과박사과정. < 주관심분야 : Augmented Reality, Computer Vision, Ubiquitous Computing> 윤효석 ( 학생회원 ) 2005 년숭실대학교컴퓨터학부학사졸업. 2007 년광주과학기술원정보기전공학부정보통신공학과석사과정. < 주관심분야 : HCI, Ubiquitous Computing, Mobile Computing> 우운택 ( 종신회원 ) 1989 년경북대학교전자공학과학사졸업. 1991 년포항공과대학교전기전자공학과석사졸업. 1998 년 University of Southern California,Electrical Engineering-System 박사졸업. 1991 년 ~1992 년삼성종합기술연구소연구원. 1999 년 ~2001 년 ATR, Japan, 초빙연구원. 2001 년 ~ 현재광주과학기술원정보기전학부부교수 2005 년 ~ 현재문화기술연구센터장 < 주관심분야 : 3D computer vision, attentive AR/mediated reality, HCI, affective sensing, context-aware for ubiquitous computing> (255)