특집원고 I 유기적 상호작용을 위한 증강현실 기반 사용자 인터페이스 기술 및 전망 광주과학기술원 이형묵* 우운택** 1. 서1)론 가상현실 기술이 등장한 이래로 가상 콘텐츠 생산 자의 층이 넓어지고 이러한 콘텐츠도 질적 양적으로 성장하고 있다. 이와 더불어 가상공간에 존재하는 온/ 오프라인 콘텐츠와 현실공간에 존재하는 사용자와 객 체 간의 이음매없는 상호작용의 욕구는 날이 갈수록 증대하고 있다. 유비쿼터스 가상현실 응용시스템에서 는 증강현실 기술을 통하여 현실과 가상을 연결하고, 실감 오감 증강이 가능하며, 실시간 양방향 상호작용 이 가능한 u-콘텐츠를 다룰 것으로 전망하고 있다[1]. 이러한 시점에서 콘텐츠들의 집합으로 이루어진 복잡 한 응용 시스템/프로그램과 이를 직접 체험하게 되는 다양한 사용자 간의 유기적인 인터페이스의 연결고리 를 디자인 하는 것은 상호작용에의 직관성과 편리성 증대를 위해 더 이상 간과할 수 없는 부분이다[2]. 응용 시스템과 사용자 간의 유기적인 상호작용은 여 러 인터페이스 분야에서 고려되어왔지만 최근 하드웨 어 분야를 중심으로 유기적 사용자 인터페이스(OUI, Organic User Interface)라는 개념을 통해 정리되었다[3]. 여기에서 유기적 이라는 단어는 물리적 외형의 다양 성, 변화가능성, 적응가능성, 그리고 진화가능성 등의 특징을 나타내는 용어로써 사용되었지만 유기적 이라 는 용어의 사전적 의미는 두 개체가 서로 밀접하게 관 련되어 있음을 뜻하므로 유기적 상호작용은 특정 사 용자가 큰 어려움 없이 편안하게 직관적으로 해당 시 스템을 활용할 수 있도록 돕는 상호작용으로 이해할 수 있으며 유기적 사용자 인터페이스는 이를 가능하게 하 * 정회원 ** 종신회원 이 논문은 2010년 교육과학기술부의 재원으로 한국연구재단의 지원을 받아 <실감교류 인체감응솔루션> 글로벌프런티어 연구개 발 사업으로 수행된 연구임. 는 기반 기술이라 볼 수 있다. 증강현실 기술은 물리적인 하드웨어 인터페이스 디 자인보다 가상의 정보를 무한정 가공할 수 있으므로 유기적 상호작용이 가능한 인터페이스를 실현하기에 보다 적합한 환경을 지닌다[4]. 현실 공간 또는 콘텐츠 와 밀접하게 관련된 시각 요소의 가공을 통한 정보 증 강이 증강현실 인터페이스의 주요 자원이지만 청/촉각 등의 부가 정보의 알맞은 가공을 통한 증강도 인터페 이스를 풍부하게 지원하는 자원들이다. 증강현실 상호작용은 증강현실 인터페이스를 통해 제공되는 모든 사용자 입출력을 포함한다. 따라서, 인 터페이스의 개발 대상 및 목적에 따라 적용 가능한 상 호작용 기법이 달라질 수 있다[5]. 본 논문의 2절에서 는 대표적 그리고 최신 증강현실 기반 사용자 인터페 이스를 유기적 상호작용의 주요 특징에 따라 분류하 여 기술한다. 3절에서는 2절에서 분류한 특징을 기반 으로 앞으로 다가올 증강현실 기반 유기적 사용자 인 터페이스 기술과 발전 방향에 대해 중점적으로 설명 한다. 마지막으로, 4절에서는 결론과 함께 본 논문을 마무리 한다. 2. 증강현실 기반 사용자 인터페이스 본 절에서는 다양한 응용 시스템 사용 및 적응에의 인지적 부담을 줄이기 위한 증강현실 기반 사용자 인 터페이스들을 소개하고자 한다. 이를 위해 먼저, 유기 적 상호작용을 위해 중요시하는 요소에 따라 기존의 증강현실 인터페이스를 분류하고 해당 증강현실 인터 페이스의 특징과 기존의 대표적 연구 내용에 대해 소 개한다. 우선 즉시적 사용자 인터페이스를 간략히 설 명하면, 사용자의 입력에 의한 시스템 피드백 요소를 중시한 인터페이스를 말한다. 반면, 적응적 사용자 인 터페이스는 상태의 변화에 따라 증강되는 형태가 변 2011. 8 정보과학회지 15
그림 1 즉시적 사용자 인터페이스: 좌측부터, Universal Appliance Controller, Touchable Holography, DisplayObject 형되는 인터페이스를 의미하며, 마지막으로 어포던스 지원 사용자 인터페이스는 일련의 과업을 올바르게 인 도하기 위한 증강 형태를 제공하는 인터페이스를 말 한다. 각각의 특징은 사용자가 시스템과 보다 유기적 으로 상호작용할 수 있도록 돕는 역할을 한다. 2.1 즉시적 사용자 인터페이스 증강현실 기술을 활용한 즉시적 사용자 인터페이스 는 시/청/촉각의 증강 형태를 통해 사용자 입력에 따 른 증감 피드백을 즉각적으로 제공하는 인터페이스를 일컫는다. 이를테면, 현실 공간에 산재되어 있는 다양 하고 복잡한 서비스/콘텐츠들 사이에서 사용자가 원하 는 항목에 빠르게 접근하는 방법을 제공하는 것은 사 용자의 시스템 친화력을 높이는 데 중요한 요소이다. Yoon, H.는 시각 증강현실 기술을 활용하여 다양한 서비스들 사이에서 대상 서비스에 적은 인지적 부담 으로 접근하고 제어하는 Universal Appliance Controller 를 제안하였다[6]. 사용자의 눈을 대신하는 모바일 디 바이스에 장착된 카메라를 통해 대상 객체를 바라보 는 것만으로 시스템은 해당 객체에 접근할 수 있는 인 터페이스를 즉시 제공해준다. 이러한 기술은 기존의 그래픽 사용자 인터페이스에서 제공하는 가용 목록을 제공하고 사용자가 선택하게 하는 기술보다 직관적이 고 학습이 용이한 인터페이스라 할 수 있다. 증강현실 기술은 현실 공간에 가상 객체를 쉽게 불 러들일 수 있도록 돕는다. 이러한 과정에서 현실 객체 와 가상 객체의 즉각적인 상호작용도 가능케 한다. Touchable Holography는 현실 공간에서 현실 객체와 가상 객체간의 충돌 촉감을 즉각적으로 체험할 수 있는 인 터페이스이다[7]. 대부분의 증강현실 인터페이스는 시 각 피드백에 의존하여 아무리 사실감 넘치는 가상 객 체를 렌더링하여도 상호작용 시 느껴지는 이질감을 피 하기 어려웠다. 여기서는 초음파가 압력으로 변하는 현상을 적절히 활용하여 사용자의 즉시적 촉감 피드 백 재현을 통해 실감성을 높이려 노력하였다. Display- Object는 감각형 객체에 그와 유사한 형태를 가지는 다 양한 가상의 전자 기기 외형을 대응시키고 조작까지 가능한 프로토타입을 소개하였다[8]. 해당 인터페이스 는 가상의 조작 인터페이스 대응을 통해 복잡한 과정 이나 지연 없이 소형 전자기기의 기능을 체험할 수 있 으며 감각형 현실 객체를 통해 미약하게나마 사용자 입력에 대한 즉시적 촉감 피드백을 느낄 수 있다. 2.2 적응적 사용자 인터페이스 증강현실 분야의 적응적 사용자 인터페이스는 응용 프로그램의 상태에 따라 증강 요소의 형태가 사용자 의 편의를 위해 동적으로 변화하는 인터페이스를 말 한다. 앞서 언급한 것처럼, 가상의 정보를 가공하는 것은 현실 공간에 존재하는 객체를 변형하는 것보다 적은 노력으로 큰 결과를 얻을 수 있으며 제약이 거 의 없다. 따라서 특정 순간에 사용자의 의도나 환경의 변화를 정확하게 분류하고 인지할수록 적응적 사용자 인터페이스 제공이 수월해진다. 사용자의 의도를 파 악하는 인터페이스의 예로, Lepinski, J는 다양한 현실 객체를 제어할 수 있는 증강현실 기반의 동적 컨텍스 트 메뉴인 Stick-anywhere computer를 제안하였다[9]. 이 메뉴는 물리적 태그형태에 시각정보가 투영되는 형 태로 제공되며, 특정 객체에 근접할 경우 해당 객체를 제어할 수 있는 메뉴로 변형된다. 이러한 적응적 형태 변형을 통해 다양한 제어 인터페이스를 지녀야하는 사용자의 부담을 덜고자 하였다. 환경의 변화에 따라 적응하는 증강현실 기반 인터 페이스의 대표적 예는 Active text drawing 인터페이스 를 들 수 있다[10]. 가상의 텍스트를 통해 현실 공간 에 정보를 증강할 때, 정적인 표시법을 피해 주변 픽 셀의 색상 정보를 분석하여 가시성이 높은 색상이나 디자인으로 재가공하여 뿌려주는 인터페이스 기술을 제안하였다. 이처럼 적응적 증강현실 사용자 인터페이 스 엔진의 추가로 실내는 물론 조명 변동이 심한 실 외에서까지 사용자에게 편안한 시각 인터페이스를 제 공하는 수준의 기술은 충분한 사용성 평가를 거쳐 유 용성이 검증된 단계이다. 16 특집원고 I 유기적 상호작용을 위한 증강현실 기반 사용자 인터페이스 기술 및 전망
그림 2 적응적 사용자 인터페이스: 좌측부터, Stick-anywhere computer, Active text drawing 2.3 어포던스 지원 사용자 인터페이스 어포던스(Affordance) 지원 사용자 인터페이스는 대 부분의 단계별 과업을 포함하는 응용 프로그램 사용 을 돕는데 증강현실 기술이 활용되는 인터페이스를 말한다. 대부분의 과업은 일련의 작동 방식 단계를 포 함하기 때문에 이에 익숙하지 않은 사용자들을 올바 르게 인도하기 위한 가이드는 매우 유용하다. 여기에 서 어포던스 지원이라 함은 작동 방식에 대한 강력한 단서를 제공함을 의미한다. 실제로, 복잡도와 사용자 의 미숙한 입력으로 인한 위험부담에 따라 다양한 관 련 응용 시스템들이 존재한다. 일에 대한 전문성이 요 구될 뿐, 일의 복잡도는 높지 않지만 위험 부담이 매 우 큰 의학 수술 가이드, 일의 복잡도와 위험 부담이 적당히 높은 특정 장비의 유지/보수, 그리고 일의 복 잡도나 위험부담 모두 높지 않지만 새로운 콘텐츠를 생산해내는 가상 블록 조립 등이 대표적인 예이다. Kalkofen은 사람의 인체 모형에 복잡한 시각 정보를 증강하여 보다 일정한 작업과정에 따라 수술을 간접 체험 해보는 연구를 진행하였다[11]. 이러한 기술은 이 전의 모니터 환경 또는 가상공간에서 수술 관련 지식 을 습득하던 환경보다 더욱 사실적인 몰입감을 제공 해 줄 수 있는 강점이 있다. 하지만 위험부담이 매우 크기 때문에 가이드를 통한 학습단계에 수준에 그치 고 있다. Henderson은 개인 장비를 유지 및 보수하는 데 증강현실 기술을 응용하였다[12]. 여기서는 떨어진 거리로부터 문제가 있는 위치까지 사용자를 유도하기 위한 인터페이스와 해당 위치에서의 정합된 애니메이 션을 제공한다. 또한, 디스플레이 방식의 차이에 따른 성능의 차이를 통해 증강현실이 절차적인 업무에 보 다 효율적임을 확인하였다. 새로운 가상 콘텐츠 생성 목적의 CUI에서는 증강현실 기반의 블록 조립 가이 드 기술을 소개하였다[13]. 조립에 활용되는 정의된 가 상 블록의 결합 가능 구조와 현재의 조립 상태를 인지 하여 적절한 결합 가이드를 제공한다. 결합 가능한 부 분을 사전에 3차원 화살표로 지시하는 preliminary guidance와 결합이 완료 전 불가능한 결합임을 익숙한 색 상 메타포로 지시하는 interim guidance를 통해 사용자 의 블록 조립을 돕는다. 3. 증강현실 기반 유기적 사용자 인터페이스 기존의 증강현실 기반 사용자 인터페이스의 전반적 인 분석을 통해 응용 시스템과 사용자 간 보다 유기 적인 상호작용을 위한 증강현실 기반 사용자 인터페 이스의 예측이 가능하다. 따라서 본 절에서는 먼저 핵 심 용어인 증강형태(Augmented Form)를 재정의 하고 이를 적극 활용하는 증강현실 기반 유기적 사용자 인 터페이스가 갖추어야 할 세 특징을 아래와 같이 재구 성한다. 그림 3 어포던스 지원 사용자 인터페이스: 좌측부터, 의료 수술 가이드, 개인 장비 유지/보수, 블록 조립 가이드 2011. 8 정보과학회지 17
증강형태(Augmented Form) - 사용자가 다감각 디 바이스로부터 획득가능한 시/청/촉각을 포함한 오감 정보를 현실 공간에서 체험할 수 있게 하는 가상의 부 가적 정보 전달 개체 즉시적 실감 피드백(Spontaneous Feedback) - 즉시 적 증감 피드백은 사용자가 시스템으로부터 피드 백을 지연없이 재빠르게 전달 받음과 동시에 사 실적으로 제공되어야 함을 말한다. 기존의 즉시 적 사용자 인터페이스에서는 대부분 즉각적으로 사용자에게 피드백을 제공하고는 있지만 피드백 이 연관성이 적거나 단순한 경우가 대부분이다. 증강현실 기반 사용자 인터페이스는 복잡한 응용 에서도 동작하는 것을 목표로 하므로 증강형태 기반 풍부한 피드백을 이용하여 실감성을 높이는 부분이 요구된다. 적응적 형태 변형(Adaptive Transform) - 적응적 형태 변형 특징은 상황에 맞게 동적으로 증강형 태가 재구성되는 것을 말한다. 기존의 적응적 형 태 변형에서도 사용자의 의도나 환경 변화를 인 지하여 반영하려는 노력이 많았지만 아직은 단순 한 작업에서 만족할 만한 수준이다. 따라서, 복잡 한 응용에서 유동적인 환경의 정보와 사용자의 의도를 실시간 반영하는 기술[14]과 이 정보를 활 용하여 해당 기술과 연관된 증강형태로의 재현이 필요하다. 어포던스 가이드(Affordance Guide) - 절차적 가이 드는 일련의 단계 작업을 능숙하게 해결해 나가기 위해 적절한 증강형태를 제공함을 말한다. 기존 인터페이스에서도 응용에 맞게 다양한 방식으로 절차적 가이드를 제시하고 실험을 통해 장점을 검증하였다. 보완하자면 사용자, 가이드 정도(guidance level), 그리고 증강형태의 관계를 고려하여 보다 긴밀하고 효과적인 절차적 가이드가 필요하다. 증강현실 기반 유기적 사용자 인터페이스의 최종 목 표는 복잡한 응용 시스템/소프트웨어를 사용함에 있 어 기존 인터페이스의 성능에 뒤처지지 않으면서 높 은 행동 유도성을 보장하는 인터페이스이다. 또한 주 요 대상은 다양한 절차적 응용 소프트웨어를 사용하는 일반 사용자이다. 이들에게 앞서 이야기한 세 가지 주 요 특징이 유연하게 조합된 증강현실 기반 유기적 UI 는 대부분의 학습시간 단축을 가져올 것으로 기대한 다. 그리고 주요 특징이 모두 적절하게 조화를 이룰 때 비로소 증강현실 기반 유기적 사용자 인터페이스의 차별성을 지닌다고 이야기 할 수 있을 것이다(그림 4). 그림 4 증강현실 기반 유기적 사용자 인터페이스의 주요 특징 4. 결론 및 전망 본 논문을 통해 사용자와 응용 소프트웨어 간 유기 적 상호작용의 필요성 및 중요성에 대해 알아보고 이 를 위한 기존의 증강현실 기술을 활용한 사용자 인터 페이스 분류/소개하였다. 또한 각 인터페이스 기술 특 징의 분석을 통해 앞으로의 상호작용을 이끌 것으로 예상되는 증강현실 기반 유기적 사용자 인터페이스에 대해 살펴보았다. 지금도 증강현실 기술에 대한 관심이 끊이질 않고 있지만, 머지않은 미래에는 조금의 거부감도 없이 증 강현실이 우리 생활에 스며들게 될 것이다. 즉, 모니 터나 가상공간에서만 이루어지던 작업들이 아주 자연 스럽게 현실 공간에서 이루어질 수 있는 날이 다가올 것이다. 따라서 증강현실 기반 유기적 사용자 인터페 이스는 이러한 상황에서의 사용자의 인지적 부담을 최소화하고 복잡한 응용 소프트웨어 활용의 편리성과 직관성 증대에 크게 기여할 것으로 기대한다. 또한, 맥 락인지, 상황인지, IoT 기술 등과 유연한 결합으로 미 래의 지능형 공간에서 혁신적인 소프트웨어 인터페이 스의 한 부분을 담당할 것으로 전망한다. 참고문헌 [1] 강창구, 하태진, 오유수, 우운택, 유비쿼터스 가상현 실 구현을 위한 증강현실 콘텐츠 기술과 응용, 전자 공학회지, 제38권, 제6호, pp. 449-455, 2011. [2] 김동철, 이주화, 우운택, 증강현실 2.0 기술과 콘텐 츠응용기술 현황 및 전망, 한국통신학회지, 제28권, 제6호, pp. 54-60, 2011. [ 3 ] Vertegaal, R., and Poupyrev, I., Organic User Interfaces, ACM Communications, Vol. 51, No. 6, 2008. 18 특집원고 I 유기적 상호작용을 위한 증강현실 기반 사용자 인터페이스 기술 및 전망
[4] 이형묵, 김동철, 우운택, 가상 객체 조작을 위한 차세 대 증강현실 인터페이스 기술 및 전망, 정보처리학 회지, 제17권, 제5호, pp. 60-66, 2010. [5] 이민경, 우운택, 증강현실 기술 연구 동향 및 전망, 한국정보처리학회 학회지, Vol. 11, No. 1, pp. 29-40, 2004. [ 6 ] Yoon, H. and Woo, W., Design and Implementation of a Universal Appliance Controller Based on Selective Interaction Modes, IEEE Transactions on Consumer Electronics, vol. 54, No. 4, pp. 1722-1729, 2008. [ 7 ] Iwamoto, T., Tatezono, M., Hoshi, T., Shinoda, H., Airborne Ultrasound Tactile Display, SIGGRAPH (New Tech Demos), 2008. [ 8 ] Akaoka, E. and Vertegaal, R., DisplayObject: Prototyping Functional Physical Interfaces on 3D Styrofoam, Paper, or Cardboard Models, In Proc. of ACM TEI 10. pp.49-56. 2010. [ 9 ] Lepinski, J., Akaoka, E., and Vertegaal, R., Context menus for the real world: the stick-anywhere computer, In proceedings of the 27th international conference extended abstracts on human factors in computing systems, (CHI'09 EA), 2009. [10] Gabbard, JL, Swan, II. J. E., Hix, D., Kim, S., and Fitch, G., Active Text Drawing Styles for Outdoor Augmented Reality: A User-Based Study and Design Implications, Proc. IEEE Virtual Reality, pp. 35-42, 2007. [11] Kalkofen, D., Mendez, E. and Schmalstieg, D., Comprehensible visualization for augmented reality, IEEE Transactions on Visualization and Computer Graphics, Vol. 15, No. 2, 193-204, 2009. [12] Henderson S, and Feiner, S., Evaluating the Benefits of Augmented Reality for Task Localization in Maintenance of an Armored Personnel Carrier Turret, International Symposium on Mixed and Augmented Reality, pp. 135-144, 2009. [13] Lee, H., Billinghurst, M., and Woo, W., Two-handed tangible interaction techniques for composing augmented blocks, Springer Journal of Virtual Reality (spvr), vol. 15, No. 2-3, pp. 133-146, 2010. [14] 신춘성, 이원우, 오유수, 서영정, 김혜진, 윤효석, 최 아영, 이영호, 우운택, CAMAR 2.0: 사용자 참여 형 맥락 인식 모바일 증강현실, SK Telecommunication, Vol.19, No. 6, pp.860-876, 2009 이 형 묵 2007 아주대학교 정보및컴퓨터공학부(학사) 2009 광주과학기술원 정보통신공학과(석사) 2009~현재 광주과학기술원 정보통신공학과(박 사과정) 관심분야 : 증강현실 상호작용, 유기적 인터페이 스, HCI, 모바일/웨어러블 컴퓨팅 E-mail : hmooklee@gist.ac.kr 우 운 택 1989 경북대학교 전자공학과(학사) 1991 포항공과대학교 전기전자공학과(석사) 1998 University of Southern California, Electrical Engineering System(박사) 2001~현재 광주과학기술원 정보기전공학부(교수) 2005~2006 문화기술연구센터(센터장) 관심분야 : 증강현실, HCI, 3D 비젼, 유비쿼터스 컴퓨팅, 문화기술 등 E-mail : wwoo@gist.ac.kr 2011. 8 정보과학회지 19