WII 컨트롤러를 이용한 사람과 로봇간 원격작동 사용자 인터페이스 User Interfaces for Visual Telepresence in Human-Robot Interaction Using Wii Controller 장수형, Su-Hyung Jang*, 윤종원, Jong-Won Yoon**, 조성배, Sung-Bae Cho*** 요약 사람과 로봇간 인터페이스 연구가 활발히 진행되어감에 따라 원격으로 로봇을 조종하고 그 로봇을 통해 환경 정보를 제공받는 텔레프레전스 시스템에 관심이 증가하고 있다. 로봇이 움직임 따라 자연스러운 텔레프레전스 서비 스를 제공하기 위해서는 사용자 행동인식이 매우 중요하다. 이전에 제안되었던 텔레프레전스의 사용자의 이동 인식 시스템은 개발이 어려우며 많은 비용이 요구되고 사용자와 로봇간의 상호작용에 많은 한계를 보여왔다. 본논문에서 는 닌텐도의 게임기 WII의 적외선 리모콘을 이용하여 사용자의 이동 및 시선을 파악하고 그 정보를 바탕으로 원거리 의 로봇(Sony의 AIBO)을 움직여 사용자가 원하는 정보를 HMD를 통해 수신할 수 있는 시스템을 제안한다. Abstract As studies on more realistic human-robot interface are being actively carried out, people s interests about telepresence which remotely controls robot and obtains environmental information through video display are increasing. In order to provide natural telepresence services by moving a remote robot, it is required to recognize user s behaviors. The recognition of user movements used in previous telepresence system was difficult and costly to be implemented, limited in its applications to human-robot interaction. In this paper, using the Nintendo s Wii controller getting a lot of attention in these days and infrared LEDs, we propose an immersive user interface that easily recognizes user s position and gaze direction and provides remote video information through HMD. 핵심어: Immersive User Interface, Telepresence, Head Tracking, Head Mounted Display, Wiimote Control 본 연구는 지식경제부 및 정보통신연구진흥원의 대학 IT연구센터 지원사업의 연구결과로 수행되었음. *주저자 : 연세대학교 컴퓨터과학과 석사과정 e-mail: neogates@sclab.yonsei.ac.kr **공동저자 : 연세대학교 컴퓨터과학과 학부과정 e-mail: jwyoon@sclab.yonsei.ac.kr ***교신저자 : 연세대학교 컴퓨터과학과 교수; e-mail: sbcho@cs.yonsei.ac.kr 27
1. 서론 최근 로봇산업이 발달함에 따라 로봇을 효과적으로 도입하 기 위한 사용자 인터페이스에 대한 연구가 활발히 진행되고 있는데, 원격으로 로봇을 제어하거나 영상정보를 획득하여 보안이나 감시, 엔터테인먼트 등의 다양한 응용 분야에 로봇 을 적용한다. 텔레프레전스(Telepresence)는 사용자로 하여 금 멀리 떨어진 공간의 정보를 획득하는 기술로, 원격으로 로봇을 제어하기 위해 유용한 기술로서, 떨어진 공간의 시각 정보를 활용하는 것은 텔레프레전스 시스템의 핵심 요소이 다. 만약 로봇이 사람과 같은 시각 구동 구조를 가진다면, 사람들은 매우 편안하고 자연스럽게 로봇을 구동하여 원격 의 시각 정보를 획득할 수 있다. 하지만 기존 텔레프레전스 의 많은 로봇들은 사람을 대신한 시야확보 등의 단순한 동 작만을 제공하거나 고가의 장비 구축을 요구하였다. 결국 이 러한 텔레프레전스 시스템의 구현은 매우 어렵고 비용이 많 이 들기 때문에 인간-로봇 상호작용에 적용되기에 많은 한 계가 있으며 대중적으로 널리 쓰이는데 장애로 작용한다. 따 라서 인간-로봇 상호작용에 있어서 시각적인 텔레프레전스 를 구현하기 위해 보다 자연스럽고 직관적이고 정확성을 해 치지 않는 범위 내에서의 가볍고 단순한 장비를 사용한 사 용자 인터페이스의 개발이 요구된다. 본 논문에서는 닌텐도 사의 Wii 컨트롤러와 적외선 LED 등 비교적 저렴하고 단순 한 보급형 디바이스(Device)를 이용하여 사용자의 위치와 시 선을 추적하는 몰입형 사용자 인터페이스를 제안한다. 또한 소니(Sony)사의 AIBO 로봇을 제안하는 인터페이스와 연결 하여 사용자의 움직임에 따라 로봇이 움직이고 HMD(Head Mounted Display)를 통해 로봇의 카메라로부터 수집된 영 상을 출력하는 과정(그림 1)을 정확도 테스트와 사용성 평가 를 통해 이 시스템의 유용성을 증명한다. 그림 1. 제안하는 시스템 시연 장면 2. 배경연구 현재 텔레프레전스 시스템은 네트워크와 디지털 디스플레이 기술의 발전에 힘입어 각광받고 있는 기술 중 하나이다. 사 용자를 공간의 제약에서 해방시키는 이 시스템은 그 특성상 원격회의에 적극적으로 사용되는데 HP, CISCO, 폴리넷 등 에서 해당 서비스가 필요한 회사들을 상대로 관련 솔루션을 개발 및 판매하고 있다. 그 외에 원격 수술, 원격 비행기 조 종 등 여러 분야에서 텔레프레전스 시스템 적용의 다양한 시도가 나오고 있다. 시장조사기관인 프로스트 앤드 설리번 의 예측[1]에 따르면, 텔레프레전스 세계 시장규모는 해마다 56%씩 증가해 2013년에는 12억 달러 규모를 웃돌 것으로 전망하고 있다. 이러한 수요와 함께 관련 연구도 활발하게 진행되고 있는데 Shiratsuchi[2] 등은 사람에게 화학물질 등 의 요소로 인한 위험지역에서 사용자가 원하는 정보를 대신 수집해주는 원격 카메라를 Telepresence 시스템으로서 제안 하였다. 이 연구에서 Shiratsuchi는 원거리에 있는 사람과 최대한 동일한 동작을 하는 카메라의 움직임을 강조하였다. 또한 Hans-w. Gellersen[3] 등은 키보드 동작이나 적외선 등을 이용하여 사용자의 움직임을 파악하여 원거리에 있는 동료에게 소리와 불빛으로 신호를 보내는 환경을 구축한 바 있다. 그러나 앞서 서론에서 밝혔듯 대부분의 연구가 고가의 장비를 요구하거나 원격 로봇의 단순한 행동을 구현하는데 그 한계를 보이고 있다. 3. 플랫폼 제안하는 플랫폼은 크게 유저 디바이스와 원격행동 디바이 스 등 2개의 디바이스 그룹과, 사용자 행동추출 모듈, 로봇 행동명령 생성모듈, 로봇영상처리 모듈 등 정보처리 모듈 3 가지로 구성된다(그림 2). 첫 번째 사용자 디바이스는 사용 자의 몸에 직접 장치하는 하드웨어들의 집합이다. 여기에는 사용자의 상황을 분석하기 위한 적외선 발신기를 장착한 헬 멧과 적외선 수신기가 있으며, 원격 로봇이 전송하는 화면을 보기 위한 HMD가 포함된다. 또 다른 디바이스 그룹인 원격 행동 디바이스는 사용자의 행동을 원격에서 그대로 행동하 여 사용자가 원하는 정보를 수집할 임무를 수행할 디바이스 들의 모음이다. 사용자 디바이스와 원격 행동 디바이스간 데 이터를 중계 및 가공하는 부분이 정보처리 모듈이다. 이중 첫 번째 사용자 행동추출 모듈은 유저 디바이스가 적외선 발신기과 수신기를 통해 수집한 데이터를 블루투스를 이용 해 전송받아 사용자의 위치와 시선방향 등을 추론한다. 이렇 게 추론된 정보는 두 번째 모듈인 로봇행동생성 모듈에서 사용하게 된다. 사용자의 행동과 동일한 행동을 하기 위해 원격 로봇이 어떻게 움직여야 하는지 추론하여 원격행동 디 28
그림 2. 제안하는 시스템 구조 바이스는 행동 명령을 wireless lan을 통해 전송한다. 이를 통해 원격행동 디바이스로 구성된 원격 로봇은 동작명령을 수행하며 사용자가 원하는 정보를 수집하는 작업을 한다. 원 격행동 디바이스의 카메라로 수집된 영상 데이터는 정보처 리 모듈의 세 번째 모듈인 로봇영상처리 모듈에서 처리된다. 수집된 데이터의 해상도 변경 및 노이즈 제거 등을 수행하 여 다시 사용자 디아비스의 HMD로 영상출력을 한다. 이러 한 과정을 통하여 사용자와 원격로봇간의 양방향 동기화를 이룬다. 이러한 사용자와 AIBO의 양방향 동기화는 사용자에 게 필요한 데이터를 원활히 제공하며 극도의 몰입감을 제공 한다. 3.1 유저 디바이스 사용자의 위치 및 시선을 파악하기 위해 머리 부분에 4개의 적외선 발신기를 부착할 수 있도록 헬멧을 제작하였다. 사용 자가 이 헬멧을 착용하였을 때 천장에서는 적외선 수신기가 적외선 발신정보를 수집한다. 이 연구에서는 적외선 수신기 를 Wiimote Controller를 사용하였다. Wiimote Controller 는 닌텐도에서 개발한 게임 Wii에서 사용자의 행동을 인식 하기 위해 사용되는 조이스틱이다. D-Pad와 스피커, 가속 도 센서, 4개의 LED, 8개의 버튼 등으로 구성된 위모트는 다양한 방법으로 데이터를 수집 및 생산하여 블루투스를 이 용해 Wii 본체에 전송한다. 본 논문에서 제안하는 플랫폼에 서는 Wiimote Controller가 블루투스를 통해 정보처리 모듈 이 설치되어 있는 서버로 데이터를 전송한다. 그림 3. 적외선 LED 부착 헬멧(a)과 Wii 리모컨(b) 3.2 원격행동 디바이스 사용자가 직접 정보를 수집할 수 없는 원거리에서 대신 정 보를 수집하기 위한 디바이스들의 모음인 원격행동 디바이 스는 사용자가 필요한 정보를 수집하기 위한 카메라 와 카 메라를 사용자의 의도에 부합할 수 있게 이동 및 조절이 가 능한 디바이스, 명령을 수신할 무선서버의 모음이다. 이 플 랫폼에서는 Sony의 AIBO가 가장 적합한 디바이스들의 모음 이라고 판단하여 사용하였다. AIBO는 로봇행동생성 모듈에 서 내리는 명령에 따라 이동하며 카메라로 주위 환경을 촬 영하여 로봇영상처리 모듈로 영상정보를 송출한다. 3.3 사용자 행동추출 모듈 앞서 User 디바이스에서 수집한 데이터를 블루투스를 통해 전송받은 사용자 행동추출 모듈은 사용자가 착용한 헬멧위 의 4개의 적외선 발신 신호를 해석하여 사용자의 위치 및 시선방향 등을 추론한다. 사용자는 머리를 상하, 혹은 좌우 로 회전시킴으로써 가상 작업공간을 탐사할 수 있다. 그림 4 는 측정 가능한 사용자 머리의 움직임을 보여준다. 29
(4) 그 외에 사용자의 이동 방향과 거리는 수식(5),(6) 에 따라 계산한다. 그림 4. 사용자 머리의 움직임 (5) 본 논문에서는 헬멧의 앞뒤에 부착된 두 개의 적외선 LED 의 위치좌표를 바탕으로 사용자 머리의 상하 회전 각도( ) 와 좌우 회전 각도( )를 계산하는 움직임 모형을 설계하였 다. 회전 각도를 구하기 위하여 우선 두 개의 적외선 신호의 위치 초기값 을 이용하여, 신호간의 초 기 거리 를 측정한다. (1) 사용자의 머리가 움직일 경우, 새로운 적외선 신호의 위치값 를 측정하고, 수식 (1)을 이용하여 새로운 거리 를 계 산한다. 이때 상하 회전 각도 와 좌우 회전 각도 를 각 각 cos함수의 역함수와 tan함수의 역함수를 이용하여 수식 (2)와 같이 계산한다. (2) 초기의 사용자 시선을 영점으로 하여 계산된 와 는 그 림 1에서처럼 원통 형태를 가지는 가상 작업공간의 한 점에 대응되어 거대한 가상 작업공간 중 일부분을 렌더링한 영상 을 사용자에게 제공한다. 사용자의 시점 방향이 로 표현 될 때, 좌측 최하단을 (0,0)으로 기준하는 너비 와 높이 의 가상 작업공간 상에서 시점 P(x, y)은 수식 (3)와 같이 결정된다. (3) 이 때 와 는 각각 최대 상하 회전 각도와 최대 좌우 회전 각도를 의미하며, 수식 (4)와 같이 정의된다. (6) 3.4 로봇행동모듈 사용자 행동추출 모듈에서 계산한 사용자의 위치와 시선을 원격로봇에 동기화시키기 위해 로봇에 어떤 행동명령을 내 려야 하는지 결정해야 한다. [표 1]은 제안하는 시스템에 사 용된 AIBO의 관절 자유도를 나타낸다. 사용자의 움직임을 허락된 자유도 내에서 원격행동 디바이스에서 재현할 수 있 게 행동명령을 만들어 무선랜을 통하여 전송한다. 표 1. 아이보의 관절 자유도 범위 Range Description -91-+91 목 관절 좌우 -16-+44 목 관절 상하 -56--3 입 상하 오른쪽 다리 1번 관절(전체) 앞뒤로 회전 오른쪽 다리 1번 관절 좌우 오른쪽 다리 2번 관절 상하 오른쪽 뒷다리 1번 관절 회전 오른쪽 뒷다리 1번 좌우 오른쪽 뒷다리 2번 관절 상하 왼쪽 다리 1번 관절(전체) 앞뒤로 회전 왼쪽 다리 1번 관절 좌우 왼쪽 다리 2번 관절 상하 왼쪽 뒷다리 1번 관절 회전 왼쪽 뒷다리 1번 좌우 왼쪽 뒷다리 2번 관절 상하 4. 실험 4.1 정확도 측정 사용자 행동 샘플링 모듈에서 처리하는 사용자의 시선과 이 동거리 및 방향 측정이 정확도는 제안하는 텔레프레전스의 가장 중요한 성능평가 요소 중 하나이다. 사용자의 움직임을 정확히 파악하지 못한다면 몰입도는 그만큼 저하되고 작업 속도와 효율에도 부정적 영향을 미칠 수 있기 때문이다. 정 확도를 측정하기 위해 사용자의 머리의 좌우 회전 각도와 30
상하 회전각도를 서서히 증가시키면서 실제 사용자 머리의 각도와 측정된 각도를 비교하였다. 본 논문에서는 제안하는 텔레프레전스 아키텍처의 사용성을 평가하기 위한 실험을 다음과 같이 구성하였다. 단순 원격 카메라로 수집하기 힘든 사각지역의 데이터를 텔 레프레전스 시스템을 이용해 쉽고 유용하게 수집할 수 있는 지 확인하기 위해 특정공간의 벽에 숫자를 써놓은 스티커를 부착하여 확인 테스트 했다. 확인 테스트 후, 설문조사를 수 행하였다. 설문조사의 문항은 사용성 평가에 널리 사용되는 SUS(system usability sacle)의 10문항을 사용하였다. 피험 자는 전자기기 다루는데 능숙한 25살에서 31살 사이의 연세 대학교 재학 중인 대학원생 15명(남자 14, 여자 1)이다. 각 문항의 응답은 Linkert 척도를 사용하여 강한 부정, 부정, 보통, 긍정, 강한 긍정의 1에서 5까지의 5개 답 중 하나를 선택하도록 했다. 홀수번 질의는 점수가 높을수록 짝수번 질 의는 점수가 낮을수록 사용자에게 선호되는 시스템으로 볼 수 있다. 최종 결과는 0부터 100사이의 값을 갖는 점수로 환산되며 낮은 점수가 긍정적인 결과로 나타나는 홀수번 질 의는 최종 계산시 만점에서 그 점수를 제해 합산한다. 표 3. SUS질의 1 나는 이 시스템을 자주 사용할 것이다. 2 나는 이 시스템이 불필요하게 복잡하다고 생각한다. 3 나는 이 시스템이 사용하기 쉽다고 생각한다. 그림 5. 동작 성능 분석 그림 5(a), (b)는 각각 좌우 회전 각도와 상하 회전 각도를 증가시키면서 측정한 각도와 실제 회전 각도를 비교한 그래 프를 나타낸다. 제안하는 Wii 리모컨과 적외선 LED를 이용 한 사용자 머리의 회전 각도 인식 방법은 실제 각도에서 크 게 벗어나지 않는 범위 안에서 사용자 머리의 회전 각도를 측정하는 것을 확인할 수 있다. [표 1]는 좌우 회전 각도 인 식과 상하 회전 각도 인식에 있어서 평균 오차 각도와 최대 오차 각도를 보여준다. 표 2. 사용자 머리 회전 각도 측정의 오차 각도 평균 오류 각도( ) 최대 오류 각도( ) 좌우 회전 1.408 3.967 상하 회전 1.786 5.377 4 나는 이 시스템을 사용하기 위해서는 전문가의 도움이 필요하다고 생각한다. 나는 이 시스템의 다양한 기능이 조직적으로 잘 결합되어 5 있다고 생각한다. 6 나는 이 시스템이 불안정 한 것 같다고 생각한다. 나는 많은 사람들이 이 시스템의 사용법을 매우 빠르게 익힐 7 것이라고 생각한다. 8 나는 이 시스템이 큰 방해가 된다고 생각한다. 9 나는 이 시스템을 사용하는 데에 자부심을 느낀다. 10 나는 이 시스템을 계속 사용하기 위해 많은 것들을 배워야 한다고 생각한다. 그림 6은 각 피험자별 SUS 점수와 그 평균을 보여주는데 설문 결과가 대체로 사용자들이 시스템에 우호적으로 인식 하고 있으며 특히 3번과 7번 등에서 높은 점수를 얻은 것으 로 미루어 사용자 접근성과 친근성에서 우수한 성능을 보이 고 있음을 확인할 수 있다. 이는 저가의 대중적 텔레프레전스 의 구축이라는 이 시스템의 목적을 달성하고 있음 증명한다. 4.2 사용성 평가 31
models from real environments. ISPRS J. Photogrammetry Remote Sensing, vol. 54. pp.1-22. [6] Lee, S. Gerard, K. (2008). Effects of haptic feedback, stereoscopy, and image resolution on per formance and presence in remote navigation. Human-Comuter Studies, vol. 66. pp.701-717. [7] Halme, A. Suomela, J. Savela, M. (1999). Applying telepre sence and augmented reality to teleoperate field robots. Robotics and Autonomous Robots, vol.26, pp.117-125. 4. 결론 그림 6. 제안하는 시스템의 SUS 사용성 평가 결과 본 논문에서는 닌텐도의 Wii와 적외선 발신기, HMD으로 구 성된 사용자 디바이스와 원격행동 디바이스, 정보처리 모듈 등을 이용한 텔레프레전스 플랫폼을 제안하였다. 우리가 흔 히 저가에 쉽게 구할 수 있는 장비를 이용하여 구축한 이 플랫폼은 기존의 다른 고가의 텔레프레전스 시스템에 비교 해보았을 때 활용성과 몰입성에서 동등 이상의 우수한 성능 을 내는 것으로 사용성 평가와 정확도 테스트를 통해 입증 했다. 비록 제한된 환경 내에서 구동되는 시스템이나 이것은 향후 텔레프레전스 시스템의 범용화에 기여할 수 있으리라 기대한다. 향후 연구로는 현재 이 플랫폼에서의 사용하고 있 는 이동 및 네비게이션에 한정되어 있는 로봇의 기능을 한 층 강화하여 휴머노이드 로봇을 이용한 다양한 행동을 바탕 으로한 원격 작업이 가능한 플랫폼을 연구할 예정이다. 참고문헌 [1] 프론스트 앤 설리번, http://www.frost.com/ [2] Shiratsuchi, K. Kawata, K. Poorten E. V. and Yokokohji, Y. (2007). Design and evaluation of a telepresence vision system for manipulation tasks. Proc. IEEE Int. Conf. on Robotics and Automation. pp.4313-4318. [3] Gellersen, H. Beigl, M. (1999). Ambient Telep resence: Colleague Awareness in Smart Envir onments. Managing Interactions in Smart Envir onments. pp.80-88. [4] Krapichler, C. Haubner, M. Engelbrecht R. and Englmeier, K. (1998). VR interaction techniques for medical imaging applications. Computer Methods and Programs in Biomedicine. vol. 56(1). pp.65-74. [5] Sequiera, V. Ng, K. Wolfart, E. Concalves, J. and Hogg, D. (1999). Automated reconstruction of 3D [8] Nitzsche, N. Hanebeck, U. Schmidt, G. (2001). Mobile haptic interaction with extended real or virtual environments. In: Proceedings of 10th IEEE Inter national Workshop on Robot and Human Interactive Communication. pp.313-318. [9] Rininsland, H. (1999). ARTEMIS. a telemanipulator for cardiac surgery. European J. of Cardio-thoraci c surgery. vol. 16. pp.106-111. [10] Julian, B. Paul, S. John, W. and Annaliese, P. (1999). A helmet mounted display system with active gaze control for visual telepresence. Mechatronics 9, pp. 703-716. 장 수 형 1997년 3월 2004년 2월 건국대학교 전 자공학과 졸업(공학사). 2008년 2월 현 재 연세대학교 인지과학 협동과정 석사과 정. 관심분야는 진화연산, 인공생명, 에이 전트 학습 등임. 윤 종 원 2005년 3월 현재 연세대학교 컴퓨터과 학과 재학중. 관심분야는 인공생명, 에이 전트, 진화연산 등임. 조 성 배 1988년 연세대학교 전산과학과(학사). 1990 년 한국과학기술원 전산학과(석사). 1993 년 한국과학기술원 전산학과(박사). 1993 년 ~ 1995년 일본 ATR 인간정보통신연구 소 객원 연구원. 1998년 호주 Univ. of New South Wales 초청연구원. 1995년 ~ 현재 연세대학교 컴퓨터과학과 정교수. 관심분야는 신경망, 패턴인식, 지능정 보처리 등임. 32