DBPIA-NURIMEDIA

Size: px

Start display at page:

Download "DBPIA-NURIMEDIA"

진혁 두
8 years ago
Views:

1 Journal of the Ergonomics Society of Korea Vol. 31, No. 4 pp , August Study on Gesture and Voice-based Interaction in Perspective of a Presentation Support Tool Sangho Ha, Soyoung Park, Hyesoo Hong, Namhun Kim The School of Design and Human Engineering, Ulsan National Institute of Science and Technology (UNIST), 100 Banyeon-ri, Ulsan ABSTRACT Objective: This study aims to implement a non-contact gesture-based interface for presentation purposes and to analyze the effect of the proposed interface as information transfer assisted device. Background: Recently, research on control device using gesture recognition or speech recognition is being conducted with rapid technological growth in UI/UX area and appearance of smart service products which requires a new human-machine interface. However, few quantitative researches on practical effects of the new interface type have been done relatively, while activities on system implementation are very popular. Method: The system presented in this study is implemented with KINECT sensor offered by Microsoft Corporation. To investigate whether the proposed system is effective as a presentation support tool or not, we conduct experiments by giving several lectures to 40 participants in both a traditional lecture room(keyboard-based presentation control) and a non-contact gesture-based lecture room(kinect-based presentation control), evaluating their interests and immersion based on contents of the lecture and lecturing methods, and analyzing their understanding about contents of the lecture. Result: We check that whether the gesture-based presentation system can play effective role as presentation supporting tools or not depending on the level of difficulty of contents using ANOVA. Conclusion: We check that a non-contact gesture-based interface is a meaningful tool as a sportive device when delivering easy and simple information. However, the effect can vary with the contents and the level of difficulty of information provided. Application: The results presented in this paper might help to design a new human-machine(computer) interface for communication support tools. Keywords: User interface design, Non-touch gesture-based interaction, Smart lecture room, KINECT 1. Introduction 최근 센서 및 하드웨어 기술의 급속한 발전과 함께 로봇 공학과 인지공학 분야에서 새로운 방식의 비 접촉 기반 인 간-기계 인터페이스 분야의 연구가 활발해지고 있다. 특히, 특수 목적 시스템이 아닌, 일상생활에서의 'SMART' 제품에 대한 관심이 높아져 APPLE 社 에서는 음성 인식을 통해 스마트폰 혹은 TV를 제어할 수 있는 SIRI를, 그리고 삼성에 서는 모션 인식을 통하여 리모컨 없이 손으로 원거리에서 볼륨이나 채널을 제어할 수 있는 스마트TV를 출시하였다 (Kim, 2012). 특히, 최근에 이러한 비 접촉 기반 인식 기 술은 엔터테인먼트 분야에서 더 활발히 적용되어 왔는데, Nintendo, SONY, 그리고 Microsoft 와 같은 세계적인 게임용 하드웨어 개발업체에서 모션 인식 센서와 자이로 센 서를 이용한 하드웨어 플랫폼(Wii, PlayStation, Xbox ) Corresponding Author: Namhun Kim. The School of Design and Human Engineering, Ulsan National Institute of Science and Technology (UNIST), 100 Banyeon-ri, Ulsan Phone: , nhkim@unist.ac.kr Copyright@2012 by Ergonomics Society of Korea(pISSN: eissn: ). All right reserved. cc This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License( which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

2 594 Sangho Ha Soyoung Park Hyesoo Hong Namhun Kim JESK 들을 경쟁적으로 출시하였다. 모두 대표적인 모션 인식 센서 를 이용한 게임기이다. 음성 인식 기반의 인터페이스 분야에 서는 현재 Google, Apple, Microsoft 등 세계적인 IT 선도 기업들이 기술 개발에 많은 노력을 기울이고 있으며, 특히 스마트폰 환경에서의 음성 인식 응용 서비스인 음성검색, 자 동통역, 인공지능 개인비서 등의 서비스는 본격적인 기술, 시장 선점 경쟁에 돌입하였다(Lee, 2012). 이러한 비 접촉 제스처 및 음성 인식 기반 기술의 발전과 함께, 어플리케이션 개발 플랫폼의 개발 및 확산도 가속화 되어 왔다. 특히, 2010년 11월에 Microsoft에서 자사의 Xbox 360 게임기를 위한 KINECT 센서를 개발하였으며, KINECT 센서를 이용하여 어플리케이션 개발이 가능한 SDK(software development kit)가 일반에 공개되었다. KINECT 출시 전에도 다른 종류의 모션 인식 센서나 음성 인식 센서들이 있었지만 성능 면에서 KINECT 센서와 큰 차이가 없는 데 반해, 일반인들이 사용하기에는 고가여서 시중에 널리 퍼지기에는 쉽지 않아서 실험실에서의 연구용 이나 장애인들을 위한 보조 목적으로 이용되었다. 하지만 Microsoft에서 Microsoft KINECT SDK를 배포한 이후로, 많은 프로그래머들이 KINECT 를 이용한 응용프로그램들을 쉽게 개발할 수 있게 되어 모션 인식 센서와 음성 인식 센서 에 대한 일반인들의 접근성과 다양한 분야에서의 응용 연구 가 활발히 이루어졌다(Suma, 2011; Leyvand et al., 2011; Tang, 2011; Xia et al., 2011). 비 접촉 제스처 기반 제어 기술이 조명 받는 이유는, 기존의 키보드나 마우스와 같은 특수한 제어 인터페이스를 이용한 방식이 아니라, 일상적인 행동이나 음성 명령을 이용한 제어 방식을 택함으로써, 사용 자들이 직관적으로 기기를 사용할 수 있다는 장점이 있다. 실제 기존의 연구 및 개발 사례를 분석해보면, 제스처 및 음성 인식 기반 시스템 제어 기술은 다양한 분야에서 적용 되고 있다. 하지만, 그 기술이 기존의 제어 방식과 비교하 여 얼마나 효과적인지에 대한 연구는 상대적으로 부족하다 (Channel 9, 2012). 예를 들어, 모션 인식을 이용한 지도 탐색이 터치 센서나 마우스를 이용하여 탐색하는 것에 비해 어떻게 사용자에게 더 큰 경험적 가치를 제공하는지, 또는 음성 인식을 통하여 컨트롤 하는 것과 버튼으로 컨트롤 하 는 것이 어떻게 시스템의 운용에서 발생하는 에러를 최소화 하는지 대한 연구가 부족하다. 게다가, 사용자-기계 간 사용 에서만이라면 물론 직관적인 모션 인식 기능을 사용하는 것 이 편리할 듯하지만, 자동화 시스템을 사용하는 인간과 인간 사이의 의사소통에 관련된 분야에서, 전달하는 입장에서는 직관적으로 의사를 전달할 수 있으니 편리할지는 몰라도, 과 연 전달받는 입장에서도 같은 편리함이 적용될 것인지 또한 의문이다. 특히, 대형 세미나와 같이, 정보 전달과 의사소통의 보조 수단으로써 각종 IT 기술을 이용하는 경우가 요즘 일반적인 데, 이러한 목적으로 제스처 기반으로 각종 응용프로그램을 제어하는 기술이 KINECT 센서를 기반으로 많이 활용되고 있기는 하지만, 이러한 시스템에서도 그 정보 전달의 방식이 얼마나 효율적인지에 대한 연구는 전무한 현실이다. 인간의 의사소통의 형태는, 전화 같이 음성만으로 정보를 전달하는 방식과, 화상전화와 같이 표정과 손동작 등을 함께 사용하면 그 음성과 함께 동적 시각 정보가 더해져 효과적인 정보 전 달과 특정 의미의 강조가 가능해져서 문맥(Context)에 대한 전달력이 향상된다(Chae, 2010; Lim and Kim, 2000). 실제 로, 전화 통화를 할 때보다 얼굴을 마주보고 하는 실제 대화 에서 오해가 낮은 것도 이러한 맥락이다(Williams, 1977). 그러나 현재 대부분의 정보 전달을 위한 강의 환경은 대부분 강의자가 강단에서 음성 정보와 대형 스크린의 시각적 정보 를 바탕으로 하고 있다. 본 연구에서는, 강의 환경 및 시스템 의 운용에 강의자의 제스처 기반 제어 시스템을 적용을 하여 강의자-강의 환경 시스템-청중들 사이의 인터렉티브한 정 보 전달 환경을 제공함으로써, 정보 전달의 보조 도구로써 제스처 및 음성 기반 시스템 제어 기술의 효과를 분석해보고 자 한다. 본 연구에서는 제스처 및 음성 기반 제어 기술을 이용한 SMART LECTURE ROOM 시스템을 구현하고, 그 시스템 의 정보 전달 보조 도구로서의 효과를 실험을 통해 분석해 보고자 한다. 2. Method 2.1 Smart lecture room system 본 연구에서 제안하는 스마트 강의실의 목적은 강의자가 컴퓨터, 혹은 기타 도구를 이용하지 않고 제스처만을 이용하 여 직접 강의실 내부 환경을 제어하고 관리하는 것이다. 스 마트 강의실은 강의자의 동작과 음성을 인식하여 강의자의 명령을 받아들인다. 강의자의 동작과 음성을 통해 강의자가 의도하는 바를 파악하고, 명령을 수행한다. 본디 계획했었던 강의실은 강의 슬라이드뿐만 아니라 강 의실 내부 조명, 프로젝터의 구동, 스크린 구동 등의 모든 환경 요소를 제어할 수 있는 형태였으나, 기술적 구현 및 실 험 환경 설계상의 한계로 인해 KINECT 센서 기반의 컴 퓨터 강의 슬라이드 제어모듈을 구현하였다. 제안된 시스템 구현을 위해, Microsoft사와 관련 응용프로그램 개발자들의 모임인 'channel 9(2012)'에서 제공되는 오픈 소스 코드를 사용하였다.

이러한 비 접촉 제스처 및 음성 인식 기반 기술의 발전과 함께, 어플리케이션 개발 플랫폼의 개발 및 확산도 가속화 되어 왔다.

3 Vol. 31, No Study on Gesture and Voice-based Interaction in Perspective of a Presentation Support Tool Design of gesture & voice recognition-based control 본 연구에서는 앞 장에서 제시한 음성 인식, 모션 인식 기 법을 바탕으로 Microsoft사에서 출시한 KINECT 를 사용 하여 C#, WPF를 사용한 Microsoft Windows 플랫폼 환 경에서 강의자의 동작과 음성에 따른 명령을 인식해 강의자 의 의도대로 명령을 수행하는 강의실을 설계하고 구현한다. 본 연구에서 구현한 강의실은 강의자의 동작과 음성 명령 을 인식해 강의실 대형 스크린의 프레젠테이션 정보를 조작 한다. 대개는 제스처 기반 인식과 음성 인식 중 한쪽만을 사 용하지만(Hong and Woo, 2008), 본 시스템에서는 동작만 을, 혹은 음성만을 사용 시 의도치 않은 동작이나 음성 명령 으로 인한 오류를 미연에 방지하고자 모션 인식과 음성 인식 을 동시에 사용하였다. 슬라이드를 넘기는 방향과 손이 가리키는 방향이 같도록 왼손으로 슬라이드를 다음 장으로 넘기고, 오른손으로 슬라 이드를 이전 장으로 되돌릴 수 있도록 구현하였다. 이는, 대 형 화면의 슬라이드를 실제 책 페이지를 넘기듯이 손동작으 로 조작함으로써, 강의자와 청중이 직관적으로 강의 흐름을 인식할 수 있도록 설계하였다(Figure 1). 처음 시스템을 작 동시키면 우선 KINECT 에 부착된 센서로 주변 환경 데이 터를 입력 받고 그 데이터로부터 인식된 사람의 뼈대를 인 식한다. 동작에도 여러 장이 넘어가는 오류를 방지하였다. 또, 강의 중간, 잠깐 스크린의 강의 내용을 감추고 판서를 이용할 필 요가 있을 때는 '오른손을 머리 위' 제스처를 통해 화면이 블 랙아웃 된다. 강의 시작 시에는 왼손을 머리 위로 들면 강의 화면이 앞에 뜨도록 구현하였고, 강의가 끝났을 때에는 왼손 을 앞으로 뻗고 음성으로 'stop'이라 명령하면 강의 화면이 종료된다. Figure 2. An example of human posture recognition by the KINECT sensor Table 1. Functions in the implemented smart lecture system Task Motion Speech Back to previous slide Go on next slide Extend right arm to right Extend left arm to left & slightly backward Back Next Terminate the presentation Extend left arm to front Stop Start the presentation Raise left arm X Black out the screen Raise right arm X Figure 1. Conceptual design of the smart lecture room system 본 시스템에서는 센서가 인식한 강의자의 뼈대 정보를 이 용해 오른손, 왼손, 머리의 상대적 위치를 이용한 동작으로 명령을 내릴 수 있도록 구현하였다(Figure 2). 본 연구의 목 적으로 구현한 제스처 및 음성 인식 기능은 Table 1과 같다. 즉, 오른손 위치가 머리 위치보다 프로그램 내 기준으로 오 른쪽으로 0.45m 이상 벗어나고, 음성으로 'back'이라 명령 하면 강의 슬라이드가 이전 장으로 넘어간다. 반면, 'next' 동작에서는, 왼손 위치가 머리 위치보다 왼쪽으로 0.45m 이상 벗어나고, 또 뒤쪽으로 0.1m 이상 넘어가고, 음성으로 성으로 'next'라 명령하면 강의 슬라이드가 다음 장으로 넘 어가도록 하였다. 또한, 한 페이지가 넘어간 후 프로그램을 2.5초간 작동지연 되도록 설계하여, 동작 인식 시 한 번의 2.3 Experimental design 제스처 인식과 음성 인식 기반의 상호대화적인 컨트롤 인 터페이스가 강의를 듣는 사람들에게 집중력, 인지도 등에 있 어 어떤 영향을 주는지 알아보고자 실제 강의 환경에서 실험 군과 대조 군에 대해 실험을 진행하였다. 실험은 실험참가자 들을 대상으로 기존 강의실과 같은 환경과 그리고 본 연구에 서 구현한 시스템을 사용한 환경에서 여러 가지의 강의를 진 행한 후, 강의 내용과 방식에 따른 흥미와 몰입 정도에 대한 평가를 "1) 강의 내용(content) 흥미 유발 정도?" "2) 제스 처를 사용한 강의 방식(manner of lecturing)의 흥미 유발 정도?" "3) 강의 방식에 의한 강의 몰입 정도?"와 같은 질문 을 통해 1~10(최소 1점, 최대 10점)의 숫자로 답하게 하고,

의도대로 명령을 수행하는 강의실을 설계하고 구현한다. 본 연구에서 구현한 강의실은 강의자의 동작과 음성 명령 을 인식해 강의실 대형 스크린의 프레젠테이션 정보를 조작 한다.

4 596 Sangho Ha Soyoung Park Hyesoo Hong Namhun Kim JESK 강의 내용에 관한 이해도를 퀴즈 형식의 시험을 통해 측정 하였다. 강의 내용에 관한 이해도 측정 시, 강의 내용에 관한 사전 지식에 의한 오류의 최소화를 위해, 강의 주제는 피실험자들 의 배경지식이 없는 것으로 사전에 선택하였다. 실험참가자 들은 기존의 대형 강의 환경에 자주 노출되었을 20~22세 사이의 UNIST 학부 재학생들로 40명을 선정하였다. 실험은 두 차례에 걸쳐 진행되었다. 첫 번째 실험에서는 강의를 두 그룹의 피실험자들을 대상(그룹당 10명)으로 진 행하였다. 강의는 전반부와 후반부로 나뉘어져 있으며, 한 그룹은 전반부에는 기존 강의실과 같은 환경(키보드 조작을 통해 강의 슬라이드 작동)에서, 후반부에는 본 연구에서 구 현된 시스템(제스처와 음성을 기반으로 한 강의 슬라이드 작동)을 사용한 환경에서 진행되었고, 다른 한 그룹은 앞 그 룹과는 반대로, 전반부에는 본 연구에서 구현된 시스템을 사 용한 환경에서, 후반부에는 기존 강의실과 같은 환경에서 진 행되었다. 강의 컨텐츠(내용과 난이도)에 따른 제스처 기반 인터페 이스의 효과를 분석하기 위해, 첫 번째 실험에서는 강의 주 제를 상대적으로 평이하고 일반적인(영화 내용 소개) 가질 만한 것으로 선택하였던 반면에, 두 번째 실험에서는 조금 더 전문적이고 난해한(학술적 이론 소개) 내용으로 실험을 진행하였다. 실험을 진행함에 있어, 피실험자들이 동일한 내용과 실험 환경에 노출되어 적응되는 현상을 방지하기 위해, 첫 번째 실험에 참가하였던 피실험자 군은 두 번째 실험에 참가하는 것을 제한하였다. 두 번째 실험에서도 강의를 전반부와 후반 부로 나뉘어 진행하였다. 한 종류의 강의를 두 그룹의 사람 들이, 한 그룹은 강의 전반부를 기존 강의실과 같은 환경에 서, 후반부를 본 연구에서 구현된 시스템을 사용한 환경에서 들었고, 다른 그룹은 앞 그룹과는 반대로, 강의 전반부를 본 연구에서 구현된 시스템을 사용한 환경에서, 후반부를 기존 강의실과 같은 환경에서 들었다. 전체적인 실험 진행 방식은 Table 2와 같다. 3. Result 실험 결과는 두 번에 걸친 실험을 기존 강의실과 스마트 강의실 사용으로, 그리고 강의 전반부와 후반부를 각 그룹별 로 구분 후 Minitab 을 사용하여 통계적으로 분석하였다. Table 3의 강의 내용 이해도 평가(Quiz)의 경우 제안된 시스템의 사용 여부 자체는 Figure 4의 Main effects plot에 서 보다시피 큰 영향을 주진 못하였다. Lecturing contents 가 Quiz results에 많은 영향을 주었고 스마트 강의실의 영 향력은 Figure 3의 Interaction plot과 같이 강의 주제에 따 라 차이가 났다. Table 3. ANOVA for the quiz results Source DF F P Using KINECT or not Lecturing contents Using KINECT or not * Lecturing contents Error 72 Total S= , R-Sq=24.20%, R-Sq(adj)=16.83% Table 2. Experimental design (X: traditional lecture room, O: Smart lecture room with gesture & speech-based controls) Lecture 1 Lecture 2 Experiment 1 Group A Group B 1st X O 2nd O X Experiment 2 Group A Group B 1st X O 2nd O X Figure 3. Quiz score Interaction plot Table 4와 Figure 6에서 볼 수 있는 바와 같이, 제스처 기반 강의 방식('Using KINECT or not') 사용 여부가 강의

강의는 전반부와 후반부로 나뉘어져 있으며, 한 그룹은 전반부에는 기존 강의실과 같은 환경(키보드 조작을 통해 강의 슬라이드 작동)에서, 후반부에는 본 연구에서 구 현된 시스템(제스처와 음성을 기반으로 한 강의 슬라이드 작동)을 사용한 환경에서 진행되었고, 다른 한 그룹은 앞 그 룹과는 반대로, 전반부에는 본 연구에서 구현된 시스템을 사 용한 환경에서,

5 Vol. 31, No Study on Gesture and Voice-based Interaction in Perspective of a Presentation Support Tool 597 에 대한 몰입도('Immersion rates')에서는 많은 영향을 주진 못하고('Using KINECT or not' p-value=0.907>0.05) 강 의 내용('Lecturing contents')이 몰입도('Immersion rates') 에 큰 영향을 주었다('Lecturing contents' p-value=0.008 <0.05). 특히 Figure 5에서 보다시피 쉬운 강의 일수록 피 Figure 6. Immersion Main effects Figure 4. Quiz score Main effects plot Table 4. ANOVA for immersion rates of audience Source DF F P Using KINECT or not Lecturing contents Using KINECT or not * Lecturing contents Error 72 Total S= , R-Sq=18.69%, R-Sq(adj)=10.79% 실험자들은 몰입도('Immersion rates')가 증가한다고 답변 하였다. Table 5와 Figure 7의 해석 결과에서 볼 수 있듯이, 제스 처 기반 강의 방식('Using KINECT or not')가 강의 방식의 흥미('Interests on manner of lecturing')에는 많은 영향을 주었다. 그리고 강의 내용('Lecturing contents') 역시 강의 방식의 흥미('Interests on manner of lecturing')에 영향을 주었다. 특히 Figure 8과 같이 내용이 평이하고 흥미 유발이 용이한 경우 강의 방식('manner of lecturing')에 흥미도가 증가하는 것으로 나타났다. Table 5. ANOVA for interests on manner of lecturing Source DF F P Using KINECT or not Lecturing contents Using KINECT or not * Lecturing contents Error 72 Total 79 S= , R-Sq=19.97%, R-Sq(adj)=12.18% Figure 5. Immersion Interaction plot 그리고, 피 실험자 대상설문 조사에서 그 외 의견으로는, '실험 도중엔 발표 도중에 음성 인식이 잘못되어 중간에 발 표 흐름이 끊어진 것이 강의 몰입에 방해 되었다'는 의견이 많았고 '원하지 않을 때 페이지가 넘어가는 것과 페이지가 두 번 연달아 넘어가는 것'에 대한 언급이 있었다. 이는 향후 에 시스템 개선 시 참고할 사항이며, 보다 자연스러운 인간 -기계 간의 상호작용 구현을 위해 설계에 반영해야 할 부분 일 것이다.

Quiz score Main effects plot Table 4. ANOVA for immersion rates of audience Source DF F P Using KINECT or not 1 0.01 0.907 Lecturing contents 3 4.21 0.

6 598 Sangho Ha Soyoung Park Hyesoo Hong Namhun Kim JESK Figure 7. Interest Main effect Figure 8. Interest Interaction plot 4. Conclusion 우리는 위와 같은 실험을 통해 본 연구에서 제안한 제스처 및 음성 인식 기반 강의용 의사 전달 보조 시스템의 효과는 전달하고자 하는 컨텐츠의 성격(내용 및 난이도)에 따라 달 라질 수 있음을 확인할 수 있었다. 특히 강의 슬라이드에 청 중의 주목을 끌기보다는 그들이 발표자의 행동에 좀 더 주목 할 수 있는 발표 형식일 때 시스템의 효과가 높아지는 것을 볼 수 있다. 전문적이고 어려운 주제에 관한 강의에서는 오 히려 시스템을 사용한 발표가 청중들의 시선을 분산시킴으 로 인해 피실험자가 강의 내용 자체에 집중하는 것을 저해 하므로 내용 이해도를 떨어뜨린다는 것을 알 수 있다. 반면, 흥미위주의 난이도가 낮은 주제의 경우 제스처 및 음성 인식 기반 상호작용 시스템을 사용한 발표가 청중들이 발표자에 더욱 집중할 수 있도록 도와줘 내용 이해도를 증진시킴을 알 수 있다. KINECT 가 출시되고 많은 프로그래머들이 KINECT 를 이용한 인간-기계 혹은 인간-컴퓨터 상호작용 기반의 응용프로그램들을 활발히 개발하고 있다. 특히, 제스처를 이 용해 키보드나 마우스와 같이 컴퓨터 시스템 제어하는 프로 그램들이 빈번히 소개되었다. 하지만, 직접 KINECT 기반 의 제스처 인식을 통하여 시스템을 제어할 때, 그 효과에 대 해서는 기존에 실험을 통해 분석된 바가 전무한 실정이다. 이는, 향후 다양한 분야에서 널리 쓰이게 될지 모르는 새로 운 인터렉션 방식에 대한 한계나 기술적 단점에 대한 분석 이 충분히 이루어 지지 않았다는 것을 의미한다. 따라서, 본 연구에서는, 의사소통의 보조 도구로 KINECT 기반 인식 시스템의 연구를 통해, 기술적인 개발이 현재 의사전달 시스 템, 특히 강의 환경의 실제적 개선에 얼마나 기여를 할 수 있을 지에 대해 고찰해 보았다. 본 논문에서 고찰한 제스처 기반의 인터렉션 시스템의 경 우는, 최근 모바일 기기의 고성능화와 모션/음성 기반 인식 기술의 일반화와 더불어 다양한 분야에서 수용도가 높은 것 으로 파악된다. 특히, 본 연구를 통해 실시된 설문조사 의견 을 통해, 제스처 기반의 인터렉션 방식은 직관적인 정보 전 달에 긍정적인 효과가 있음을 유추할 수 있기 때문에, 향후 다양한 분야의 인간-기계(혹은 컴퓨터) 인터렉션 기술에 응 용이 될 것으로 기대된다. 하지만, 기술의 상품화의 측면에서 볼 때, 제스처 기반의 의사소통 보조 시스템(특히, 강의 보조 도구로써)은 제스처 및 음성 인식의 정확도를 높이기 위한 기술 개발이 선행되어 야 할 것이며, 전달하고자 하는 강의 컨텐츠의 종류에 따라 제스처 기반 상호작용의 수준을 조절 하는 것이 필요할 것으 로 판단된다. 향후, 본 연구의 내용을 확장하여, 다양한 컨텐 츠에 대한 추가 실험과, 제스처 및 음성 기반 제어 모듈의 인식률 조정을 통해, 효율적인 정보 전달 보조 도구로서의 제스처 기반 인터렉션 기술 연구를 진행할 예정이다. Acknowledgements This work was funded by grants from National Research Federation of Korea(Grant-#NRF ). References Chae, S. J., The Importance of Nonverbal Communication Skills, Korean

특히 강의 슬라이드에 청 중의 주목을 끌기보다는 그들이 발표자의 행동에 좀 더 주목 할 수 있는 발표 형식일 때 시스템의 효과가 높아지는 것을 볼 수 있다.

7 Vol. 31, No Study on Gesture and Voice-based Interaction in Perspective of a Presentation Support Tool 599 Journal of Medical Education, 22(2), , Channel 9, (retrieved July 10, 2012) Hong, D. and Woo, W., Recent research trend of gesture-based user interfaces, Telecommunications review, 18(3), , Lee, Y. G., Introduction to speech-based interface technology and its service trends in smartphone applications, Korean Journal of Information and Communication Engineering: Information and Communication, 29(4), 3-9, Leyvand, T, Meekhof, C., Wei, Y. C., Sun, J. and Guo, B., Kinect Identity: Technology and Experience. Computer, 44(4), 94-96, Lim, J. R. and Kim, Y. S., The Communicative Interaction between the Body Languages and Everyday Verbal Expressions, The Journal of Linguistic Science, 17, 59-78, Kim, K. H., Smart TV gets unlimited connection with devices, Korea Report in SBS-CNBC, Suma, E. A., "FAAST: The Flexible Action and Articulated Skeleton Toolkit", IEEE Virtual Reality Conference(pp ), Singapore, Tang, M., Hand Gesture Recognition Using Microsoft's Kinect. Paper written for CS229, March 16, Williams, E., Experimental Comparisons of Face-to-Face and Mediated Communication: A Review, Psychological Bulletin, 84(5), , Xia, L., Chen, C. C. and Aggarwal, J. K., "Human Detection Using Depth Information by Kinect. Computer Vision and Pattern Recognition Workshops (CVPRW)", IEEE Computer Society Conferenc (pp ), Author listings Sangho Ha: newho25@naver.com Position title: Undergraduate Research Assistant, UCIM Lab., Ulsan National Institute of Science and Technology(UNIST) Areas of interest: Human-Machine Systems, Robotics Soyoung Park: yuri2675@unist.ac.kr Position title: Undergraduate Research Assistant, UCIM Lab., UNIST Areas of interest: Human-Machine Systems, Robotics Hyesoo Hong: hsefg@hanmail.net Position title: Undergraduate Research Assistant, UCIM Lab., UNIST Areas of interest: Human-Machine Systems, Interface Design Namhun Kim: nhkim@unist.ac.kr Highest degree: PhD, Department of Industrial Engineering, the Pennsylvania State University Position title: Assistant Professor, the School of Design and Human Engineering, UNIST Areas of interest: Human-Machine Systems, HCI, Manufacturing Engineering Date Received : Date Revised : Date Accepted :

, Recent research trend of gesture-based user interfaces, Telecommunications review, 18(3), 403-413, 2008. Lee, Y. G.

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp.99-117 DOI: http://dx.doi.org/10.21024/pnuedi.28.1.201803.99 2015 * A Analysis of the Characters and Issues about the 2015 Revised Social