증강현실기반제품디자인에서의몰입감에대한사용성평가 * Usability test about immersion in the Augmented Reality based Product Design 하태진, Taejin Ha*, 장윤제, Yoonje Chang**, 우운택, Woontack Woo* * 광주과학기술원 U-VR Lab ** 이화여대디지털미디어학부미디어디자인학과 요약본논문에서는증강현실기반제품디자인시, 논문 [1] 에서제안된몰입감향상기법들에대한사용성평가를통해, 사용자에게다차원피드백 (multimodal feedback) 을제공하는것이몰입감향상에어떠한영향을미치는가에대해알아본다. 우선기존의데스크톱기반의디자인환경과다차원피드백을가능하게하는증강현실기반디자인환경과의비교후, 시각피드백에대한사용성평가로써증강된가상객체에의해가려진손을다시보이게함으로얻게되는실재감향상정도와사용자의입력에따른컨텐츠의시각적맵핑의적절성을평가한다. 또한청각피드백에대한평가기준으로써시나리오상의상황에따른배경음 / 효과음맵핑의몰입감과적절성을평가한다. 마지막으로촉각피드백에대한평가로써, 물리적인감각형객체에가상객체를정합함으로써얻게되는촉감과시나리오상의이벤트에따라제시되는진동-촉각피드백에의한몰입감향상정도를평가한다. 제시된사용성평가의결과는기존의증강현실기반디자인시스템의몰입감을향상시키기위한구현에있어, 고려될수있는사항으로써의미가있다. 핵심어 : Usabili ty Tes t, Produc t Design, Multimodal Feedback, Augmented Reality, HCI 1. 서론 일반적으로인간 - 컴퓨터상호작용 (Human-Computer Interaction) 연구분야에서몰입감을향상시킬수있는가장보편적인방법으로, 사용자의입력에따른시각 / 청각 / 촉각등의다차원감각피드백을사용자가경험하도록하는방법이주로사용되었다. 특히기존의가상현실분야에서는 3D 디스플레이 [6], 3D 입체음향 [7], 햅틱장치 [8], 후각제시 [9] 장치등이결합된다양한시스템이개발되었다. 그러나새롭게주목받고있는신기술 (emerging technology) 인증강현실 (Augmented Reality) 분야에서는몰입감향상을위해다차원감각피드백을사용자에게제공하는시스템이드물뿐만아니라가상현실분야에비해상대적으로체계적인사용성평가가이루어지지않고있다. 본논문에서는증강현실환경에서전자제품디자인을목적으로하는, 다감각피드백 (multi-sensory feedback) 제공이가능한시스템 [1][2] 의몰입감향상기법들에대한사용성평가를한다. 이를통해증강현실환경에서사용자에게시청촉각을통한다감각피드백을제공하는것이, 몰입감향상에도움이되는지를검증한다. 이러한검증을위해사용자에게시나리오를체험하게하고, 이때시각 / 청각 / 촉각피드백 본과제는 MIC 21C Frontier R&D Program의 UCN 프로젝트와 GIST의 ICRC의지원으로수행되었음 각각을제공하여, 각각의피드백이가상객체와상호작용하는데있어몰입감향상에얼마만큼영향을미치는가에대한정량적인평가를한다. 또한시나리오를경험한사용자의행동에대한관찰과그들로부터의견을분석하는정성적인평가를수행한다. 증강현실에서의다감각피드백을통한몰입감향상을위해본논문에서는, 우선기존의데스크톱기반의제품디자인환경과다차원피드백을가능하게하는증강현실기반의제품디자인환경을비교한다. 그다음시각피드백에대한사용성평가로써증강된가상객체에의해가려진손을다시보이게함으로얻게되는실재감향상정도와사용자의입력에따른컨텐츠의시각적맵핑의적절성을평가한다. 또한청각피드백에대한평가기준으로써시나리오상의상황에따른배경음 / 효과음맵핑의몰입감과적절성을평가한다. 마지막으로촉감피드백에대한평가로써, 물리적인감각형객체에가상객체를정합함으로써얻게되는촉감과시나리오상의이벤트에따라제시되는진동 - 촉각피드백에의한몰입감향상정도를평가한다. 본논문은다음과같이구성된다. 2 장에서는다차원피드백을제공하는증강현실기반의디자인환경에대한설명을하고, 3 장에서는시각 / 청각 / 촉각피드백의기술적구현에대한설명한다. 4 장에서는사용성평가디자인에관한내용을언급하고, 5 장에서는사용성평가에대한실험결과및분석 2 권 118
을보인다. 마지막으로 6 장에서는결론과향후연구를설명한다. 2. 다차원피드백을제공하는증강현실기 반의디자인환경 본논문에서는증강현실환경에서제품디자인시, 가상객체의재현과상호작용측면에서, 몰입감을향상시킬수있는다감각증강현실시스템을이용한다 [1][2]. 기존의전형적인데스크톱기반의제품디자인환경은다양한기능을제공할수있고가상객체의정밀한조작이가능하다는장점이있지만, 사용자로하여금사용방법의학습을요구하고, 그환경에적응하는데시간이걸리는단점이있다. 또한관찰을위한시점은모니터를향하고있는상태에서상호작용은테이블위의마우스나키보드를이용하여이루어진다. 이런상황은사용자의시선의불일치 (not collocated) 을야기하고이로인해종종어색한상호작용이이루어진다. 한편증강현실기반의제품디자인환경의경우, 가상객체를바라보는시점과상호작용을위한시점이일치 (collocated) 가되기때문에, HMD(Head Mounted Display) 을착용한사용자는디자인작업공간에서직접손을이용하여가상모델을만져보거나관찰할수있다. 따라서직관적이고실감있는상호작용이가능하게된다는장점이있다. 이와관련된연구로, [3] 에서는자동차제조과정에서고가의클래이목업 (clay mockup) 모델을대체할수있는방법으로, [4] 에서는워크벤치환경에서가상모델의 3D 커브와면을생성 / 편집할수있는시스템으로, [5] 에서는전자제품의 기능성테스트를위해증강현실기술을사용하였다. 3. 시각 / 청각 / 촉각피드백의기술적구현 본논문에서는증강현실기반의제품디자인환경에서몰입감을향상시킬수있는방법으로사용자에게다감각피드백을제공하는방법을선택하였다. 본장에서는구현된증강현실기반제품디자인시스템의구체적인시각 / 청각 / 촉각피드백에대한구체적인기술적설명을한다. 3.1 시각피드백구현 증강현실기반제품디자인환경에서사용자가손을이용하여가상객체와상호작용할때, 그림 2 와같이감각형객체를쥐고있는사용자의손이증강된가상객체에의해가려지는경우가종종발생한다. 이는단순히이미지에가상객체를렌더링하기때문이다. 논문 [1] 에서는가상객체가증강된이미지위에입력영상으로부터분리된손객체를다시오버레이하는방법을제안하여그림 2 와같은손가림현상이감소된증강결과를보였다. 또한, 기존의사용자에게일방적으로고정된내용을제공하는컨텐츠가아닌사용자의입력에동적으로반응하는컨텐츠를제공하였다. 본구현에서사용자는감각형객체에증강된게임폰에서실행중인레이싱게임화면을볼수있다. 사용자는감각형객체를상하 / 좌우방향으로기울이는행위에따라그림 2(c)(d) 와같이자동차의속도와방향이변하는모습을볼수있다. 그림 1. 전체시스템 2 권 11
(c) (d) (c) (d) 그림 2. 시각피드백의기술적구현 가상객체의의한손가림현 상 손가림현상이감소된결과 (c) 감각형객체를손에쥐고상 하로기울임에따라레이싱게임에서자동차의속도를제어 (d) 감각 형객체를좌우로기울임에따라자동차의방향을제어 3.2 청각피드백구현 대부분의증강현실기술은시각적인피드백에초점을맞춰개발되어왔다. 감각형객체에증강된가상객체와의상호작용을통해특정이벤트가발생되는경우에청각피드백이제공된다. 본게임폰재현시나리오의경우에자동차가벽또는다른자동차와충돌할경우효과음인폭발음이들리게된다. 또한배경음악이기본적으로재생이된다. 각각은비동기방식으로설정되어구현되었다. 상황 자동차가도로를주행하는 경우 자동차가벽또는자동차와 충돌했을경우 3.3 촉각피드백구현 표 1 청각피드백구현 구현된내용 배경음 ( 빠른비트의노래 ) 효과음 ( 폭발음 ) 일반적으로증강된가상객체는물리적으로존재하지않기때문에사용자는가상객체를만질수없다. 그러나논문 [1] 에서는, 만질수있는물리적성질을가진감각형객체 ( 그림 3) 에가상객체를정합함으로써, 사용자는가상객체를손으로만질수있었다. 또한그림 3 가상객체의크기를감각형객체의크기와일치시킴으로써정합도를높이려하였다. 또다른촉각피드백으로는진동 - 촉각피드백을이용하였다. 시나리오상에서사용된감각형객체에내장된진동자 ( 그림 3(c)) 는이벤트에따라적절한강도로진동모듈을제어하였다. 진동자는 7 단계로진동의강도를제어하도록하였고, 게임시작될때기본적으로 2 단계의진동의강도를제공하도록하였다. 만약에자동차가벽또는다른자동차와충돌하는경우에는진동의강도를 7 단계로높였다. 그림 3. 촉각피드백의기술적구현. 게임폰목업모델인감각형 객체. 감각형객체와동일한크기로가상객체를정합. (c) 감각형 객체의내부. ( 진동모듈, 블루투스모듈, 제어모듈, 배터리내장 ) (d) 자동차가벽또는자동차와충돌했을경우진동의강도를최대로 함. 4. 사용성평가 4.1 수행과제시나리오 증강현실환경에서사용자에게시 / 청 / 촉각을통한다감각피드백을제공하는것이, 몰입감향상에도움이되는지를검증하기위해다음과같은시나리오를구성하였다. 사용자는머리에 HMD 를착용하고가상게임폰이정합된감각형객체를손에쥐고상하좌우로기울임으로써레이싱게임의자동차를조종할수있다. 이때, 손가림현상이제거된시각적인효과, 이벤트에따른배경음 / 폭발음과같은청각피드백, 그리고자동차가벽또는다른자동차와충돌하였을경우발생되는진동피드백을동시에사용자에게제공한다. 4.2 사용성평가항목도출을위한면접및사 례분석 사용자면접및사례분석을통하여구현된증강현실기반다감각을제공하는제품디자인시스템에대한의견을통해사용성평가를위한항목을도출하였다. 표 2 에구현된시스템에대한의견들을정리한결과이다. 표 2 증강현실기반다감각을제공하는제품디자인시스템에대한의견 좋은점 - 좀더실재감을느낄수있었다. - 새로운경험 ( 환경또는감각 ) 을체험할수 있었다. - 흥미롭다. 불편한점 - 익숙하지않았다. - 정밀한조작의경우에는불편할것같다.
기타의견 - 실재감과긴장감을증가시키지만게임을플레이하는데는변화가없을것같다. - 핸들을움직이는효과나느낌이덜할것같다. - 게임내용에적합한감각이구현되었으면한다. - 감각이좀더구체적이되었음좋겠다. - 게임의종류에따라서만족도가다를것이다. 참여한실험자는 45 명이었으며남녀성비는 40:60 이었고, 연령대는 10/20/30/40 대각각 12/76/4/8 % 로 20 대가주류를이루었다. 피실험자의 28% 가증강 / 혼합현실연구분야에대해서들어보았거나경험해본적이있었다. 순위에대한항목을제외한, 각각의설문항목들은 5 단계로평가되었다. 1 은가장낮은단계를나타내고, 5 은가장높은단계의값을나타낸다 (1: 전혀그렇지않다, 2: 그렇지않다, 3: 보통이다, 4: 그렇다, 5 매우그렇다 ). 5.2 증강현실기반의제품디자인환경 사용자들의의견으로부터표 3 과같이사용성평가항목을도출할수있었다. 도출내용으로는상황또는내용과감각의적절성, 조작방식과감각맵핑의적절성, 감각변화정도에따른일관성등이중요항목으로선정되었고이를시각적, 청각적, 촉각적세부척도에따라평가되어야하는사용성평가항목들로정리하였다. 피드백종류 시각피드백 표 3 사용성평가항목평가항목 - 손가림효과의감소에따른실재감향상정도. - 기울이는조작방식에따른시각적맵핑이적절성 청각피드백 - 주어진상황과청각적의맵핑의적절성. - 청각의정도에따른상황인지의적절성. - 청각피드백의타이밍과발생이벤트와의적절성. 촉각피드백 - 객체속성과촉각적의맵핑의적절성. - 상황과촉각맵핑 (ex 진동효과 ) 의적절성. - 상황별진동효과의적절성. - 촉각변화의일관성. 데스크톱환경에서키보드와마우스를이용하여모델을관찰하는경우와증강현실환경에서감각형객체를손을이용해서모델을관찰하는경우에대하여 어떤환경이좀더실감있다고생각하십니까? 라는질문에실험자의 94% 가증강현실환경에서모델을관찰하는것에좀더실감이있다고대답하였다. 그이유로는 키보드, 마우스보다손을직접느끼면서관찰하는게더실재처럼느낄것같다., 사용자의흥미유발을시킨다., 기존의감각과는다른감각을느낄수있었다., 실재로몸에와닿는느낌이그것을직접체험하는듯한느낌을줄듯하다 라는다양한의견을표현하였다. 또한 어떤환경이좀더사용하기편리하다고생각하십니까? 라는질문에실험자의 81% 가증강현실기반의제품디자인환경이좀더사용하기편리하다고대답하였다. 의견으로는 제어하기더쉬울것같다 ( 한손으로 ). 또한더익숙하다., 익숙한것이기에사용할때쉽게습득할수있을것같다. 그러나다음과같은회의적인의견도있었다. 아직은컴퓨터데스크톱에매우익숙하고, 오랫동안손에익었으므로, 데스크톱환경이좀더사용하기편하다., 정밀한입출력이필요하다. 다양한의견을통해데스크톱환경의경우정밀한입출력이가능하고, 다수의사용자층이존재하지만습득을위한시간이필요하다는것을알수있었고, 증강현실환경의경우에는상대적으로실감 / 체험 / 직관적인상호작용을가능하게하는장점이있지만, 정밀한상호작용에는무리가있다고결론지을수있었다. 5. 실험결과및분석 증강현실에서의다감각피드백을통한몰입감향상을위해본논문에서는, 우선기존의데스크톱기반의디자인환경과다차원피드백을가능하게하는 AR 디자인환경과의비교를한후, 시각 / 청각 / 촉각피드백에대한몰입감향상정도와게임을진행하는데도움이되는지에대한정도를정량적으로평가하고각각의경우의대해서의견을서술하고그이유에대해서설명한다. 5.1 실험환경 본시스템을이용하여 2006 년 11 월한국경기도 KINTEX 에서열린차세대컴퓨터산업전시회에참여한관람객을대상으로설문조사를하여사용성평가를시행하였다. 5.3 시각피드백에대한사용성평가 첫번째설문항목은손가림효과의감소에따른실재감향상정도를평가한것이다. 그림 4 에서볼수있듯이, 증강 / 혼합현실연구분야에대해서들어보셨거나경험해본적이있는실험자는평균 4.29 점을무경험자는 3.83 점표기하였다. 대체적으로몰입감향상에공헌을할수있다고볼수있다. 의견으로는 손이보이지않았을때답답함을느꼈다, 손으로만지는것이더실감이났다 등이있었다. 두번째질문은 손가림효과가감소된경우, 자동차운전을쉽게하는것에도움을줄수있다고생각하십니까? 라는것이다. 이에대해실험들은평균 3.76 점으로긍정적인반응을보였다. 기타의견으로는 실재감과긴장을높인다. 하지만게임을플레이하는데는변화가없는것같다., 핸들을움직이는효과나느낌이덜할것같다 등이있었다.
결론적으로증강현실경험자또는비경험자들은, 손가림효과의감소가좀더몰입감을향상시키는데공헌을할수있다는것에긍정적인반응이었다. 하지만, 이를위한영상처리로인하여컴퓨터의처리속도가느려지는이유로자동차의움직임의효과가덜한것같다라는의견을얻을수있었다. 또한경험자와무경험자간의몰입감평가에있어서차이가나는이유는, 경험자들대부분이시각적효과에많은관심이있고, 손가림효과의문제점에대해충분히이해하고있기때문이라고판단된다. 입감향상에매우도움이된다고생각하였다. 이에대한의견으로는 내가부딪힐때진동이더세지니까, 또한진동강도에대해서 조금센듯하다. 라는의견이있었다. 기타의견으로는 촉각, 진동에대한것은좋으나게임상황에맞는더사실감나는진동이있어야한다, 좀더진동의종류를다양하게했으면좋겠다 라는의견이있었다. 다음설문조사질문으로는 진동 - 촉각피드백이제공되는경우, 자동차운전을쉽게하는것에도움을줄수있다고생각하십니까? 라는것이다. 이경우에도역시, 실험자들대부분은게임을진행하는데도움이된다고대답하였다. 결론적으로진동 - 촉각피드백은몰입감을향상시키는데공헌을할수있다고볼수있다. 하지만시나리오상황에맞는적절한세기의진동피드백이필요하고, 다양한진동의종류를고안하는것이필요하다. 그림 4. 시각피드백에대한사용성평가 손가림효과감소처리 에대한몰입향상정도 게임을하는데도움이되는가에대한평 가 5.4 청각피드백에대한사용성평가 청각피드백이제공되는것이게임진행을실감나게해주었습니까? 라는질문에, 실험자들은평균 4.6 점을주었다. 기타의견으로는 몰입도가더욱올라간다. 다음질문은 청각피드백이제공되는경우, 자동차운전을쉽게하는것에도움을줄수있다고생각하십니까? 라는것이다. 실험자들은평균 3.92 로긍정적인반응을보였다. 기타의견으로는 실감난다. 현실과비슷한환경제공을제공할수있다., 좀더사실적인효과음이필요하다 라는의견등이있었다. 결론적으로청각피드백은몰입감을향상에있어공헌을할수있다고볼수있다. 하지만시나리오상황에맞는적절한배경음 / 효과음등이필요하고, 좀더실재감을느낄수있는음향의선택이필요하다. 그림 6. 진동 - 촉각피드백에대한사용성평가 진동 - 촉각피드백 에대한몰입감향상정도 게임을하는데도움이되는가에대한 평가 5.6 몰입감을향상에관한감각피드백조합들 간의우선순위 마지막설문항목은 어떤감각피드백조합이몰입감을향상에도움을줄수있을까요? 순위를정해주세요 이다. 조합목록은 시각 + 청각피드백, 시각 + 촉각피드백, 시각 + 청각 + 촉각피드백 이다. 실험자들대다수가세가지감각피드백이혼합된 시각 + 청각 + 촉각피드백 을선호하였고, 다음순서로는 시각 + 촉각피드백, 시각 + 청각피드백 이라는것을알수있었다. 이를통해촉각피드백이청각피드백에비해몰입감향상에좀더많은영향을미친다는것을알수있었다. 3 2 2.6 1.84 1.56 1 그림 5. 청각피드백에대한사용성평가 청각피드백에대한몰 입감향상정도 게임을하는데도움이되는가에대한평가 5.5 진동 - 촉각피드백에대한사용성평가 0 1 2 3 그림 7. 우선순위순서대로시각 + 청각피드백 / 시각 + 촉각피드백 / 시각 + 청각 + 촉각피드백 ( 낮은수일수록우선순위가높음 ) 진동 - 촉각피드백이제공되는것이게임에진행을실감나게해주었습니까? 라는질문에실험자들은 4.4 점으로몰
6. 결론 본논문에서는증강현실기반제품디자인시, 논문 [1] 에서제안된몰입감향상기법들에대한사용성평가를통해, 사용자에게다차원피드백을제공하는것이몰입감향상에어떠한영향을미치는가에대해알아보았다. 우선제품디자인시, 기존의데스크톱환경과다차원피드백을가능하게하는 AR 환경과의비교후, 다차원감각인시각 / 청각 / 촉감피드백을통한몰입감향상정도와시나리오상의데스크를수행하는데있어도움이되는지를평가하였다 environments(ves): identifying multiple criteria that drive effective VE system design, IJHCS, 58, 447-481 [8] PHANTOM Haptic Devices, http://www.sensable.com/index.htm [9] JM. Annett, Olfactory memory: A case study in cognitive psychology, Journal of Psychology, 130(3), 309-319 정성 / 정량적인사용성평가와의견을통해, 실험참가자들대부분은, 증강현실환경의경우에데스크톱환경에비해, 정밀한상호작용에는아직무리가있지만, 상대적으로실감 / 체험 / 직관적인상호작용을가능하게한다고공감하였다. 또한다감각피드백에대해실험자들대부분시각 / 청각 / 촉각피드백을통한방법이몰입감향상에공헌을할수있다는것에긍정적인반응을보였다. 시각피드백에대한평가에서는영상처리에의한컴퓨터속도감소로처리속도가느려진다는지적이있어, 이에대한개선이필요하다. 또한청각 / 촉각피드백의경우시나리오상황에맞는적절한피드백에대한고려가필요하고, 다양한종류의피드백을고안하는것이필요하다는것을알수있었다. 마지막으로촉각피드백이청각피드백에비해몰입감향상에좀더많은영향을미친다는것을알수있었다. 제시된사용성평가의결과는기존의증강현실기반디자인시스템의몰입감을향상시키기위한구현에있어, 고려할수있는사항으로써의미가있다. 참고문헌 [1] Taejin Ha, Yeongmi Kim, Jeha Ryu and Woontack Woo, Enhancing Immersiveness in AR-based Product Design, ICAT, pp. 207-216, 2006 [2] Yeongmi Kim, Sehun Kim, Taejin Ha, Ian Oakley, Woontack Woo and Jeha Ryu, Air-jet Button Effects in AR, ICAT, pp. 384-391, 2006 [3] G. Klinker, AH. Dutoit, M. Bauer, Bayer, J. Novak, DV. Matzke, Fata Morgana - a presentation system for product design, ISMAR, pp. 76-85, 2002 [4] M. Fiorentino, R. de Amicis, G. Monno, A. Stork, Spacedesign: A Mixed Reality Workspace for Aesthetic Industrial Design, ISMAR, pp. 86 318, 2002 [5] W. Lee, J. Park Augmented Foam: A Tangible Augmented Reality for Product Design, ISMAR, pp. 106 109, 2005 [6] A Survey of Usability Evaluation in Virtual Environments: Classification and Comparison of Methods, Presence, Vol. 11, No. 4, pp. 404-424, 2002 [7] MS. Kay, M. Manssoreh, R. Leah, B. Robert and AG. David, Usability engineering of virtual