디지로그북저작을위한 3D 객체의 In-Situ 기반의이동궤적편집기법 In-Situ based Trajectory Editing Method of a 3D Object for Digilog Book Authoring 하태진, Taejin Ha*, 우운택, Woontack Woo** 요약 ˇˇ 디지로그북 (Digilog book) 은기존서적과디지털콘텐츠을융합함으로써, 아날로그적감성과디지털오감을함께제공하는증강현실기반차세대출판물이다. 디지로그북을저작할수있는저작소프트웨어인아틀렛 (ARtalet) 은증강현실환경에서 3 차원사용자인터페이스를이용한직관적인 In-Situ 저작환경을제공한다. 본논문은디지로그북에증강된 3D 객체에이동경로를생성하고조작할수있는, 아틀렛저작환경기반의이동궤적편집기법을제안한다. 구체적으로이동궤적의조정점 (Control point) 을적절히할당하기위해서 3 차원조작도구의이동좌표에대하여조정점할당검사를한다. 그리고부드러운곡선형태로이동궤적을복원하기위해서스플라인을이용한보간과정을수행한다. 또한작고밀집된이동궤적의조정점을효과적으로선택하기위해서동적스코어 (Score) 를기반으로한조정점선택방법을적용한다. 실험결과제안한방법은기존방법에비해오차와완료시간은유의한차이가없었지만, 조정점의수를약 90% 이상감소시킬수있었다. 이것은매우적은수의조정점만으로도이동궤적을복원할수있으며추후이동궤적조작에필요한조정점의조작횟수를대폭줄일수있다는것을의미한다. 또한제안한방법은기존의조정점조작방법에비해상대적으로적은손과팔의움직임만으로도빠르게이동궤적의형태를변경할수있었다. 본논문에서제안한 3D 객체의이동궤적편집방법은몰입형 In-Situ 증강현실환경의교육, 게임, 디자인, 애니메이션, 시뮬레이션등의분야에서드로잉또는곡선편집방법으로응용될수있다. AbstractˇˇA Digilog Book is an augmented reality (AR) based next generation publication supporting both sentimental analog emotions and digitized multi-sensory feedbacks by combining a conventional printed book and digital contents. As a Digilog Book authoring software, ARtalet provides an intuitive authoring environment through 3D user interface in AR environment. In this paper, we suggest ARtalet authoring environment based trajectory editing method to generate and manipulate a movement path of an augmented 3D object on the Digilog Book. Specifically, the translation points of the 3D manipulation prop is examined to determine that the point is a proper control point of a trajectory. Then the interpolation using splines is conducted to reconstruct the trajectory with smoothed form. The dynamic score based selection method is also exploited to effectively select small and dense control points of the trajectory. In an experimental evaluation our method took the same time and generated a similar amount of errors as the usual approach, but reduced the number of control points needed by over 90%. The reduced number of control points can properly reconstruct a movement path and drastically decrease the number of control point selections required for movement path modification. For control manipulation, the task completion time was reduced and there was less hand movement needed than with conventional method. Our method can be applicable to drawing or curve editing method in immersive In-Situ AR based education, game, design, animation, simulation application domains. 핵심어 : Digilog Book, Immersive augmented reality, augmented reality authoring, 3D object movement path editing, tangible user interface, 3D object selection and manipulation. 본연구는교육과학기술부의글로벌프론티어연구개발사업의연구결과물로수행되었음. * 주저자 : 광주과학기술원정보기전공학부박사과정 ; e-mail: tha@gist.ac.kr ** 교신저자 : 광주과학기술원정보기전공학부교수 ; e-mail: wwoo@gist.ac.kr
1. 서론디지로그북 (Digilog Book) 은유비쿼터스가상현실기술을적용하여기존서적과디지털콘텐츠를통합함으로써, 아날로그적감성과디지털오감을제공하는차세대출판물이다 [1]. 아틀렛 (ARtalet) 저작도구는이러한디지로그북을쉽게제작하기위한저작소프트웨어로서프로그래밍에대한전문적인지식이없는사용자를대상으로개발되었으며, 3D 객체의정적인속성편집기능을지원한다 [2]. 이기능을통해 3D 객체복사, 3차원공간에배치, 크기조절, 색상조절기능등을수행하여디지로그북의장면을생성할수있다. 추가적으로증강된 3D 객체와의상호작용을통한사용자의체험과흥미를향상시키기위해서는 3D 객체의동적인움직임을생성하고조작할수있는방법이필요하다. 증강현실환경의 3D 객체움직임저작과관련된연구는다음과같이크게세가지로방법으로분류된다. 1) 3D 모델링소프트웨어를사용하여이동하는 3D 객체를제작한후 AR 라이브러리 / 툴킷 (Toolkit) 을이용하여로딩하는방법, 2) Director 1) [3], XNA Game Studio 2) [4], 또는 Virtools 3) [5] 와같은상용소프트웨어로이동하는 3D 객체를제작한후 AR 플러그인 (Plug-in) 모듈을연동하여결과를확인하는방법, 그리고 3) 감각형사용자인터페이스 (TUI: Tangible User Interface)[6] 기반의몰입형 In-Situ AR 환경에서사용자가직접자신의손의움직임을이용하여이동궤적을설정하고그결과를동일공간인 AR 환경에서바로확인해볼수있는방법 [7] 으로나눠진다. 3D 모델링소프트웨어를사용하는방법은사용자에게전문적인학습을요구할수있으며, VR 환경에서저작된결과를 AR 환경으로변환하여결과를확인해야하는반복적인작업이필요하다. 한편기존의감각형사용자인터페이스기반의 In-Situ 이동궤적생성방법은사용자의손의움직임을이용하여 3D 객체의이동궤적을직관적으로생성할수있는장점이있으나, 사용자손의떨림으로인한불안정한이동궤적의생성, 매프레임저장된수많은이동좌표로인한저장과추후수정의어려움, 그리고작고밀집된이동좌표객체의선택이어렵다는문제점이존재한다. 본논문은기존의상용소프트웨어에대한학습을필요로하지않으며, 상대적으로사용하기쉽고직관적인사용자인터페이스를제공하는몰입형 In-Situ 증강현실기반의이동궤적저작방법에초점을맞춘다. 구체적으로가상손기법 (Virtual hand technique) 기반의 6 DOF(Degree of Freedom) 조작도구를아용하여직관적으로이동궤적을 1) Director, http://www.adobe.com/products/director (2010.6.30) 2) XNA Game Studio, http://www.xna.com (2010.6.30) 3) Virtools, www.virtools.com (2010.6.30) 생성하고조작할수있다. 조작도구의이동좌표에대한조정점 (Control point) 할당검사를통해적절한조정점을생성하며, 저장된조정점과스플라인을이용하여부드러운곡선형태로이동궤적을보간 (Interpolation) 한다. 또한거리, 방향, 빈도, 그리고시간스코어 (Score) 를기반으로한동적선택방법을통해작고밀집된이동궤적의조정점을효과적으로선택한다. 본논문은다음과같은순서로구성된다. 제 2장에서는기존의관련연구들을살펴보고, 제 3장에서는제안하는방법들의기술적인사항을설명한다. 그리고 4장에서는실험및구현과관련된상항을언급하며마지막으로 5장에서토론과결론을맺는다. 2. 관련연구 2.1. In-Situ AR 저작방법기존의 AR 콘텐츠저작과관련된연구를살펴보면, VR 환경의모델링툴 ( 소프트웨어 ) 을이용하여움직이는 3D 객체를제작한후, 이를 AR 라이브러리 / 툴킷등을이용하여로딩하는것이일반적인방법이었다. 최근에는 VR 모델링툴에 AR 플러그인을연동하여, VR 환경에서저작된결과물을 AR 환경으로변환하여테스트할수있는방법들이소개되고있다 [8][9]. 하지만이동궤적의수정이필요한경우, 다시 VR 환경으로변환을한후키보드 / 마우스같은 2차원사용자인터페이스를이용하여 x, y, z축각각을변경해가며원하는이동궤적으로수정을해야한다. 그리고다시 AR 환경으로변경하여결과를확인해야하는수고가필요하다. 반면본논문에서다루는몰입형 In-Situ 증강현실기반의이동궤적저작방법은 VR 환경으로의변환없이 AR 환경에서실시간으로이동궤적을수정하고바로결과를확인할수있다. 즉사용자의의도를즉각적으로반영할수있다는장점이있다. 또한기존 VR 환경에서의키보드 / 마우스와같은 2차원사용자인터페이스가아닌 AR 환경에서 6 DOF 를제공하는 3차원조작도구를이용하여 3D 이동궤적을직조작 (Direct manipulation) 할수있다는것을특징으로한다. 즉동일 AR 환경에서 3차원사용자인터페이스를사용하여, 사용자의공간적직관성을향상시킬수있다는장점이있다. 2.2. 이동궤적모델링방법이동궤적의외형적특징을잘반영할수있으며직관적으로이동궤적을수정할수있는방법이필요하다. 본논문에
서는직조작방법을이용하여최소한의입력만으로이동궤적의외형을수정할수있는이동궤적모델링방법을우선적으로고려한다. 가장간단한이동궤적모델링방법은다항식보간법 (Polynomial interpolation) 을이용하는것이다. 즉 n개의조정점이있을경우 n-1 차다항식을이용하여이동궤적을표현하는것이다. 그러나조정점이많아질수록다항식의차수가높아지므로, 계산복잡성이증가하며실시간조작이어려워진다. 또한진동현상 (Undulations) 이발생할수있다. 이러한단점을해결하기위해서, 스플라인 (Spline) 을이용할수있다. 즉구간별 (Piecewise) 로 3차이하의저차 (Low-degree) 다항식을적용하여이동궤적을생성하는것이다. 스플라인보간법은곡선의조정점통과여부를기준으로근사스플라인 (Approximating spline) 과보간스플라인 (Interpolating spline) 으로분류할수있다 [10]. Bezier 곡선, B-spline, NURBS 등과같은근사스플라인은조정점을항상통과하지않으며, 원하는형태로곡선을수정하기위해서는조정점과접선벡터 (Tangent vector), 노트 (Knot), 가중치 (Weight) 등을변경하여곡선의형태에영향을미치는긴장도 (Tension) 또는바이어스 (Bias) 등과같은특성을조정해야한다. 그러나이러한파라미터들을직관적으로제어하는것은쉽지않으며많은시간이소요될수있다 [11]. 한편보간스플라인은주어진조정점을통과하도록곡선이생성되며, 사용자는직관적으로조정점을조작하여곡선의형태를변경할수있다. 보간스플라인의한종류인카디날스플라인 (Cardinal spline) 은곡선의긴장도변수 (0에서 1사이의값 ) 를이용하여곡선의형태를조정할수있으며. 이값을 0,5로설정한것이카드뮬-롬 (Catmull-Rom) 스플라인이다 [12]. 카드뮬-롬스플라인은기존의여러스플라인표현방법에비하여제어할수있는확장성이다소부족할수있지만, 조정점만으로도쉽게곡선의외형을조작할수있다는장점이있다. 체를선택할수있는장점이있는반면, 이동궤적의조정점과같은매우작은객체를선택하기어렵다는문제점이있다. 이를보완하기위해영역기반의선택기법들 [14][15][16] 이제안되었지만, 3D 객체의 6 DOF 조작에는제약이따른다 [17]. 따라서 AR 환경에서는 3D 객체의자유로운 6 DOF 조작을위해가상손기법들을주로사용되었다 [7][18][19]. 그리고이동궤적의조정점과같이작고밀집된 3D 객체를선택하기위한, 가장기초적인방법은좌표기반선택방법이다. 이방법은가상손의좌표와 3D 객체의좌표간의거리가근접할경우해당객체를선택하는것이다. 하지만이방법은사용자에게 AR 공간의정확한 3D 깊이인식을요구하는것으로정신적 / 물리적인피로를야기할수있다. 이러한단점을해결하기위해서, 동적으로변하는선택영역을사용하는버블커서 (Bubble cursor) 방법이제안되었다 [20]. 그림 1 과같이보로노이 (Voronoi) 다이어그램영역을고려하여, 가상손 ( 조작도구 ) 의좌표가포함된영역의 3D 객체 ( 조정점 ) 가자동으로선택되도록하며시각피드백으로써반투명원구의크기를동적으로변경시킨다. 이렇게함으로써조작도구를조정점에정확히위치하지않아도원하는조정점을적절히선택할수있다. 그러나그림 1 과같이조정점들이밀집되어있는경우, 선택가능한유효거리 (Effective width) 가좁아지기때문에조작도구를선택하려는조정점위치로가까이이동해야한다. 이것은버블커서의장점을잃어버리게할수있다. 또한사용자손의불안정한움직임으로인한조작도구의잦은위치변동은원하는조정점의선택을어렵게할수있다. 2.3. 이동궤적의조정점선택방법증강현실에서가상공간의배경이미지는 1인칭사용자시점의카메라로부터실시간으로입력받은이미지로대체가된다. 이러한조건에서는 1인칭기준시점 (Egocentric) 의 3D 객체선택방법이주로사용된다. 이방법은크게무한대의가상선과최단거리에서교차되는 3D 객체를선택하는레이캐스팅 (Ray casting) 방법과사용자손의좌표와 1:1 로일치하는가상좌표를이용하여 3D 객체를선택하는가상손 (Virtual hand) 방법으로분류된다 [13]. 레이캐스팅방법은사용자의손이닿기어려운원거리의객 그림 1. 버블커서의객체선택방법 : 보로노이 (Voronoi) 다이어그램영역을이용 ; 3D 객체밀집된경우에발생될수있는현상. 3. 이동궤적생성및조작 3.1 이동궤적생성 조정점의좌표는그림 2와같이월드기준좌표계 M world 를기준으로한, 조작도구앞에증강된가상선끝점의변환행렬 M tip 의변환행렬값을이용하여획득할수있다. 여기서가상선끝점의변환행렬 M tip 은조작도구변환행렬 M prop 로부터일정거리만큼이동된상태이다.
기존방법과같이조작도구가인식될때마다조작도구의이동좌표를조정점으로할당하는경우, 특정구간에서조작도구의위치변동이적다면해당구간내에서매우많은조정점들이밀집되어생성될수있다. 이러한문제점을해결하기위해본논문에서는, 수식 1과수식 3처럼이미저장된조정점의위치 P CP 1-i 와현재조작도구의위치 P Prop(t) 를고려하여조정점들이일정거리간격이상의위치에생성되도록한다. 이렇게함으로써조정점들이특정구간에서밀집되는현상을줄일수있다. 또한이동궤적의디테일을반영하기위해서, 사용자는특정위치에서조작도구를약간더디게움직일수있다. 이러한사항을고려하여수식 2와수식 3과같이조작도구의위치가일정거리내에서연속적으로머무는경우조정점이할당되도록한다. 종합적으로수식 3과같이조정점과조작도구의거리인 D CP_Prop 와조작도구가특정구간에서머무는시간을고려한 T Dwell 값이각각특정임계값이상이될때, 해당되는조작도구의좌표 P Prop(t) 를조정점 P CP 로 i 할당한다. 그림 2. 이동궤적의조정점할당방법. 조정점과조작도구의사이의거리와조작도구의특정구간에서머무는시간을고려하여조정점을할당함. 저장된이동궤적은스플라인을이용한매개변수곡선방정식 (Parametric curve equation) 으로변환하는모델링과정을통해, 부드러운형태로변환된다. 이것은비전기반트래킹에러또는사용자의손의떨림으로인해일시적으로발생될수있는이동궤적의지터링 (Jittering) 효과를보상할수있는장점이있다. 그리고저장된조정점을이용하여추후이동궤적곡선을복원할수있다. 본논문에서는카트뮬-롬스플라인을이용하여저장된이동궤적의조정점들을매개변수곡선방정식으로변환한다. 주어진 4개의조정점 CP i-1, CP i, CP i+1, CP i+2 과비율변수 t 를이용하여곡선세그먼트 (Curve segment) q(t) 를정의한 (1) (2) (3) 다 ( 수식 4). 여기서, 변수 t(t [0,1]) 는두개의조정점 (CP i 에서 CP i+1) 사이의거리비율을의미한다. (4) 3.2 이동궤적조작본논문은기존의정확한좌표일치방법및버블커서을이용한객체선택방법의단점을해결하고자, 그림 4와같은총 4개의스코어 (Score) 를이용한동적조정점선택방법을제안한다. 첫번째는거리 (Distance) 스코어로써, 선택볼륨의중심좌표로부터볼륨에포함된조정점객체간의거리를반영하며중심에가까운조정점객체일수록높은스코어를갖는다. 수식 5에서 D Radius 는볼륨의반지름길이이며, D CP i(t) 는볼륨의중심좌표로부터조정점객체 CP 까지의 i 거리이다. (5) 그리고조작도구의방향 (Direction) 스코어는조작도구의방향으로부터조정점객체의방위각을계산하여사용자가의도하는방향에위치한객체가선택되도록한다. 각도 (Radian) 는수식 6처럼조작도구의방향벡터 V prop 와볼륨의중심좌표를기준으로한조정점객체 CP 의 i 방향벡터 V CP i(t) 간의내적을이용하여구한다. x는같은방향일경우 1의값을가지며반대방향일경우 -1의값을갖는다. 이를응용하여수식 7처럼스코어 S DirCP i(t) 값이 0에서 1의값을갖도록조정한다. (6) (7) 빈도 (Frequency) 스코어는볼륨내에조정점객체가포함되는횟수를반영한것이다. 수식 8처럼볼륨내에조정점이포함되는경우해당조정점의빈도수를증가시키며포함되지않을경우빈도수를감소시킨다. 그리고수식 9처럼빈도수를최소 F Lower 에서 F Upper 범위에있도록제한하고, 정규화과정을거쳐 0에서 1의범위에포함되도록한다. (8) (9) 마지막으로시간스코어는볼륨내에객체가연속적으로포함되는시간을반영한것으로, 조정점이오랜시간동안볼륨내에연속적으로포함되어있을수록높은스코어값을
갖는다. 볼륨내에포함되는경우횟수를증가시키며그렇지않은경우 0으로값을설정한다 ( 수식 10). 즉만약한번이라도볼륨내에포함이되지않으면 0으로초기화된다. 그리고수식 11처럼이값이 0에서 T Upper 범위에있도록제한하며, 정규화과정을거쳐 0에서 1의범위에포함되도록한다. (10) (11) 그리고수식 12와같이현재프레임 t에서조정점객체 CP i 의최종스코어총합인 S ContribCP i(t) 를구하고이전프레임의스코어값에대하여현재스코어값을업데이트한다 ( 수식 13)[21]. 여기서 C s 과 C g 는각각이전스코어총합의감소율과현재스코어총합의증가율을의미하는가중치이며 C s 와 C g 의합은 1이다 (C s, C g [0,1]). 최종적으로수식 14와같이현재시각 t에서의최대스코어값을가지는조정점을선택가능한조정점 CP 으로 i 결정한다. 그림 3. 실험 1. 이동궤적생성방법실험 : 목표이동궤적이주어져있음 ; 한붓그리기로목표이동궤적을따라조작도구를이동시킴. 실험 2는 3D 공간상에목표이동궤적과최대한비슷한형태로주어진이동궤적의조정점을일치되도록하는것이다 ( 그림 4). 이실험을통해사용자가얼마나빠르고정확하게이동궤적의조정점을선택하고조작할수있는지평가할수있다. 비교기법은포인트기반선택방법 (PS: Point Selection), 버블커서의볼륨기반선택방법 (VS: Volume Selection), 그리고스코어기반선택방법 (SS: Score Selection) 으로구성된다. (12) (13) (14) 사용자는조정점을선택을한후, 조작도구를이용하여위치를변경할수있다. 드래그상태동안조작도구앞에증강된가상선끝점의변환행렬 M tip(t) 로부터조정점의위치속성을설정하며 [22], 이에따라 3D 객체의이동궤적이실시간으로갱신한다. 4. 구현및평가 4.1 실험설계실험 1은이동궤적의생성과정을평가하는것으로, 3D 공간에위치한목표이동궤적을따라조작도구를움직이며이동궤적을생성하는것이다 ( 그림 3). 비교기법은기존의스플라인곡선을사용하지않고매프레임마다조작도구의위치를저장하는방법 (NO_SPLINE) 과카트뮬-롬스플라인을이용하여이동궤적을생성하는방법 (SPLINE) 이다. 그림 4. 실험 2. 이동궤적의조정점선택방법실험 : 목표이동궤적과사용자가조작해야할조정점들이주어져있음 ; 사용자는주어진조정점을선택하여목표이동궤적의조정점위치로이동시킴. 상기실험을수행하기위해서, 피험자내 (Within-subject) 반복측정 (Repeated measures) 방법을수행한다. 표 1은실험에서사용될독립변수를보인다. 공통적으로테스트하는이동궤적은한붓그리기가가능한삼각형, 사각형, 원형, 그리고사인파형태와유사한자유곡선이며모두 3D 공간상에위치한다. 그리고실험 1은 4종류의이동궤적과 2종류의이동궤적모델링방법으로구성되며 ( 총 8번시도 ), 실험 2는 4종류의이동궤적과 3종류의이동궤적의조정점선택방법으로구성된다 ( 총 12번시도 ).
표 1. 독립변수실험독립변수공통 : 한붓그리기가가능한도형 : 정삼각형, 정사각형, 이동궤적원형, 자유곡선실험 1. 기존이동궤적설정방법 (NO_SPLINE) 모델링카트뮬-롬스플라인방법 (SPLINE) 방법실험 2. 포인트기반선택방법 (PS: Point Selection) 조정점볼륨기반선택방법 (VS: Volume Selection) 선택방법스코어기반선택방법 (SS: Score Selection) 실험 1: 총 8번 (4 종류이동궤적, 2가지기법 ) 시도횟수실험 2: 총 12번 (4 종류이동궤적, 3가지기법 ) 표 2는본실험에서사용될종속변수를보인다. 실험 1의종속변수는이동궤적생성을통한조정점의개수, 목표이동궤적에대한오차그리고완료시간이다. 오차는생성된조정점과목표이동궤적에이르는최단거리를통해계산되며, 완료시간은사용자가조작도구의버튼을눌렀을때부터버튼을놓을때까지의측정된시간이다. 실험 2의종속변수는클릭횟수, 조정점을선택할수있는유효거리, 조작도구의이동거리, 그리고완료시간이다. 각각의조정점은목표이동궤적의해당조정점과의 10mm 거리내로사용자에의해이동되어야만작업이완료된다. 그렇지않은경우사용자는다시조정점을선택해서오차범위이내로조정점을위치시켜야한다 ( 클릭횟수증가함 ). 그리고유효거리는조정점선택이가능한상태에서사용자가클릭을하였을때, 해당조정점과조작도구간의거리를의미한다. 한편조작도구의이동거리는작업을완료할때까지의조작도구의이동거리이며, 완료시간은첫클릭시각부터작업완료시각까지의기간이다. 반마커트래킹과그래픽렌더링을위해 osgart 라이브러리 5) 을사용하였다. 그림 5. 실험환경 : 사용자는디스플레이장치를통해증강장면을볼수있음 ; 사용자의앞에는기준좌표계가되는트래킹패턴보드가놓여있음. 사용자는조작도구 6) 을손에쥐고있음. 또한사용자의손에의해패턴이가려져도증강을위한패턴인식 / 카메라자세추정이가능하도록다수패턴보드를사용하였으며, 카메라시야에트래킹패턴이항상위치할수있도록보드를크기 (300x600mm) 로제작하였다. 보드에사용된각각의마커는 60mm 크기이며조작도구에사용된마커는 40mm 크기이다. 손잡이부분을제외한정육면체의각면 ( 총 5면 ) 에한개의마커를각각부착하였다. 그림 6은실험에서사용된이동궤적을보인다. 모두 3D 공간상에서패턴보드평면을기준으로수직방향 100mm 높이에위치한다. 그리고이동궤적의그림자를생성하여사용자의깊이인식에도움을주도록하였다. 표 2. 종속변수실험 실험 1. 이동궤적모델링방법 실험 2. 이동궤적의조정점선택방법 종속변수포인트개수오차 ( 단위 : mm) 완료시간 ( 단위 : ms) 클릭횟수유효거리 ( 단위 : mm) 조작도구의이동거리 ( 단위 : mm) 완료시간 ( 단위 : ms) (c) (d) 그림 6. 실험에서사용된이동궤적 : 정삼각형 ; 정사각형 ; (c) 원형 ; (d) 자유곡선 4.2 구현및실험실험은마커트래킹을위한광량이충분한실내공간에서수행되었다 ( 그림 5). 카메라 4) 는 640x480 픽셀해상도로초당 30프레임의영상을획득하며안정적인마커트래킹을위해카메라의자동노출 (Auto exposure) 기능을설정하였으며마커보드위치로카메라초점 (Focus) 을조정하였다. 그리고 2.0GHz CPU 와 4GB 메모리를장착한컴퓨터에서, 비전기 4) 웹카메라 C905, http://www.logitech.com (2010.6.30) 그림 7은이동궤적생성의구현결과의한예를보인다. 그림 7 은기존의이동궤적생성방법 (NO_SPLINE) 을이용한것이며, 그림 7 은본논문에서제안하는스플라인방법 (SPLINE) 을이용한것이다. 그림에서붉은색의원형객체들은저장된조정점을표시한다. 실험에서는사용된파라미터 D Thres 의값은 30mm 이며 T Thres 는 20프레임으로설 5) osgart,www.artoolworks.com/community/osgart (2010.6.30) 6) 무선프리젠터 WP-8000, http://www.3m.com (2010.6.30)
정하였다. 즉조작도구가 30mm 미만거리에서 20프레임이상계속위치하거나, 조정점과조작도구의거리가 30mm 이상이라면조정점이배치된다. 수행하였으며, 세종류의이동궤적조작방법의실험결과분석을위하여 Kruskal-Wallis 테스트를수행하였다. 4.3 실험결과 그림 7. 이동궤적생성방법실험 ( 예 : 정사각형이동궤적 ): 기존이동궤적설정방법 (NO_SPLINE); 카트뮬 -롬스플라인방법 (SPLINE). 그림 8은이동궤적조정방법의구현예시를보인다. 포인트기반선택방법 (PS) 의경우조정점에 10mm 거리이내로근접해야조정점선택이가능하며, 보로노이볼룸기반선택방법 (VS) 은최근접조정점이선택가능하다. 그리고스코어기반선택방법 (SS) 은최적의스코어를가지는조정점이선택가능하다. 모든이동궤적은 10개의조정점으로구성된다. SS 방법에서 D Radius 는 50mm로 α, β, γ, 그리고 ω는각각 1로설정하였다. 그리고 C s 와 C g 의값은각각 0.5 로설정하였다. 그림 8. 이동궤적의조정점선택방법실험 ( 예 : 원형이동궤적 ): 포인트기반선택방법 (PS); 스코어기반선택방법 (SS). 사용성평가는컴퓨터과학을전공하는대학생 5명 ( 평균나이 22세 ) 을대상으로파일럿테스트수준에서수행되었다. 모두오른손잡이였으며증강현실어플리케이션에대한사전경험이없었다. 실험전에동영상과시연을통하여평가방법들을피실험자에게설명한후, 피실험자가직접연습할수있도록하였다. 실제실험은약 20분정도가소요되었다. 샘플수가적은경우의통계분석을위해서비모수검정방법을이용하였다. 실험 1의두종류의이동궤적생성방법의실험결과를분석하기위하여 Mann-Whitney U 테스트를 그림 9는논문에서제안하는스코어기반의조정점선택방법의실험결과를보인다. 3개의조정점 (CP0, CP1, CP2) 이배치한상황에서 50프레임동안각스코어값의추이를확인할수있다. 프레임 1에서조작도구는 CPO 와가장가까운거리에있으며방향도비슷하며빈도및포함시간스코어값도높다. 이때사용자가조작도구를시계방향으로조금씩회전하면서오른쪽으로이동하면, CP1 의방향스코어가높아지며 CP1 과 CP2 의거리스코어값이상대적으로증가하게된다. 이와동시에빈도및포함시간스코어값도높아지며, 17-36 프레임에서는 CP1이선택가능한상태가된다. 보로노이볼륨선택방법 (VS) 과같은거리측도를이용하는방법에비해, 스코어기반선택방법 (SS) 을이용하면 CP1 이선택될수있는가능성이높아질수있다. 실험 1. 오차와완료시간에서 SPLINE 와 NO_SPLINE 는서로유의한차이를보이지않았다 ( 표 3). 하지만조정점의개수비교에서 SPLINE 와 NO_SPLINE 는유의한차이를보였다. SPLINE 방법은기존 NO_SPLINE 방법에비해약 10% 이내의조정점만으로이동궤적생성이가능하였다. 실험 2. 클릭횟수와유효거리에서세방법간에유의한차이가있었다 ( 표 4). 특히 PS 방법은 VS 와 SS 방법에비하여적게는 3회에서많게는 7회정도의추가적인클릭이요구되었다. 유효거리는 PS, VS, SS 방법순으로증가하였으며유의한차이를보였다. 구체적으로 PS 의유효거리는약 10mm 이내의범위로제한적이였으나, 확장된선택영역을이용하는 VS 와 SS 방법의경우에는유효거리가 30mm 이상으로증가하였다. 조작도구의이동거리에대한결과를살펴보면, 대체적으로 PS, VS, SS 방법순으로감소하였다. PS방법이가장긴조작도구이동거리가요구되었으며, VS방법이 SS방법이보다좀더긴이동거리를필요로하였다 ( 원형의이동궤적예외 ). 마지막으로완료시간의경우 PS, VS, SS 방법순으로감소하는경향을보였으나상호유의한차이는보이지는않았다 ( 자유곡선의경우제외 ).
(c) (d) (e) 그림 9. 이동궤적의조정점선택을위한스코어측정의예시 : 총 50 프레임동안의테스트이미지시퀀스 (10 프레임간격으로정지영상을표시함 ); 거리스코어 ; (c) 방향스코어 ; (d) 빈도스코어 ; (e) 시간스코어. 표 3. 이동궤적모델링실험의결과. 평균값을표기하였으며, () 안에표준편차를기입하였음. 또한유의확률이 p<0.05 인경우 * 를표기하였음. 정삼각형정사각형원형자유곡선 NO_SPLINE SPLINE NO_SPLINE SPLINE NO_SPLINE SPLINE NO_SPLINE SPLINE 조정점개수 오차 (mm) 완료시간 (ms) 206.4 (61.496) 17.4 (7.162) 224 (44.855) 21.4 (7.893) 199.2 (71.391) 19.8 (5.541) 247 (43.618) 21 (5.612) Z=-2.611, p=0.008* Z=-2.611, p=0.008* Z=-2.619, p=0.008* Z=-2.611, p=0.008* 15.921 15.381 26.364 16.49 17.725 17.855 33.425 29.386 (7.765) (7.619) (9.134) (6.996) (4.731) (5.692) (15.862) (17.483) Z=-0.313, p=0.841 Z=-1.776, p=0.095 Z=-0.104, p=1.000 Z=-0.313, p=0.841 14410 13240.4 16312 17140.6 14238.2 16245 18636.8 17526 (8333.184) (5984.964) (7739.462) (7555.237) (9022.049) (6056.73) (8082.462) (5936.895) Z=-0.522, p=0.69 Z=-0.313, p=0.841 Z=-0.522, p=0.69 Z=0.000, p=1.000 표 4. 이동궤적조작실험의결과. 평균값을표기하였으며, () 안에표준편차를기입하였음. 또한유의확률이 p<0.05인경우 * 를표기하였음. 정삼각형 정사각형 원형 자유곡선 PS VS SS PS VS SS PS VS SS PS VS SS 클릭횟수 15.200 (4.868) 10-10 - 14.2 (2.28) 10.8 (0.837) 10.6 (0.548) 13.4 (2.302) 10.2 (0.447) 10.2 (0.447) 18 (7.714) 11 (0.707) 10 - χ 2 (2)=9.882, p=0.007* χ 2 (2)=7.621, p=0.022* χ 2 (2)=10.251, p=0.006* χ 2 (2)=7.996, p=0.018* 유효거리 (mm) 이동거리 (mm) 완료시간 (ms) 7.669 (0.664) 32.140 (8.869) 37.997 (6.445) 8.063 (0.744) 36.152 (6.29) 45.458 (6.501) 7.459 (0.783) 36.624 (9.746) 37.086 (10.513) 7.904 (1.128) 46.355 (3.768) 52.572 (15.198) χ 2 (2)=9.98, p=0.007* χ 2 (2)=10.82, p=0.004* χ 2 (2)=9.42, p=0.009* χ 2 (2)=9.42, p=0.009* 3963.582 3322.939 2874.848 4424.388 3807.927 3337.122 4460.963 3462.993 3532.772 6061.359 4177.947 3613.986 (557.688) (664.569) (736.024) (482.307) (374.884) (399.033) (241.828) (360.427) (592.696) (2310.79) (548.115) (288.108) χ 2 (2)=3.98, p=0.137 χ 2 (2)=7.62, p=0.022* χ 2 (2)=7.94, p=0.019* χ 2 (2)=10.14, p=0.006* 56639.4 (14198.1) 37769.6 (10346.7) 36679.6 (11199.6) 56657.2 (14158.9) 39839 (13257.7) 38625 (13492.3) 53374 (14637.6) 39143.4 (12070.4) 37601.6 (9730.1) 68697.4 (18052.1) 40966.8 (12327.9) χ 2 (2)=4.94, p=0.085 χ 2 (2)=4.34, p=0.114 χ 2 (2)=3.5, p=0.174 χ 2 (2)=6.74, p=0.034* 수도있다. 36439.8 (10589.0) 5. 토론및결론 5.1. 토론실험 1. 본논문에서제안한스플라인기반이동궤적생성방법은기존방법에비해조정점의개수를 90% 이상감소시킬수있었다. 모든이동궤적포인트들을저장하는것에비해, 조정점만을저장하고이동궤적을복원할수있는방법은사용자에게추후이동궤적을재수정을할수있는기회를제공할수있다. 또한부가적으로조정점개수감소를통해이동궤적조작에필요한조정점선택횟수를대폭줄일 한편정삼각형이나원형과같이곡률이큰이동궤적의경우, 제안한방법은기존방법과비슷한오차를보였으며완료시간이다소증가한결과를보였다. 오차와완료시간을더욱감소시키기위해서는조정점과조작도구간의거리뿐만아니라추가적으로이동경로의곡률을고려한조정점할당방법이필요할것이라고생각된다. 실험 2. SS방법은 PS와 VS방법보다조정점선택이가능한유효거리가증가하였는데, 이는조작도구를적게이동하여도조정점선택이가능하다는것을의미한다.
그리고조작도구의이동거리의실험결과에서, PS 방법이가장긴이동거리를기록하였으며, VS방법이 SS방법보다좀더긴이동거리를요구하였다. 이는 SS방법이 PS와 VS 방법에비해다양한스코어를추가적으로이용하여조정점을선택을효율적으로할수있기때문일것으로판단된다. 또한 VS와 SS방법은 PS방법보다더적은시간으로작업을완료할수있었지만 VS와 SS방법간에는큰차이는보이지않았다. SS방법이 VS방법보다상대적으로유효거리가크고이동거리가짧음에도불구하고작업완료시간은큰차이를보이지않은이유는, 다양한스코어값을계산하고여러후보들중에최적의값을가지는조정점을결정하는데약간의시간지연이존재하기때문일것으로생각된다. 5.2. 결론및향후연구본논문은몰입형 In-Situ 증강현실환경에서의 3D 객체이동궤적편집방법을제안하였다. 실험결과제안한이동궤적생성방법은기존방법에비교하여오차와완료시간은유의한차이가없었지만약 90% 이상의조정점개수감소효과가있었다. 이를통해추후이동궤적에필요한조정점선택의횟수를대폭감소할수있다. 또한이동궤적조작의경우, 제안한조정점선택방법은기존방법에비해조정점선택에사용되는유효거리가증가하였으며조작도구의이동거리와작업완료시간은감소하였다. 즉기존방법에비해상대적으로적은손 / 팔의움직임만으로빠르게이동궤적을조작할수있었다. 본논문에서제안하는이동궤적편집방법을통해사용자는디지로그북의 3D 객체에움직임속성을설정하고조작을할수있었다. 이를통해독자는좀더향상된상호작용적인디지로그북을체험할수있을것으로기대한다. 제안한이동궤적편집기술은또한몰입형증강현실환경의교육, 게임, 디자인, 애니메이션, 시뮬레이션등의분야에서드로잉, 스케칭의곡선편집방법으로도응용될수있다. 향후연구로써, 다양한이동궤적과좀더밀집된조정점조건에서추가적인실험이수행될것이다. 한편이동궤적을수정하기위해서조정점각각을개별적으로선택하고조작하는것은번거로울수있다. 이를해결하기위해여러개의조정점들을동시에선택할수있는그룹선택방법에대한연구가진행될것이다. 마지막으로이동궤적의디테일을보전하면서도손쉽게조정점을추가하고삭제할수있는방법에대해서도연구가진행되어야한다. 참고문헌 [1] Ha, T., Lee, Y., Woo, W. (2010). Digilog Book for Temple Bell Tolling Experience based on Interactive Augmented Reality with Culture Technology. Springer Virtual Reality (spvr). [2] 하태진, 이영호, 우운택. (2008). 디지로그북저작도구 ARtalet - 3 차원객체속성저작. KHCI, 1권. pp. 314-318. [3] MacIntyre, B., Gandy, M., Dow, S., and Bolter, J. (2004). DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences. ISMAR, pp. 172-181. [4] Oda, O., Lister, L., White, S., Feiner, S. (2008). Developing an Augmented Reality Racing Game. INTETAIN, pp. 8-10. [5] Geiger, C., Klompmaker, F., Stoecklein, J., and Fritze, R. (2007). Development of an augmented reality game by extending a 3D authoring system. ACE, pp. 230-231. [6] ISHII, H., ULLMER, B., (1997). Tangible bits: towards seam-less interfaces between people, bits and atoms. ACM CHI, pp. 234 241. [7] Lee, G., Nelles, C., Billinghurst, M., Kim, G.J. (2004). Immersive Authoring of Tangible Augmented Reality Applications. ISMAR. pp. 172-181. [8] AR-media Plugin for Google SketchUp, http://www.inglobetechnologies.com (2010.6.30) [9] Linceo VR, http://www.seac02.it (2010.6.30) [10] Shirley, P., Ashikhmin, M., Gleicher, M., Marschner, S., Reinhard, E., Sung, K., Thompson, W., and Willemsen, P. (2005). Fundamentals of Computer Graphics. A. K. Peters, Ltd. [11] Bartels, R.H., Beatty, J.C., Barsky, B.A. (1987). An introduction to splines for use in computer graphics and geometric modeling. Morgan Kaufmann Publishers Inc. [12] Catmull, E., Rom, R. (1974). A Class of Local Interpolating Splines. Computer Aided Geometric Design. Academic Press. [13] Bowman, D.A., Kruijff, E., LaViola, J.J., Poupyrev, I. (2004). 3D User Interfaces Theory and Practice. Addison-Wesley. [14] Liang, J., Green, M. (1994). JDCAD: A Highly Interactive 3D Modeling System. Computers and Graphics. 18, 4, pp. 499-506. [15] Forsberg, A., Herndon, K., Zeleznik, R. (1996). Aperture based selection for immersive virtual environments. ACM UIST, pp. 95-96. [16] Pierce, J., Forsberg, A., Conway, M., Hong, S., Zeleznik, R. (1997). Image plane interaction techniques in 3D immersive environments. ACM
I3D. pp. 39-43. [17] Bowman, D., Hodges, L. (1997). An Evaluation of Techniques for Grabbing and Manipulating Remote Objects in Immersive Virtual Environments. ACM I3D. pp. 35-38. [18] Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K., Tachibana, K. (2000). Virtual Object Manipulation on a Table-Top AR Environment. ISAR, pp. 111-119. [19] Kato, H., Tachibana, K., Tanabe, M., Nakajima, T., Fukuda, Y. (2003). MagicCup: A Tangible Interface for Virtual Object Manipulation in Table-Top Augmented Reality. the Augmented Reality Toolkit Workshop, pp. 75-76. [20] Grossman, T., Balakrishnan, R. (2005). The Bubble Cursor: Enhancing Target Acquisition by Dynamic Resizing of the Cursor's Activation Area. CHI. pp. 281-290. [21] Haan, G.D., Koutek, M., Post, F.H. (2005). IntenSelect: Using Dynamic Object Rating for Assisting 3D Object Selection. Virtual Environments. pp. 201-209. [22] Ha, T., Woo, W. (2010). An Empirical Evaluation of Virtual Hand Techniques for 3D Object Manipulation in a Tangible Augmented Reality Environment. IEEE 3D User Interfaces, pp. 91-98. 우운택 1985 년 ~ 1989 년경북대학교전자공학과학사졸업 ( 공학사 ). 1989년 ~ 1991년포항공과대학교전기전자공학과석사졸업 ( 공학석사 ). 1993 년 ~ 1998 년 Univ. of Southern California (USC) Electrical Engineering Systems 박사졸업 ( 공학박사 ). 1991 년 ~ 1992 년삼성종합기술원연구원. 1999 년 ~ 2001 년 ATR MIC Lab. 초빙연구원. 2001 년 ~ 현재광주과학기술원정보기전공학부정보통신공학과교수. 2005 년 ~ 현재광주과학기술원문화콘텐츠기술연구소장. 관심분야는문화콘텐츠기술, 3D 컴퓨터비전, 증강 / 혼합현실, 인간컴퓨터상호작용, 감정인식, 맥락인식컴퓨팅, 유비쿼터스컴퓨팅등임 하태진 2001 년 ~ 2005 년동국대학교정보통신공학부학사졸업 ( 공학사 ). 2005 년 ~ 2007 년광주과학기술원정보통신공학과석사졸업 ( 공학석사 ). 2007 년 ~ 현재광주과학기술원정보기전공학부정보통신공학과박사과정. 관심분야는 HCI, 증강 / 혼합현실, 저작도구, 3D 사용자인터페이스, 사용성평가등임