Journal of Digital Art Engineering & Multimedia Vol.4, No1, June (2017), pp. 1-17 디지털예술공학멀티미디어논문지 http://dx.doi.org/10.29056/idaem.2017.06.01 3D 인터랙티브홀로그램작품및관객경험연구 A Study of 3D Interactive Hologram Art and User Experience 김은솔 1), 김현주 2) Eunsol Kim 1, Hyun Ju Kim 2 * 요약본논문은실시간 3D 인터랙티브홀로그램작품인 <Re/De-Construction> 의제작연구를기술한다. 이를통해예술가가직접구현하기쉬운유사홀로그램의제작방법을모색하고, 립모션에의한손제스처인식, 실시간 3D 렌더링을결합한인터랙티브 3D 홀로그램의제작방법론을소개한다. 본연구에서는가상성의시각적재현이라고할수있는플로팅방식의유사홀로그램을적용시켜연구자의기존립모션활용작품에서손의움직임이가지는물질성에대한부재측면을보완하고자했다. 본연구는 360도회전이가능한실시간 3D 그래픽스와립모션과같은 NUI 장치의결합을통해홀로그램의실재감과몰입감, 상호작용적관객경험이증대될수있는가능성을제시한다. 핵심어 : 3D 인터랙티브홀로그램, 유사홀로그램, 립모션, VVVV, 관객경험 Abstract The development process of a real-time interactive 3D hologram artwork <Re/De-Construction> is described. The process includes the research on the affordable technologies in creating 4-sided cheoptics holographic displays and integrating interactive real-time 3D rendering based on hand gestures sensed by Leap Motion. Users of Leap Motion, however, often brings issue of emptiness due to the fact that the gesture of the user s body lacks corresponding physical and material reactions. In our research, we developed a way to overcome this issue by combining 3D interactive cheoptics hologram along with Leap motiom. It is believed that the utilization of realtime 3D graphics and NUI devices like Leap Motion will improve the quality of user experience such as presence, immersiveness and interactivity. Keyword: 3D interactive hologram, pseudo hologram, Leap Motion, VVVV, user experience 1) Dept. of Newmedia, Seoul Media Institute of Technology, Hwagok-ro 99-61, Ganseo-gu, Seoul, 07590, Korea e-mail: kimeunsol243@naver.com 2) Dept. of Newmedia, Seoul Media Institute of Technology, Hwagok-ro 99-61, Ganseo-gu, Seoul, 07590, Korea e-mail: kimeunsol243@naver.com (Corresponding author) * 이논문은 2016 년대한민국교육부와한국연구재단의지원을받아수행된연구임 (NRF-2016S1A5A2A01026321) Received(April 31.2017), Review (June 10.2017), Accepted(June 30.2017) ISSN: 2508 9099 JDAEM c 2017 NCISS 1
A Study of 3D Interactive Hologram Art and User Experience 1. 서론 1.1 연구배경및목적 본연구는전시공간의인터랙티브관객경험연구의일환으로진행된립모션 (Leap Motion) 을활용한인터랙티브홀로그램플랫폼의작품제작연구이다. 여기서밀착형인터랙티브요소의구현을위해립모션을활용할예정이다. 연구진은 NUI(Natural User Interface) 장치의일종인립모션 (Leap Motion) 의예술적활용에대한사전연구를통해, 립모션을통한관객경험이가져다주는한계를관찰한바있다. 립모션은기존의다른인터페이스와달리손의제스처인식을중심으로개발되었고, 정교한손의움직임을적용한미디어아트작품을제작의가능성을가지고있다 [1]. 그러나손의움직임이실제하지않는가상의공간에서이루어져물리적인접촉이부재하다보니사용자의입장에서허공에서행하는제스처에대한체험의만족도가떨어짐을확인하였다 [1]. 즉, 스크린속가상공간의물체와의상호작용은관객에게물리적접촉이나촉각적경험을제공하지못하기에작품을마주한관객에게자주공허함과불안함을안겨주기도한다 [1]. 연구진은이러한관객경험의문제를보완하기위해서가상성의시각적재현이라고할수있는플로팅방식의유사홀로그램을통한실시간 3차원인터랙티브홀로그램방식을제시하고자한다. 이를통해기존의손의움직임이가지는물질성에대한부재를보완하여, 더욱실감적인관객경험을모색하고자한다. 또한본연구를통해제안하는인터랙티브홀로그램플랫폼이대형공연장이나기관이아니라면구현이힘든홀로그램기술을현장의일반적인미디어아트작가들도자유롭게활용할수있으리라기대한다. 1.2 연구방법 본연구는실감형몰입환경으로나아가는오늘날의뉴미디어콘텐츠와예술환경에서점점더주목받고있는홀로그램기술의연구를실시하고, 보급가능한기술을활용한미디어아트작품제작을시도한다. 연구는먼저홀로그램에대한기술적측면과선행연구및사례를살펴보고, 보급가능한인터랙티브홀로그램플랫폼의설계를진행했다. 플랫폼의설계는보급형 4면홀로그램의제작, VVVV 를활용한실시간 3D 그래픽처리, 립모션을활용한사용자인터랙션디자인을포함한다. 이렇게새롭게고안된 3D 인터랙티브홀로그램플랫폼을활용해 <Re/De-Construction> 의작품제작에적용하였고, 그전반적인과정을소개하고자한다. 2 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 2. 이론적배경과선행연구 2.1 홀로그램의역사와원리 홀로그램 (Hologram) 은그리스어로전체라는뜻의 holohs 와메시지또는정보라는의미를가진 gramma 의합성어 [2] 로서, 물체를비추는레이저광선이간접과회절을통해물체의형상정보를필름매체로기록및재생해사물의전체를입체적으로재현한이미지이다. 재생된입체상은사실적인입체감을가지며여러각도에서관람이가능하다. 홀로그래피 (Holography) 라는용어는홀로그램제작기술을총체적으로일컫는다. 홀로그램은 1942 년영국의물리학자게이보 (Denis Gabor) 에의해초기이론이제안되었다. 그는전자현미경기술을연구하면서물체의입체적인정보를빛의간섭현상을이용해기록하고재생하는방법을고안했는데, 이후로저스 (G. L Rogers) 나우파트니엑스 (Upatniekes), 데니슈크 (Denisyuk) 등의연구자들로부터후속적인연구가이루어졌다 [2-3]. 1965 년에는히오키류이치 (Hioki Ryuichi) 에의한영화실험, 1966 년에는홀로그램을활용한 TV를위한전송실험, 1967 년에는로만 (Lohmann) 이컴퓨터홀로그래피를시도하기도했다 [3]. 2010 년이후영화아바타를계기로불었던입체영상산업의부흥이후오늘날뉴미디어콘텐츠는점차실감형콘텐츠로그중심이옮겨가고있고, 홀로그램은새롭게기대되고있는실감형미디어기술의하나로관심이점차증대되고있다. 2.2 홀로그램의종류와유사홀로그램 2.2.1 전통적홀로그램홀로그램은그기록방식과재생방식에따라다양하게분류가가능하다. 즉재생방식에따라서는 투과형홀로그램 과 반사형홀로그램 으로나눌수있는데투과형홀로그램은홀로그램의뒤에서빛을비추어투과한상을앞에서관찰하는방식인반면, 반사형홀로그램은빛을전면에서비추어관찰하도록제작되었다 [3]. 기록방식에따라서는 체적형홀로그램 과 평면형홀로그램 으로분류가능한데, 이는홀로그램이기론되는필름에서은염 (silver haliad) 의두께와간섭무늬의간격에따라결정된다 [3]. ISSN: 2508 9099 JDAEM c 2017 NCISS 3
A Study of 3D Interactive Hologram Art and User Experience 홀로그램이가진본연의목적인사물의입체적재현을위해서는 360도의전방위에서촬영기록된영상이재생되는방식의 3D 홀로그램일때가장실재감이증강될수있다. 그러나사물을온전히 360도의각도에서레이저를투사하여 3D 홀로그램영상을제작하는것은아직까지광학적인기술이나데이터처리의문제등으로현실적으로구현이불가능하다. 흔히보는 SF 영화에서묘사되는그러한홀로그램은 2030 년경이나되어야일정부분가능하다는견해도있다 [3]. 2.2.2 유사홀로그램 [ 그림 1] 페퍼의유령시연장면 : 마가신픽처레스그 (1869) 삽화 [Fig. 1] Pepper s ghost example : Illustration from 'Magasin Pittoresque' 1869 3D 홀로그램이가진구현의한계로인해공연이나전시에서활용되는것은유사홀로그램 (Pseudo Hologram) 이주를이룬다. 유사홀로그램은엄밀하게보자면실재홀로그램기술과는다른눈속임에가까운시각적효과이지만엔터테인먼트산업에서는홀로그램의종류로분류해부르고있다. 유사홀로그램은주로플로팅홀로그램 (Floating Hologram) 방식을채택하고있는데, 이는프로젝터로영상을투사해반사시켜 3차원의투명막또는하프미러에영상이맺힘으로써마치상이공중에떠있는듯한환영적인효과를만들어낸다. 유사홀로그램의기원은 19세기연극연출가인존헨리페퍼 (John Henry Pepper) 가고안한페퍼스고스트 (Peppter s Ghost) 에서유래한다 [3]. 페퍼스고스트는매직랜턴 (Magic Lantern) 이활용되었던판타스마고리아 (Phantasmagoria) 의전통을계승한시각적환영장치였다. 극장의무대아래에어두운공간에서 4 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 배우나물체에밝은빛을투사하면피사체의상이거울에반사되어다시무대위에비스듬히설치된유리판에투사됨으로써어두운배경과상의이미지가겹쳐져마치유령과같은환영적인이미지로관객에게보여지게되는방식이다 [3][8][10]. 플로팅홀로그램은무대뒤에설치된프로젝터로무대위스크린에직업영상을비추는방식의프리포맷 (Free Format) 과피라미드형태의투명필름과프로젝터의반사를이용하는사면홀로그램 (Cheoptics Hologram) 방식으로분류가가능하다. 이외에도매우간편하게이원리를이용하여 3D 홀로그램영상을디스플레이할수있는보조장치도출시되고있다. 2.3 유사홀로그램에대한선행연구 국내외연구동향을살펴보면해외의대학및연구소에서는디지털홀로그래피와홀로그래픽데이터의저장과전송, 실사재현, 홀로그램 TV 등에대한연구가진행중인것으로보인다. 국내에서는홀로그램정보획득, 프로세싱기술및디스플레이, 소자등과관련된기초연구가추친중에있다 [3]. 2.3.1 국내연구최근의연구중에서임수연 [4][5] 은관객과의상호작용이가능한홀로그램아트의구성방안을제시하며인터랙티브인터페이스로키넥트를사용한연구를진행했다. 키넥트를이용한홀로그램인터랙션의디스플레이방법을설명과더불어기존의단순한홀로그램표현기법에서진화한공간에서상호작용을하는미디어아트의적용을알아볼수있는연구였다. 이금희 [6] 의연구에서는홀로스크린에대한설명과다중홀로스크린의인터랙티브인스톨레이션제작법을제시했다. i3dg와자신의다중홀로그램의컨텐츠가설치에서어떤차이가있으며강점이있는지서술하며더불어컨텐츠의다양성에대한제안을하고있다. 김민주 [7] 는하프미러방식의홀로그램과 Kinect 를결합한연구에서 2D의이미지보다 3D이미지혹은, 3D이미지나사용자인터랙션을함께적용한경우, 더욱사용자에게삼차원공간감과현실감을정확하고효과적으로제공할수있음을관찰했다. 엔도 (Yuri Endo)[8] 는사진과영상을이용하여플로팅홀로그램인페퍼고스트 (Pepper s Ghost) 원리를이용한연구를진행하였고설치에있어프리즘을사용하여독특하고새로운방법을제시하였다. ISSN: 2508 9099 JDAEM c 2017 NCISS 5
A Study of 3D Interactive Hologram Art and User Experience 2.3.2 응용사례홀로그램의응용은공연, 광고, 미디어아트전시등최근미디어엔터테인먼트의전반에서활용되고있다. 공연분야의사례로서영국의뮤션 (Musion) 사는아이라이너 (Eyeliner) 라는시스템에서고화질의프로젝터와특수포일을이용하여홀로그램공연을구현했다. 원리는페퍼스고스트 (Pepper s Ghost) 와동일하나더욱선명하고실감나는효과를얻어냈다. 이공연는 2006 년에있었던그래미어워드에서실연되었으며마돈나 (Madonna) 와고질라 (Gorillaz) 가출연했고미리제작된영상과후반부의실제퍼포먼스가연결되어당시많은관심과주목을받았다. 퍼포머의상의크기가실제와동일하며풀컬러의움직임이자연스럽게재생되어환상적인경험을제공했다. 뮤션사는국내상당수의홀로그램이벤트에서기술특허권을가지고있기도하다. 국내기업중디스트릭트는 2010 년홀로스크린을통해 4D 디지털아트퍼포먼스를선보였고, 나아가 2012 년에는프로젝션맵핑, 플로팅홀로그램그리고관객참여형콘텐츠를추가해 K팝공연을진행했다. 라이브홀로그램과동시에공연장입구에마련된포토존에서사진을찍으면그사진이공연장안의스크린에빌보드와포스터형식으로실시간맵핑되었다. 광고에사용되는홀로그램은옥외광고와제품홍보전시또는이벤트로서사용된다. 전시의경우하프미러를이용한사면홀로그램을많이사용하며옥외광고의경우프리포맷을사용하기도한다. 제품을홍보하기위해전시를하는경우실제제품이나제품의이미지에부합하는오브제를홀로그램이실현되는곳에위치시켜가상과실제가같이존재하게하기도한다. 이경우플로팅홀로그램만존재할때보다더욱입체감이살아나는효과를가질수있다. [ 그림 2] 디스트릭트의홀로그램공연 (2012)( 좌 ) 코카콜라의홀로그램광고 ( 우 ) [Fig. 2] Hologram Performance of District(2012)(L) Holograd ads of Coccacola(R) 6 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 미디어아트분야에서피에릭소랑 (Pierrick Sorin) 은 1995 년부터유사홀로그램을실험했으며초기에는기술적으로부족하여시연하기어려웠지만 2000 년이후디지털기술을이용하여발전된영상을만들어내는데성공했다. 그는특수거울을활용한반사이미지를실제오브젝트에함께투사하는방식의홀로그램을통해그의작품은유머와풍자를담은비디오아트가된다. [ 그림 3] 피에릭소랑 Une Vie Bien Remplie( 잘채워진인생 ) (1999-2017) [Fig. 3] Pierrick Sorin Une Vie Bien Remplie (1999-2017) 가브리엘바르시아콜롬보 (Gabriel Barcia-Colombo) 는홀로그램비디오조각가이며주로유리병에사람들의이미지를모으는작업을진행한다. 일련의그의작업의과정들은기억을모으는행위이며최소한고정된센서를이용하여관객과상호작용을한다. 그에게있어관객은자신의작품에가장큰영향을끼치는요소라고말한바있다. 주로프리포맷형태의홀로그램을사용하며주요작품으로는 Jitterbox(2009) 와 Wall(2011) 이있다. 그외주목할만한홀로그램의사용으로는야마하의후원으로제작된컴퓨터음악제작용음성합성엔진인 보칼로이드 (Vocaloid) 하츠네미쿠 이다. 하츠네미쿠는가상의가수로실제로콘서트에서플로팅홀로그램의방식을이용해재현되었고 2010 년에이루어진공연은하츠네미쿠가실재밴드와호흡을맞추며무대를완성했다. 이외에도박물관, 패션쇼등다양한분야에서플로팅방식의유사홀로그램이사용되고있다. ISSN: 2508 9099 JDAEM c 2017 NCISS 7
A Study of 3D Interactive Hologram Art and User Experience 2.4 홀로그램과관객경험 이상에서살펴보았듯이유사홀로그램은다양한분야에서사용되고있으며특히대형공연이나광고의목적으로많이쓰여지고있다. 페퍼스고스트원리를따르는유사홀로그램에서관람객의관람시점은정면에서만가능하거나또는정면에서많이벗어나지않는한계가있다. 이는대부분필름의한면에투사를하거나반사시켜상을만들어내기때문이다. 이러한경우입체감이떨어져 2D이미지를보는것과차이가발생하지않을수있기때문에 3D이미지와함께관객의인터랙션을함께적용하는것이효과적이라는연구결과가있다 [7]. 관객경험의측면에서몰입감과실재감을더욱증가시기키위해서는관람객의시선이정면뿐만아니라다양한방향에서입체감을느낄수있도록디스플레이하는방법을사용할필요가있다. 실제사물과함께홀로그램을혼합시킨경우또한현실감이더해져입체감이더해지는효과를얻을수있으며이러한방법은광고또는미디어아트에서도쓰여지는방법이다. 플로팅방식의유사홀로그램의가장큰장점은홀로그램과관객의인터랙션이가능하다는것이다. 상호작용을적용시킬경우에는키넥트 (Kinect) 또는간단한센서를적용하여제작가능한데, 키넥트나립모션 (Leap Motion) 과같은 NUI(Natural User Interface) 장치의이용은관객과의상호작용을더해가상성을재현하여몰입감과실재감을강화할수있을것으로본다. 키넥트가 IR카메라를통한깊이인식으로사람의전체형상에대해서 3D 모션캡쳐, 얼굴인식, 그리고음성인식이가능하다면립모션은손의움직임인식에최적화된장비로서손의 3D모션제어및모션감지가가능한컨트롤러이다. IR카메라를이용해초당 290번의반사정보를받아미세한손동작을조작할수있고반영가능하며적외선센서방식으로어두운곳에서도사용가능하다. 또한소형 (45g, 가로80mm X 높이 12.7mm) 으로휴대가용이하고설치도간편하다. 감지해상도 (sensing resolution) 는가로, 세로, 높이가 60cm이며 3D컨트롤러위에위치해있을때만인식이가능하다 [11]. 한편, 영국뮤션사의프로젝션과같은시스템은공연자와홀로그램영상간의상호작용이가능해졌다는점에서의의가크나이러한대형화된디스플레이는높은광학설비단가와큰부피로인해적용분야가한정되고제한적으로활용될수밖에없다 [3]. 구현비용이많이드는방식대신대안적으로홀로그램기술을보편화할수있는방법의연구필요성에서본연구진은홀로그 8 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 램의관객경험을극대화시킬수있는보급가능한홀로그램플랫폼을제시하고자한다. 즉플로팅방식의유사홀로그램의일종으로하나의면이아닌 4면의디스플레이를활용하는사면홀로그램 (Cheoptic Hologram) 과 3D 그래픽이미지와립모션장치를결합하는것으로이를활용한시스템설계와 3D 인터랙티브홀로그램작품인 <Re/De-Construction> 을기획하고제작하였다. 3. 3D 인터랙티브홀로그램작품 <Re/De-Construction> 제작연구 3.1 기획방향및주제 본제작연구는보급가능한 3D 인터랙티브홀로그램플랫폼을디자인및개발하여홀로그램과립모션을활용한인터랙티브미디어아트작품을제작하는데목적을두었다. 앞선선행된연구에서인터랙티브홀로그램을제작하기위해서기존작품들과차별점을두고적용가능한주요방향을정리해보면아래와같다. [ 표 1] 작품연구의주요방향 [Table 1] Research Criteria - 다양한방향에서입체감을느낄수있도록 3면이상의홀로그램제작 - 설치의어려움과구현의경제적부분을절감할수있는보급가능한방식 - 실제의오브제에맵핑또는설치하여가상에현실적입체감을강화 - 립모션을활용하여손의움직임을통한상호작용적용 기존의작품들과차별성을가지려면관람객의시선이정면뿐만아니라다양한방향에서입체감을느낄수있도록디스플레이하는방법을사용하고, 대형화되어있고구현비용이많이드는방식대신대안적으로보급가능한방식을선택해야한다고생각되었다. 더불어실제의오브제와의혼합과동시에립모션을이용하여관객과의상호작용을더한다면가상성을재현하는입체감이강화되는효과로차별성을가지게될것이라고판단했다. 이러한점들을종합한결과사라지게될공간의물건들과이미지를채집하여그물건들을이용해작품을제작, 설치하여의도된바를표현하고자한다. ISSN: 2508 9099 JDAEM c 2017 NCISS 9
A Study of 3D Interactive Hologram Art and User Experience 3D 인터랙티브홀로그램플랫폼을활용한미디어아트작품으로제시하고자, 본작품의주제를 재건축 으로정하고부서지고세워지는재건축의현장를홀로그램을통해재현시키고자했다. 립모션을통한간단한손동작으로파괴되고다시돌아오는삶의장소들을조명하고인간의재건축에대한행위와그현장에대한물음을던진다는측면에서작품의제목또한 <Re/De-Construction> 으로채택했다. 즉재건축과해체의의미가실상과가상의대치되는개념과함께병렬적인의미구조를이루어제시될것을기대했다. 3.2 작품제작 재건축주제에맞는서울의만리동재건축지역을답사하여그곳의건물의파사드면의이미지를채집한후재편집하여이미지를구성했다. 기존의고가의플로팅홀로그램의디스플레이를대체할수있는대안적인디스플레이방식을연구적용하고, 인터렉션을가능하게할프로그래밍은 VVVV 를이용해제작했다. [ 그림 4] 작품제작진행구조도 [Fig. 4] Production Process 3.2.1 이미지 간단한손의움직임으로삶의터전이무너짐과재생되어짐을반복하는재건축의현장을재현 하려했으므로서울시의만리동재건축지역을탐방하여이미지를수집하고조사하였다. 10 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) [ 그림 5] 만리동재건축지역답사 [Fig.5] Visiting the deconstruction site of Manri-dong 만리동의현장에서아직무너지지않은하나의건물을발견했고그건물의파사드면을채집하였다. 그후에재편집을통해건물의각면을분리한후작품에쓰여질이미지를구성하였다. 먼저건물의사면을촬영후필요한건물의벽면만재편집해디스플레이에투사될실시간 3D 오브젝트의텍스쳐매핑소스로활용하고자준비했다. 본연구에서는 VVVV 의프로그래밍을이용하여이렇게준비된 4면의건물이미지를사면으로화면의중심을기준으로십자모양으로배치했으며이를통해실시간으로이미지의간격과위치를조정할수있었다. [ 그림 6] 홀로그램용이미지준비 [Fig.6] Image preparation for hologram 3.2.2 디스플레이앞서인터랙티브홀로그램에적합한방식의조사의결과로서기존의작업들과의차별성에있어홀로그램의접근성을높이고자디스플레이를소형화시켰다. 단순히한면에서만감상과인터렉션이가능한것이아니라 360도에서관람과체험이가능하도록제작했으며입체감이뛰어난플로팅방식의사면형홀로그램의외형을따랐다. 또한하프미러와같은고가의기존에사용된 ISSN: 2508 9099 JDAEM c 2017 NCISS 11
A Study of 3D Interactive Hologram Art and User Experience 재료의대안으로서아크릴을선택하고아크릴의투명성과두께에따른실험을실시했다 [ 그림7]. 각재질에대한실험결과아크릴의투명도가낮을수록상의선명도와입체감이살아나는것을확인할수있었으며두께가너무얇거나두꺼울경우상의왜곡이생겨반사되는이미지에영향을미쳤다. 실험결과로본연구에서는검정색 2T사이즈의아크릴을사용했다. 이미지디스플레이는소형화를시키기위해슬레이트 PC를사용하였다. [ 그림 7] 아크릴재료의투명도별홀로그램선명도및입체감실험 [Fig.7] Experimentation on hologram quality based on the transparency of acrylic material 사면홀로그램디스플레이제작을위해원을아크릴에그린후중심점에서 72도씩나누어오각형의전개도를디자인했다. 오각형중 4개의삼각형을잘라낸후네개의면을붙여주면사면홀로그램의디스플레이가기본적으로구현된다. 본연구에서는반지름 11cm의원을그려사면홀로그램의밑변의길이가 13cm인디스플레이를사용하였다. [ 그림 8] 사면홀로그램디스플레이를위한아크릴준비와완성장면 [Fig.8] Preparation of acrylic panel for 4-sided cheoptics hologram and finished look 12 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 3.2.3 인터랙션디자인과프로그래밍작품을위한인터랙션디자인은립모션과 VVVV 를활용했다. 본연구진의기존연구에서립모션이가진물질적기저의부재에의한인터랙션의공허함을보완하고실재감이증강된홀로그램영상을제작하는것이본작품의인터랙션디자인에서필요했다. 그래서손의제스처인식에따른 360도 3D 그래픽이미지의변화를보여주고자했다. [ 표 2] 인터랙션모드디자인 [Table 2] Design of Interaction Modes 모드인터랙션의미작동방식 모드 1 모드 2 관조와재건설 (re-construction) 해체 (de-construction) 좌우방향으로손을천천히움직이면 3D 건물이좌우방향 (Y 축을중심 ) 으로회전 손을빠르게좌우또는상하로움직일때기존의 3D 건물이파편화되어흩어져날아감. 홀로그램디스플레이에제시되는것이재건축현장에서발견한아직해체되지않은건물이라는점을감안해서재건축과해체의주체인인간을상징적으로표현할수있는것또한손의움직임이라는판단이었다. 사물앞에서인간은사물의면모를살펴보기위해서이리저리돌려보게되는데, 특히좌우방향으로살펴보는점에착안을하여본작품에서해체위기의건물오브젝트를돌려보는관조의상황을설정했다. 또한이는흩어진해체의산물을다시보듬어재건축하는의미로도해석될수있다는점에서재건설 (re-construction)( 모드1) 의상황이된다. 이후해체 (de-construction) 의상황 ( 모드2) 에서는관객이손을빠르게상하로움직일때기존의 3D건물이파편화되어흩어져날아가는반응을보임으로써인간의손에의한해체의과정을상징적으로시뮬레이션했다. 작품을위한실시간인터랙티브영상은 VVVV 에서프로그래밍을하였고, 앞서설명된홀로그램디스플레이의상단에있는슬레이트 PC화면에투사해반사적용시켰다. VVVV 가제공하는립모션라이브러리를활용하여 Hand 객체노드의 x, y, z축의좌표값변화를실시간으로감지가능하다. VVVV 프로그래밍을통해제작된패치는총 2개이며패치1 는메인패치에해당된다. 립모션을통해들어오는손가락의입력값을받아 Y축을따라건물의파사드면이맵핑된큐브가회전하게하며, 손의움직임이일정속도값이상이면수백개의작은큐브오브젝트가화면의중심 ISSN: 2508 9099 JDAEM c 2017 NCISS 13
A Study of 3D Interactive Hologram Art and User Experience 에서멀어져날아가는식으로파편화된해체를형상화했다. 패치 2 는 sub 패치로맵핑된큐브를 카메라를이용해 4 면의방향에서보여주며속도값에따라파편화되는영상의트렌지션을결정 되는역할을한다. [ 그림 9] 프로그램순서도 [Fig.9] Flowchart for the programing [ 그림 10] VVVV 로제작된패치 1,2 [Fig.10] VVVV patch progrogram (1,2) 3.2.4. 최종시스템완성및작품전시 이상의과정을통해 3D 인터랙티브홀로그램제작플랫폼시스템을완성했고, 작품 <Re/De-Construction> 은서울디지털미디어시티의 [ 뉴미디어파티전 ] 과 [ 디아쇼 ] 등의공공전시를 14 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) 통해전시되었다. 제작에소요된경비는최소화하면서도개념적으로완성도있고가상적실재감 이극대화될수있는 3D 인터랙티브홀로그램이라는점에서차별적이었다. 실제작품전시에서 립모션에의한인터랙션과홀로그램디스플레이는관객으로부터많은관심을이끌수있었다. [ 그림 11] 3D 인터랙티브홀로그램시스템구성도 [Fig.11] 3D Interactive hologram system structure [ 그림 12] <Re/De-Construction> 최종작품전시장면 [Fig.12] Exhibition of <Re/De-Construction> ISSN: 2508 9099 JDAEM c 2017 NCISS 15
A Study of 3D Interactive Hologram Art and User Experience 4. 결론 본연구에서는기존고가의유사홀로그램시스템의의존이아닌예술가가직접구현하기쉬운유사홀로그램의제작방법을모색하고, 립모션에의한손제스처인식, 실시간 3D 렌더링을결합해인터랙티브 3D 홀로그램시스템플랫폼과작품제작사례를제시하였다는점에서그의의가있다. 이를통해본연구에서는가상성의시각적재현이라고할수있는플로팅방식의유사홀로그램에 3D 그래픽과립모션을활용해입체감과실재감을증강시켰다. 또한립모션인터페이스장치가기존의손의움직임이가지는물질성에대한부재로인한공허함의측면이있었다면, 립모션을 3D 인터랙티브홀로그램에적용함으로써상호작용적관객경험을보완할수있었다. 손의움직임과제스처를정밀하게감지하는립모션과플로팅방식의유사홀로그램기술의상호보완적결합은박물관또는미술관전시의플랫폼으로응용가능성이매우높을것으로기대된다. 또한다양한공연예술의무대디자인과어린이교육및놀이에활용도가능할것으로보인다. 립모션이나키넥트뿐만아니라다양한 NUI인터페이스가최근개발되면서이들을활용한홀로그램연구도필요할것이다. 또한기술개발과작품제작이후이들과정에서파생되는미학적해석과관객경험에대한연구또한후속적으로진행되어야할연구로보인다. 16 c 2017 NCISS
Journal of Digital Art Engineering & Multimedia Vol.4, No.1, June (2017) References [1] Kim, E. S. and Kim, H. J. SMIT X-Program Report 2015. Seoul Media Institute of Technology, Seoul, (2015). [2] Lim, S. Y. and Kim, S. W. 3D Hol CT In-Depth Report. (2011), pp. 1-21. [4] Jeon, C. Y. A Study on Characteristics and Artistic Application of Holography. Journal of College Education. 4.4 (2003): 701-718. [5] S. Y. Lim. Analyzing the space in Holography Art considering Expressional Characteristics. Journal of Digital Design 12.4 (2012): 155-163. [6] Lee, G. H. Interactive installation using a Multi-holoscreen production and research. Master s Thesis, Chung-Ang University, Seoul, (2013). [7] Kim, M. J. and Wohn, K. Y. Comparison of 3D Space Perception for the Stereoscopic AR Holography. Journal of the HCI Society of Korea 8.2 (2013):.21-27. [8] Endo, Y. Lumino kinetic and beyond : a media project focusing on the properties of light and the perception of space for the purpose of visual art and new media. Master s Thesis, Hongik University, Seoul, (2013). [9] http://navercast.naver.com/contents.nhn?rid=122&contents_id=39442, Retrieved: September 10 (2015) [10] C.Higgins, Holography, http://holographicstechnoprophet.weebly.com/index.html, Retrieved: March 10 (2017) [11] Leap Motion, https://www.leapmotion.com,, Retrieved: March 10 (2017) ISSN: 2508 9099 JDAEM c 2017 NCISS 17