<B1E2C8B9BDC3B8AEC1EE2DBFC0BFB5C5C32DBCF6C1A42E687770>

Size: px

Start display at page:

Download "<B1E2C8B9BDC3B8AEC1EE2DBFC0BFB5C5C32DBCF6C1A42E687770>"

형일 갈
5 years ago
Views:

주간기술동향 2018. 11. 28. 증강현실기술동향 * 오영택 알체라 CTO 2016년포켓몬고 (Pokemon Go) 를시작으로촉발된증강현실에대한관심은 2017년애플이세계개발자회의 (WWDC) 에서 ARKit을발표하고, 몇달이지나지않아구글이 ARCore를경쟁적으로발표하면서높아져갔다.

어벤저스의일원이기도한아이언맨의마스크에서는적에대한정보, 장애물에대한정보를현실세계위에표시해준다. 이렇듯, 증강현실은말그대로 현실공간의영상위에가상의정보나객체를표시하여가상의정보나객체가현실공간에실제로있는듯하게느끼게해주는기술 을의미한다. 증강현실의초기개척자인 Ronald T. Azuma[1] 에따르면, 증강현실은다음과같은특징을가진다.

1 주간기술동향 증강현실기술동향 * 오영택 알체라 CTO 2016년포켓몬고 (Pokemon Go) 를시작으로촉발된증강현실에대한관심은 2017년애플이세계개발자회의 (WWDC) 에서 ARKit을발표하고, 몇달이지나지않아구글이 ARCore를경쟁적으로발표하면서높아져갔다. 또한, 스냅챗과스노우등의증강현실카메라애플리케이션들이주목을받게되면서신체를활용한증강현실기술들도활발하게개발되고있다. 본고에서는핸드헬드증강현실기술들에대한간략한설명과관련된기술의동향을살펴보고자한다. I. 서론 영화 킹스맨 을보면, 주인공인에그시가안경을쓰면관련정보가눈앞에보이고의자에대화상대가앉아있는등현실에는없는가상의정보가눈앞에보이는것을볼수있다. 어벤저스의일원이기도한아이언맨의마스크에서는적에대한정보, 장애물에대한정보를현실세계위에표시해준다. 이렇듯, 증강현실은말그대로 현실공간의영상위에가상의정보나객체를표시하여가상의정보나객체가현실공간에실제로있는듯하게느끼게해주는기술 을의미한다. 증강현실의초기개척자인 Ronald T. Azuma[1] 에따르면, 증강현실은다음과같은특징을가진다. 첫째, 실제와가상이결합되어야한다. 둘째, 실시간인터랙션이가능해야한다. 셋째, 공간적으로서로일치 ( 정합 ) 되어야한다. 본고에서는증강현실기술의동향을살펴보기에앞서, 증강현실의간략한역사와종류를알아보고, 그에따른기술동향을알아보기로한다. * 본내용은오영택 CTO( , youngtaek.oh@gmail.com) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP의공식적인입장이아님을밝힙니다. 2

1968 년컴퓨터그래픽의아버지로불리는 Ivan Sutherland 는 1) 최초의

Steven Feiner 에 2) 의해개발된 KARMA 시스템 ([ 그림 2])

1] Ivan Sutherland 의 Swords of Damocles < 자료 > c

자료 > c Andrei State [ 그림 3] Andrei State 의의료증강현실시스템

Invisible Train < 자료 > c Niantic [ 그림 5] 포켓몬고 < 자료

2 기획시리즈 AR VR MR II. 증강현실기술의개요 1. 증강현실기술의간략한역사 사실증강현실은오래전부터연구되어왔다 년컴퓨터그래픽의아버지로불리는 Ivan Sutherland 는 1) 최초의 HMD(Head Mounted Display) 를개발했고 ([ 그림 1]], 1993 년 Steven Feiner 에 2) 의해개발된 KARMA 시스템 ([ 그림 2]) 은프린터를분해하는데필요한가이드를주는 < 자료 > c Ivan Sutherland [ 그림 1] Ivan Sutherland 의 Swords of Damocles < 자료 > c Steven Feiner [ 그림 2] Steven Feiner 의 KARMA 시스템 < 자료 > c Andrei State [ 그림 3] Andrei State 의의료증강현실시스템 < 자료 > c Daniel Wagner [ 그림 4] Daniel Wagner 의 Invisible Train < 자료 > c Niantic [ 그림 5] 포켓몬고 < 자료 > c HALASZ [ 그림 6] 낚시용가상줄자 1) 미국의컴퓨터과학자이자인터넷과컴퓨터그래픽의선구자이며스케치패드의발명으로 1988 년에튜링상을수상 2) Columbia 대교수 정보통신기술진흥센터 3

주간기술동향 2018. 11. 28. 시연을하였다. Andrei State는 3) 산모뱃속의태아모습을가상으로볼수있는의료증강현실시스템 ([ 그림 3]) 을 1994년에소개하였다.

ARToolKit은 2015년에 DAQRI에인수되어오픈소스로공개되었으며지금도깃허브 (Github) 에서소스코드에액세스할수있다.

아마일반인들에게는 2016년나이언틱 (Niantic) 이발표한포켓몬고 (Pokemon Go) 가더익숙할것이다.

또한, 증강현실기술은낚시와같은영역에적용되어줄자를꺼내지않고도편리하게물고기의크기를측정하는데사용되는등 ([ 그림 6]) 점차적용범위를넓혀가고있다. 2.

고정형증강현실에는프로젝션증강현실과같이실제공간에영상을쏘아디지털콘텐츠를증강시키는공간증강현실 (Spatial AR) 과가상피팅시스템과같은키오스크 (Kiosk) 형증강현실이이에해당된다.

3 주간기술동향 시연을하였다. Andrei State는 3) 산모뱃속의태아모습을가상으로볼수있는의료증강현실시스템 ([ 그림 3]) 을 1994년에소개하였다. 최초의증강현실플랫폼으로불리는 ARToolKit 은 Kato 4) 와 Billinghurst에 5) 의해개발되었으며마커 (Marker) 를기반으로그위에가상물체를올릴수있는기능을제공하였다. ARToolKit은 2015년에 DAQRI에인수되어오픈소스로공개되었으며지금도깃허브 (Github) 에서소스코드에액세스할수있다. 2008년에는 Daniel Wagner가 6) 마커와무선통신을활용하여가상의열차가두개의모바일기기에서공유되는 Invisible Train([ 그림 4]) 이라는예제를보여주었다. 아마일반인들에게는 2016년나이언틱 (Niantic) 이발표한포켓몬고 (Pokemon Go) 가더익숙할것이다. 포켓몬고 ([ 그림 5]) 는증강현실게임이라기보다는위치기반게임이라고지칭하는것이더정확하겠지만, 증강현실이라는개념을일반인들에게널리알려준히트상품이라고할수있다. 또한, 증강현실기술은낚시와같은영역에적용되어줄자를꺼내지않고도편리하게물고기의크기를측정하는데사용되는등 ([ 그림 6]) 점차적용범위를넓혀가고있다. 2. 증강현실기술의분류 증강현실은하드웨어및사용방식에따라크게고정형증강현실과모바일증강현실로나눌수있다. 고정형증강현실에는프로젝션증강현실과같이실제공간에영상을쏘아디지털콘텐츠를증강시키는공간증강현실 (Spatial AR) 과가상피팅시스템과같은키오스크 (Kiosk) 형증강현실이이에해당된다. 공간증강현실의한예로서 ARSandbox[2] 를들수있는데, ARSandbox는마이크로소프트의 키넥트 (Kinect) 와 7) 프로젝터, 그리고 ARSandbox Software[3] 를이용하여아이들의장난감인모래 상자를과학교육도구로변신시킬수있다. 사용자 < 자료 > c University of California [ 그림 7] AR Sandbox 3) North Carolina 대교수 4) Nara Institute of Science and Technology 교수 5) South Australia 대교수 6) DAQRI 의 CTO 7) 마이크로소프트에서만든 3 차원깊이 (Depth) 인식카메라 4

기획시리즈 AR VR MR 가손으로모래를변형하면, 키넥트가그변화를감지하고, 등고선이새로그려지면서물이흐르는등의다양한시뮬레이션을경험할수있다. 모바일증강현실은하드웨어의유형에따라머리에쓰고사용하는 HMD와같은웨어러블 (Wearable) 증강현실과휴대폰이나태블릿을들고체험하는핸드헬드 (Handheld) 증강현실로나눌수있다.

4 기획시리즈 AR VR MR 가손으로모래를변형하면, 키넥트가그변화를감지하고, 등고선이새로그려지면서물이흐르는등의다양한시뮬레이션을경험할수있다. 모바일증강현실은하드웨어의유형에따라머리에쓰고사용하는 HMD와같은웨어러블 (Wearable) 증강현실과휴대폰이나태블릿을들고체험하는핸드헬드 (Handheld) 증강현실로나눌수있다. 웨어러블증강현실의대표주자는 HMD로, 마이크로소프트에서는많은돈을 < 자료 > c Magic Leap [ 그림 8] Magic Leap Creator One Edition 투자하여홀로렌즈 (HoloLens) 를개발하고있으며, 최근 23억달러라는투자금과제품에대한루머만무성했던매직리프 (Magic Leap) 에서도매직리프원크리에이터에디션이라는제품을출시하였다. 마지막으로핸드헬드증강현실은우리주변에서쉽게찾아볼수있는휴대폰이나태블릿과같은장치를이용하여경험하는시스템이다. 화면상의내얼굴에다양한스티커를붙여서보여주는스냅챗, 스노우와같은증강현실카메라 (AR Camera) 나, 포켓몬고를예로들수있다. 모바일증강현실의경우, 거의대부분의사용자들이휴대폰을가지고있다는점에서앞서언급한장비들에비해접근성에서장점을가지고있다. 2017년 6월애플 (Apple) 은세계개발자회의 (WWDC) 에서 SLAM(Simultaneous localization and mapping) 기반증강현실기술인 ARKit을발표했으며애플의수장인팀쿡은 AR은애플의주력기술 [4] 이라고선언했다. 이에자극받은구글 (Google) 은애플보다먼저듀얼카메라를이용한증강현실기술을준비중이던탱고프로젝트의전략을수정하여단일카메라만으로도공간을추적할수있는 ARCore 기술을발표하였다. 본고에서는앞에서설명한다양한증강현실기술중에서핸드헬드증강현실에대한기술및동향에대해설명하고자한다. III. 핸드헬드증강현실기술 핸드헬드증강현실기술은크게 2 가지로나눌수있다. 첫번째는공간을인식하고공간에대한 상호작용을가능하게하는공간기반증강현실기술이다. 이러한공간기반증강현실의쌍두마차로는 애플의 ARKit 과 Google 의 ARCore 를꼽을수있다. 그리고포켓몬고로유명한나이언틱은 ARKit 정보통신기술진흥센터 5

5 주간기술동향 과딥러닝기술을활용하여가려짐 (Occlusion) 에대응가능한기술을발표하였다. 조명환경에대한추정기술도개발되어왔으며, 뉴질랜드의빅토리아대학 (Victoria University of Wellington) 에서시작한드림플럭스 (Dream Flux) 는최근에열린 SIGGRAPH 2018에서주변광을인식하고, 이를활용하여좀더사실적인가상물체를보여주는데성공하였다. 두번째는얼굴이나손과같은인간의신체를인식하고가상물체와의상호작용을가능하게하는신체인식증강현실기술이다. 애플역시신체인식기반증강현실의중요성을깨닫고트루뎁스 (True Depth) 카메라를이용한얼굴인식기술을개발하였고, 이를이용하여애니모지 (Animoji) 라는서비스를선보였다. 해외업체로는핀스크린 (Pinscreen), 센스타임 (SenseTime), 메그비 (Megvii) 와같은회사들이신체인식, 특히얼굴인식에관련된기술을꾸준히개발하고있으며, 국내에서는알체라와같은회사가얼굴인식및손인식에대한기술을개발하고있다. 1. 공간기반증강현실기술 가. 애플의 ARKit ARKit은애플에서 ios용증강현실애플리케이션개발을지원하는도구로출시한프레임워크이다. 2017년 6월세계개발자회의 (WWDC) 에서미디어와개발자들을대상으로처음공개되었고, 지속적으로업그레이드되어최근에는 ARKit 2.0을공개하였다. 가상의오브젝트와정보를주변환경과결합함으로써화면의제약을벗어나현실세계와상호작용할수있게하는증강현실기능을지원한다. ARKit은모바일기기모션트래킹, 카메라씬캡처, 씬프로세싱, 디스플레이기능을결합하여증강현실애플리케이션을쉽게개발할수있도록해준다. ios 11부터는 ARKit을포함하고있어 A9 또는그이상의프로세서가탑재된모바일기기에서는별도의추가설치없이증강현실애플리케이션을개발할수있다. 애플의 AR 기술은 2015년인수한메타이오 (Metaio) 에기반하고있는것으로보인다. 애플의자료에따르면 ARKit은 IMU(Inertial Measurement Unit) 를사용하는 VIO(Visual Inertial Odometry) 기반의 SLAM 기술을기반으로하고있다. VIO의구현에있어서는모바일기기의성능상제약때문에, 그래프기반의방법보다는칼만필터 (Kalman Filter) 기반의방식이많이이용된다 [5],[6]. 이방법은카메라로부터들어오는영상을컴퓨터비전알고리즘을이용하여분석함으로서특징점 (Feature Point) 을찾고, 이를칼만필터에서활용하여 IMU에서발생하는오차를보정한다. 이러한기술을바탕으로공간상의특정한점에가상물체를놓을수있는앵커링 (Anchoring) 기능을 6

기획시리즈 AR VR MR 제공한다. ARKit은평면인식 (Plane Detection) 등의기능도제공한다. 중력방향을이용하여평면을찾고, 다수의평면이발견되면이를결합 (Merge) 함으로서평면을확장한다.

이외에도전역조명 (Global Illumination) 을추정하고이를가상물체에반영하여최대 한자연스러운가상오브젝트를만드는조명추정 (Light Estimation) 기능도추가되어있으며, 가상물체와의인터랙션을위한히트테스트 (Hit Test) 기능들도제공한다.

이에더해뷰포리아 (Vuforia) 와같은 SDK에서제공하는이미지인식기능까지제공한다. 이를활용하게되면사전에등록한이미지를활용하여그위에가상물체를올려놓거나하는등의작업이가능해진다. ARKit이 2.

6 기획시리즈 AR VR MR 제공한다. ARKit은평면인식 (Plane Detection) 등의기능도제공한다. 중력방향을이용하여평면을찾고, 다수의평면이발견되면이를결합 (Merge) 함으로서평면을확장한다. 이러한평면을이용하여사용자들은가상의물체를현실공간안에자연스럽게배치할수있게된다. ARKit 1.0에서는벽면을인식하는기능이없었으나 ARKit 2.0이발표되면서벽면까지인식가능하게되었다. 이외에도전역조명 (Global Illumination) 을추정하고이를가상물체에반영하여최대 한자연스러운가상오브젝트를만드는조명추정 (Light Estimation) 기능도추가되어있으며, 가상물체와의인터랙션을위한히트테스트 (Hit Test) 기능들도제공한다. ARKit 기술을활용하면현실세계의실측도가능하다. ARKit 1.0에서는 SDK 예제형태로만가능성을보여줬지만, 최근 ios 12에서는측정 (Measure) 이라는기본앱으로탑재되었다. 이에더해뷰포리아 (Vuforia) 와같은 SDK에서제공하는이미지인식기능까지제공한다. 이를활용하게되면사전에등록한이미지를활용하여그위에가상물체를올려놓거나하는등의작업이가능해진다. ARKit이 2.0으로업그레이드되면서괄목할만한점은, 멀티플레이기능을제공한다는점이다 ([ 그림 10] 참조 ). 멀티플레이기능의경우 2008년 Daniel Wagner가발표한 Invisible Train에서먼저선보였지만, ARKit 의일부로제공되면서많은개발자들이쉽게 협업이가능한증강현실애플리케이션을만들수있게되었다는데의의를둘수있다. < 자료 > c Apple [ 그림 9] ARKit을이용한조명추정예제및측정앱 < 자료 > c Apple, Engadget [ 그림 10] ARKit을이용한멀티플레이기능 정보통신기술진흥센터 7

주간기술동향 2018. 11. 28. 나. 구글의 ARCore 구글은애플에비해훨씬이전부터증강현실기술을개발해왔다. 프로젝트탱고 (Project Tango, 2014) 가바로그것으로, ios 12에서선보인측정앱과같은기능도이미개발해놓았었다 ([ 그림 11] 참조 ).

예를들어, 탱고기술이최초로적용된팹 2 프로의경우일반적인 RGB 카메라와깊이정보를획득하는뎁스카 < 자료 > c Google [ 그림 11] 탱고를이용한측정앱 메라 (Depth Camera), 그리고사물의명암을파악하는특수카메라를필요로하였다.

7 주간기술동향 나. 구글의 ARCore 구글은애플에비해훨씬이전부터증강현실기술을개발해왔다. 프로젝트탱고 (Project Tango, 2014) 가바로그것으로, ios 12에서선보인측정앱과같은기능도이미개발해놓았었다 ([ 그림 11] 참조 ). 그러나프로젝트탱고를적용하기위해서는전용하드웨어모듈을스마트폰에탑재해야했기때문에기술의확산속도가그렇게빠르지않았다. 예를들어, 탱고기술이최초로적용된팹 2 프로의경우일반적인 RGB 카메라와깊이정보를획득하는뎁스카 < 자료 > c Google [ 그림 11] 탱고를이용한측정앱 메라 (Depth Camera), 그리고사물의명암을파악하는특수카메라를필요로하였다. 2017년애플이 ARKit을발표한이후, 구글은프로젝트탱고를포기하고일반모바일기기에탑재되어있는한대의카메라만으로도 3D 공간추적을할수있는방향으로전략을수정하였다. 그리하여 ARKit이발표된지몇달이지나지않아 ARCore를발표하였다. ARCore 역시 ARKit과마찬가지로모션트래킹기능과주변환경인지기능을갖추고있으며광원을추정하는기능도제공한다. 안드로이드스튜디오 3.1부터는에뮬레이터에서 ARCore를지원하기때문에 PC 환경에서개발을하면서증강현실애플리케이션을테스트할수있다. ARCore의인터페이스는 ARKit과유사하며 ARKit과 ARCore에서제공하는기능들이크게차 < 자료 > c Vuforia [ 그림 12] Vuforia Fusion 개요 8

기획시리즈 AR VR MR < 자료 > c Vuforia [ 그림 13] Vuforia 의 Smart Terrain( 좌 ) 및 ARCore( 우 ) 를이용한임의의위치에가상물체부착예 이가나지않는다. 가장큰차이로는 ARKit에서는얼굴추적 (Face Tracking) 과같은기능을제공하지만, ARCore에는그기능이빠져있다는점을들수있다.

이러한갭을보안하기위해 Unity나 Unreal과같은게임엔진업체들은자체적으로플러그인 (Plug-in) 을제공하고있으며, 뷰포리아와같은업체는통일된인터페이스를제공하는 Vuforia Fusion을개발하고있다. 2018년 2월에발표된 ARCore 1.0의경우, 뷰포리아의스마트테레인 (Smart Terrain) 과같이임의의위치에가상물체를올릴수있다.

8 기획시리즈 AR VR MR < 자료 > c Vuforia [ 그림 13] Vuforia 의 Smart Terrain( 좌 ) 및 ARCore( 우 ) 를이용한임의의위치에가상물체부착예 이가나지않는다. 가장큰차이로는 ARKit에서는얼굴추적 (Face Tracking) 과같은기능을제공하지만, ARCore에는그기능이빠져있다는점을들수있다. 또한, 렌더링 (Rendering) 자체도 ARCore는 OpenGL ES에의존하는데, 이는 SceneKit이나 SpriteKit과같은편리한기능들을제공하는 ARKit에비해단점이라할수있다. 이러한갭을보안하기위해 Unity나 Unreal과같은게임엔진업체들은자체적으로플러그인 (Plug-in) 을제공하고있으며, 뷰포리아와같은업체는통일된인터페이스를제공하는 Vuforia Fusion을개발하고있다. 2018년 2월에발표된 ARCore 1.0의경우, 뷰포리아의스마트테레인 (Smart Terrain) 과같이임의의위치에가상물체를올릴수있다. 인터넷검색을주사업으로하는업체답게구글은웹상에서작동하는 AR 기능도개발하고있다. 자사의 ARCore를이용한 WebARonARCore[7] 와 Apple의 ARKit을이용한 WebARonARKit [8] 프로젝트를깃허브에공개하였으며이곳에는 ARKit과의연동을위한 ARCore SDK for ios 도있다. 다. 맥스트의증강현실기술국내업체인맥스트 (MAXST) 는 2012년부터 AR SDK를개발하기시작하여 2018년현재 SDK 3.4를출시하였다. 앞서설명한 ARKit, ARCore 및뷰포리아와동일한기능들을제공하고있으며, 등록된이미지위에가상물체를올려놓을수있는기능 ( 이미지트래킹 ) 및가상공간에물체를배치할수있는비주얼 SLAM 기능을제공하고있다. 그외에도마커트래킹기능, 인스턴트트래킹기능, 오브젝트트래킹기능, QR/ 바코드스캐너, 클라우드인식기능, 스마트글래스캘리브레이션기능들을제공한다. 정보통신기술진흥센터 9

주간기술동향 2018. 11. 28. 라. 나이언틱의증강현실기술 포켓몬고로유명한나이언틱 (Niantic) 은최근가상물체가실제물체뒤에가려질수있는가려 짐기술을발표했다 ([ 그림 14] 참조 ).

Mask R-CNN[10] 은영상에존재하는물체들의위치를알려주던 R-CNN이더욱진보한것으로, 물체의위치를나타내는바운딩박스를넘어서픽셀 (Pixel) 단위의세그멘테이션을가능하게해준다.

9 주간기술동향 라. 나이언틱의증강현실기술 포켓몬고로유명한나이언틱 (Niantic) 은최근가상물체가실제물체뒤에가려질수있는가려 짐기술을발표했다 ([ 그림 14] 참조 ). < 자료 > c Niantic [ 그림 14] 나이언틱의가려짐 (Occlusion) 기술예제 나이언틱의자료를살펴보면 [9], 이기술은 Kaiming He가 8) 발표한딥러닝기반세그멘테이션 9) 기술인 Mask R-CNN과 SLAM을결합한것으로보인다. Mask R-CNN[10] 은영상에존재하는물체들의위치를알려주던 R-CNN이더욱진보한것으로, 물체의위치를나타내는바운딩박스를넘어서픽셀 (Pixel) 단위의세그멘테이션을가능하게해준다. 현재 ARKit과 ARCore 모두포인트클라우드를획득할수있는방법을제공하고있으며, 이로부터얻어진 3차원포인트클라우드를 Mask R-CNN을이용하여입력영상을세그멘테이션한결과로그룹화하면실제환경을마야 (Maya) 나 3DS Max와같은컴퓨터그래픽프로그램상의 3차원공간으로재구성할수있다. 실제공간이가상공간으로재구성되었으므로, 가상물체를특정한실제물체와인터랙션하는것이가능해진다. 마. 드림플럭스의조명추정기술드림플럭스는뉴질랜드빅토리아대학 (Victoria University of Wellington) 의이태현교수가설립한기업으로, 360도카메라영상으로부터영상을추정하는논문에서발표한기술을근간으로하고있다. 앞서설명한기술들이 SLAM을이용한현실공간인식을주로다루고있었다면, Dream Flux의기술은조명추정에중심을두고있다. 8) Facebook AI 의연구원 9) 이미지에서각물체들이차지하고있는영역을따로분리해내는기술 10

기획시리즈 AR VR MR 초기에는녹화된영상을기반으로 VR 을타깃으로하는기술을개발하였지만, 2018 년밴쿠버에 서개최한 SIGGRAPH 2018 의세션중, 실시간데모를시연하는 Real Time Live 에서실시간

트루뎁스카메라는적외선을이용하여 30,000개이상의보이지않는점을얼굴에투영하고분석하여정확한얼굴의 3차원데이터를수집한다.

< 자료 > c Apple [ 그림 15] ARKit의 Face Anchor 예제 ( 좌 ) 및애니모지 (Animoji)( 우 ) ARKit에서제공하는얼굴표정은 50여가지의기본표정들을결합하는블렌드쉐입

10 기획시리즈 AR VR MR 초기에는녹화된영상을기반으로 VR 을타깃으로하는기술을개발하였지만, 2018 년밴쿠버에 서개최한 SIGGRAPH 2018 의세션중, 실시간데모를시연하는 Real Time Live 에서실시간 환경변화에따른가상물체의조명변화를훌륭하게보여주었다. 2. 신체인식증강현실기술 가. 애플의 ARKit 애플의 ARKit은아이폰 X 이상에한해트루뎁스 (True Depth) 카메라를이용하여사용자의얼굴에인식기술을활용할수있다. 트루뎁스카메라는적외선을이용하여 30,000개이상의보이지않는점을얼굴에투영하고분석하여정확한얼굴의 3차원데이터를수집한다. 애플은이기술을이용하여얼굴인증시스템을구현하고, 더나아가사용자의표정을캐릭터에투영시키는애니모지 (Animoji) 기능을선보였다. < 자료 > c Apple [ 그림 15] ARKit의 Face Anchor 예제 ( 좌 ) 및애니모지 (Animoji)( 우 ) ARKit에서제공하는얼굴표정은 50여가지의기본표정들을결합하는블렌드쉐입 (Blendshape) [11] 의형태로표현된다. 블렌드쉐입은컴퓨터애니메이션에서얼굴표정을나타내는거의표준적인방법으로, 마야와같은 3차원저작도구에도사용되고있으며, 반지의제왕, 킹콩, 파이널판타지등의영화에도사용되었다. 블렌드쉐입은각각의표정을나타내는베이시스벡터 (Basis vector) 10) 의선형결합으로나타내며 n개의정점 (vertex) 을갖는블렌드쉐입을 3n 1의벡터로표현했을 10) 혼동되는표현이지만, 블렌드쉐입이라고도불린다 정보통신기술진흥센터 11

11 주간기술동향 때다음과같이표현된다. 여기서 b 0 는평균표정 (Neutral Expression) 을나타낸다. 마야와같은상용프로그램은 Delta Blendshape을이용하며이는아래와같은수식으로표현할수있다. 이경우가중치는 0과 1사이로정규화되게된다. 그외에도 Intermediate Blendshapes, Combination Blendshapes 등이있으며 CG 영화를제작하는경우에는 100개가넘는블렌드쉐입들을만들게되므로 Combination Blendshape을활용하는경우가많다. 블렌드쉐입은다른표정모델링방법에비해장점을가지고있는데, 가장큰장점으로는각블렌드쉐입이의미를가지고있다는점이며 ( 예를들어, Left Eye Look Up, Right Eye Look Up과같이직관적으로이해할수있다 ), 이러한블렌드쉐입들의가중치를조절하여직접적으로표정을만들어낼수있다. 이는비슷한방법인 PCA(Principal Component Analysis)[12] 와비교해보면, PCA의베이시스벡터가사람이직관적으로이해할수없는표정들을만들어낸다는점에서대비된다. 그러나 Blendshape 역시단점을가지고있으며, 가장큰문제로는자연스러운표정을만들어내기위해서는 Blendshape의수가상당히많이필요하다는것이다. 예를들어, 반지의제왕을촬영할때사용된 Blendshape의수는무려 675개에달한다. 또한, 각각의 Blendshape은서로 Orthogonal하지않기때문에한쪽의가중치를변경시키면다른부분의표정이변하는문제가생긴다. 이를해결한논문이제시되었지만 [13] 아직까지완벽한해결책은제시되지않았다. ARKit 의블렌드쉐입의개수도 51개에달하지만, 몇몇기본표정들은직관적으로이해하기어려운것들도존재한다. 나. 그외신체인식증강현실 SDK 남가주대학 (University of Southern California) 의 Hao Li 교수는 2015년핀스크린 (Pinscreen) 이라는회사를설립하였다. 핀스크린은애플의애니모지기술과유사하게얼굴을인식하고, 3차원으로표현하는기능을제공한다. 핀스크린의기술이애플의기술과다른점은, 애플의기술이트루뎁스카메라를반드시필요로하는것에비해핀스크린의기술은일반적인카메라로도작동이가능하다는점이다. 핀스크린은타인의사진 1장으로부터얼굴을복원하여본인의얼굴에합성하는기술 12

기획시리즈 AR VR MR < 자료 > c Pinscreen, fxinsider [ 그림 16] Pinscreen의얼굴복원기술도제공한다 ([ 그림 16] 참조 ).

센스타임 (SenseTime) 은기업가치만 4조 8,000억원에이르는회사이며연구인력만도 800명이넘는다 [14]. 얼굴랜드마크인식, 손제스처인식, 그리고배경제거에이르기까지다양한솔루션을제공한다.

3. 그외증강현실기술 앞서서술한공간기반증강현실기술및신체인식증강현실기술과는다소다르지만, 다양한 증강기술들도있다.

12 기획시리즈 AR VR MR < 자료 > c Pinscreen, fxinsider [ 그림 16] Pinscreen의얼굴복원기술도제공한다 ([ 그림 16] 참조 ). 핀스크린역시 2018년 SIGGRAPH Real Time Live에서즉석으로타인의얼굴을촬영 합성하여데모를보여주었다. 현재신체인식증강현실기술의강자는중국이다. 센스타임 (SenseTime) 은기업가치만 4조 8,000억원에이르는회사이며연구인력만도 800명이넘는다 [14]. 얼굴랜드마크인식, 손제스처인식, 그리고배경제거에이르기까지다양한솔루션을제공한다. 비슷한솔루션을제공하고있는메그비 (Megvii) 역시기업가치가 1조에달하는큰회사가되었다 [15]. 국내에서는알체라가얼굴랜드마크, 손제스처등의솔루션을제공하고있다 ( 주간기술동향 1864호참고 ). 3. 그외증강현실기술 앞서서술한공간기반증강현실기술및신체인식증강현실기술과는다소다르지만, 다양한 증강기술들도있다. Xiaoxiaoniu 의 Wonderpainter([ 그림 17]) 는사용자가스케치로그림을만들 < 자료 > c Wonderpainter [ 그림 17] Xiaoxiaoniu 의 Wonderpainter < 자료 > c Aura-Interactive [ 그림 18] Vuforia 를이용한 3 차원색칠놀이 정보통신기술진흥센터 13

13 주간기술동향 면이를 3차원으로재구성, 움직일수있도록해주는프로그램이다. 이기술은 LG U+ 의 아이들나라 - 내가만든그림책 에적용되었다. 뷰포리아역시비슷한기능을제공한다. 구글플레이에올라와있는 3D Coloring Alive라는앱 ([ 그림 18]) 은종이위에그려진사자를색칠하면가상공간상의사자도따라서입체적으로색칠되는것을잘보여준다. IV. 결론및시사점 증강현실은 오래된미래 라는말이있을정도로, 증강현실의역사는상당히오래되었다. 최근들어포켓몬고로촉발된증강현실에대한관심은시간이지남에따라서서히줄어들고있으나애플및구글등 IT계의거인들이관련 SDK를출시하는등적극적으로참여하고있다. 마이크로소프트역시홀로렌즈라는증강현실 HMD를개발하는데끊임없이투자하고있으며중국역시신체인식증강현실기술의강자로서기술개발에박차를가하고있다. 증강현실사업은녹록치않은사업임에는틀림없다. 아직까지증강현실은꼭있어야하는필수적인기능이아닌, 있으면좋은보조적인수단에불과하고, 끊임없이올라가는유저들의눈높이에맞는기술을계속개발해야하기때문이다. 이를해결하기위해서는증강현실이없으면불편하거나아예불가능한사용자니즈 (Needs) 를찾고그에맞는적절한품질의기술개발이필요하다. 그렇게된다면증강현실은특이점 (Singularity) 을넘어세상을바꾸는혁신적인기술로서자리매김할수있을것이다. [ 참고문헌 ] [1] R. T. Azuma, A Survey of Augmented Reality, Presence: Teleoper. Virtual Environ. Vol.6, No.4, 1997, pp [2] Reed, S., S. Hsi, O. Kreylos, M. B. Yikilmaz, L. H. Kellogg, S. G. Schladow, H. Segale, and L. Chan Augmented Reality Turns a Sandbox into a Geoscience Lesson, Eos, 97, [3] [4] ITWorld, 애플과팀쿡의증강현실비전 AR은애플의주력기술, [5] M. A. Shelley, Monocular Visual Inertial Odometry on a Mobile Device, Master s thesis, Univesity of Munchen, [6] T. Qin, P. Li, and S. Shen, VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator, IEEE Transactions on Robotics, Vol.34, No.4,

14 기획시리즈 AR VR MR [7] [8] [9] Niantic, A Peek Inside the Niantic Real World Platform, [10] K. He, G. Gkioxari, P. Dollar and R. Girshick, Mask R-CNN, 2017 IEEE International Conference on Computer Vision(ICCV), Venice, Italy, 2018, pp [11] J. P. Lewis, K. Anjyo, T. Rhee, M. Zhang, F. H. Pighin, and Z. Deng, Practice and Theory of Blendshape Facial Models, Eurographics, [12] I. T. Jolliffe and J. Cadima. Principal component analysis: a review and recent developments, Phil. Trans. R. Soc [13] J. P. Lewis, J. Mooser, Z. Deng, and U. Neumann, Reducing blendshape interference by selected motion attenuation, SI3D, 2005, pp [14] 조선일보, 알파고도울고갈세계최고 AI는중국기업, [15] ZDNet Korea, 문턱넘었다... 무섭게성장한中 AI 기업들, 정보통신기술진흥센터 15

Microsoft Word - 20160713144046363_1

Microsoft Word - 20160713144046363_1 Sector Report 2016.07.14 인터넷 포켓몬GO, 증강현실(AR)의 화려한 부활 인터넷 (OVERWEIGHT) What s new? 포켓몬GO는 AR(증강현실, Augmented Reality)기술이 구 현된 게임이고, VR(가상현실, Virtual Reality) 게임과는 조 금 다른 이야기 AR/VR 관련 기술, 하드웨어, 소프트웨어는 계속