ICT 기획시리즈 모바일용 3 차원공간스캐너기술동향 임용근 나노아이대표이사 ykyim@nano-i.com 1. 서론 2. 모바일용 3 차원공간스캐너기술 3. 국내외기술및제품동향 4. 기술및시장전망 5. 맺음말 1. 서론최근휴대용 3 차원공간스캐너가대두된이래모바일용 3 차원스캐너개발및보급이빠른속도로진행되고있다. 3 차원공간스캐너가스마트폰이나태블릿 PC 등과결합하면더욱강력한장점을지니게된다. 데스크탑 3D 스캐너와달리스마트폰만있으면어디서든원하는대상을스캔할수있다. 또한스마트폰 3D 스캐너는기본적으로애플리케이션과연동될수있다. 그러므로아주손쉽게자신이스캔한도면을애플리케이션을통해공유하거나이동시킬수있고, 스마트폰으로직접확인할수도있다. 직접스마트폰을들고원하는대상을촬영하기때문에데스크탑 3D 스캐너로는촬영할수없는덩치가큰물체나사람, 심지어는집내부공간까지촬영할수있다. 길을걷다가도원하는대상을바로스캔하는것이가능하고, 가까운거리의물체도스캐닝할수가있다. 스마트폰 3D 스캐너는이제세상을 3D 로담아내고, 3D 프린터와만나실제물체로까지아주짧은시간에간단한방법으로구현할수있게한다. 물론, 3D 프린터가정말로완벽한개인생산시대를가져올수있을지는장담할수없지만, 적어도스마트폰 3D 스캐너는데스크탑 3D 스캐너의한계성을크게줄여준것이기때문에, 3D 프린터의보급화에큰영향을미칠것이고, 개인생산시대를열게될것이다. 사물을촬영하여 3 차원입체도면을자동으로생성할수있다면, 최근폭발적으로수 * 본내용과관련된사항은 나노아이임용근대표이사 ( 070-8827-9577) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 15
주간기술동향 2014. 12. 24. 요가증가되어값싸고편리하게사용할수있는 3D 프린터의사용편의성을대폭강화시킬수있다. 비전문가도익숙하게사용하고있는스마트폰과모바일기기로사물을스캐닝하여 3 차원형상의도면을얻어낼수가있을것이다. 일반인들의일상생활및문화활동을 3 차원과색상정보와함께스마트폰에저장하여최종에는 3 차원프린터로가정에서도기념품을제작하게될것이고, 그외에여러분야에서폭넓게활용할수있다. 본고에서는이러한모바일기기를사용한 3 차원스캐너기술또는제품에대한국내외기술동향에대해논하고, 앞으로의시장및개발방향에대해기술하기로한다 2. 모바일용 3 차원공간스캐너기술 3 차원스캐너는레이저나백색광을대상물에투사하여대상물의형상정보를디지털정보로전환할수있는디바이스를의미한다. 모바일용 3 차원스캐너기술이란, 최근스마트폰또는아이패드등모바일기기의기능을활용하여근처의사물에대해손쉽게공간스캐닝하고 3 차원데이터를확보함으로써엔지니어링또는기타부문에서활용할수있는기술을의미한다. ( 그림 1) 은일반적인 3 차원측정기본체계에모바일기기를연동하여시스템을구성한것이다. 광원은레이저또는 LED 를사용할수있으며, 모바일기기의조명또는일반외부조명을활용할수있다. 광원에서방출된빛이광변조기를통해피사체에조사되며, 변조된일정한패턴을가진빛이피사체에입사되고광검출기에서피사체표면에서의 3 3 차원측정기본체계 광원 광변조기 광검출기 3D 알고리즘 피사체 모바일기기 ( 카메라, 센서, 앱 ) 제어시스템 ( 메모리, 프로세서, 입출력 ) < 자료 >: 나노아이 ( 그림 1) 모바일용 3 차원공간스캐닝에대한시스템체계 16 www.iitp.kr
차원굴곡형상에따른맺힌빛의패턴변화를제어시스템에서읽어 3 차원데이터를얻어낼수있다. 여기서, 모바일기기의카메라를활용해서영상및색상정보를통합하여앱으로표현할수있다. 즉, 주변사물에대한 3 차원정보및색상을이미지화하여얻어낼수가있는것이다. 여기에, 모바일기기의센서, 예를들면가속도자이로센서등을활용할수있다. 3 차원스캐닝알고리즘으로는대표적으로광원과광변조기에서일정한패턴의빛을공간상에조사하여물체의표면에맺힌광패턴의변형정도를읽어 3 차원으로변환하는방법을사용한다. 대표적인예는 Structured light 스캐닝방식이다. 프로젝터를이용해서일정한구조적패턴을갖는 structured light 패턴을투사한다음, 삼각측정법의원리로뎁스 (Depth) 정보를얻어낸다. 즉, 3 차원형상을얻어낼수있다. 3. 국내외기술및제품동향본장에서는모바일용 3 차원공간스캐너기술과제품동향에대해설명하고자한다. 먼저국외현황및트랜드내용이다. 캐나다퀘벡의레비스에있는 Creaform 사는휴대용 3D 스캐너인 Go!SCAN 3D 를출시하여시판중이다. 광원은백색광인 LED 를사용하며초당 55 만포인트를측정할수있고, 측정정확도 (Depth) 는 0.1mm 이하이고, 초점거리는 400mm 이다. 가격은 30 만달러수준이다. 미국의 3D systems 사는일반인들을겨냥한휴대용 3D 스캐너 센스 를 399 달러 ( 약 42 만 5,000 원 ) 에시중에서판매를하고있다. 센스는 2013 년 11 월부터미국스테이플스매장과온라인유통점에서판매를개시하였다. Primesens 특허또는제품 Creaform 3D 시스템스 (400 달러 ) < 자료 >: http://www.goscan3d.com/ko, http://www.engadget.com/2013/11/08/3d-systems-sense/ ( 그림 2) 휴대용 3 차원스캐너 17
주간기술동향 2014. 12. 24. X 12A Light Source Unit 12B 14F 1 L 13 Z 12 14A Y Light Detector 14B d 14F 2 14 16A Control System Memory Processor Input/Output Utility 16C 16 16B < 자료 >: http://www.idownloadblog.com/2013/11/17/apple-purchases-primesense/, PCT/WIPO Patent Application WO/2007/043036 ( 그림 3) Primesense 사의모바일용 3 차원스캐닝용핵심모듈및 3 차원스캐너을사용하고있으며, 측정거리는 0.2~3m, 측정정확도가 1mm @ 0.5m 이다. 휴대용 3 차원스캐너가출품된이래, 최근모바일폰을응용한 3 차원스캐너가등장하였다. 마이크로소프트사의 Kinect, Occipital 사의 structure sensor 의핵심부품으로널리쓰이고있는이스라엘 Primesense 사의모바일용 3 차원스캐닝용핵심모듈은 IR 레이저프로젝터광원, 적외선이미지센서, 제어시스템등으로구성되어출시되었으며, 2013 년말애플사에 3 억 5,000 만달러에인수되었다. MS 에서출시한키넥트 (Kinect) 는 XBox 게임컨트롤러이다. 키넥트에는기존게임컨트롤러에서흔히볼수없었던뎁스카메라나 RGB 카메라가내장되어있으며, 이것을이용하면 3 차원데이터를활용한프로젝트를진행할수있다. 또한키넥트를 3 차원스캐너로도활용할수있다. 키넥트에내장된적외선프로젝터를사용하여깊이정보를추출해서점군 (Point Cloud) 데이터를얻을수있다. ( 그림 4) 와같이 IR 프로젝터에서방출된적외선은물체에반사된다음적외선 CMOS 카메라로들어온다. 이과정을통해물체의깊이정보를산출할수있다. 2014 년 2 월에판매개시된 스트럭처센서 (Structure Sensor) 는 Primesense 사의핵심부품을사용하여 40cm~3.5m 거리를 3 차원으로스캐닝할수있는모바일용 3D 센 18 www.iitp.kr
Z=RT/(T-S) < 자료 >: http://yerdua.soup.io/tag/sloanesoleil, Hello 전자기술 2013 년 2 월, ( 그림 4) Kinect 제품의회절광학계필터를사용하여점군으로주사된 structured light 패턴 < 자료 >: http://structure.io/ ( 그림 5) 스트럭처센서및측정거리서이며, 미국샌프란시스코에위치한 Occipital( 옥시피털 ) 이라는업체가개발하였다. 실내공간은물론사물, 사람까지 3D 형상을스캔하여입력하고저장할수있다. 퀄컴 (Qualcomm) 사는업링크 (Uplink) 2013 에서안드로이드태블릿상에서 AR 기반게임을시현했는데역시 Primesense 의 3D 센서를이용하였다. 이게임은실제세계의탁자, 그리고그위에어떤사물이라도 3D 형상으로캡처하고, 그위에가상의세계를구현한것으로가상의게임캐릭터는실제사물위로점프하거나이동할수있다. < 자료 >: https://www.qualcomm.com/products/vuforia ( 그림 6) 뷰포리아스마트터레인 ( 모바일스캐너 ) 19
주간기술동향 2014. 12. 24. 한편, 캘리포니아에있는펠리칸이미징 (Pelican Imaging) 이라는업체는 16 개렌즈어레이카메라 가모바일디바이스에적용될것으로보고있으며 ( 레퍼런스디자인으로 Handset OEM 과논의중이라고함 ), 구체적인기술에대해공개하기보다동영상클립하나를공개하였다. 결혼식장에서하객중하나가해당기술이적용된스마트폰으로사진을찍은다음 3D 프린터로바로신랑신부의인형 (figurines) 을만들어케익위에꽂아주는동영상이다. 위에서소개한 3 개업체들은모두 2014 년을상용화시점으로하고있다. 또한공통적으로일반사용자가아닌개발자 / 제조사들에게먼저홍보하고있다 ( 다양한앱이개발되는환경을구축하여시장을키워가려는것이다 ) 스위스취리히연방공과대학에서는스마트폰을사용하여물체에대해 3 차원스캐닝하는프로그램을개발하였다. 스마트폰의관성센서를이용하여스캐닝프로세스가간단하고직관적이다. 촬영이시작되면시스템은자동적으로사용자의움직임에기반한카메라이미지를추출하기위해정확한순간을결정하며, 해당애플리케이션을설치만하면별다른도구없이스마트폰카메라로직접 3D 도면을얻어낼수있다. 아직까지완벽히정교한 3D 도면으로구현되는것은아니지만, 완성만된다면분명 3D 스캐너시장에혁신을불러일으킬수있을것이다. < 자료 >: ETH Zurich, 2013. 4. 12. ( 그림 7) 관성센서를활용한모바일스캐너포지 (Forge) 는안드로이드스마트폰을손쉽게고성능 3D 스캐너로탈바꿈시켜주는제품이다. 이제품은안드로이드스마트폰이나태블릿에연결하고포지카메라로원하는대상을촬영하면된다. 제품을찍으면순식간에입체로인식하여촬영해서저장한다. 3D 20 www.iitp.kr
< 자료 >: http://www.youtube.com/watch?v=t99ixaarg7y ( 그림 8) Forge 모바일스캐너로스캔한이런입체데이터는 3D 프린터로곧바로출력할수있다고한다. 그뿐아니라웹 GL(WebGL) 을이용하여인터넷브라우저에서볼수있도록데이터를공유할수도있고, 초당 900 만회에달하는입체감을측정할수있는분해능은밀리미터단위이다. Autodesk 사는스마트폰을이용하여 3D 모델을생성해주는 Autodesk 123D Catch 프로그램을출시하여현재무료로배포중이다. 스마트폰의카메라로각도를조금씩변경하면서그찍힌사진의차이에서 3D 데이터를추출하는방식이다. 최소한 3 장이상의카메라사진을모바일기기로찍어서제공된소프트웨어를통해서버로파일을보내면, 서버에서렌더링하여 3D 파일로변환하여 PC 나아이폰또는아이패드 ( 전용앱사용 ) 로전송해주는방식이다. 서버에서렌더링하는데십여분정도의상당한시간이걸리고, 보다정밀한 3 차원데이터를확보하기위해서는 < 자료 >: Autodesk 123D 소프트웨어로시현된모바일렌더링데모샘플 ( 그림 9) Autodesk 사의모바일렌더링서비스 21
주간기술동향 2014. 12. 24. 수많은사진이필요하다. 다음은국내기술또는제품현황이다. 모바일또는스마트폰을사용한 3 차원스캐너국내기술은주로외국의핵심부품을구매하여응용 ( 키넥트등을사용 ) 한제품이추세이다. 서울대의대 ( 분당서울병원재활의학과 ) 는뇌졸중환자의기능회복을위해키넥을이용한재활치료프로그램개발에대한연구를진행하고있다. 실시간 3 차원동작인식카메라인키넥으로환자의움직임을인식할수있기때문에가상현실재활치료가가능하며, 환자의기능회복정도를객관적으로평가할수있다. 인트라게임즈 ( 대표배상찬 ) 는유비소프트 ( 지사장홍수정 ) 와협력하여엑스박스원 (Xbox One) 용홈피트니스게임 쉐이프업 (SHAPE UP) 을개발하여시판중이다. 이제품은근육형성과지방연소를돕기위한 12 가지의체계적으로설계된다양한운동코스를게임이라는매개를통해수행하도록제작된제품이다. 키넥트 (Kinect ) 센서를활용하여화면의지시에따라움직이면그것을인식하여스코어를판정하게되어있다. 국내의모바일스캐너기술은모바일용광원, 광검출기, 제어시스템에대응하는핵심요소기술에대한원천기술이없고, 핵심부품을구매하여응용하는수준으로독자기술확보가필요한상태이다. 4. 기술및시장전망요즈음쏟아져나오는모바일폰기기내에는사진촬영기능뿐만아니라초소형마이크기능, 온도, 압력감지, 사용자의정밀한위치, 고도, 속도감지기능을등을알수있도록마이크로폰, 온도센서, 가속도, 자이로, 압력, 지자기센서등이임베디드되어있다. 이러한다양한모바일기능을활용하면더더욱세련되고빠르고정밀한스캐닝이가능할것으로보인다. 예를들면, 모바일폰의카메라렌즈앞에보조렌즈를장착하여근거리및원거리를스캐닝할수있고, 가속도자이로센서기능을활용하면손떨림보정을보다정밀하게가능하게할것이다. 모바일폰에광원및이를감지하는센싱부를가지는소형스캐너를부착하는것뿐만아니라어쩌면소형스캐너가모바일폰에임베디드될가능성도있다. 모바일을통해실제세계를 3D 로아주자세하고빨리스캔할수있다면, 좀더자세 22 www.iitp.kr
Z 축 Yaw 0 번째영상 Y 축 Roll Pitch X 축 N 번째영상 < 자료 >: 나노아이 ( 그림 10) 자이로센서의손떨림현상을원래의영상으로보정하는메커니즘 하고도실감나는 3 차원영상을순식간에찍어공유하거나, 실제세계와가상세계가결합된게임을즐길수있을것이다. 상품이나물체를스캐닝하는엔지니어링, 반도체분야뿐만아니라공간에대한 3D 스캔을통해인테리어 / 부동산 / 건설관련종사자도효율적으로활용할수있을것이다. 모바일용 3 차원스캐너의용도는아래와같이정리할수가있을것이다. - 일상문화및행사와관련된 3 차원프린팅 : 졸업, 웨딩, 3 차원인물인형기념품행사등에서모바일기기를통해해당인물및주변사물등에대해확보된색상정보기능이있는 3 차원데이터를 3 차원프린터로즉석에서전송하여기념품을만들어제공하는사업에활용될수있다. - 실내인테리어서비스 : 실내의방모양과형태, 현장에서의가구등을스캐닝하여가구및인테리어용소품등을증강현실기능과함께작업하기전에미리셋팅해보는기능을활용할수가있다. 전국인테리어업체수가약 8 만개이므로전세계시장을고려하면또한폭발적인시장이라볼수있다. - 맞춤형의류및신발서비스 : 고급의류매장에서의단골서비스, 맞춤형의복및신발제작을위한시장에활용되어질수있다. - 문화박물관등 3 차원현장학습또는연구 : 문화박물관, 역사현장, 고고학, 화석, 운석연구등현장에서스캐닝한생생하고도색상이담긴 3 차원데이터를근거로현장학습및연구하는데꼭필요한장비가될것이다. - 3 차원증강현실 / 게임 : 스캐닝된주변환경또는도구등을활용하여컴퓨터그래픽으로제작된캐릭터가실제환경과겹쳐보여지는최첨단증강현실콘텐츠는가상의 23
주간기술동향 2014. 12. 24. 이미지로독특한 3 차원영상과함께화면속실제모습과실감나는영상으로게임을즐길수있을것이다. - 과학수사 : 자동차사고, 일반적인사건의현장에서즉시스캐닝하여사진과함께저장한다음현장보존기능의보조역할을할수있다. - 상품또는제품의현장스캐닝 : 일반인이현장에서상품또는제품을구입하거나, 작업현장에서엔지니어가제품의역설계를위해모바일로손쉽게스캐닝하여아주자세하고도생생한도면과같은데이터를작업장으로가져와서목업등설계하는데활용할수있다. 또한 3D 프린팅작업에도활용할수있다. - 반도체검사장비 : 반도체웨이퍼의 Bow( 마이크로미터단위의뎁스정밀도 ) 검사용으로활용되어질것이다. 3 차원스캐닝의시장은 2013 년에는 20.6 억달러로연간 14.6% 성장하여 2018 년에는 40.8 억달러에달할것으로보고있다. 아시아태평양시장은 2013 년 5.38 억달러로연간 15.1% 성장하여 2018 년에는 10.87 억달러에달할것이다 [5]. 위의보고서를감안하면 2014 년현재 3D 스캐너의세계시장은 2.2 조원에달할것이고 2018 년에는두배의시장으로성장할것으로판단된다. 2014 년국내시장은 396 억원이고, 2018 년에는 1,400 억원에달할것으로보인다 [6]. 휴대용 3 차원스캐너는 Creaform 사가 3 만달러수준의 Goscan 제품을포함하여연간매출총액 5,200 만달러, 3D 시스템스는 Sense 제품을포함하여 1 억 4,000 만달러의매출실적이있으며, 그외 Qualcomm 사를포함하여모바일에직접활용되는애플이인수한이스라엘의프라임센스사의 3D 센서또는마이크로소프트사의 Kinect 센서를사용한모바일 3 차원스캐너에대한매출은막시작되고있지만, 이러한시장및응용분야를감안하면폭발적인증가를보일것으로판단된다. 5. 맺음말본고에서는모바일용 3 차원공간스캐너기술에대해소개하고, 국내외기술및제품동향과미래의모바일스캐닝기술에대해기술하였다. 요즈음쏟아져나오는모바일폰기기내에는사진촬영기능뿐만아니라다양한센서기능과함께더더욱세련되고빠르고정밀한스캐닝이가능할것이고, 모바일기기를사 24 www.iitp.kr
용하여실내공간은물론주변의사물, 사람까지 3D 형상을스캔해서입력하고저장할수있으므로다양한응용분야에서활용이가능할것이다. 모바일기기로일상문화, 엔지니어링, 반도체, 게임, 학습및연구인테리어 / 부동사 / 건설등과함께 SNS 연계서비스등으로활용될것으로판단된다. < 참고문헌 > [1] Structured-light 3D scanner, http://en.wikipedia.org/wiki/structured-light_3d_scanner. [2] Primesense LTD., METHOD AND SYSTEM FOR OBJECT RECONSTRUCTION, PCT/WIPO Patent Application WO/2007/043036. [3] Microsoft Corporation, System and method for high-precision 3-dimensional audio for augmented reality, US 2012/0093320 A1. [4] 키넥트와 3 차원스캐너, 한국데이터베이스진흥원, 2012. 2. 6. [5] Worldwide Market Forecasts and Analysis, 2013-2018. [6] 3D 프린터시장이세계시장의 1.78%, 아시아투데이, 2014 년 1 월 4 일자 25