증강현실 (AR) 과가상현실 (VR) 기술의건설산업활용현황및전망 발표자 : 성균관대학교권순욱교수
Contents 1. 미래유망분야 2. 기술시장및연구동향 3. 기술개요 4. 기술사례
1. 미래유망분야 3 / 36
세계건설시장을변화시킬 7 가지트렌드 2020 년신흥국건설 $6.7 조 글로벌 가속화 고품질상수원깨끗한폐기물 삶의질 눈높이 매가시티 등장 2020 년까지도시인구 20% 증가 건물과인프라성능혁신신기술 혁신주도 신기술 Seven trends transforming the construction market -by accenture(2015) 자본 지배력 PPP 사업증가금융권과연합 2030 년 30% 인프라효율화 재생 에너지 인재 전쟁 고급인재난고령인구증가 4 / 36
세상을바꿀 12 大기술 1. Mobile Internet 2. Automation of Knowledge Work 3. IoT 4. Cloud Technology 5. Advanced Robot 6. Autonomous Vehicle 7. Next Genomics 8. Energy Storage 9. 3D Printing 10.Advanced Materials 11.Advanced Oil & Gas Expl. & Recovery 12.Renewable Energy 구분 1990 Detroit 2014 San Francisco 매출액 $2,500 억 $2,470 억 종업원 1,200,000 명 137,000 명 주식시가 $360 억 $10,000 억 출처 : McKinsey Global Institute(MGI), No Ordinary Disruption-The four global forces break ing all the trends, 2015.4 5 / 36
차세대유망연구주제 자율운전시스템 - 네트워크구성, 차량주변센서, 기술융합 (Software, Hardware, Semiconductor, System Integrators, Communications, Sensors, Consumer Electronics 등 ) 지능화도시 에코시스템 <CMU & GM, Boss> <Google, Self Driving Car> 로봇 : 커뮤니케이션로봇, 어시스트로봇 - 빅데이터, 인공지능 (A.I), 영상 / 음성인식 < 로봇진화로드맵 > 자료. NTT 데이터, KT 경제경영연구소 VR(Virtual Reality) 에의한대체현실 (SR: Substituted Reality) 인간확장 - IoA(Internet of Abilities), BMI (Brain Machine Interface), 감정인식 <FlyingBuddy System -BMI> 6 / 36
AR/VR 기술을통한미래의패러다임 새로운공동주택의패러다임변화와함께수요자의서비스요구수준이높아지고있음. 기존의생산자위주의획일화된일방향서비스패러다임은생산자와사용자간의양방향커뮤니케이션을통한사용자최적화로전환되고있으며, 체험중심의사용자서비스가중요시됨. AR/VR 기술은물리적가시화를통해사용자참여환경을개선하고, 3차원공간정보의접근성및활용도제고를위한필수화되고있음. 7 / 36
2. 기술시장및연구동향 8 / 36
AR/VR 웨어러블시장 웨어러블기기시장확대 AR/VR 선도기술 애플은가상 증강현실콘텐츠개발기능이강화된새로운운영체제맥 OS(High Sierra) 와증강현실앱개발툴 (ARKit) 을발표 ( 개발 ) 플랫폼 마이크로소프트는새로운혼합현실 (MR) 모션컨트롤러와헤드셋을공개, 혼합현실생태계확대및콘텐츠플랫폼구축 디바이스, ( 콘텐츠 ) 플랫폼 구글은구글 I/O 2017 에서스마트폰없이독립적으로사용할수있는독립형데이드림 VR 기기를발표 디바이스 페이스북은 VR/AR 을미래핵심콘텐츠로꼽으며, 누구나 AR 콘텐츠를만들수있는증강현실플랫폼 카메라이펙트플랫폼 공개 ( 개발 ) 플랫폼 9 / 36
AR/VR 시장동향 10 / 36
AR/VR 콘텐츠시장전망 <VR 컨텐츠시장전망 > 출처 : 골드만삭스 Virtual & Augmented Reality 2025 / Superdata (2016) < 산업별 AR/VR 컨텐츠시장전망 > 출처 : 골드만삭스 (2016) AR/VR 콘텐츠는게임등일부부문을제외하고아직까지주목할만한결과를내지는못하고있으나, 디바이스보급률이일정수준을넘는시기부터콘텐츠투자가본격화되면서장기성장이기대됨. 이에따라 VR 콘텐츠시장은 2017년 5억달러에서 2020년 245억달러로성장해 2020년에는디바이스 (159억달러 ) 시장을넘어설것으로전망됨. AR/VR기술은특히엔터테인먼트게임부문에서대중적인관심을받으며확산될전망에따라엔터테인먼트부문에만투자가집중되는현상이발생하여 2025년까지관련콘텐츠시장은전체시장의 50% 이상인 189억달러로성장할것으로보임 11 / 36
AR/VR 기술의주요응용분야 게임등엔터테인먼트 체험형컨텐츠를통한몰입도극대화 게임전용 HMD 대량출시 의료 가상수술, 인체해부실습 원격치료서비스 항공 군사 비행조종훈련 낙하 사격등시뮬레이션훈련 건설 교량 댐등주요사회기반시설설계 수정된건물을실시간으로반영 교육 박물관체험, 천체위치연구, 화학분자설계등 방송 공연 고품질 고화질컨텐츠제공 뮤직비디오 쇼케이스영상제작 관광 주요명소체험서비스 가상투어서비스 스포츠 현장감을극대화하는체험경기 운동선수와함께실제경기에참여 12 / 36
증강현실 (Augmented Reality) 플랫폼시장동향 해외의경우 AR/VR 디바이스제조사및게임업체, 검색엔진등기업들의플랫폼사업진출이이어지고있음. 기술플랫폼으로는 Unity 등전문영상기술업체들이기술플랫폼을선점하는가운데, 청각후각등실감형콘텐츠구현에주력하는기업들이등장 주요기업중에는 MS( 홀로렌즈 ) 와구글 (Tango) 이 AR/VR 디바이스콘텐츠개발을위한 SW 플랫폼을구축운영 유통플랫폼에서는선두주자인오큘러스와게임산업강자인소니가경쟁우위를보유하고있으나, 후발주자인구글, 스팀 ( 세계최대게임유통업체 ) 등플랫폼기업들이추격중 국내의경우, 기술플랫폼은주로해외에의존하고있으며이동통신사들이 AR/VR 콘텐츠유통플랫폼을운영하고있으나초기단계에있음. 국내기업들은주로해외기술플랫폼에의존하고있으며소수기업이유통플랫폼구축을추진하고있으나아직까지대부분기술및시제품개발단계인것으로조사 다만이동통신사들이 360 도 VR 영상관 (KT 올레 tv 모바일 ), VR 영상제작유통플랫폼 (SK 텔레콤 T 리얼 ) 등유통플랫폼사업에진출한상황 13 / 36
R&D 정책및추진현황 부처과제별주요연구내용경험지식기반현장체감형가상훈련 의료훈련용가상수술시뮬레이터기술시스템개발 건설기계중장비훈련을위한가상훈련시스템및서비스산업부 개방형 SW플랫폼기술실감형 e-training 제작을위한 3D콘텐츠 철도시뮬레이터콘텐츠저작기술개발 동작인식기반 3D 그래픽연동기술 혼합현실콘텐츠저작기술모바일혼합현실체험서비스기술개발 시각기반자세및위치추정기술 관광체험서비스발` 달 / 화성지형생성및극사실적인렌더링기술달 / 화성지표면탐사시뮬레이션기반가상문체부 동역학기반우주인캐릭터시뮬레이션기술우주여행영상모션플랫폼기술개발 달 / 화성미소중력체험모션플랫폼기술 재생성이가능한모듈형어트랙션기술및플랫폼이동실감환경기반모듈형테마파크 Local Game 기법을활용한실시간데이터동기화콘텐츠플랫폼기술개발 다양한움직임과양방향인터랙션이가능한모션플랫폼 창의체험실감공간구축및기능성콘텐츠저작기술가상화기반실감형창의체험기능성 클라우드컴퓨팅기반가상화기술중심의창의체험플랫폼콘텐츠교육서비스기술개발 창의체험기능성실감형콘텐츠서비스및콘텐츠관리시스템미래부 후각및복합센서기반위험환경인지시스템후각바이오정보기반감성증강 4D극장용개인화발향장치인터랙티브콘텐츠기술개발 질병진단및미세가스측정용전자코시스템 14 / 36
AR/VR 핵심기술분석 증강현실기술 특징 기술분야 관련주요기술 GPS기반의기술 Vision기반의기술실시간 3D 인지기술 Positional Tracking 기술 Head Tracking 기술 GPS 기술을이용해사용자의위치를인식하고, 3D 모델을미리계산된위치에디스플레이를통해투영함으로써현실환경과의정합 카메라에입력된영상을바탕으로특징점을인식하고, 카메라의위치를계산하여 3D 모델을현실환경에정합하여나타냄 현실공간에가상의객체를배치하기위해현실공간을인지및해석함 사용자의 Position 에대한정확한 Tracking 데이터값을디스플레이에실시간으로반영함 사용자의현실공간에서의위치이동에따른 Position Detection 뿐만아니라동일한 Position에머무는동안에도머리의움직임을추가적으로감지해서가상객체를실시간으로 Transition 시킴 콘텐츠생성 / 저작기술객체추적 / 센서기술인터렉션기술 3D/4D 콘텐츠 오감체험콘텐츠 실사정합 / 합성콘텐츠저작 홀로그램콘텐츠저작 VR/AR 실시간저작 2D & 3D 객체인식 마커 & 비마커인식및추적 비주얼 SLAM 3D 깊이추적 / 카메라 스테레오카메라, IMU 센서 동작 / 음성 / 상황인식 오감정보인식 공간터치, 햅틱피드백 멀티플랫폼지원 Gaze(Pupil) Tracking 기술 사람의동공 (Pupil) 의초점에대해실시간영상처리로 Tracking하거나특정송신기를통해구현함 플랫폼기술 다중사용자가상공간공유기술 가상공간이동플랫폼 디바이스제작기술 Transparency 기술 현실공간에서비쳐지는빛그대로를망막 (Retina) 에투영시키기위해현실공간의 View 와가상객체이미지를오버레이시킴 디바이스 / 디스플레이기술 디바이스시뮬레이션기술 휴먼트래킹기술 착용형디스플레이기술 15 / 36
3. 기술개요 16 / 36
AR/VR 기술정의 Milgram s Reality-Virtuality Continuum 에서의정의 혼합현실 Mixed Reality 현실세계 증강현실 증강가상 가상세계 Real Augmented Augmented Virtual Environment Reality Virtuality Environment 현실을바탕으로가상합성 가상을바탕으로현실합성 Ronald Azuma 에의한 정의 현실세계의요소와가상이미지결합 증강현실 실시간인터섹션가능 3 차원표현 17 / 36
AR/VR 기술정의 Augmented Reality vs Virtual Reality 현실세계상의증강모델 사용자의위치정보필요 3D 가시화를통한정보의전달에집중 가상세계상의모델 Head-mounted Display 필요 3D 공간상의접속을통한정보의공유에집중 18 / 36
Technology Hype Cycle 19 / 36
Wearable Device Medical WBAN monitoring sensor Glass 시야를기준으로상황에맞는정보들을즉각제시하며, 영상 / 사진을저장하는역할. AR과연계하여다양한응용분야에서활용예상 Watch 신속히확인이필요한정보를아이콘및최소화된문자 / 숫자로표시. 필요에따라간단한조작도가능 * Implant medical BAN : Electromyography (EMG), Electrocardiogram (ECG), Electroencephalogram (EEG) * Non-Medical : Entertainment, Mobile device *AR: Augmented Reality ( 증강현실 ) Attachable 주로센서계열의기기. 클립 / 팔찌 / 허리띠등으로의류 / 신발등에다양한형태로부착. 간단한동작인식센서에서, 팔목의근육량을측정하여미세한조종까지가능 20 / 36
Wearable Device Micro-electromechanical Systems(MEMS) 기반의다양한센서가개발되어활용되고있으며, 현재는물리센서가주로활용 ( Bio/Emotion 센서등의분야로확대전망, Bio-MEMS) Wearable Device 센서의 Scope MEMS 기반센서의종류및특징 Behavior Pattern Attitude Status Information History Environment Smell Air Pressure Temperature Weather Motion Location Altitude Bearing Speed Bio Data Blood Pressure Blood Sugar Heartbeat Breathing Rate Body Temperature Emotion Pleasure Sadness Stress 센서종류 카메라 용도 / 동작 빛을감지해그세기의정도를디지털영상데이터로변환 마이크로폰소리를공기압력의변화에의해전기신호로변환 근접 조도 중력 GPS 가속도 지자기 자이로스코프 무접촉방식으로물체의근접여부를검출 주변밝기를인식하여밝기정도를전기신호로변환 중력의작용방향을탐지해물체움직임을감지 위성위치확인을통해물체의시간및위치정보획득가능 단위시간당물체속도의변화, 충격등동적힘의변화감지. 최근 MEMS 기술의발달에따라기울기, 흔들림등의정교한움직임까지도감지가능 지구자기장의흐름을파악해나침반처럼방위각을탐지 물체의관성력을전기신호로검출하며, 주로회전각을감지. 높이와회전, 기울기등을직접감지할수있어가속도센서와연계하여정교한모션센싱이가능 첨단센서육성사업 핵심기반 : 자동차, 모바일, 응용상용화 : 자동차, 모바일, 로봇, 보안, 바이오 / 의료, 환경, USN 총사업비 1,508 억원 ( 정부 : 1,148 억원, 민간 : 360 억원 ), 2015 년 ~ 2021 년 (2015 년 50.9 억원예산확보 ) 21 / 36
4. 기술사례 22 / 36
Web 3D GIS 시뮬레이션 / 솔루션 < 공공기관및시설물온라인내비게이션 > < 기상및홍수정보표출 3D Web GIS > 23 / 36
로봇상호작용솔루션 < 상지재활로봇 > < 상지재활로봇과상호작용 VR 기능성게임 > < 하지재활로봇 > < 하지재활로봇과상호작용 VR 기능성게임 > 24 / 36
Web 3D GIS 시뮬레이션 / 솔루션 < 자동차 VR 쇼룸 > < 온라인가상매장관리 > < 행사, 전시관등증강현실광고 > < 온라인네비게이션 > < 제품인식증강현실마케팅콘텐츠 > < 가구, 실내인테리어마케팅솔루션 > 25 / 36
Web 3D GIS 시뮬레이션 / 솔루션 < 가상원예기능성게임 > < 재활게임 ( 보행재활 ) > < VR 게임 > < 스포츠게임 ( 양궁게임 ) > < 스포츠게임 ( 축구게임 ) > < 스포츠게임 ( 볼링게임 ) > 26 / 36
Augmented Reality in Construction Video Input Information Recognition Data Request Data analysis and request Location information extract Data detecting Camera position estimating Information Recognition Calculate the frame plane Data Transfer Camera image and the object 27 / 36
Google Glass 활용사례 Google Glass(Argument Reality) Google 에서개발한스마트안경 주요기능 음성인식 (Okay Glass) 을통한제어가능 실시간음성번역 모션인식가능 Bluetooth, WIFI 제공 안드로이드운영체제지원 사진및동영상촬영가능 3D Visualization(2D drawing) Construction Management 28 / 36
AR-MR & AR-VR 사례 MR(Mixed Reality) 가상현실 (VR) 과증강현실 (AR) 을결합한기술 VR(Virtual Reality) 인공적인기술로만들어낸실제와유사하지만실제가아닌가상의환경이나상황 주요기능 직관적으로데이터를주고받을수있음 원거리업체와협업이가능 3D 설계를넘어수정사항을실시간으로피드백 시각화를통해건설과정에대한이해도상승 AR-MR AR-VR 29 / 36
Microsoft HoloLens Microsoft HoloLens(Mixed Reality) Mobile Hardware : Real-Time Process Information Inventory Recognition 주요기능 시선에따라커서가이동함. 제스처를이용해컨트롤이가능함. 음성인식을통한컨트롤이가능함. 활용방법 스카이프를통해공동작업또는통신가능 컴퓨터로작업한모델시각화가능 SketchUp Viewer from Trimble Microsoft HoloLens Use Cases 30 / 36
Holostruction 일본마이크로소프트 (MS) 와오야나기건설 ( 小柳建設 ) 은 2017 년 4 월 20 일 Microsoft HoloLens 를건설에서활용하는프로젝트 "Holostruction 의추진에협력한다고발표. 미국 MS 본사와일본 MS 가참여하는 HoloLens 의협력은일본항공에이어 2 번째로건설업의업무생산성및추적성향상을목적으로 HoloLens 을활용하는것은건설사업자로는일본최초로시도. 3 가지컨셉에따라응용프로그램개발 첫번째개념은 " 업무추적향상 " 건설계획부터시행, 검사, 유지보수, 수리계획의모든것을표현하여내 / 외부에서그것들을공유하기위한도구로 HoloLens 을활용. 두번째는 "BIM/CIM (Building Information Modeling / Construction Information Modeling) 데이터의활용시도 설계도를 3 차원그래픽으로시각화하면서검사에필요한데이터나문서를저장하고필요할때즉시표시할수있는구조를개발. 세번째는 " 새로운커뮤니케이션아이디어의시도 " 원격지의사람과도 3 차원그래픽설계도면과현장의상황을공유, 실물크기의규모로실제현장에있는듯한느낌을체험할수있는기능개발. 31 / 36
Holostruction 32 / 36
DAQRI Smart Helmet DAQRI SMART HELMET(Agment Reality for Industrial Applications) Mobile Hardware : Real-Time Process Information Inventory Recognition 주요기능 Data Visualization Thermal Vision Guided Work Instructions Remote Expert DAQRI SMART HELMET Fuction 33 / 36
무선제스쳐컨트롤링 : Nod Smart Ring & Smart Band nod( 손가락모션인식 ) Mobile Hardware : Real-Time Process Information Inventory Recognition 호환가능한기기 Smartphone( 안드로이드, ios) Google Glass GoPro( 카메라 ) Window, Mac 활용방법 호환가능한다양한기기와연결하여컨트롤러로사용 nod Smart Ring MYO(Smart Band) 34 / 36
연구사례 NFC 기술을이용한증강현실기반플랜트시공 / 안전관리플랫폼개발 ACR 기반의플랜트시공 / 유지관리를위한스마트웨어러블디바이스용시스템개발 증강 / 가상현실기반시뮬레이션솔루션시스템개발 증강 / 가상현실기반 E-Training 시스템개발 증강 / 가상현실기반디지털매뉴얼개발 증강 / 가상현실기반에듀테크콘텐츠개발 35 / 36
혁신의방향 : 변하는 TOYOTA 를통해우리도변하자 ( 미래의 TOYOTA 는자동차회사가아니다.) 직조기계생산 (1900 년부터 ) 자동차생산 (1937 년부터 ) 모듈형주거생산 (1980 년대부터 ) 모바일로봇 (1990 년부터연구 ) 서비스로봇 (2011 년부터연구 ) 36 / 36
감사합니다.