표지

ISSUE & FOCUS on IP 지식재산 환경변화에 능동적으로 대비하기 위한 지식재산 동향정보 서비스 심층분석 보고서 증강현실(Augmented Reality) 기술 동향 및 지식재산권 추이 곽현 한국지식재산연구원 경제연구팀, 전문위원

증강현실(Augmented Reality) 기술 동향 및 지식재산권 추이 증강현실기술을 둘러싸고 애플, 구글, 마이크로소프트등 주요 ICT 기업들의 투자가 활발해짐에 따라 증강현실에 대한 관심이 고조되고 있음. 또한 증강현실은 다중 융 복합 산업으로 산업 전반에 걸쳐 파급효과를 가져올 것으로 기대됨. 이에 본 보고서에서는 미래 유망 기술인 증강현실기술의 시장 동향 및 특허 동향을 알아보고 정책적 시사점을 도출하고 함. * 작성자 : 곽현 (한국지식재산연구원 경제연구팀, 전문위원) 본 보고서 내용은 필자의 개인적인 견해이며, 한국지식재산연구원의 공식적인 의견이 아님을 밝힙니다. Ⅰ 검토 배경 최근 미래지식서비스 산업의 핵심으로 등장한 증강현실(Augmented Reality) 기술에 대한 국내 외적인 관심이 고조 증강현실기술은 사용자가 눈으로 보는 현실세계에 가상정보를 결합하여 보여주는 기술로 현실세계에 실시간으로 가상세계를 합쳐 하나의 영상으로 구현하여 사물이나 영상정보를 증강시키는 기술 - 최근 디스플레이 기기와 스마트폰이 널리 보급되면서 본격적인 상용화 단계에 접어들었으며 원격의료진단, 관광서비스, 제조공정관리, 교육분야 등에서 다양하게 활용되고 있음 가트너(Gartner)의 2015년도 신기술 하이프 사이클*에 따르면 증강현실은 과도한 관심이 집중되는 기대치 정점 을 지나 실질적인 기술을 보유한 기업에 투자가 이루어지는 현실적 재조명기 에 진입하였음 * 가트너의 신기술 하이프 사이클(Hype Cycle for Emerging Technologies)은 관심이 집중되는 기술 혹은 잠재적 으로 상당한 파급력을 지녔다고 판단되는 기술을 소개하는 보고서 미래창조과학부는 2016년도 기술영향평가* 대상 기술로 가상 증강현실 기술을 선정하였으며, 한국기술과학평가원(KISTEP)도 2015년 10대 미래유망기술로 가상현실 및 증강현실 구현 핵심기술 중 하나인 가상촉감기술과 실감공간구현기술을 선정함 * 기술영향평가는 새로운 과학기술의 발전이 미치는 영향을 사전 평가 후 정책에 반영하여 기술의 바람직한 발전방향을 모색하기 위한 제도 증강현실 관련 기술 및 서비스에 대한 투자 증대로 2020년에 관련 시장 규모는 1,200억 달러에 육박할 것으로 전망 페이스북의 오큘러스 인수를 시작으로 애플, 마이크로소프트, 구글 등 주요 ICT 기업은 증강현실 기술 개발에 주력하고 있으며 투자가 활발해짐 시장 조사 업체인 디지캐피탈 (Digi-Capital)에 따르면 2020년 가상현실과 증강현실 관련 시장 규모는 약 1,200억 달러에 달할 것이며, 이 가운데 900억 달러는 증강현실을 통해 창출 될 것이라고 전망 ISSUE & FOCUS on IP 1

- 2017년 까지는 가상현실이 시장 전반을 주도하지만 일반 소비자용 증강 현실이 본격적으로 등장하면서 2018년부터는 증강현실 시장이 가상현실 시장을 앞지를 것으로 예측 <증강현실 및 가상현실 시장전망> 출처: Digi-Capital(2016.01) 본 보고서에서는 새로운 미래 먹을거리로 떠오른 미래 유망 기술인 증강현실 기술 및 특허 동향을 살펴보고, 시사점을 도출하고자 함 ISSUE & FOCUS on IP 2

Ⅱ 증강현실 기술개요 및 산업 동향 증강현실(Augmented Reality) 개념 (증강현실기술) 가상현실*기술 분야에서 파생된 기술로서 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여줌 - 증강현실이란 용어는 1970년대 VR 연구가 마이런 크루거(Myron Krueger)를 통해 알려지게 되었으며 1992년 보잉사의 토마스 커델(Thomas P. Caudell)박사가 사용하면서 전문용어로 활용됨 * 작업자들에게 항공기의 전선조립을 돕기 위해 가상이미지를 실제 작업 화면에 중첩시켜 이해하기 쉽게 설명하는 과정에서 나옴 < 실제, 증강현실, 가상현실의 관계 > 출처: Milgram, P., et al.(1994) 증강현실, 가상현실, 가상세계의 개념 비교 용 어 개 념 사 례 증강현실 (Augmented Reality) 가상현실* (Virtual Reality) - 현실의 정보에 가상의 정보를 합성해 사물이나 이미지의 정보를 증강시켜 주는 것을 의미함. - 눈에 보이지 않는 가상의 정보를 현실정보에 더해 주므로 인간의 감각과 인식을 확장시킨다 는 측면에서 확장현실 로 불리기도 함 - 컴퓨터 시스템에서 생성한 3D 가상공간과 사 용자 간의 상호 작용을 이루는 기술로서, 사용 자는 이러한 가상공간에서 인간의 오감을 통해 몰입감을 느끼고 실제로 그 공간에 존재하는 것 과 같은 현실감을 제공하는 융합기술 축구경기중계 방송 중, 프리킥 위치에서 골대까지 거리 표시 효과 컴퓨터 그래픽으로 재현된 유명 명소 CG 가상세계 (Virtual World) - 실재하지 않는 공간이나 영상을 컴퓨터 그래픽 스를 통해 가상으로 구현하는 것 MMORPG등에서 구현된 게임 속 세계 출처: 융합Weekly TIP(2015.08) ISSUE & FOCUS on IP 3

(기술특징) 1997년 Ronald Azuma 등은 증강현실의 기술 요소로 1 가상과 현실의 융합(combines the real and the virtual), 2실시간 상호작용 (interactive in real-time), 3 3차원 결합 (register in 3D)을 들었음 (증강현실 요소기술) 증강현실 기술로는 크게 디스플레이 기술, 마커인식 기술, 영상합성 기술이 있음 (디스플레이 기술) 가장 일반적으로 사용되는 디스플레이는 HMD(Head Mounted Device)로 머리에 착용할 수 있는 형태와 Non-HMD(Non-Head Mounted Device)로 분류되며 가볍고 이동성이 편리한 Hand-Held형이 있음 증강현실에 적용되는 디스플레이 종류 비교 구분 HMD 대형디스플레이 소형디스플레이 Hand Held 패널 접안 LCD LCD, CRT, DLP, 프로젝션, 스크린 LCD, CRT, DLP, PDP LCD 몰입감 고( 高 ) 중( 中 ) 저( 抵 ) 저( 抵 ) 착용감 매우 불편 미착용 미착용 간편 휴대성 매우 불편 불가 불편 우수 광학혼합 가능 가능 불가능 불가능 장점 높은 몰입감 실제 사물 투사 개발 용이 휴대성 용이 단점 착용감 나쁨 음영 발생 시선과 화면 미일치 소형, 저화질 (마커인식 기술) 카메라의 영상에서 현실세계의 지점이나 물체에 대한 3차원 좌표를 확보하기 위한 기술로 카메라를 통해 얻어지는 화면 위에 가상 공간상의 물체를 나타냄 (영상합성 기술) 실제와 가상을 합치는 기술로 시각적인 불일치를 줄이기 위해 가상물체와 좌표를 정확히 일치시켜 이질감 없이 부드럽게 정합되는 것이 중요 (관련 산업) 증강현실은 게임 외에도 의료, 교육, 관광, 제조업 등 다양한 영역에서 활용되면서 산업 전반의 지형을 혁신적으로 바꿔놓을 것으로 전망 (의료분야) 증강현실 기술을 이용한 최소침습수술(Minimally invasive surgery)과 환자의 환부를 정합하여 진단하는 맥락적 해부 묘사(Contextual anatomical mimesis)등에 사용 가능 (교육분야) 가상 교실에서 수업을 듣고 토론을 하는 등 공간의 한계를 뛰어넘는 교육이 가능하며 역사문화탐방 등은 시공간을 초월한 체험학습을 제공해 줄 수 있을 것으로 기대 (관광분야) HMD(Head Mounted Display)를 이용한 관광지 체험기술과 박물관이나 관광지 내의 정보를 얻을 수 있는 모바일 증강현실 가이드 기술이 가능 (제조업분야) 증강현실을 이용한 가상 프로토타이핑(Virtual prototyping), 가상공정(Virtual Manufacturing)등에 활용 ISSUE & FOCUS on IP 4

Ⅲ 증강현실 관련 특허동향 (국내특허동향) 증강현실 관련 기술 출원은 2010년을 기점으로 급증 (특허출원동향) 2005년부터 2014년까지 10년간 AR에 대한 국내 특허출원량은 3355건으로 초기 5년 대비 후기 5년 동안 약 12배가 증가됨 <국내 증강현실 기술 관련 특허 출원 동향 ( 05~ 14)> 출처: 특허청 보도자료 ( 16.04) - 2005년~2009년에는 연평균 52건(5년간 261건)이 출원되었고, 2010년~2014년에는 연평균 619건(5년간 3094건)이 출원됨 (산업분야별 특허출원) 지난 10년에 대한 AR에 대한 특허출원분야는 게임(592건), 산업(514건), 교육(488건), 의료(425건), 문화(328건), 방송 및 광고(316건), 스포츠(291건), 군사(130건)의 순으로 나타남 (디바이스관련 특허) HMD 형태의 헤드셋을 중심으로 특허 출원 - AR이 구현되는 디바이스에 대한 특허출원건은 2010년 약 71.9%가 이동단말기였으나 2013년부터 HMD에 대한 특허출원건이 증가 ISSUE & FOCUS on IP 5

국내 증강현실 디바이스 특허 출원 건수 ( 10~ 14) 이동단말기 HMD 기타 2010 429 2 163 2011 340 8 185 2012 247 34 175 2013 432 109 242 2014 403 256 54 <국내 증강현실 디바이스 특허 출원 동향 ( 10~ 14)> 출처: 특허청 보도자료 ( 16.04) - 2010년, AR이 구현되는 이동단말기의 특허출원수가 많은 것은 그래픽 사용자 인터페이스 및 강력한 하드웨어를 갖는 스마트 폰의 대중화되었기 때문인 것으로 풀이 - 2013년에 HMD 특허출원건의 증가는 구글 글래스와 같은 안경타입의 웨어러블 디바이스의 출시와 HMD의 상용화에 기인한 것으로 보임 (콘텐츠대상 특허) 증강현실콘텐츠의 출원건수는 2011년까지 증가하다가 2011년 이후 급감하고 있으며, 내국인 출원비율에 있어서는 2014년까지 매년 80%이상으로 높은 비중을 차지 - 중소기업 및 대학/연구소/공공기관에 의한 특허 출원이 50% 이상을 차지 ISSUE & FOCUS on IP 6

<출원인별 증강현실 콘텐츠 특허 출원 동향 ( 09~ 14)> 출처: 특허청 보도자료 ( 16.04) (해외특허동향) 증강현실 기술관련 특허등록건수는 지난 5년간 약 9배 증가하였음 (인더스트리 4.0기술의 특허등록건수) 인더스트리 4.0 (Industry 4.0)*을 이끄는 7가지 주요 기술**의 특허등록건수는 지난 5년간 약 12배 증가 * 인더스티리 4.0은 독일정부의 제조업분야 경쟁력 유지 및 강화를 위한 정책으로, ICT와 기계 산업의 융합을 통해 제조업의 완전한 자동생산체계를 구축하고 모든 생산과정을 최적화하여 4차 산업혁명을 이루자는 것을 골자 로 하고 있음 ** 사이버 물리 시스템, 클라우드컴퓨팅, 빅데이터 및 분석, 시스템 보안, 적층제조법 및 3D프린팅, 증강현실, 로봇 - 특허 등록건수에 기반하여 인터스트리 4.0을 이끄는 혁신적인 기술로 클라우드, 증강현실, 빅데이터가 선정 ISSUE & FOCUS on IP 7

<인더스트리 4.0 주요 기술 전세계 특허 등록 동향 ( 10~ 14)> 출처: IoT Analytics (https://iot-analytics.com/industrial-technology-trends-industry-40-pat ents-12x/) (증강현실 기술 특허등록건수) 특히, 증강현실관련 기술 특허 등록 건수는 2015년 1227개로 2010년(138개)보다 약 9배 증가한 것으로 나타났음 <증강현실기술 전세계 특허 등록 추이 ( 10~ 14)> 출처: IoT Analytics (https://iot-analytics.com/industrial-technology-trends-industry-40-pat ents-12x/) ISSUE & FOCUS on IP 8

인더스트리 4.0 주요 기술 전세계 특허 등록 건수 ( 10~ 14) 2010 2011 2012 2013 2014 2015 클라우드 컴퓨팅 154 524 1540 1626 1617 1300 증강현실 138 376 883 772 1068 1227 3D프린팅 2 9 22 137 624 1283 빅데이터 11 7 11 91 458 909 시스템 보안 71 74 114 114 133 205 로봇 43 71 67 51 37 83 사이버 물리 시스템 2 5 9 3 13 16 합계 421 1066 2646 2794 3950 5107 출처: IoT Analytics (https://iot-analytics.com/industrial-technology-trends-industry-40-paten ts-12x/) 증강현실 관련 기술 특허 출원이 높아지고 있는 가운데 관련기술의 특허소송 또한 증가할 것으로 예상 (특허소송 기업) NAVICO와 Intellectual Ventures는 증강현실 기술과 관련하여 특허소송을 진행 중임 - 해양 전자기기와 네비게이션 등의 제품 및 솔루션 개발업체인 NAVICO는 ARCZAR을 상대로 소송을 진행 - 전 마이크로소프트의 CTO였던 Nathan Myhrvold가 설립한, 약 30,000개 이상의 광범위한 지적재산 포트폴리오를 보유한 기업인 Intellectual Ventures는 CANON을 상대로 증강현실 관련 소송을 진행 - 소송의 대상이 된 특허기술은 이미지 센서, 위치 추적 기술, 이미지 정보처리 및 비젼 시스템 기술 등이 있음 ISSUE & FOCUS on IP 9

Ⅳ 증강현실 관련 국내 외 시장 및 정책동향 (해외 기업동향) 글로벌 기업들은 관련 기업을 인수하거나 신제품을 공개하며 증강현실 시장을 선점하기 위한 노력을 강화 (마이크로소프트) 현실 속에 가상 3D 이미지를 접목시키는 방식으로 증강현실을 구현하는 HMD 형태의홀로렌즈(HoloLens)를 공개( 15.01) (페이스북) 23억 달러에 AR대표 업체인 오큘러스를 인수, 움직임에 따라 화면이 전환되며 몰입감을 높인 혁신적인 가상현실 기기 오큘러스 리프트(Oculus Rift)를 개발하여 시장경쟁 촉발 (애플) 증강현실 솔루션 개발업체인 메타이오(Metaio)인수했으며 아이폰과 연동할 수 있는 헤드마운트디스플레이(HMD)관련 특허를 취득한데 이어 애플지도 차기 버전에 증강현실 기능 추가 예정 (구글) 5억 4200만 달러에 매직리프(Magic Leap)를 인수하였으며, 유투브에서 360도 전방위 동영상을 올릴 수 있도록 하는 등 플랫폼 위주의 전략 추구 (국내 기업동향) 국내 업체들은 증강현실을 활용한 다양한 서비스를 공개하며 시장공략 (SK 텔레콤) 증강현실 솔루션 개발을 위해 구글과 협력해 15년 구글 개발자 컨퍼런스에서 증강 현실 플랫폼 T-AR for Tango* 을 시연 * T-AR for Tango는 3차원 공간인식 기술을 기반으로 가상 콘텐츠를 공간에 배치하기 위한 저작 기능과 실행기능 을 동시에 제공 (삼성) 안구망막에 직접 정보를 보여주고 눈 깜빡임으로 주요 기능을 제어하는 증강현실 구현을 위한 스마트 콘텍트렌즈 특허를 출원( 14.9) (팅크웨어) 국내 최초로 실사 3D지도를 탑재한 매립 네비게이션을 출시하였으며(14.12), 2015년 초 CES 2015 에서 관련 서비스를 전시 (서커스 AR) 한국교육학술정보원와 함께 초 중등 디지털 교과서에 총 6권의 증강교육 콘텐츠를 제작하여 제공 (해외 정책동향) 미국, 유럽 등 선진국에서는 증강현실을 10대 미래 핵심 전략 기술로 지정하여, 연구개발에 적극 투자하고 있음 ISSUE & FOCUS on IP 10

주요국 증강현실 기술 분야 정책지원 현황 국가 미국 유럽 일본 주요 정책동향 - 연방정부 차원에서 증강현실 분야의 연구 개발 투자지침과 방향이 설정되어 R&D 추진 - 실용화 산업화 응용에 초점을 맞춘 중강기 연구개발이 진행되었음 - 2011년 49억 달러의 예산으로 NITRD(Networking and Information Technology R&D)설립 - 2015년부터 미래 네트워크를 설계할 수 있는 FIND(Future Internet Dsignm)프로젝트 추진중으로 글로벌 IT 생태계 주도 및 산업육성을 위해 미래 네트워크에 집중투자 - IST는 2002년부터 인간의 주변환경을 인터페이스를 활용하는 오감형 다중 감각 인터페이 스 기술을 개발 - AMIRE 프로젝트는 혼합현실 시스템 개발을 위한 여러 가지 컴포넌트들을 모아 프레임워 크를 만등고 혼합/증강현실 콘텐츠를 저작할 수 있는 도구 개발, 실삼형 인터페이스를 위해 가상현실 분야 기술개발에 700만 유로 이상의 예산 편성 - 경제산업성의 오감ㆍ생체 신호 인식 이용 복지 향상 기술 개발, 우정성의 오감 전송 기술 개발, 통상산업성의 인간 감각계측 응용 기술개발 등 1990년부터 감성과 관련한 정부 차원의 각종 프로젝트를 추진 - 국가에서 지원하는 38개 회사의 2,000억 원 규모의 펀드로 조성된 Virtual Reality Techno Japan 정책을 시행 출처: 융합Weekly TIP(2015.08) 재구성 (국내 정책동향) 가상/증강현실 기술사업은 산업통상자원부의 미래산업선도기술 개발 사업, 문화관광부의 문화기술연구개발 지원사업, 미래창조과학부의 정보통신 방송기술개발 사업으로 진행중 투자 주체는 향후 2~3년간은 정부가 약 70%를 차지하겠지만, 2018년 이후부터는 서서히 민간투자가 늘어나면서, 2023년부터는 민간투자 비율이 70%이상을 차지할 것으로 예상 ISSUE & FOCUS on IP 11

국내 가상/증강현실 기술 분야 주요 정책지원 현황 부처명 과제명 연구내용 산업부 문체부 미래부 경험지식기반 현장체감형 가상훈련시스템 개발 실감형 e-training 제작을 위한 3D 콘텐츠 저작기술 개발 모바일 혼합현실 체험 서비스 기술 개발 달/화성 지표면 탐사 시뮬레이션기반 가상 우주여행 영상모션 플랫폼 기술 개발 이동 실감 환경 기반 모듈형 테마파크 콘텐츠 플랫폼 기술 개발 가상화기반 실감형 창의 체험 기능성 콘텐츠 교육 서비스 기술 개발 후각 바이오 정보 기반 감성증강 인터랙티브 콘텐츠 기술 개발 -경험지식의 확장성을 갖는 몰입형 가상훈련 시스템 개발 -의료훈련용 가상수술 시뮬레이터 기술 개발 -다기종 건설기계 중장비 훈련을 위한 가상 훈련시스템 및 서비스 개발 -가상 스포츠 트레이닝 시스템 및 서비스 개발 - 개방형 SW 플랫폼 기술 개발 - 철도 시물레이터 콘텐츠 개발 - 동작인식 기반 3D 그래픽 연동 기술 개발 - 경험지식 기반 철도 가상 훈련 모델링 및 DB 구축 - 혼합 현실 콘텐츠 저작 기술 개발 - 시각 기반 자세 및 위치 추정 기술 개발 - 관광 체험 서비스 발굴 - POI 연계 활용 서비스 - 달/화성 지형생성 및 극사실적인 렌더링 기술 개발 - 동역학 기반 우주인 캐릭터 시물레이션 기 술 개발 - 달/화성 미소중력 체험 모션 플랫폼 기술 개발 -재생성이 가능한 모듈형 어트랙션 기술 및 플랫폼 개발 -Local Game 기법을 활용한 실시간 데이 터 동기화 기술 -다양한 움직임과 양방향 인터랙션이 가능한 모션 플랫폼 개발 -사용자의 반응 피드백을 실시간으로 제어/ 전달하는 플랫폼 개발 -다감각(Multi-Sensory) 표현기술 -창의체험 특수효과 실감공간 구축 및 기능 성 콘텐츠 저작기술 개발 -클라우드 컴퓨팅 기반 가상화 기술 중심의 창의 체험 플랫폼 개발 -창의체험 기능성 실감형콘텐츠 서비스 및 콘텐츠 관리 시스템 개발 -후각 및 복합센서 기반 위험 환경 인지 시스 템 개발 -4D 극장용 개인화 발향장치 개발 -질병 진단 및 미세 가스 측정용 전자코 시스 템 개발 출처: 각 부처 보도자료 및 뉴스기사 재구성 ISSUE & FOCUS on IP 12

Ⅴ 정리 및 시사점 증강현실은 가상현실에 여러 기술이 집약 접합된 다중 융 복합 산업으로 산업 전부분에 걸쳐 파급효과를 가져올 것으로 기대 의료, 교육, 게임, 관광, 제조업 등의 전방 산업과 디스플레이 장비, 기기, 센서, SW 등과 같은 후방산업의 동반 성장을 촉진 - 다양한 시뮬레이션을 통해 제조업, 디자인 및 서비스 분야에서 불필요한 설비 투자를 막을 수 있으며 가상훈련 및 교육을 통해 비용절감을 기대 증강현실 관련 기술 특허출원 및 등록건수 증가와 더불어 관련 기술의 특허 소송 또한 증가할 것으로 보이며 이에 대한 대응체계가 필요 증강현실 기술관련 국내외 특허출원 및 등록건수는 2010년 이후 폭발적인 증가세를 보이고 있으며, 관련 기술 선점을 위한 특허 출원은 지속적으로 증가할 것으로 예상됨 우리나라도 특허권 확보를 위해 민관 합동의 전략적인 투자 및 발생 가능한 지식재산권 침해 및 분쟁에 대비하여 법 제도를 개선할 필요성 존재 디바이스, 콘텐츠, 플랫폼으로 이어지는 증강현실 생태계조성을 위한 민관 협력을 통한 정책적 지원이 필요 모바일 및 강점 있는 분야를 주축으로 한 증강현실 콘텐츠 개발에 국내 IT업체들의 적극적인 참여와 관련업계의 적극적인 투자가 필요함 증강현실 산업의 활성화를 위해서 기초 및 원천 기술 확보를 위한 핵심 소프트웨어 플랫폼 구축 사업을 중장기 프로젝트화하여 지원할 필요가 있음 상용화에 앞서 증강현실과 관련된 비도덕적 활용, 오남용 등의 문제에 대응하기 위한 법제도 마련 필요 의료, 교육 등 증강현실 콘텐츠를 비도덕적으로 활용하여 사람의 생각 및 경험을 임의로 조작할 경우 인권침해, 정신적 피해 등의 문제 발생 증강현실기술의 부작용을 충분히 고민하고 이를 예방, 해결하기 위한 윤리적 기준과 법제를 마련하고 정착시키는 것이 중요 ISSUE & FOCUS on IP 13