주간기술동향 2014. 12. 31. 항공 ICT 기술 융합, 증강현실 기반 HMD 개발의 기대효과 박철 한국항공우주산업 선임연구원 pc8105@koreaaero.com 이진섭 한국항공우주산업 선임연구원 1. 서론 2. 항공 ICT 융합기술의 확장과 중요성 3. 증강현실과 HMD 기술 융합 4. 결론 1. 서론 창조경제시대를 맞아 기술 분야에 있어 화두는 단연코 융합이라 할 수 있다. 현대적인 의미에서 융합이라 하면, 기존의 것을 활용하여 새로운 재화 및 서비스를 제공하고, 그로 인해 부가가치를 창출해내는 산업 활동을 말한다. 특히, ICT 기술이 기존 또는 타 산업에 융합되면 통신, 가전, 컴퓨터 등의 기기들이 서로 유사한 기능을 가지게 되기 때문에 기반 산업의 특성에 따라 고부가가치를 지닌 제품의 생산이 가능해진다. 오래 전부터 최첨단 기술이 요구되는 항공 분야에서 ICT 기술을 기반으로 한 융합의 시도가 있었으며, 항공기 및 관련 장비에 적용되어 조종사 편의 및 안전, 항공기 운행 및 안전에 관한 높은 신뢰성을 제공하여 왔다. 최근 들어, 가장 활발히 항공 ICT 기술이 융합되고 있는 분야인 항공전자(Avionics)는 산업 특성상 고부가가치 창출이 가능하고, 항공기 수명에 따른 장기간 이윤이 보장되며, 항공 특성상 최첨단 기술이 적용되기 때문에 민/군수 산업간 Spin On/Off 가 용이하다. 또 한 높은 제품 활용도의 장점이 있다[2]. 최첨단 기술이 요구되는 항공 ICT 분야에서도 민수 산업의 흐름에 영향을 받아 군수산 업에 적용되는 경우가 많으며, 현재 수요에 대한 기대가 높고 해외 선진방산업체도 활발 히 개발이 진행중인 기술 분야는 증강현실(Augmented Reality)과 HMD(Helmet/Head * 본 내용과 관련된 사항은 한국항공우주산업 박철 선임연구원( 055-851-9709)에게 문의하시기 바랍니다. ** 본 내용은 필자의 주관적인 의견이며 IITP 의 공식적인 입장이 아님을 밝힙니다. 14 www.iitp.kr
(그림 1) 영화 아이언맨속의 증강현실 기술(물체 인식, 고도 및 거리 탐지 시현 등) (그림 2) 증강현실 기술의 활용 예: 장비 사용 방법 시현 Mounted Display)이다. HMD 는 머리에 장착하는 형태의 디스플레이로 시현방식에 따라 다양한 형태가 존재 한다. HMD 는 헬멧, 기구 장치, 광학과 신호처리기술이 융합되어 있으며, 여러 형태의 애 플리케이션이 HMD 와 연동할 수 있는 만큼 그 활용도가 높은 제품이다. 그러나 1970 년 대 최초 개발된 이후로 상용화가 제대로 이루어지지 않았으며, 그 이유로 크게 1 광학기 술 구현의 어려움, 2 탑재 애플리케이션의 부재로 들 수 있다[3]. HMD 는 광학기술, 소재기술, 하드웨어 및 소프트웨어 등의 융복합 기술 결합체이다. 그 중에서도 기술적 난이도가 높고 기술 수준을 결정짓는 중요한 잣대는 광학기술의 성숙 도라 할 수 있으며, 일부 선진업체만 보유하고 있을 정도로 기술적 난이도가 높다. HMD 에 적용되는 광학방식으로 LCD, OLED 등의 평면 패널방식과 바이저(Visor) 등의 광학장 치에 직접 투사하는 방식, 홀로그래픽 광학 소자(Holographic Optical Element) 등을 이 용한 웨이브가이드 방식 등이 있다. 광학계에서 해결해야 하는 기술적 난제들은 주간에도 정보통신기술진흥센터 15
주간기술동향 2014. 12. 31. Thales BAE Systems ELBIT (그림 3) HMD 육안을 통해 식별될 수 있을 정도의 충분한 광량의 확보, 광학수차, 색수차 등이다. 민수 시장에는 예측 불가능하리만큼 많은 응용 프로그램이 다양한 플랫폼상에서 제작 되고 있는데 반해, 군수시장은 높은 신뢰성과 수많은 검토단계로 현재까지 전방시현기 (Head Up Display: HUD)와 다기능시현기(Multi-function Display: MFD)로 한정되어 있 는 것이 현실이다. 그러나 기존의 시현방식을 획기적으로 대체할 수 있고, 이로 인한 조종 사의 피로도 감소 및 정보 식별 용이의 장점이 있기 때문에, 항공전자 분야 해외 선진 기 업들의 상용화에 대한 움직임이 빨라지고 있다. 본 고에서는 먼저, 항공 ICT 융합기술의 중요성에 대해 언급하고, HMD 와 증강현실기 술의 융합 현황 및 기대효과에 대해 살펴본다. 2. 항공 ICT 융합기술의 확장과 중요성 ICT 융합기술을 항공 분야에 적용한 여러 사례 중 그 역량이 집중되어 있는 곳은 조종 사의 조작과 많은 관련이 있는 항공전자 분야이며, 임베디드 시스템을 통해 통신, 항법, 시현, 탐색 및 식별, 정찰, 공격, 전자전 등에 활용한다. 특히, 조종사의 임무수행 능력 및 생존성 강화와 직결되는 시현장치 분야는 기존 타 산업과의 ICT 기술 융합 시도가 활발히 이루어지고 있다. 2013 년 미국 플로리다주 올랜도에서 개최된 국제 훈련 체계 M&S (Modeling & Simulation) 분야의 대표적인 전시회인 2013 I/ITSEC(Interservice/Industry Training, Simulation and Education Conference)에서 살펴본 기술 동향은 융합과 스마트 로 정의 지을 수 있을 만큼 다양한 융합 시도가 이루어지고 있었다. 훈련체계, 시뮬레이터 분야로 국한된 전시회임에도 고해상도의 디스플레이를 기반으로 증강현실과 HMD 의 기 술이 융합된 완성형 제품들에 대한 홍보가 치열했으며, 관련기술이 미래 먹거리임과 동시 16 www.iitp.kr
(그림 4) 2013 I/ICTSEC 전시장 모습 에 그 중요성에 대한 공감대를 형성하는 분위기였다. 괄목할만한 점은 항공 ICT 산업의 발전이 역으로 민수시장의 상품화로 이어지는 Spin-Off 가 가능하다는 것이다. 앞서 설명한 군수용 시뮬레이터 분야에 국한된 전시회임 에도, 실제로 착각 할만큼 사실적인 그래픽 성능과 치밀한 시나리오 생성과 같은 기술은 게임 산업에 바로 적용해도 많은 호응이 있을 만큼의 수준이라는 것이다. 이 만큼 항공 ICT 융합 기술로 인해 타 산업까지 그 영역을 확장할 수 있기에 파급효 과는 크다고 할 수 있다. 3. 증강현실과 HMD 기술 융합 가. 증강현실 시장 성장성 및 동향 증강현실기술은 현실의 이미지에 가상의 정보를 덧 붙이는 기술로, 앞서 언급한 HMD 개발만으로 부족한 애 플리케이션에 대한 부재를 극복하는데 좋은 수단이 된다. 성숙기로 접어든 스마트폰 ICT 시장에서 가장 활발한 적용 사례를 보이고 있으며, 시장 규모는 Research and Markets 에 따르면, 2011 년 $181.25M 에서 2016 년 <자료>: Research and Markets, 2013. (그림 5) 증강현실 연평균성장률 정보통신기술진흥센터 17
주간기술동향 2014. 12. 31. (그림 6) A350 XWB 에 적용된 증강현실 기술 적용 사례 $5,155.92M, 연평균 성장률(CAGR)이 95.35%로 급성장할 것으로 예측하였다[5]. 일반 ICT 시장뿐만 아니라 항공 산업계에서도 점차 적용된 사례를 볼 수 있으며, 항공 기 선진 제작업체인 AIRBUS 에서는 증강현실 기술을 태블릿 PC 에 적용하여 A350 항공 기의 구조물 수명, 조립 방법 및 교체 주기를 실제 이미지에 덧붙여 확인할 수 있는 애플 리케이션을 개발하여 시험 운용 중이다[6]. 나. 핵심 기술 증강현실의 핵심기술은 크게 상황인식(Situational Awareness), 디스플레이 기술, 사용 자 인터페이스 기술들로 나눌 수 있다. 상황인식기술은 사용자 가시영역 내의 물체 인식 및 식별을 위한 영상처리기술(Image Processing), 장애물에 가려지거나 기상 악천후 등 육안으로 직접 확인이 어려운 상황에 서 사용자 주변 환경의 가상정보를 제공하기 위한 실시간 위치 및 자세 추적 기술 등이 있다. 이러한 상황인식기술을 통해 사용자에게 현재 위치에서 유용하고 필요한 정보를 실제 환경과 가상의 정보를 융합하여 동시에 제공할 수 있다. 사용자에게 유용한 정보를 제공하기 위해 추적 및 정합은 현실세계의 물리적 객체를 검출해내는 기술로써 센서, 비전 그리고 혼합형인 하이브리드 방식 등으로 구현된다. 센서기반 추적은 GPS, 레이더, 가속도 센서 등을 이용하여 사물의 움직임과 위치, 속 도, 방향 등을 정밀하게 추적하는 기술이다. 군용 항공기의 경우, 센서 기반 추적 기술이 접목된 HUD 를 이용하여 상황 식별 및 적아 구분, 착륙 시 활주로에 대한 정보 등을 시 18 www.iitp.kr
기술 Spin-off BMW HUD KIA HUD 항공기용 HUD 차량용 HUD (그림 7) HUD 에 시현되는 증강현실 기술 현하는데 사용된다. 비전 기반 추적 기술은 휴대폰에 장착된 카메라로 원하는 영상을 획득하여 처리하는 기술이며, 마커 기반 방식과 비마커기반 방식, 사물 인식/이미지 매칭 기반 방식으로 구분 된다. 하이브리드 추적 기술은 센서 기반 비전 기반 추적 기술을 복합적으로 사용하는 방식 을 말하며, 스마트폰을 중심으로 수요 시장이 형성되고 있는 중이다. 그 이유는 스마트폰 시장이 확대됨에 따라 사용자들의 요구사항이 늘어 나고 이를 반영하기 위해 다양한 종류 의 센서들을 내장(Embedded)했기 때문이다. 그 종류로 자이로 센서, 지자기 센서, 가속도 센서, 중력 센서, 광 센서, 근접 센서, 기압계, 동작 인식 센서, 나침반, RGB 센서 등 무수 (그림 8) 생활 속의 스마트폰 증강현실 활용 예 정보통신기술진흥센터 19
주간기술동향 2014. 12. 31. 히 많은 센서들이 장착되어 출시되고 있기 때문에 스마트폰은 증강현실 기술을 접목하기 에 활용성이 높은 장치이다. 그러나 스마트폰은 상대적으로 작은 화면을 통해 보고 싶은 방향으로 들고 있어야 하 는 불편함이 있다. 이를 보완할 수 있는 장비가 바로 웨어러블 디바이스(Wearable Device) 중 하나인 HMD(Helmet Mounted Device)이다. 특히, 고 수준의 기능이 요구되는 항공 분야는 증강현실과 같은 최첨단 기술을 적용하기에 유연하고 다양한 플랫폼을 보유하고 있으며, 현실적인 기술 파급측면에서 HMD 가 좋은 예가 된다. 다. 항공기용 HMD 핵심 기술 및 개발 동향 차세대 디스플레이 및 웨어러블 디바이스로 급부상하고 있는 HMD 시장 규모를 보면 증강현실과 마찬가지로 기하 급수적으로 시장 규모가 상승할 것으로 예측된다. <표 1> 세계 HMD 시장 규모 (단위: 대) 구분 2011 년 2012 년 2016 년(전망) 성장률 (2011 년 대비 2016 년) 세계 77,000 158,000 428,000 555.8% <자료>: 후지카메라총연 HMD 는 기존 전방상향시현기(HUD)가 항공기 동체 전방의 제한적인 범위에서 가시선 (Line Of Sight: LOS) 데이터를 처리하고 제공할 수 있는 단점을 극복하기 위해 군사적인 목적으로 개발이 먼저 진행되었다. HMD 와 항공기 무기센서를 연동함으로써 조종사 응시 방향에 대한 즉각적인 비행 정보와 타깃 정보를 제공할 수 있게 되었으며, 최근 흐름은 최 신예 전투기인 F-35 JSF 와 같이 HUD 가 HMD 로 대체되고 있다. 군사적인 목적으로 개 발된 HMD 는 최근 모바일 기기의 급속한 성장과 휴대형 디스플레이 장치에 대한 사용자 욕구 증가로 구글, 마이크로소프트, OptInvent 등의 선진업체들이 상용의 HMD 개발에 많 은 투자를 쏟고 있다. <표 2>는 선진방산 업체의 기 개발품 및 개발 진행 중인 HMD 를 소개하고 있다. 항공기용 HMD 에 있어서 주요 핵심 기술은 실제 현실세계와 가상영상을 동시에 볼 수 있는 See-through 타입의 광학 기술이다. See-through 타입의 광학계는 도파관 (Waveguide)을 통해 영상을 시현하거나 프로젝션 방식을 통해 바이저 또는 이에 대응하는 투명한 렌즈에 영상을 시현시키는 방식, 그리고 LCD, OLED 등의 평면패널에 시현하는 방 20 www.iitp.kr
<표 2> Summary of Selected HMD programs Time frame Program Country Platform Developer 1970s Dash 1 Israel Early to mid 1980s Early 1990s Agile Eye Dash 3 USA Israel 1990s Viper 1-3 UK Mid 1990s Late 1990s Late 1990s Crusader TopSight TopSight US/UK France France 1999 JHMCS USA F-15, F-16 Miscellaneous F-15, F-16 Miscellaneous Fixed-&Rotarywing Miscellaneous Miscellaneous F-15,F-16,F-18 ELBIT Systems Kaiser Electronics ELBIT systems GEC-Marconi Avionics Ltd (Delft Instruments) Gentex/BAE Systems/Thales Thales(Sextant Avionique) Thales(Sextant Avionique) VSI 2008 Scorpion USA Gentex 2008 Typoon IHD UK Eurofighter BAE Systems Program Status Fielded Experimental Fielded Experimental Experimental Fielded Fielded Fielded Operational Testing Development 2010 HMDS USA,F-35 VSI Development Notes Mark 1 through 5 (VCATS) Technology Demonstrator Day Mission Night Mission <자료>: INTRODUCTION TO HELMET-MOUNTED DISPLAYS Michal M.Bayer, Clarence E. Rash, James H. Brindle, 2010. 식 등이 있다. See-through 타입의 광학계는 투명한 디스플레이 장치에 사용자가 식별 가능할 정도 의 광학적 분해능을 제공할 수 있어야 하므로 See-closed 타입에 비해 상대적으로 기술 진입 장벽이 높다. 또 다른 핵심기술은 정확한 헬멧자세추적 기술이다. 정확한 헬멧자세추적 기술로 조종 사의 응시 방향에 대해 각종 항법센서, 항공기 무기 센서 등의 정확한 비행정보 및 타깃 정보를 제공할 수 있다. 헬멧자세추적 기법으로는 전자기, 광학, 음향방식 등이 있으며, 두 가지 방식을 동시에 적용하여 정확도를 높일 수 있는 하이브리드 방식 등이 있다. 전자기식 추적 방식은 전자기파를 발생시키는 송신기와 이를 수신하는 수신기를 헬멧 정보통신기술진흥센터 21
주간기술동향 2014. 12. 31. 에 장착해서 조종석 내의 전자기세기를 감지하여 헬멧의 움직임을 알아내는 방식이다. 광학식 추적 방식은 헬멧에 특징점을 부착하고 이를 두 대 이상의 카메라를 통해 특징 점을 3 차원화하여 영상에 표시되는 특징점의 움직임을 보고 헬멧의 자세를 알아내는 방 식이다. 음향 추적 방식은 전자기식 방식과 유사하게 송신기를 통해 발생한 음파를 수신기로 그 사이의 거리를 계산하여 헬멧의 자세를 추정하는 기법이다. 관성적 추적 방식은 관성센서를 헬멧에 장착하여 헬멧 자세에 대한 변화를 측정하는 기법이다. 헬멧 추적에는 많은 기법이 존재하고 있지만 현재는 전자기식 방식이나 광학식 방식과 관성 방식을 융합한 하이브리드 방식이 많이 사용되고 있다. 마지막 핵심기술은 증강현실 기술이다. 현재 항공기용 HMD 에서는 센서기반 추적 기술 이 많이 사용되고 있다. 항공기에 부착된 많은 센서들을 통해 전송되는 데이터를 주 컴퓨 터로 HMD 에 전송하고 사용자가 원하는 정보를 HMD 에 증강 현실화하여 시현한다. 현재 상용화된 HMD 중에서 가장 최신 장비는 F-35 JSF 에 탑재된 VSI 사의 HMDS (Helmet Mounted Display System) 이다. VSI 는 Elbit Systems 와 Rockwell Collins 합 작 벤처 회사로서 많은 군용 항공기 HMD 개발 경험과 핵심기술을 보유하고 있다. 그러 나 HMD 개발의 선진업체인 VSI 조차 핵심기술 처리가 쉽지 않아 F-35 전체 개발 일정 이 지연되는 결과로 이어지기도 하였다. F-35 관련 Concurrency Quick Look Review 2011 년 11 월 개발 보고서에는 디스플레이 화면이 잡음으로 인해 정보관련 심벌을 식별 하기 어려운 기술적 문제가 발생하기도 하였으며, 감지능력이 떨어지는 야시 카메라, 또한 많은 양의 화상정보를 시현함에 따라 발생되는 시현지체 현상 등의 문제가 발생하기도 하 였다 이처럼 최신 기술적용 및 개발에 따른 리스크는 존재하나 선진업체들은 HMD 의 진보 된 최신 기술 선점을 위해 많은 비용과 노력을 쏟고 있다. 이는 기존 HUD 에 비해 즉각 적인 임무수행 및 타깃에 대한 대응이 가능하기 때문이다. 4. 결론 HMD 와 증강현실의 기술 융합은 웨어러블 디바이스의 미래이다. 각종 센서로부터 전 송되는 영상만 시현하는 HMD 는 단순 디스플레이로 볼 수 있으나, 증강현실 기술과의 융 22 www.iitp.kr
합을 통해 전투 중 피아식별이 용이해지고, 항공기 정보의 실시간 시현으로 인해 조종사 의 피로감을 낮출 수 있다. 그러나 이 같은 긍정적인 기대효과에 반해 HMD 개발에 있어 극복해야 할 한계점으로 조종사의 실제 영상과 가상정보 사이의 이질감을 해결해야 한다. 실제 항공기 센서를 통 해 들어오는 정보는 항공기 기축 중심의 데이터이고 실제 조종사가 보고 있는 영상, 즉 조 종사가 필요로 하는 데이터와는 많은 차이가 발생하기 때문이다. 앞에서 살펴본 항공 ICT 융합기술은 항공전자에서 차량 및 모바일 플랫폼에 이르기까 지 스핀오프(Spin-off)가 활발히 진행중이다. 특히, 하드웨어와 소프트웨어로 대표되는 HMD 와 증강현실 기술은 항공 ICT 기술의 집합체라 할 수 있다. 증강현실과 HMD 기술 은 목적과 대상에 따라 유연하게 적용될 수 있으며, 이로 인해 해당 산업에 고부가가치 및 파급효과가 크다. 그러나, 항공 산업 특성상, 진입 장벽이 높기 때문에 항공 ICT 의 국가적 인 육성정책을 기반으로 융합기술에 대한 관심 및 지속적인 지원이 필요하다. <참 고 문 헌> [1] 박재득, 송승익, 증강현실과 스마트안경 기술 및 제품 동향, PD ISSUE REPORT Vol.12-6, 2012. [2] 이진섭, 임성신, 항공 ICT 산업 현황과 항공전자 ICT 융합 수요기술 전망, 정보과학회지, 2013. 1. [3] 문현찬, HMD(Head Mounted Display) 기술 동향, NIPA, 주간기술동향 통권 1426 호, 2009. 12. [4] 김대건, 웨어러블 디바이스(Wearable Device) 동향과 시사점, 정보통신정책연구원, 제 25 권 21 호 통권 566 호, 2013. 11. [5] Research and Markets, Global Augmented Reality(AR) Market Forecast by Product(HMD, HUD, Tablet PC, Smartphone) for Gaming, Automotive, Medical, Advertisement, Defense, E-learning & GPS applications(2011-2016), 2013. [6] A350 XWB News MIRA augmented reality technology used for checking the pylon assembly, EADS, 2013. 정보통신기술진흥센터 23