딥러닝 기반의 인공지능, 자율주행 기술 경쟁의 핵심을 바꾼다

Size: px

Start display at page:

Download "딥러닝 기반의 인공지능, 자율주행 기술 경쟁의 핵심을 바꾼다"

진태 변
5 years ago
Views:

딥러닝기반의인공지능자율주행기술경쟁의핵심을바꾼다 이승훈 (shlee@lgeri.com) 1.

1 딥러닝기반의인공지능자율주행기술경쟁의핵심을바꾼다 이승훈 1. 딥러닝기반의자율주행혁신의시작 2. 인공지능기술의자율주행적용 3. 주요연구소및기업동향 4. 맺음말

2 요약 최근까지만해도자율주행기술은고가의특화센서와자동차산업의전문성을기반으로한소수의기업만이구현할수있었다. 기술진입장벽이매우높아장기적인투자와기술개발역량을확보한거대 ICT 기업및자동차산업내소수의기업이자율주행기술개발을주도해왔다. 실제구글의자율주행자동차개발초기에사용되었던자동차 1대의가격만약 1.7억원이었으며그중핵심센서로활용된 LIDAR 센서하나의가격만 8 천만원에달했다. 또한완성차제조사로부터영입된인력들을중심으로약 170여명에이르는인력이 4년이상의 R&D를통해구현한결과였다. 하지만, 이러한높은기술진입장벽이인공지능, 특히딥러닝으로인해허물어지고있다. 딥러닝을활용해자율주행기술을구현하는기업들이최근 2년동안실리콘밸리를중심으로빠르게출현하고있다. 이들기업은종전의자율주행기술이주로자동차전문가들에의해규칙기반방식 (Rule-based Approach) 으로구현되었던것과는달리딥러닝을활용해마치사람이주행을반복할수록운전을익혀가는것과같은과정으로자율주행기술을구현한다. 소수의개발자들이고가의센서가아닌저가의범용센서들을사용하면서도매우단시간에기술을구현해내고있다. 게다가최근빠르게진화하고있는인공지능기술이자율주행분야에적용되며향후기술경쟁의혁신적변화를가속화할것으로예상된다. 자율주행분야의선행연구소들에서는이미강화학습 (Reinforcement Learning), 관계형추론 (Relational Networks), 지능이식 (Transferring Intelligence) 과같은인공지능분야의최신연구들을자율주행기술개발에접목시키기위한연구를진행중에있다. 특히이들연구는인공지능이인간과유사한방식으로학습, 추론, 예측하는과정을구현한다는점에서자율주행기술에접목될경우마치사람처럼생각하고판단하며주행하는자동차의출현도가능하게할것으로보인다. 학계, 스타트업계에서는이미딥러닝기반의자율주행기술의공개가잇따르고있다. 매년혁신적인사례들이등장하는가운데자동차업계의전문가가아닌인공지능, 딥러닝분야의전문가들이자신들의연구를자동차분야에접목시키며기술을발표하고있다. 특히이들기업은오픈소스로자신들의기술을공개하며연구자들의참여와경쟁을통해기술을더욱빠르게고도화시키고있다. 이러한방식은기술공개를지양하며자체기술개발및내재화를통해기술을발전시켜온자동차산업내주요기업들의기술경쟁방식과큰차이가있다. 기존방식을고수해오던완성차제조사들도최근딥러닝관련역량을빠르게확보하며새로운기술패러다임에대응중이다. Daimler, VW, Toyota 등주요 OEM들은 2016년이후딥러닝관련스타트업을투자 / 인수하며외부기술을빠르게도입하고있으며내부적으로는인공지능전용연구소를설립하며자체기술개발에도막대한투자를진행하기시작했다. 특히 GM, Ford는각각약 1조원이넘는금액으로딥러닝기반의자율주행스타트업을인수하거나투자하며뒤쳐졌던기술경쟁에대응하고있다. 자율주행기술경쟁의핵심은이미딥러닝으로이동하기시작했다. 딥러닝분야의인공

3 지능전문가들이저가의범용센서로자율주행기술을빠르게구현하고있다. 대부분의기업들도딥러닝기반의자율주행기술개발을본격화하고있는가운데자동차산업내향후경쟁은인공지능분야의역량확보와주행데이터확보가핵심이될전망이다. 딥러닝등기계학습기반의인공지능의성능은더욱많은그리고더욱다양한주행환경에서수집된데이터와학습과정활용이기술의완성도를결정할것이기때문이다. 실제주행데이터확보의중요성을일찍이인지한 comma.ai, Tesla와같은기업들은이미수백만에서수억 Km에달하는주행데이터를수집해자율주행지능학습과정에활용하고있다. 향후자율주행자동차시장이본격개화시시장초기부터이러한데이터를미리확보하고고도화된지능을보유한기업들과그렇지못한기업들간의기술격차는매우클것으로전망되며그격차는후발주자가단기간에따라잡기가매우어려울것이다.

4 1. 딥러닝기반의자율주행혁신의시작 사람이운전하면자동차가주행하는방법을스스로깨우친다, 실리콘밸리의 Startup인 comma.ai의창업자 George Hotz가딥러닝기반의자율주행자동차를선보이며한말이다. 딥러닝기반인공지능이탑재된자동차를운전자가주행하면인공지능이사람이운전하는방식을깨우쳐스스로주행이가능한자동차로발전해나간다는것이다. 실제 comma.ai는지난 2016년 3월이러한방법으로 4주만에자율주행학습이가능한인공지능을만들어자동차에탑재했으며 10시간동안의학습으로기본적인자율주행기능을구현해냈다. 고가의특화센서를사용하지않고총 $1000 이하의범용센서만으로딥러닝기반자율주행기술을개발하는것을목표로하고있다. 이는과거구글및주요완성차업체들의자율주행기술구현방식과크게다르다. 기존에는고가의특화센서를사용하고완성차업계에종사한전문인력들이기술개발의중심이되었다. 이들은다양한센서정보와주행규칙을전문가들이모델링하여자율주행기능을구현해냈다. 구글의 2012년자율주행자동차를발표했을때당시차체의가격만약 $150,000에달했으며그중 $70,000이 LIDAR 1 주행주체센서가격이었다. 완성차업 - 운전자계에서수많은전문인력들을영입해약 170여명 운전자가모든감시 / 제어 Level 1 Eyes-on, Hands-On, 에이르는개발팀을꾸리고, 약 4년이상의주행 Feet-On, 테스트를걸쳐자율주행기술을구현해냈다. 하 - 운전자 운전자가제어 + 제한된 Level 2 일부기능지원지만신생 Startup인 comma.ai는단 4명의개발 Eyes-on, Hands-On, Feet-OFF 자가 4주만에딥러닝을활용해구현해낸것이다. 물론구글과 comma.ai가개발한자율주행기능의기술수준및완성도의차이는크다. 하지만딥러닝을적용해기존자율주행개발패러다임을혁신한것이다. 실제최근 1~2년간실리콘밸리를중심으로자율주행기술을개발해낸 Startup이빠르게출현하고있으며이들은대부분딥러닝을핵심으로활용하고있다. 즉자율주행자동차구현의핵심이특화센서와자동차업계의전문가에서딥러닝전문가와주행과정을학습시킬수있는데이터로이동하고있는것이다. Level 3 Level 4 Level 5 - 자동차 가속 / 감속 / 정지기능수행 ( 단, 운전자주행상황주시 ) Eyes-on, Hands OFF, Feet-OFF - 자동차 차선 / 차간거리유지및차선변경등운전자개입신호로차량제어 Eyes-on/OFF, Hands-OFF, Feet-OFF - 자동차 목적지입력만으로완전자율주행 Eyes-OFF, Hands-OFF, Feet-OFF 자율주행관련적용센서, 예시적 ( 구현방법및기술수준에따라다름 ) - 3 종 6 개센서 Ultrasonic: 4 개 Long Range Radar: 1 개 Camera: 1 개 - 4 종 17 개 Ultrasonic: 8 개 Radar: 5 개 (Long: 1, Short: 4) Short Range Radar: 4 개 Camera: 4 개 - 9 종 29 개 Ultrasonic: 10 개 Radar: 8 개 (Long: 2, Short: 6) Camera: 8 개 ( 장거리 : 2, 스테레오 : 1, 서라운드 : 5) LIDAR: 1 개, 기타 : 2 종 2 개 - 9 종 32 개 Ultrasonic: 10 개 Radar: 8 개 (Long: 2, Short: 6) Camera: 8 개 ( 장거리 : 4, 스테레오 : 2, 서라운드 : 5) LIDAR: 1 개, 기타 : 2 종 2 개 1 자율주행기술레벨및적용센서 ( 기존방법 ) Source: NHTSA( 주행단계관련 ), Yole Development( 센서관련 ) 1 LIDAR(Light Detection and Ranging): 빛을분사해주변상황을인식하는센서로카메라 / 레이더대비높은정밀도로물체형상인식차량, 보행자, 동물등식별이가능 ), 2012 년이후기술혁신및양산화로인해가격이빠르게하락중 LG 경제연구원 1

5 2. 인공지능기술의자율주행적용 2014년이후인공지능분야는딥러닝을시작으로매우빠르게진화하고있다. 혁신적인연구들이경쟁적으로출현하고있는가운데이러한연구들이특정산업영역에종속되지않고다양한산업에활용가능한범용기술이라는점이더욱큰의미를갖는다. 인공지능연구를선도하는연구기관, 학계에서는다양한산업영역중응용분야가명확하고활용가치가높은자율주행분야를우선적으로탐색하고있다. 실제인공지능분야의다양한최신연구들이자율주행기술로빠르게구현되고있다. (1) 시각인식지능의적용자율주행기술의가장핵심은사물인식기술이다. 전방충돌방지, 차선이탈방지, 차간거리조절등지능형주행및자율주행과관련한모든기능을구현하기위해서는주변상황을인식하는것에서부터시작하기때문이다. 물론사물인식기술은차량주변의물체를단순히감지하는것을넘어인식된사물의종류와의미를이해하는단계를포괄한다. 인식된사물이차량인지, 표지판인지, 보행자인지에따라각기다른주행제어기능으로구현되기때문이다. 특히자율주행기술분야의인식기술은다양한사물에대한높은정확도의인식률과이에따른실시간처리가필수적이기때문에기술구현의난이도가매우높다. 시각정보에기반해운전을하는사람과달리자동차는매우다양한정보를복합적으로활용해야인식의정확도와속도를보장할수있다. 따라서모빌아이 (Mobileye) 와같은매우소수의기업이카메라를통해수집된정보만으로전방의차량및차선의감지하거나다양한교통표지판을인식하는기술을구현하고있으며, 그외대부분의기업들은카메라를통해수집되는정보와레이더, 라이다, 초음파, 적외선센서등매우다양한센서를복합적으로활용해왔다. 하지만최근빠르게발전해온딥러닝기반의인공지능기술은이러한기존한계를혁신적으로극복하고있다. 딥러닝을활용한시각인식지능은이미인간의수준을넘어서고있다. 실제인공지능을통해이미지속사물의정확도를측정하는경진대회인 ImageNet Challenge 2 에서는지난 2015년마이크로소프트가 96.43% 의정확도를달성하며인간의인식률을 (94.90%) 추월하였다. (2017년정확도 : 97.85%) ( 그림 2 ) 이렇게발전된시각인식지능은자율주행기술구현에빠르게적용되고있다. 다양한사물을높은정확도로인식가능하게한기술은주변의차량, 보행자및각종표 2 스탠포드대에서주관하는영상인식분야경진대회로서 1000 가지종류의사물로구성된 100 만장의이미지가무작위로주어지며각이미지속에존재하는사물의종류를알아맞히는경쟁 2 LG 경제연구원

더나아가관련연구기관, 기업들에서는어두운밤이나, 눈 / 비가내리는기상환경에서도높은정확도로사물을인식할수있는기술로발전시켜나가고있다. 실제 Nvidia 등일부기업들의현재구현되는시각인식관련기술시연에서는인간의시각으로는인식하기어려운물체들까지인공지능이더높은성능으로인식해내기도하고있다 ( 그림 3 ).

6 ImageNet 경진대회의예시 연도별정확도향상 딥러닝등장 인간추월 96.43% 94.9% 2~3% 성능향상경쟁반복 72%, 74%...76% 84.79% U of Toronto Google MS Research 인간 이미지인식기술의발전 Source: ImangeNet Challenge 참조 지판을인식하는수준으로구현되고있다. 더나아가관련연구기관, 기업들에서는어두운밤이나, 눈 / 비가내리는기상환경에서도높은정확도로사물을인식할수있는기술로발전시켜나가고있다. 실제 Nvidia 등일부기업들의현재구현되는시각인식관련기술시연에서는인간의시각으로는인식하기어려운물체들까지인공지능이더높은성능으로인식해내기도하고있다 ( 그림 3 ). 단순한사물인식수준을넘어인공지능은인식된사물들의의미를이해하는수준으로발전하고있다. 보행자의움직임, 차량의진행방향, 도로가차도인지인도인지등과같이이미지내인식된사물들의문맥적의미 (Context Awareness) 를이해하게되는것이다. 이러한문맥적의미를이해하는것은인식된사물에따라각기다른기능의차량제어기술의구현으로이어진다는점에서매우중요한역할을한다. 과거에는다양한센서에서복합적으로수집된정보를종합적으로분석해야인식된사물의의미를분석할수있어완성차업체및일부 Tier 1 기업들만제한적으로자율주행기능의구현이가능했다. 하지만이미지정보만을통해사물을인식하고이해하게되는것이가능해지면서인공지능역량을갖춘새로운기업들이그역할을대신할수있게되고있다. 실제 AutoX라는신생벤처기업은다른센서에는전혀의존하지않고오직카메라를통해입력된영상정보만으로자율주행기능을구현한다. 6개의카메라를통해입력되는자동차주변환경정보를딥러닝으로학습한시각지능이마치사람처럼주변을 3 Nvidia 의차량주행영상인식기술 ( 차량 / 보행자 / 표지판인식및분류, 눈 / 흐린날씨차량인식 ) Source: nvdia.com LG 경제연구원 3

인지하고자동차를제어한다. AutoX의창업자이자프린스턴대교수인 Xiao 3 는자율주행분야의전문가가아닌컴퓨터비전 (Vision) 분야의전문가로서해당기술을구현해내고있다 ( 그림 4 ). 또한 AutoX와같은딥러닝기반의비전기술에기반한 Startup들이최근빠르게등장하고있는상황이다.

7 인지하고자동차를제어한다. AutoX의창업자이자프린스턴대교수인 Xiao 3 는자율주행분야의전문가가아닌컴퓨터비전 (Vision) 분야의전문가로서해당기술을구현해내고있다 ( 그림 4 ). 또한 AutoX와같은딥러닝기반의비전기술에기반한 Startup들이최근빠르게등장하고있는상황이다. 4 AutoX 자율주행구현 ( 밤 / 낮 / 시내 / 고속도로주행데모 ) Source: autox.ai (2) 학습지능의적용 : 사람처럼주행하며배우기차량주행기능들은최근까지도모든상황들이규칙으로정의되고모델링된후소프트웨어로구현되는규칙기반방식 (Rule-based Approach) 으로구현되어왔다. 따라서이러한규칙들을정교하게정의하고모델링할수있는자동차분야의전문가를확보하는것이자율주행기능구현의핵심으로작용해왔다. 실제주요 ICT 기업들이초기자율주행기술개발시완성차업체의전문인력들을대거영입하며팀을구성했던것도이와같은이유였다. 구글은과거자율주행관련조직설립시전체 170여명의엔지니어중약 40여명의인력을완성차및 Tier 1 기업에서영입하였으며, 애플또한자율주행팀구성시폭스바겐, 포드및 Bosch, Delphi 등자동차산업내전문인력을대거영입하기도했다. 하지만이러한규칙기반방식으로자율주행기능을구현하는데는큰한계가있다. 첫째, 매우비효율적이다. 산업내전문성을갖춘인력을영입해야하며이들이매우오랜시간에걸쳐정교하게규칙들을모델링해야하기때문이다. 또한이렇게만들어진모델을실제상황에지속적으로적용해가며테스트를반복해검증하는과정이동반된다. 구글의자율주행자동차가수년동안도로주행테스트를지속하는것도이러한과정의하나인것이다. 둘째, 확장성 (Scalability) 이매우떨어진다. 정교하게모델링된규칙을만들었다할지라도주행규칙이다른국가에적용하거나기후적 / 지역적으로주행환경이다른지역에바로적용하는것이매우어렵기때문이다. 이경우이미만들어진모델을새로운환경에맞게재조정하는과정이필요하게되며새롭게구성된모델에대한검증과정이또다시뒤따르게된다. 셋째, 아무리정교하게만들어 3 MIT Tech Review 2017 년선정 35 세이하혁신가 35 명중한명 4 LG 경제연구원

8 특화센서 + 전문가중심구현 범용센서 + 딥러닝중심구현 - 주요활용센서및주요구현기능 (2009 년개발초기 ) - 다수의특화센서를활용해기능구현 다양한센서정보를종합적으로분석해시스템의완결성, 안전성 (Safety), 안정성 (Stability) 을극대화 전방충돌방지차선이탈방지사각지역탐지차간거리조절주차지원 카메라 ($120~ $200) 레이더 ($50~ $150) 라이다 ($90~ $8,000) 초음파 ($15~ $20) O O O O O O O O O O O O O O * 센서는기능별, 완성도별가격편차가매우큼 카메라 ( 모노 / 스테레오 ), 레이더 ( 단 / 장거리 ), 라이다 ( 상용화수준 ) 에따라가격이결정됨 * 기능구현방식에따라동종의센서가 2 개이상사용가능 카메라 6 개동시활용등 vs. comma.ai - 최소의범용센서를사용하며딥러닝을통해기능구현 센서비용총 $1,000 이하를목표 딥러닝을통해제한된정보를지능적으로분석해자율주행구현 카메라 + 딥러닝중심구현 - 딥러닝기반의고도화된비전 (Vision) 기술을활용해기능구현 카메라를통해수집되는비전정보만을활용 마치 인간 처럼시각지능에만의존해자율주행구현 5 기존방법 vs. 딥러닝기반방법 진규칙이라할지라도자동차주행중에발생가능한모든상황을사전에반영하는것은거의불가능하다. 일반적인도로주행, 차선변경과같은대표적인상황들이아닌수많은예외상황, 돌발변수등을모두예측해모델링하는것은매우어려울수밖에없다. 실제지난 2016년구글의자율주행자동차의첫사고 4 가발생한것도미리예측하지못했던상황이발생했고적절히반응하는데실패하면서일어났다. 반면, 딥러닝을기반으로한인공지능을통해자율주행을구현하려는방식은과거의방식과크게다르다. 딥러닝을통해구현되는방식은사람이운전을배워가는과정과유사하다. 딥러닝기반의인공지능이장착된차량을사람이운전하면인공지능이운전자의주행과정을관찰하며운전하는방법을스스로학습해간다. 또한다른차량의주행데이터를인공지능이학습할수도있다. 마치사람이초보운전때다른사람이주행하는모습을조수석에서관찰하거나, 교통량이적은주차장, 이면도로에서운전을익혀가고서서히도심, 고속도로등과같이교통량이많은곳에서도주행을해가며운전을배워가는과정과비슷하다. 따라서이와같은방식에서는인공지능이많은주행데이터를학습할수록자율주행기능의완성도가높아지게된다. 여기서많은양의주행데이터는단순히오랜시간의주행데이터보다는다양한주행환경및상황에서사람들이반응하는과정이포함된다양한데이터를의미한다. 즉안정적인주행이지속되는상황의데이터를많은양으로확보하기보다는각종위험상황과예측하기어려운상황에대응하는것과같은다양한상황의주행데이터를확보하 4 구글자율주행자동차가장애물을회피하며차선변경시버스와충돌 (2016 년 2 월 14 일발생 ) LG 경제연구원 5

6 drive.ai 자율주행테스트 비오는밤주행 ( 좌 ), 어두운밤교통신호인식 ( 우 ) Source: drive.ai 는것이더욱중요한의미를갖는것이다. 이는딥러닝기반의자율주행지능은데이터를통해다른사람의시행착오를학습하고향후유사한상황에대응하는방법을배워가기때문이다.

9 6 drive.ai 자율주행테스트 비오는밤주행 ( 좌 ), 어두운밤교통신호인식 ( 우 ) Source: drive.ai 는것이더욱중요한의미를갖는것이다. 이는딥러닝기반의자율주행지능은데이터를통해다른사람의시행착오를학습하고향후유사한상황에대응하는방법을배워가기때문이다. 따라서딥러닝기반의자율주행구현방식은과거방식과달리자동차산업내전문성보다는인공지능, 특히딥러닝관련역량과주행데이터가핵심적인역할을하게된다. 실제최근등장하고있는자율주행관련 Startup들은딥러닝전공의전문가들이주행데이터를가지고자율주행기능을구현해내고있다. 2015년창업된 drive.ai 는창업당시 8명의멤버중 6명이스탠포드대인공지능연구실의딥러닝전공의박사과정학생들이었다. 이들은카메라를통한인식과정에서부터주행기능구현에이르기까지자율주행전과정을딥러닝만으로구현하였다. 단순히차량간의거리를조정하고충돌을방지하는수준을넘어 (Level 3, 4) 교통표지판, 신호등등을정확히인식해목적지까지완전자율주행이가능한수준까지 (Level 5) 기능을구현하고있다. 특히 drive.ai는비가오거나어두운밤과같이차량주행이쉽지않은상황에서의주행데이터를집중적으로학습시켜매우어려운상황에서도자동차가안전하게주행할수있도록기능을고도화하고있다 ( 그림 6 ). (3) 강화학습 (Reinforcement Learning) 의적용 : 스스로규칙을터득하기최근급속히발전하고있는인공지능분야의기술중자율주행분야에적용될경우큰기술혁신을만들어낼것으로기대되는기술은바로강화학습 (Reinforcement Learning) 이다. 강화학습은인간의개입이없이도반복학습을통해인공지능이스스로목적을달성하는과정을터득해내는방법이다. 인간은단지인공지능이달성해야하는목적과시행착오중성공과실패에대한보상 (reward) 값만정의해주면된다. 이에기반해인공지능은수십, 수백만번의시행착오를반복하며보상값을극대화하면서목적을달성할수있는방법을스스로찾아낸다. 실제알파고를구현해낸딥마인드가구글에인수당시보유했던핵심기술이바로강화학습이었고, 알파고또 6 LG 경제연구원

한강화학습에기반해바둑을두는방법을스스로터득해인간과의대결에서승리했던것이다. 이러한강화학습분야의연구가이제자율주행기술구현에적용되기시작하고있다. 특히기존방법으로모델링이어렵고주행데이터확보의제약으로인해충분한학습이어려운분야에우선적으로시도되고있다.

하지만이러한과정을인간이일일이개입해규칙기반방식의인공지능으로구현하거나제한된데이터를통한학습만으로구현해내기는매우어렵다. 대신강화학습을적용하면이러한과정을매우효과적이면서도높은완성도로구현해내는것이가능하다. 수십, 수백만번의상황을재현해강화학습기반의인공지능이각상황에서다양한시도를하도록하는것이다.

차량관련전문가가중심이되어모델을구축하고지속적인업데이트를통해정교화 모델검증을위한오랜시간의반복실험소요, 오류발생시모델의수정, 재검증과정이동반됨 [ 예시적 ] 주행상황별규칙모델링및구현 / 테스트규칙정의모델링및구현 * 차간거리유지 전방차량간거리 3m 이상으로유지하며가속 / 감속 * 차선변경 차선변경시측후면차량및전방차량과거리 10m 이상확보후차선변경시도

10 한강화학습에기반해바둑을두는방법을스스로터득해인간과의대결에서승리했던것이다. 이러한강화학습분야의연구가이제자율주행기술구현에적용되기시작하고있다. 특히기존방법으로모델링이어렵고주행데이터확보의제약으로인해충분한학습이어려운분야에우선적으로시도되고있다. 신호등이없는교차로, 비보호좌회전, 우회전, 램프진입등과같은경우들은차량주행시매우빈번하게발생하지만차량들의진입속도, 진행방향, 교통량등다양한변수들이매순간매우다양한경우의수로발생한다. 이러한상황들에서인간은오랜운전경험이나직관에의존해상황을판단하거나충돌위험이발생하더라도즉각적으로반응해위험상황을회피하기도한다. 하지만이러한과정을인간이일일이개입해규칙기반방식의인공지능으로구현하거나제한된데이터를통한학습만으로구현해내기는매우어렵다. 대신강화학습을적용하면이러한과정을매우효과적이면서도높은완성도로구현해내는것이가능하다. 수십, 수백만번의상황을재현해강화학습기반의인공지능이각상황에서다양한시도를하도록하는것이다. ( 그림 8 ) 과같이차량이램프에진입시진입차량과주변차량의상대속도, 거리, 진입속도등다양한변수들을매우미세하게조절해가며발생가능한다양한상황 Rule-based Approach - 주행과정중발생가능한다양한상황을정교하게규칙으로모델링 다양한상황을사전에예측해각상황별대응방법을사전에정의하고규칙으로모델링함. - 개발비용이높고모델검증에오랜시간이걸림. 차량관련전문가가중심이되어모델을구축하고지속적인업데이트를통해정교화 모델검증을위한오랜시간의반복실험소요, 오류발생시모델의수정, 재검증과정이동반됨 [ 예시적 ] 주행상황별규칙모델링및구현 / 테스트규칙정의모델링및구현 * 차간거리유지 전방차량간거리 3m 이상으로유지하며가속 / 감속 * 차선변경 차선변경시측후면차량및전방차량과거리 10m 이상확보후차선변경시도 테스트드라이브 vs. Deep Learning - 인간의주행과정을데이터화해인공지능이주행방법을학습 사람이운전을반복하며익숙해져가는과정과유사 인공지능이주행을지속할수록다양한상황에서의대응방법을학습하고터득함. 인간의주행과정딥러닝기반학습자율주행구현 Reinforcement Learning - 반복학습을통해인공지능이다양한주행상황별대응방법을스스로터득 수많은반복학습과정을통해최적의대응방법을스스로깨우침 학습과정에서일일이방법을정의할필요없이상황별달성목표와보상만정의함. [ 예시적 ] 신호등없는교차로주행방법학습 발생가능한다양한상황별시행착오를반복하며학습 7 규칙기반방식과딥러닝 / 강화학습기반방식비교 LG 경제연구원 7

들을구성한다. 초반시도에서는대부분의경우다른차량들과충돌해사고를낼것이다. 하지만이러한충돌과정을반복하면서인공지능은서서히충돌을회피하고위험상황을사전에방지하는방법을서서히터득하게된다. 물론이러한것을실제환경에서재현해실험하는것은거의불가능하기때문에매우정교하게구현된시뮬레이션환경에서상황을반복하게된다. 이러한강화학습기반의자율주행연구는폭스바겐, 포드등에서선행연구단계로진행되고있다.

11 들을구성한다. 초반시도에서는대부분의경우다른차량들과충돌해사고를낼것이다. 하지만이러한충돌과정을반복하면서인공지능은서서히충돌을회피하고위험상황을사전에방지하는방법을서서히터득하게된다. 물론이러한것을실제환경에서재현해실험하는것은거의불가능하기때문에매우정교하게구현된시뮬레이션환경에서상황을반복하게된다. 이러한강화학습기반의자율주행연구는폭스바겐, 포드등에서선행연구단계로진행되고있다. 다만, 안전성을최우선으로하는완성차업체의특성상기존방법과강화학습방법을서로병행하며보완해사고의위험을최소화하는방향으로연구를진행하고있다. 8 강화학습기반의지능형 / 자율주행기능구현 : 반복학습을통해스스로진입위치를판단 Source: VW Research (4) 사람처럼사고하는지능의적용 1 인간처럼생각하며주행하는자율주행지능의구현가능성 인공지능분야의다양한연구중최근딥마인드가발표한두편의연구는자율주행분야에향후적용된다면매우큰효과를거둘수있을것으로전망된다. 이들논문은관계형추론 (Relational Reasoning) 이가능한인공지능의구현에관한논문으로서인공지능학계에서는 2017년가장혁신적인논문들로꼽히고있다. 인공지능이인간의추론방식과유사하게추론하는것을구현하는것이가능하다는것을보여주는논문이다. 그중첫번째논문 5 에서는인공지능이주변상황들을각각개별적인정보로인식하고이해하는것을넘어각정보들사이의상대적관계를논 기존방식리적으로파악해낸다는것이다. 이러한관계형추론 1 방식이자율주행기능에적용되면자동차는차량주변의사물들을개별적으로인식하지않고각사물 2 들사이의상대적인관계를직관적으로인식해낼 20m 3 수있게된다. 마치사람이운전을할때와같이주 10m 변에존재하는차량들간의거리를각각개별적으로 5m 인식하지않고서로간의상대적거리와속도를종합적으로인지해주행하는것과마찬가지인것이다. - 전방차량들과의거리를또한차선변경, 교차로진입을할때주변차량들을개별적으로측정 ( 인식 ) - 측정된거리를일일이비교후따로따로인식하는것이아니라좌 / 우, 앞 / 뒤차량차선변경결정후변경차선선택과의거리 / 속도등의상대적관계를직관적으로파 5 A. Santoro, et al,, A simple neural network module for relational reasoning, vs. 9 관계형추론방법에기반한자율주행지능구현 관계형추론방식 전방차량과거리중거리가가장먼 1 차량의차선으로직관적으로변경결정 인간과같은판단 3 8 LG 경제연구원

악해가장최선의방법으로차량을제어하며주행하는것이가능할것이다. 만약이러한관계형인식이아니라면각차량과의거리, 속도등을모두개별적으로계산후모든가능조건을일일이비교해최선의방법을선택하는방식으로구현될것이다. 하지만관계형사고가가능한인공지능에서는인간과같은직관적인관계형사고에따라판단하고행동할수있게되는것이다 ( 그림 9 ).

12 악해가장최선의방법으로차량을제어하며주행하는것이가능할것이다. 만약이러한관계형인식이아니라면각차량과의거리, 속도등을모두개별적으로계산후모든가능조건을일일이비교해최선의방법을선택하는방식으로구현될것이다. 하지만관계형사고가가능한인공지능에서는인간과같은직관적인관계형사고에따라판단하고행동할수있게되는것이다 ( 그림 9 ). 딥마인드의또다른논문 6 에서는이러한관계형추론에서한발더나아가예측까지가능한인공지능을제안했다. 논문에서제안된인공지능은 ( 그림 10) 과같이사물의움직이는패턴을학습한다. 사물들이서로부딪히며움직이는각도, 속도가지속적으로변화하는패턴을학습하여향후의움직임을추론하는것이다. 논문에따르면약 6 프레임의움직임을학습해향후 200 프레임의향후움직임을예측했을때 150 프레임까지는실제와거의일치하는수준으로예측하는것으로나타났다. 이러한상대적인예측이가능한인공지능이자율주행에적용된다면현재와는전혀다른수준의자율주행지능이구현될수도있다. 현재의자율주행기술은주변차량들의속도, 거리등과같은정보를인식해주행기능을구현하지만이러한정보들은매순간의일시적인 (Snapshot) 정보에그친다. 하지만이와같은관계형사고에기반한예측이가능하다면마치사람처럼주변차량들을관찰하고향후움직임을예측해특정차량에대해미리주의를하거나위험차량을사전에회피하는것도가능해지는것이다. 즉차선을지속적으로매우급격하게변경하거나과속과급정지를반복하는차량이관찰된다면향후그차량의움직임을미리예측해사고를사전에방지하는것이가능할것이다 ( 그림 11 ). 실제움직임 예측 ( 추론 ) 된움직임 10 상호관계의관찰에기반한예측 / 추론 Source: N. Watters(2016) 6 주행상황 I 주행상황 Ⅱ 주행상황 Ⅲ 상대적예측추론지능에기반한 차량별주행패턴예측 - 지속적인과속, 급격한차선변경예측 위험차량 - 서행, 차선이탈가능성예측 주의차량 - 정속주행, 정상주행예측 두차량을가급적회피하며차량주행지속 11 예측추론에기반한자율주행지능 6 N. Watters, et al, Visual Interaction Networks, LG 경제연구원 9

2 주행지능의이식지능의이식 (Transferring Intelligence) 관련연구또한자율주행기술에적용가능한매우유망한최신기술이다. 이는유사한기능을수행하는인공지능이이미존재한다면기존의지능을새로운인공지능에이식해활용하는기술이다. 딥마인드등연구기관에서매우활발하게연구 7 가진행되는분야이기도하다.

그렇기때문에자율주행기능이특정지역에국한하지않고어느국가나지역으로도쉽게확장가능하도록시스템을구현하는것이향후큰이슈로부상할가능성이높다. 이러한의미에서현재인공지능분야에서연구되고있는지능의이식관련연구는향후자율주행기술의확산에큰역할을할것으로전망된다. 실제폭스바겐의연구팀은자율주행기능을구현하는데지능의이식관련연구의적용을고려하고있다.

지능형 / 자율주행기능구현 ( 독일 ) 기본주행기능유지 + 미국 / 영국교통법규, 표지판등만재학습 12 지능이식을통한자율주행지능의국가별확장 Source: VW Research 참조 7 O. Vinyals, et al., Matching networks for one shot learning.

13 2 주행지능의이식지능의이식 (Transferring Intelligence) 관련연구또한자율주행기술에적용가능한매우유망한최신기술이다. 이는유사한기능을수행하는인공지능이이미존재한다면기존의지능을새로운인공지능에이식해활용하는기술이다. 딥마인드등연구기관에서매우활발하게연구 7 가진행되는분야이기도하다. 인공지능이새로운영역에활용될때적용분야가서로다르더라도기존지식을최대한활용하기때문에단시간에성능을발휘하는것이가능하다. 이러한개념은자율주행기능구현시활용될수있는여지가매우크다. 차량주행환경은국가별, 지역별로주행법규및교통인프라가매우상이하기때문에하나의자율주행기술이모든국가에범용적으로적용되기는매우어렵다. 그렇기때문에자율주행기능이특정지역에국한하지않고어느국가나지역으로도쉽게확장가능하도록시스템을구현하는것이향후큰이슈로부상할가능성이높다. 이러한의미에서현재인공지능분야에서연구되고있는지능의이식관련연구는향후자율주행기술의확산에큰역할을할것으로전망된다. 실제폭스바겐의연구팀은자율주행기능을구현하는데지능의이식관련연구의적용을고려하고있다. 기본적으로자동차를주행하는방식은공용화한다. 차선유지, 서행, 급정지등과같은일반적으로모든나라에적용가능한주행기능은범용적인지능으로구현하는것이다. 이후각국가별차이가있는주행방식은개별적으로재학습과정을통해맞춤화한다. 교통신호, 주행우선순위, 표지판등이이에해당한다 ( 그림 12 ). 지능형 / 자율주행기능구현 ( 독일 ) 기본주행기능유지 + 미국 / 영국교통법규, 표지판등만재학습 12 지능이식을통한자율주행지능의국가별확장 Source: VW Research 참조 7 O. Vinyals, et al., Matching networks for one shot learning. Advances in Neural Information Processing Systems, 2016, G. Koch, Siamese neural networks for one-shot image recognition. Diss. University of Toronto, 2015, L. Bertinetto, et al., Learning feed-forward one-shot learners. Advances in Neural Information Processing Systems LG 경제연구원

14 3. 주요연구소및기업동향 (1) 학계연구학계에서도최근딥러닝관련연구를자율주행에적용하며다양한성과를발표하고있다. MIT의 Lex Fridman 교수는자율주행을위한딥러닝 ( Deep Learning for Self-driving Cars ) 이라는수업을개설하며관련연구를함께진행중이다. 딥러닝을기반으로차량의주행영상을분석해차선유지, 차간거리조정등의기능을구현하는프로젝트인 DeepTesla 8 와복잡한주변의차량흐름을스스로감지해차선을변경하는주행기술개발프로젝트인 DeepTraffic 9 을동시에진행중에있다. 특히 DeepTraffic의경우학생들이다양한자율주행기능을구현해서로경쟁할수있는환경을구축해놓았다. 동일한환경에서알고리즘을서로검증하고경쟁한다. 현재약 20,000건이상의알고리즘이등록되어있으며, 경쟁을통해알고리즘들이지속적으로고도화된다. UC 버클리의 DeepDrive 10 연구실또한딥러닝기술을자율주행기능에적용하려는대표적인연구실이다. 딥러닝기반의이미지인식, 강화학습, 지능이식 (Transfer Learning) 등을자율주행에적용해사물인식및주행알고리즘으로구현하고있다. 특히 DeepDrive 에는 Toyota, Ford, Honda, GM, 현대자동차등완성차제조사들이파트너로참여하고있다. 온라인교육에서도관련기술에대한교육및연구가활발히진행중에있다. 온라인공개교육 (MOOC) 기업인 Udacity는인공지능과자율주행분야에특화된교육과정을공개하며누구나쉽게딥러닝기반의자율주행기술을배우며연구할수있게하고있다. 구글의자율주행차개발초기부터프로젝트를리드하였던 Sebastian Thrun이 오픈소스로자율주행알고리즘구현환경공개 자율주행알고리즘구현 ( 차선변경, 차간거리유지, 충돌회피기능등 ) 자율주행알고리즘성능경쟁 13 MIT Self-driving Lab 의자율주행알고리즘구현환경 DeepTraffic Source: selfdriving.mit.edu LG 경제연구원 11

15 설립하였고자신이직접자율주행관련수업을진행하기도한다. 딥러닝기반의인식, 주행기술들에대한교육이진행되며연구자들은오픈소스를통해제공되는자율주행시뮬레이터를통해자신이개발한자율주행알고리즘을검증하고고도화한다. 교육과정에는벤츠, BMW, 맥라렌등다양한완성차업체들이참여하면서연구, 개발된자율주행기술을직접적으로활용하기위한활동도병행하고있다. (2) Startup 최근딥러닝분야의핵심기술을보유한연구자들이관련기술을자율주행에적용하기위해직접창업하며수많은 Startup들이출현하고있다. 딥러닝의자율주행기술의적용분야에따라크게시각인식지능기술 (Perception) 과주행학습기술분야로나눌수있다. 1 인식지능분야 (Perception) DeepScale은딥러닝기반의시각인식기술을자율주행분야에적용하고있는 Startup이다. 다양한기업들이유사한기능을구현하고있지만 DeepScale의차별성은딥러닝기술을고사양의딥러닝전용하드웨어가아닌현재범용적으로사용되고있는하드웨어 (Processor) 에서도자신들의기술이구동가능하도록하고있다. 딥러닝기반기술들은성능이뛰어나지만엄청난컴퓨팅파워를요구한다는점에서특화된전용하드웨어가필요하거나처리시간이오래걸리는단점이존재한다. 하지만 DeepScale은그러한단점을보완하면서도높은성능으로인식지능을구현해완성차업체들이기존부품을변경하거나추가하지않으면서도빠르게딥러닝을적용할수있게한다는것이다. 즉범용적으로활용중인기존하드웨어를유지하면서도새로운기술이적용가능하다는점에서기술을빠르게확산시킬수있는장점이있다. 창업이후 2년만에 AutoTech Ventures 등투자사들로부터투자를유치하며성장하고있다. 이스라엘의 Startup인 SAIPS는딥러닝기반의차량용시각인식에최적화된소프트웨어를구현한다. 단순히전방의차량, 보행자, 장애물을인식하는것과같은일시적 (Snapshot) 정보를인식하는것에그치지않고정보를지속적으로분석해패턴화한다. 이러한패턴정보를통해이상징후를사전에감지하거나차량들의향후움직임을예측해내기도한다. 시장내기술력을인정받은 SAIPS는일찍이 Ford 에인수되었다. Ford 는 2021년까지완전자율주행자동차의출시를목표로관련기술을자체개발과인수를통해확보하고있다. SAIPS의기술도적용되어향후시장에출시될것으로예상된다. 12 LG 경제연구원

2 주행학습분야앞서소개되었던 comma.ai는자동차가마치인간처럼운전을지속적으로반복하며학습하는과정을딥러닝으로구현해오픈파일럿 (OpenPilot) 이라는오픈소스로공개했다. 학습이없는초기상태에서는장애물과충돌하는등정상적인주행을하지못한다. 하지만운전자가차량을주행하면인공지능이운전자의주행하는과정을학습하며자율주행기능이점진적으로발전하게된다.

16 2 주행학습분야앞서소개되었던 comma.ai는자동차가마치인간처럼운전을지속적으로반복하며학습하는과정을딥러닝으로구현해오픈파일럿 (OpenPilot) 이라는오픈소스로공개했다. 학습이없는초기상태에서는장애물과충돌하는등정상적인주행을하지못한다. 하지만운전자가차량을주행하면인공지능이운전자의주행하는과정을학습하며자율주행기능이점진적으로발전하게된다. 창업자인 George Hortz 11 에따르면약 10시간의주행학습과정을통해시내주행및고속도로주행에서차간거리유지, 정지등과같은주행기능을구현할수있었다고한다. 물론완벽한자율주행기능으로기술을발전시키기위해서는더욱방대한양의주행데이터가요구될것이다. 10시간동안의학습으로는기본적인주행기능만학습된것이지상용화수준의기술에는크게미치지못하기때문이다. 이를보완하기위해 comma.ai는주행데이터를수집하기위한방법으로스마트폰앱을배포하기시작했다. chffr 이라는앱으로서누구나자신의차량정면에스마트폰을거치하고앱을실행시키면차량주행영상및정보 ( 속도, GPS 등 ) 가 comma.ai로업로드된다. 주행정보를공유하는사람은 comma.ai에일정포인트가적립되며향후 comma.ai의서비스가본격상용화시활용할수있게된다. 단순한주행정보뿐만아닌더욱상세한차량정보수집을위해 comma.ai는 panda라는하드웨어도함께배포하고있다. 딥러닝기반의자율주행구현주행데이터확보자율주행시스템공개 - 범용센서만을활용하면서도딥러닝을통해자율주행기능구현 (OpenPilot) 4 명의개발자, 4 주만에자율주행구현 (Level3) 약 10 시간의주행과정을인공지능이학습 - comma.ai 의자율주행자동차 Acura ILX(2016 년식 ) 차량을자체개조 센서탑재, 차량제어기능개조 ( 핸들, 엔진 RPM 등 ) 및자율주행소프트웨어탑재 (Ubuntu OS 기반 ) - 주행학습데이터확보노력 160 만 km 수집 ( ) chffr: 주행영상데이터수집용앱 panda: 차량정보수집을위한 HW chffr App + panda HW - After-market 용 HW/SW Package 공개 (comma Neo) 자율주행소프트웨어 (OpenPilot) 와카메라등센서가탑재된하드웨어패키지 향후 $1000 이하의 Package 로상용화목표 스마트폰을차량에거치후앱실행 영상정보 +OBD 정보를 comma.ai 에전송 comma.ai Point 형식의보상받음 ( 향후 comma.ai 서비스정식출시시활용가능 ) Honda 계열 3 총차량과연동 약 10 분미만의수작업으로시스템설치가능 14 comma.ai 의자율주행시스템 11 세계최초로아이폰및소니플레이스테이션 3 해킹 ( 당시 17 세 ) 하였으며구글 / 페이스북등각각입사 1 개월만에퇴사후 Comma.ai 설립 (2015 년 ) LG 경제연구원 13

17 차량내 OBD(On Board Diagnostic) 12 에 panda 디바이스를삽입하고 chffr 앱을실행하면단순한주행영상뿐만아니라핸들의조향각도, 엔진 RPM, 엔진토크등의정보가함께공유되어더욱상세한차량의정보를 comma.ai에제공하게된다. 이를통해 comma.ai의자율주행인공지능은수많은사람들이업로드하는주행정보를종합적으로학습하게된다. 2017년 4월 comma.ai는이렇게수집된주행데이터가약 160만 Km(1Million miles) 에이른다고밝혔다. 엄청난거리의주행데이터가수집되고있을뿐만아니라수많은참여자들로부터다양한상황의주행정보가축적되고있다는점에서매우큰의미를갖는다. comma.ai는 LIDAR 등고가의특화센서를활용하는대신표준화된범용센서를활용해자율주행기술을구현한다. 저가의하드웨어를기반으로구현된자율주행패키지를약 $1000이하로상용화하는것을목표로하고있다. After-market 용으로판매해자율주행기능이탑재되지않은일반차량에 comma.ai의자율주행패키지를탑재하면자율주행기능이실행되는차량으로바뀔수있도록한다. 이미테스트용 시각인식지능 (Perception) 주행학습지능 (Driving) 기업명 핵심기술 URL DeepScale 딥러닝기반의인식기술을고성능의프로세서를사용하지않고현재상용화된범용프로세서기반으로구동 deepscale.ai CogniVue 기존대비전력소비가 100배이상효율적인딥러닝기반이미지인식전용하드웨어구현 - Freescale에인수 cognivue.com SAIPS 차량용시각인식기능에최적화된형태로딥러닝알고리즘구현 ( 인식률, 전력효율, 처리속도등최적화 ) - Ford에인수 saips.co.il DeepVision 딥러닝기반의인식지능전용하드웨어를구현해인식속도향상및전력효율성극대화 deepvision.io autox 카메라만을활용해자율주행기능구현, 딥러닝기반의비전분야의선도연구자인 Xiao 설립 (Princeton대교수 ) autox.ai comma.ai $1000이하의범용하드웨어활용해딥러닝기반의자율주행구현 (OpenPilot), After-market용패키지로상용화목표 comma.ai pilot automotive labs vector.ai aimotive oxbotica drive.ai argo.ai cruise 15 딥러닝기반의자율주행분야주요 Startup List 클라우드기반으로딥러닝기반의주행지능 (DriveNet) 을구현해배포, 차량들이클라우드를통해실시간으로최신의자율주행기능을수신받아주행함 자율주행시스템을기존판매된자동차에호환된형태로구현, 기존자동차에시스템을탑재하면자율주행기능이제공됨딥러닝을통해자율주행기능을 Full-Stack( 신호처리 / 분석 / 응용프로그램 ) 으로구현해시스템으로제공딥러닝에기반한범용자율주행시스템구현, 자율주행자동차외드론, 비행기등다양한교통수단에활용가능한형태로기술개발 pilotlab.co drive-vector. com aimotive.com oxbotica.ai 딥러닝기반의완전자율주행기능구현, 교통신호 / 표지판인식가능및밤 / 비 / 눈등다양한환경에서도안전한주행가능한수준으로구현 drive.ai 딥러닝및로보틱스역량을기반으로자율주행기술구현을목표, 구 argo.ai 글및우버의엔지니어가창업 - Ford 투자 (1조원) 기존상용차량에호환가능한자율주행시스템을구현... After getcruise.com Market 상용화목표 - GM에인수 (1조원) 독자적 OEM협업독자적 OEM협업 12 엔진 RPM, 배터리전압, 냉각수온도, 가속페달밟음정도, 연료소모량, 엔진토크등차량상태점검을필요한종합정보제공하는표준단자 14 LG 경제연구원

하드웨어가제한적으로배포되고있으며 Honda 계열의차량 3종 13 과호환되기때문에해당차종을가지고있는운전자는매우쉽게자신의차량에자율주행기능을탑재할수있다. 또다른스타트업인 Cruise 또한 comma.ai와같이 After-market 으로활용가능한자율주행패키지를개발하고있다.

(3) 주요혁신기업 1 Nvidia 컴퓨팅하드웨어제조사인 Nvidia는자사의 GPU 제조역량을활용해자율주행분야에진출하고있다. GPU는딥러닝기반의인공지능구현시컴퓨팅속도및성능향상을위해필수적으로활용되어야하는핵심하드웨어이다. GPU 시장을선도하고있는 Nvidia는이러한역량을기반으로자율주행시장에집중하며기술혁신을만들어가고있다.

18 하드웨어가제한적으로배포되고있으며 Honda 계열의차량 3종 13 과호환되기때문에해당차종을가지고있는운전자는매우쉽게자신의차량에자율주행기능을탑재할수있다. 또다른스타트업인 Cruise 또한 comma.ai와같이 After-market 으로활용가능한자율주행패키지를개발하고있다. 이러한 After-market 에활용가능한자율주행기술은기존판매된차량에자율주행기술의적용이가능해기술의빠른확산과주행차량을통한데이터수집이동시에가능하다는점에서매우큰장점이있다. 이러한기술적, 사업적잠재력을일찍이인지한 GM은 Cruise를 1조원에인수 ( ) 하였다. (3) 주요혁신기업 1 Nvidia 컴퓨팅하드웨어제조사인 Nvidia는자사의 GPU 제조역량을활용해자율주행분야에진출하고있다. GPU는딥러닝기반의인공지능구현시컴퓨팅속도및성능향상을위해필수적으로활용되어야하는핵심하드웨어이다. GPU 시장을선도하고있는 Nvidia는이러한역량을기반으로자율주행시장에집중하며기술혁신을만들어가고있다. Nvidia는우선자사의 GPU를기반으로구현된자율주행기술을플랫폼으로공개해자율주행분야의생태계를구축하기시작했다. 실제 Nvidia는딥러닝기반의자율주행관련논문을발표 14 하고자사가개발한자율주행차량의데모를공개했다. 데모영상에서 Nvidia가개발한자율주행자동차는눈 / 비가내리거나어두운밤, 혹은비포장도로와같이주행이쉽지않은다양한환경에서도완벽하게주행한다. 이렇게개발된자율주행기술을 Nvidia는 DrivePX 라 Cloud 는자율주행자동차개발플랫폼으로공개하였다. 하드웨어에서부터소프트웨어전반을포괄하는이플랫폼에는자율주행기술구현을위한기능들이기본으로제공되어개발자들이매우쉽게자율주행기능을 Local 구현할수있게하고있다. 개발자들은 DrivePX가제 Devices 공하는기능을활용하기만하면전방차량감지, 차선유지등의기능을매우쉽게구현할수있다. 개발자 각차량에서수집된이미지 Upload 16 Nvidia 의자율주행개발플랫폼 (DrivePX) - 수집된정보기반으로 DrivePX 인공지능고도화 (Neural Network Update) - 정밀 / 정확도, 속도향상 Firmware Update or Next Version 반영 ) DrivePX 13 Civic(2016~2017), CR-V(2015~2016), Acura ILX (2016) 14 M. Bojarski, et al., End to End Learning for Self-Driving Cars, LG 경제연구원 15

19 가일일이해당기능을구현하고데이터를확보해학습시키는과정이생략되고높은성능으로검증된기술을활용하면서개발시간을크게단축시킬수있게된다. 이러한딥러닝기반의플랫폼전략을통해 Nvidia는시장의기존강자들을제치고시장을장악해가고있다. Nvidia는자율주행분야의이미지인식칩시장의 80% 를장악하던 Mobileye 의시장을빠르게잠식하고있다. 실제지난 2016년 Tesla는자율주행칩파트너를 Mobileye 에서 Nvidia로전환하기시작하였으며 Nvidia는약 20개이상의완성차브랜드와협업을확대해나가고있다. 2 Tesla 전기차혁신기업인 Tesla는다음혁신을인공지능에기반한자율주행자동차에서만들어가고있다. Autopilot 이라불리는반자율주행 (Semi-Autonomous Driving) 기능을시장에안정적으로상용화시키며관련기술을빠르게발전시켜나가고있다. Tesla의 Autopilot 기능은일반적인차선유지, 차간거리조정등과같은기능보다더욱진화된차선변경, 자동차고입 / 출입등과같은기능들을포함하고있다. 무엇보다 Tesla의 Autopilot 은차량에서발생하는거의모든데이터를수집하고분석해인공지능으로구현했다는점에서향후더욱큰혁신이예상된다. Tesla의모든차량은 3G/LTE와같은통신망으로연결되어차량에서발생되는모든데이터가익명화되어수집된다. 2014년부터본격적으로수집된주행데이터는약 56억Km(35억 miles) 15 에이른다. 이중 Autopilot 을사용하며주행한거리는 2억Km(1.3억 miles) 에 Electric Vehicle Autopilot w/ Machine Learning 혁신적전기차제조 Semi-Autonomous Driving 방대한양의정밀주행데이터수집 ( 14~) - 14 년 10 월이후부터주행데이터본격수집 전체주행데이터 : 3.5B miles( 약 56 억 Km) 25M miles/day - Autopilot 주행데이터 2.6M miles/day, 1.3B miles( 약 2 억 Km) Miles Tesla 주행데이터 ( 약 2 억 Km) Google 자율주행 ( 약 240 만 Km w/ 23 대 ) 인공지능의학습을통한기능고도화 ( 14~) - 기계학습을통한기능고도화및정교화 각종상황별차량주행상태, 운전자반응등을수집, 축적 인공지능학습에수집된모든데이터를활용 - 딥러닝을활용한주행영상이미지학습 이미지인식정확도 / 속도향상및정교화 차량, 보행자, 장애물, 표지판정보의딥러닝학습에활용 1) 수집된데이터가클라우드에축적 2) 인공지능의학습에활용후 Autopilot 기능고도화 3) Software Update형태로기존판매된차량에반영 ( 주행을지속할수록자율주행기능이고도화됨 ) 17 Tesla Autopilot 의주행데이터학습기반의기능구현 년 12 월기준 (Tesla Electric Road Trip Site) 16 LG 경제연구원

20 해당한다. 약 8만여대에이르는자동차에서발생된정보가모두수집되면서다양한환경의주행정보를 Tesla의인공지능이학습하게된다. 이렇게학습된지능을기반으로 Tesla의 Autopilot 는시간이지날수록기능이고도화되고발전된기능은다시통신망을통해기존차량에소프트웨어업데이트형식으로반영되게된다. 즉 Tesla의차량의자율주행기능은차량이주행을하면할수록기능이점점진화하게되는것이다. Tesla는최근딥러닝기반의인공지능역량확보를위해더욱노력하고있다. 기존 Mobileye 에서 Nvidia로 Autopilot 전용하드웨어를교체하며딥러닝기반으로자율주행기능을고도화하고있다. 또한지난 6월에는딥러닝분야의핵심연구자인 Andrej Karpathy를 Tesla 인공지능연구소의책임자로영입했다. 인공지능분야의선도연구소인 OpenAI의연구자였던 Adnrej는딥마인드, 구글등에서딥러닝, 강화학습등과관련한혁신적연구를진행해왔다. Tesla가집중적으로확보하고있는딥러닝관련역량은기존확보된방대한차량주행데이터와결합되어향후혁신적인자율주행기술로구현될것으로전망된다. 4. 맺음말 딥러닝기술의발전으로인해자율주행기술의핵심이이동하고있다. 고가의특화센서와자동차분야의전문가가중심이되었던자율주행기술을인공지능분야의전문가들이저가의범용센서를활용하면서도구현가능하게된것이다. 인공지능역량을확보한신생 Startup 및연구소들이빠르게시장에진출하면서엄청난투자와연구기간을들여기술을구축해온거대 IT 기업및완성차제조사들의기술장벽이허물어지고있다. 자동차산업분야의전문성 (Domain Knowledge) 에기반해산업을주도했던기업들의주도권이새로운기술에기반한 Startup으로이동할가능성이높아지고있는것이다. 실제자동차산업보다일찍이딥러닝이적용되며기술적용이이루어진언어인식분야의경우기술구현의핵심이언어학자에서딥러닝전문가로빠르게대체되고있으며, 업계에서는 언어학자를 1명씩해고할때마다언어인식률이 1% 씩향상된다 라고까지이야기되고있다. 즉딥러닝기반의인공지능이기존산업내경쟁의핵심을변화시키고있으며자율주행기술분야도그패턴을따라갈가능성이커지고있다. 오랜시간동안산업내주도권을가졌던완성차제조사들도이러한기술패러다임변화에대응하기위해 2016년을전후해서부터빠르게딥러닝관련기술역량확보에나서고있다. GM, Ford등과같은기업들은약 1조원규모로딥러닝관련 Startup에투자하거나인수하였고, Toyota의경우실리콘밸리에인공지능전용연 LG 경제연구원 17

범용센서 GM Ford Daimler Toyota VW 주요완성차제조사들의딥러닝역량확보 - Startup 인수 (Cruise Automation, 1 조원, 2016. 3) 및투자 (Nauto, 2017. 7) - Startup 인수 (SAIPS, 2016. 8) 및투자 (argo.ai, 1 조원, 2017.

7) - 자체딥러닝연구소설립 / 강화 (Data Lab for AI, 2017. 6) 및 AI Startup 투자프로그램운영 PSA - Startup 협력 (Aimotive, 2017.

주요완성차제조사들의이러한노력은혁신적인기술을기반으로새롭게등장하는 Startup들과다른완성차제조사들과의기술경쟁에대응하기위한것으로, 향후에는이러한기술확보경쟁은더욱치열하게전개될것이다. 딥러닝등최근의인공지능기술은기계학습과정에활용되는데이터에따라그성능이상당히좌우될수있기때문에방대한주행데이터를확보해자율주행지능을고도화시키는기업이향후경쟁을선도할가능성이높다.

21 범용센서 GM Ford Daimler Toyota VW 주요완성차제조사들의딥러닝역량확보 - Startup 인수 (Cruise Automation, 1 조원, ) 및투자 (Nauto, ) - Startup 인수 (SAIPS, ) 및투자 (argo.ai, 1 조원, ) - Startup 투자 (Momenta, ) 및협력 (Bosch 와딥러닝기반자율주행택시개발, ) - 실리콘밸리 AI 연구센터설립 (1 조원, ) 및 AI 전문투자회사설립 (AI Ventures, ) - 연구소확장운영 (Stanford, MIT 협력목적, ) - 자체딥러닝연구소설립 / 강화 (Data Lab for AI, ) 및 AI Startup 투자프로그램운영 PSA - Startup 협력 (Aimotive, 딥러닝기반 Level 4 자율주행개발 ) 특화센서 Rule-based Modeling Deep Learning based * 기술적구현방법론의도식화 ( 기술수준및완성도관점의상대비교는아님 ) 18 자율주행기술구현의핵심이동 구소및투자회사를설립하기도했다 ( 그림 18). 주요완성차제조사들의이러한노력은혁신적인기술을기반으로새롭게등장하는 Startup들과다른완성차제조사들과의기술경쟁에대응하기위한것으로, 향후에는이러한기술확보경쟁은더욱치열하게전개될것이다. 딥러닝등최근의인공지능기술은기계학습과정에활용되는데이터에따라그성능이상당히좌우될수있기때문에방대한주행데이터를확보해자율주행지능을고도화시키는기업이향후경쟁을선도할가능성이높다. 방대한데이터가단순히많은양의데이터를의미하는것은아니다. 정상적인주행상황이지속되는많은양의데이터보다는비나눈이내리는상황과같이주변환경의인식이나차량제어가어려운상황의주행데이터가자율주행성능을더욱고도화시킬수있다. 따라서향후에는이러한다양성을갖는주행데이터를학습해수많은상황 (edge cases) 까지도대응할수있는자율주행기능을구현하는것이경쟁의핵심으로작용할것이다. 이미 comma.ai나 Tesla와같은기업들은기술구현초기부터데이터수집의중요성을인지하고적극적으로데이터를수집하고있다. 주요기업들이소수의테스트차량을통해주행데이터를수집하는것에비해이들기업들은수천, 수만대의차량및참여자를통해데이터를동시다발적으로수집하고있다. 이러한방식은후발주자가단기간에확보할수없는방대하면서도매우다양한주행데이터를확보할수있게한다. 안전성을최우선으로하는자동차산업의특성상딥러닝기술만으로상용화수준의자율주행기술을개 18 LG 경제연구원

22 발하기까지는상당한시간이필요할지도모른다. 실제자동차산업을이끌어온완성차제조사들은안전성등을이유로그동안새로운기술혁신에소극적으로대응해오기도했다. 하지만새로운기술패러다임에기반해빠르게출현하고있는신생기업들은자신들의기술을시장에우선출시해데이터를수집하며동시에완성도를높혀가는전략을펼치고있다. 기존완성차업체도기술상용화에대한전략적선택이필요한시점이다. 물론자율주행과관련해서는안전성이가장우선되어야하지만이제까지의방식처럼기술을완벽하게구현하고검증후시장에출시하기에는시간과비용이너무많이소요되기때문이다. 이는데이터를통해학습이지속될수록기능이향상되는딥러닝기반의인공지능의특성을잘활용하지못하는전략이기도하다. 따라서일부제한된기능을시작으로기술을빠르게시장에출시하면서가능한많은양의데이터를수집할수있는시스템을우선적으로구축하는것이더효과적인방법이될수있다. 이렇게수집되는데이터는현재구현되고있는기술의성능과안전성에대한검증뿐아니라더욱고도화된기능을구현해낼수있는선순환의기초가될수있기때문이다. LG 경제연구원 19

23 본보고서에게재된내용이 LG 경제연구원의공식견해는아닙니다. 본보고서의내용을인용할경우출처를명시하시기바랍니다.

Ch 1 머신러닝 개요.pptx

Ch 1 머신러닝 개요.pptx Chapter 1. < > :,, 2017. Slides Prepared by,, Biointelligence Laboratory School of Computer Science and Engineering Seoul National University 1.1 3 1.2... 7 1.3 10 1.4 16 1.5 35 2 1 1.1 n,, n n Artificial