[G2-2] 자율주행을위한인공지능기술 2017 년 6 월엑셈 CTO 박재호 (jaypark@ex-em.com)
제약 LIMITATION 2
미연방고속도로교통안전국 (NHTSA) 의 자율주행차량 5 단계 0 단계자동화없음 1 단계특정기능에만초점을맞춘자동화 2 단계결합된기능자동화 3 단계제한된자율주행자동화 언론에서이야기하는자율주행차량 4 단계는완전자율주행자동화 테슬라와구글차량의단계는? 3
알기쉬운자율주행차량 5 단계 https://iq.intel.com/autonomous-cars-road-ahead/ 4
구글자율주행차량면허시험 http://spectrum.ieee.org/transportation/advanced-cars/how-googles-autonomous-car-passed-the-first-us-state-selfdriving-test 5
로터리와철길건널목 6
테슬라사고 ( 조슈아브라운 )(1) http://www.nytimes.com/interactive/2016/07/01/business/inside-tesla-accident.html 7
테슬라사고 ( 조슈아브라운 )(2) http://www.ntsb.gov/investigations/accidentreports/pages/hwy16fh018-preliminary.aspx 8
도로교통표지판 vs 깡통 https://www.tesla.com/ko_kr/blog/upgrading-autopilot-seeing-world-radar-0 9
센서 SENSORS 10
전방레이더 비교적기상상황에무관하게동작 움직이는금속성물체만감지가능 정확한물체의위치와모양을감지하기어려움 소프트웨어의도움이필요 11
라이다 형태와표면감지 현실적인 3차원지도구축 비금속재질도파악 하지만 기상상황에영향을받음 고비용, 부피 12
라이다로수집한 Point Cloud 13
시정이나쁠경우문제 날씨 직사광선이나상향등 도로공사나눈덮힌길 ( 차선구분 ) 하지만 색상구분, 글자나기호구분가능 입체감을파악하기위해서는카메라가 2 개이상필요 카메라 14
초음파센서 근거리에있는물체감지 개략적인근접도만파악가능 저렴한비용, 손쉬운프로그래밍 15
GPS 기상상태와주변장애물에영향을받지않음 하지만 지하와터널에서무용지물 군용이아닌상용은오차범위가넓음 16
하드웨어 HARDWARE 17
FBW 용제어컴퓨터 제어컴퓨터 dsky( 아폴로계획 ) NASA 실험기 F8 18
차량용자율주행컴퓨터의변천사 2010 년 2012 년 2005 년 DARPA 19
테슬라완전자율주행을위한지원 360 도 /250 미터지원카메라 8 대 개선된초음파센서 12 개 개선된전방레이더 : 3D 영상, 다중파장 ( 악천후대응 ) 40x 강력한온보드컴퓨터 (NVidia PASCAL architecture 로추정 ) https://www.tesla.com/ko_kr/blog/all-tesla-cars-being-produced-now-have-full-self-driving-hardware 20
테슬라센서도달범위 21
자율주행우버 22
빅데이터수집 / BIGDATA 저장 학습 예측 23
차량에서수집되는데이터 초당 750MBytes 이상 ( 구글자율주행차량 ) 프로토타입차량에서는수집된데이터를중앙으로전송 만일전체데이터를수집한다면? 10시간당백만마일이상 ( 테슬라 ) 환경 / 운전자습관 / 소프트웨어사용방식을추적 데이터유형 차량운행데이터 (CAN/LIN) 센서데이터 24
Udacity 183GB 차량데이터 https://medium.com/udacity/open-sourcing-223gb-of-mountain-view-driving-data-f6b5593fbfa5#.dhjt52b0z 25
CAN Logger and BlackBox http://vector.com/vi_logging_en.html http://lukashd.com/product_info/power_obd.html 26
이미지넷 방대한학습용이미지데이터베이스 WordNet( 현재명사만 ) 에따른조직화 2010 년 4 월 30 일기준 이미지 14,197,122 바운딩박스쳐진이미지 : 1,034,908 SIFT(Scale-invariant feature transform) 특질을포함한이미지 : 120 만개 27
28
유투브 -8M 데이터셋 Inception-V3 image annotation model 29
유투브 -8M 예제 30
구글오픈이미지데이터셋 이미지 900 만개를카테고리 6000 개로나눠애 노테이션 Inception-v3 모델을사용 31
칼텍의보행자영상데이터베이스 640 480 30 Hz 10 시간짜리비디오 총 35 만개의바운딩박스와 2,300 명에이르는개별보행자를표시 http://www.vision.caltech.edu/image_datasets/caltechpedestrians/ 32
보행자영상의특성 차량은늘이동한다 중간높이의사람을잘감지해야한다 사고를미연에방지 55km/h 33
DEEP LEARNING 소프트웨어 34
학습기법과설명가능성 http://nautil.us/issue/40/learning/is-artificial-intelligence-permanently-inscrutable 35
엄청난계산량이문제! 36
학습 수집된데이터정제 레이블링 (ground truth) bounding box 작업 One-hot 을위한객체유형, 의미 ( 도로표지판등 ) CNN/RNN 등머신러닝이용 개선된모델을시물레이션 강화학습 시물레이션데이터는기존에수집된정밀도로정보를활용 운전시교통법규를어길경우벌점부과 37
자율주행차량과관련한주요알고리즘 영상 시각데이터 RoI(Region of Interest) 파악 물체 ( 사람, 차량, 표지판 ) 인식 예 : CNN, R-CNN 시그널 시계열성격의각종센서데이터 예 : RNN, LSTM 38
딥러닝기초 (1) 39
딥러닝기초 (2) 40
딥러닝기초 (3) 41
비선형활성함수 42
CNN(Convolution Neural Network) by Yann LeCun( 현재페북 AI 디렉터 ) 43
Convolution or Filter Sharpen Edge Detect Blur Emboss 44
CNN 파이프라이닝 45
Faster R-CNN http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-detection.pdf 46
R-CNN, Fast R-CNN, Faster R-CNN https://brunch.co.kr/@kakao-it/66 47
R-CNN 사례 ( 엑셈 - 포스텍 R&D 센터 ) 48
RNN(Recurrent Neural Network) 시계열데이터처리에강함 cf) 시간순서의중요함 : 알파벳을거꾸로외워보자. 49
LSTM(Long Short term Memory) 50
예측 실제운행 실행시간중에수집된센서정보를사용 만들어진모델데이터를토대로현재운행맥락을파악 주변차량유무 보행자나장애물등파악 신호등이나표지판감지 다행히도학습만큼강력한컴퓨팅파워가필요하지는않다! 주의 : 다양한센서데이터에대한실시간처리 51
구글자율주행차량이세상을바라보는모습 52
현대적인항공기시물레이터 53
GTA(Grand Theft Auto) V https://www.inverse.com/article/26307-grand-theft-auto-open-ai 54
미래 FUTURE 55
자율주행차량의시장추이 http://cet.berkeley.edu/wp-content/uploads/self-driving-cars.pdf 56
인공지능과자율주행차량 인공지능이사람보다뛰어난이유 기억용량 : 무제한, 외부화 감각 : 오감을넘어선다양한센서 (GPS, 레이더, 라이다, 초음파, 카메라, ) 처리속력 : 수 GHz( 참고 : 사람은 60~200Hz) 전달능력 : OTA 로학습 ( 모델 ) 데이터를 1 분안에전세계로전송 재프로그래밍 : 과거경험이나습관과무관 57
테슬라그림자모드 3 단계자율주행수준달성을위해 안전성을담보하기위한방대한기초데이터수집 위정 (false positive) 과위부 (false negative) 파악목적 차량을제어하지않지만, 행동을취했어야했을상황을기록 나중에자율주행기능이사고를얼마나예방할수있었는지를통계적으로분석 58
구글웨이모 2016 년보고서 (1) 자율주행차량이해제 운전자가해제 59
구글웨이모 2016 년보고서 (2) 주요해제원인 ( 총 124 건중 ) 소프트웨어모순에의한 : 51건 원치않은동작 : 30건 인식불일치 : 20건 난폭하게행동하는보행자 : 10건 다른차량에대한올바르지못한행동예측 : 6건 https://www.dmv.ca.gov/portal/dmv/detail/vr/autonomous/disengagement_report_2016 60
어두운면 항공업계의사례 에어프랑스 447 편사고 아시아나 214 편사고 Manual control is a highly skilled activity, and skills need to be practised continuously in order to maintain them. James Reason https://www.theguardian.com/technology/2016/oct/11/crash-how-computers-are-setting-us-up-disaster 61
자동화의역설 줄어드는실수 쉬운조작과자동실수보정으로인해초보자들을포용 오랜기간동안초보자들의낮은역량을감춤 능력감퇴 연습의필요성을없앰으로써전문능력을감퇴시킴 예기치못한상황대응부족 Automatic mode disengaged! 일상적인상황이아닌경우특히숙련된반응을요구 주의 : 더안정적이고뛰어난자동화시스템은상황을더나쁘게만들수있다! 62
마무리 : 에너지가기술을통과해흐르는속도 Google I/O 2017 by Eric Chaisson NVIDIA Volta 63
Thank You.