PowerPoint 프레젠테이션

Size: px

Start display at page:

Download "PowerPoint 프레젠테이션"

영옥 소봉
6 years ago
Views:

2 Large-scale data 개요기계학습기반자료분석기술교통분석에기계학습적용사례 1 CNN 을활용한대중교통수요예측 2 RNN 을활용한공로통행속도예측 3 DQN 을이용한최적교통신호제어 4 시연

3 Large-Scale Data 기술요소 전수자료 이력자료누적 ( 자료를지우지않음 ) Hadoop HDFS MapReduce 병렬 DBMS 통계기술 데이터마이닝 시각화기술 기계학습 ( 인공지능 ) ( 기존방식 ) 1 TB 디스크 : 6 만원 1 GB RAM : 1 만원 가격하락추세 하둡 (Hadoop), 테라데이터, Aster 데이터 이미시장에많은제품출시상태 사용방법은계속쉬워짐

4 Large-scale data 개요기계학습기반자료분석기술교통분석에기계학습적용사례 1 CNN 을활용한대중교통수요예측 2 RNN 을활용한공로통행속도예측 3 DQN 을이용한최적교통신호제어 4 시연

5 기계학습의교통분석도구로서의가능성 U E S U E Maximum utility Cost minimization Data itself reveals everything!

6 교통분석에활용하는기계학습 자료 : D. Siver

7 첨단기술의생애주기

8 Deep Learning 생애주기의이변 자료 : Microsoft 자료 : Google

9 Deep Learning 기반모형 : Artificial Neural Network (ANN) 개요 x 0 =1 Bias unit Input Weights x 1 θ 1 θ 0 Output x 2 θ 2 x 3 θ 3 Input wires Sigmoid (logistic) activation function. Tanh(), Relu(), MaxOut() h θ x = e θt x

10 Deep Learning 기반모형 : Artificial Neural Network (ANN) 개요 x 0 a 0 (2) activation of unit in layer x 1 x 2 x 3 a 1 (2) a 2 (2) a 3 (2) matrix of weights controlling fun ction mapping from layer to la yer If network has units in layer, units in layer, then will be of dimension 자료 : A. Ng

11 Deep Neural Network (DNN) 탄생배경 R B M Hidden D B N DBN = 다층 RBM 구조 Visible 구조 비지도형기계학습을이용한 Pre-training 으로해결 [Deep Belief Network (DBN)] 자료 : J. Hinton 미니뱃치그래디언트 (SGD) + 분산처리 or 병렬처리 (GPU: Graphics Processing Unit) 자료 : A. Ng

12 Deep Neural Network (DNN) 성공요인 Pre-training (Deep Belief Network) Big Data Parallel Computing Stochastic Gradient Descent (SGD) Algorithm Powerful activation function (Relu) Drop-out technology HogWild (Lock-free parallelizing) GPU 등 Vanishing gradient problem 해결 Ad-hoc approaches 최근 DNN 추세 : RNN(LSTM,GRU), CNN, CNN+RNN, RL+CNN

13 Large-scale data 개요기계학습기반자료분석기술교통분석에기계학습적용사례 1 CNN 을활용한대중교통수요예측 2 RNN 을활용한공로통행속도예측 3 DQN 을이용한최적교통신호제어 4 시연

14 주요교통분석과제에대한기계학습적용방법론 입력자료방법론 (Methodology) 출력자료 실시간교차로 현황동영상프레임 실시간최적화된 교차로현시

15 DNN 기반통행수요추정방법의한계 기존통행수요예측 DNN 을활용한통행수요예측시도 통행수요 Stop-to-stop-level model Wide and Shallow Stop-level model Narrow and Deep

새로운 Deep learning 방법모색 CNN(Convolutional Neural

CNN 은기존의인공신경망 (Neural Networks) 과매우유사한구조를가지고있음

( 텐서 ) 를이용, 다시다차원의은닉층 (hidden layer) 생성 CONV, RELU,

레이어를통해최종결과값계산 Stop-Level 에서기존 DNN 방법으로입력변수를 9790x1

9790x9790 = 약 9500 만개 그러나 9790 개의입력변수를 178x1x55

= 165 개 * 주 : CS231n Convolutional Neural Networks

16 새로운 Deep learning 방법모색 CNN(Convolutional Neural Networks) 기존 DNN 과의비교 자료 : Wikipedia 자료 : Google CNN 은기존의인공신경망 (Neural Networks) 과매우유사한구조를가지고있음 Single Vector 를입력변수로사용했던 DNN 과는달리 CNN 은다차원으로구성된입력변수 ( 텐서 ) 를이용, 다시다차원의은닉층 (hidden layer) 생성 CONV, RELU, POOL 등다양한레이어로구성된연산후최종적으로 Fully Connected 레이어를통해최종결과값계산 Stop-Level 에서기존 DNN 방법으로입력변수를 9790x1 의단일벡터로설정할경우, 첫번째히든레이어로갈때필요한 weight parameter 는 9790x9790 = 약 9500 만개 그러나 9790 개의입력변수를 178x1x55 의텐서로변환하여입력할경우첫번째히든레이어로갈때필요한 weight parameter 는 55x3 = 165 개 * 주 : CS231n Convolutional Neural Networks for Visual Recognition,

다양한데이터를통한 Activity & Supply 입력변수설정 Activity Input ( 활동변수 ) 총 Sample 수 : 26551 노선별최대정류장수 178 29가지특성변수 용도별토지이용특성 (250m 영향권내 ) 노선정류장주거면적 ( m2 ) 업무면적 ( m2 ) 상업면적 ( m2 ) 기타면적 ( m2 ) A-101 1022.1 94.1 501.

17 다양한데이터를통한 Activity & Supply 입력변수설정 Activity Input ( 활동변수 ) 총 Sample 수 : 노선별최대정류장수 가지특성변수 용도별토지이용특성 (250m 영향권내 ) 노선정류장주거면적 ( m2 ) 업무면적 ( m2 ) 상업면적 ( m2 ) 기타면적 ( m2 ) A A A A Supply Input ( 공급변수 ) 총 Sample 수 : 노선별최대정류장수 178 노선정류장 배차빈도 (/ 시간 ) 26 가지특성변수 버스노선공급특성 환승가능노선수 인근지하철유무 환승노선배차빈도 A A A A

18 CNN 기법을이용한수요모형정교화 Activity Supply

19 현재연구진행상황및계획 CNN model Training Test set 을통한모델검정 CNN 예측수요 실제관측수요

향후추가입력데이터계획 통신데이터 (Call Detail Record Data) 서울시 CDR 자료

자료를이용하여교통수요의발생이예측되는지점을분석할수있음 강남구전일통화량자료 ( 전일 )

건축물의에너지소비량 (Energy consumption) 은건축물의이용자수와비례한다고가정하여,

맨해튼의금융중심지인남부지역역시많은양의에너지를소비함 *Mail Online, Ever wondered

20 향후추가입력데이터계획 통신데이터 (Call Detail Record Data) 서울시 CDR 자료 통신사의 CDR(Call Detail Record) 자료를이용하여교통수요의발생이예측되는지점을분석할수있음 강남구전일통화량자료 ( 전일 ) 에너지소비량데이터 (Energy Consumption Data) 서울시건축물별에너지소비량자료 건축물의에너지소비량 (Energy consumption) 은건축물의이용자수와비례한다고가정하여, 교통수요의발생의한요인이라고할수있음 뉴욕시연간건축물별에너지사용량 뉴욕시전체의건축물별에너지소비량 과천시전일통화량자료 ( 전일 ) 자료 : 국토연구원 뉴욕시에서가장많은에너지소비량을가진맨해튼북동부지역및북서부지역 맨해튼의금융중심지인남부지역역시많은양의에너지를소비함 *Mail Online, Ever wondered what your neighbor bills are? Incredible map shows energy use for EVERY building in New York City, 공공 민간을아우르는다양한소유기관이제공하는자료를통해딥러닝알고리즘정교화가능성향상

공로통행속도예측에있어 RNN 모형의효용 기존링크통행속도추정방법론의공간적ㆍ시간적한계 고밀공로네트워크에적용가능한공간적ㆍ시간적확장 시간 공간 시간 공간 도시가로망 도시가로망 Traffic probe data 를통한 big data 확보가능 RNN Deep-learning 기법을통한예측기술향상 연구가능배경 GPS Satellite

21 공로통행속도예측에있어 RNN 모형의효용 기존링크통행속도추정방법론의공간적ㆍ시간적한계 고밀공로네트워크에적용가능한공간적ㆍ시간적확장 시간 공간 시간 공간 도시가로망 도시가로망 Traffic probe data 를통한 big data 확보가능 RNN Deep-learning 기법을통한예측기술향상 연구가능배경 GPS Satellite Probe Vehicle GPS Data Transmission Probe vehicle Information Probe Data Processor 과거및현재상태를기반으로미래상태를예측하는 Neural network 시계열데이터의시공간적상관을처리하는데효과적인 Deep learning기법 시ㆍ공간적상관을고려한다중링크의통행속도예측

도시부가로의통행속도데이터확보 Traffic probe data 확보 Data 개요 GPS Satellite Probe vehicle Information GPS Data Transmission Probe Vehicle Probe Data Processor 차량의 GPS 가주행한도로의정보 (GPS 좌표, 이동시간 ) 를취합해기지국으로전송 UTIS(

22 도시부가로의통행속도데이터확보 Traffic probe data 확보 Data 개요 GPS Satellite Probe vehicle Information GPS Data Transmission Probe Vehicle Probe Data Processor 차량의 GPS 가주행한도로의정보 (GPS 좌표, 이동시간 ) 를취합해기지국으로전송 UTIS( 도시교통정보시스템 ) 은서울시전역의링크에대해 5분단위로통행속도를수집 연구의 범위 시간적범위 도로교통량조사에서사용되는 10 월을포함하여기간을선택 UTIS 의 taxi probe data 2015 년 9,10,11 월세달동안의통행속도데이터확보 공간적범위 서울시전역의링크중교통량이많은주요링크 1400 개선별. 한층의 INPUT 은 500 분으로입력 (5 분 *100=500 분 )

23 TYPICAL RNN NETWORK MODEL o 자료 : D. Britz o t-1 o t o t+1 S V U x W unfold W V V S t-1 W S t V W U U U x t-1 x t x t+1 S t+1 W x t : Input at time step t S t : hidden state at time step t S t = f (U xt +W st-1 ) o t : output at time step t o t = softmax (V st ) 자연어처리에서의 RNN 뛰어난성능 문법체크성능자동문장구현성능 자동번역기에적용되어다양하게사용되고있다. RNN shares the same parameters(u, V, W). S t typically cannot capture information from too many times steps ago. Vanishing gradient problem 바로앞단어가아니더라도받는영향을계산할수있다. A MAN WHO WANTS TO RUN FAST OFTEN PURCHASES 주 * : LAR S EIDNES BLOG AUTO-GENERATING CLICKBAIT WITH RECURRENT NEURAL NETWORKS

Britz x t Hidden state s t RNN의 Vanishing gradient problem을극복한 LSTM 모델 LSTM(Long Short Term Model) 은현재자연어처리를위한 Deep-learning 모형중최고성능기록 Hidden

24 RNN_LSTM Vanishing gradient problem 극복을위한 gating model 적용 LSTM GATING i LSTM NETWORKS ㆍㆍㆍ f ~ C LSTM S t-1 S t+1 unit C o i = σ( x t U i + S t-1 W i ) f = σ( x t U f + S t-1 W f ) o = σ( x t U o + S t-1 W o ) g = tanh ( x t U g + S t-1 W g ) c = c t-1 f + g i s t = tanh (c t o) IN OUT 자료 : D. Britz x t Hidden state s t RNN의 Vanishing gradient problem을극복한 LSTM 모델 LSTM(Long Short Term Model) 은현재자연어처리를위한 Deep-learning 모형중최고성능기록 Hidden state를새로운방법으로계산할수있는 Layer역할을하는 Gating Model을사용하여정보를선별하여 RNN 단점을극복 *WildML RECURRENT NEURAL NETWORK TUTORIAL, PART4-IMPLEMENTING A GRU/LSTM RNN WITH PYTHON AND THEANO

LSTM model 설정 RNN model 을적용한올림픽대로상행링크단기통행속도예측 Input data Selceted links No.

11 올림픽대로상행 20 15(min) 12 30 분후 training : test Hidden node Activation layer Dropout

25 LSTM model 설정 RNN model 을적용한올림픽대로상행링크단기통행속도예측 Input data Selceted links No. of links Aggregation N_prev 예측 ~ 올림픽대로상행 20 15(min) 분후 training : test Hidden node Activation layer Dropout Batch size N_epoch Validation_ split 9:1 600 개 Sigmoid Predicted Observed Predicted vs. Observed 향후연구진행계획 GATING MODEL 의다변화신뢰성있는권역분석최적시간 ( 행 ) 개수검증 INPUT, OUTPUT, FORGET Gate 외에모델성능을향상시킬수있는 Gate 발굴이필요 링크속도를효과적으로추정할수있도록권역의사이즈를달리하여추정의신뢰성을확보할수있는권역의크기를파악 각각의 model 설정을다르게하며 training 하여최적의시간개수를결정

위그림과같이검지기데이터와카메라를통해서수집된이미지를이용하여교통특성 ( 점유율 (Occupancy), 대기행렬 (Queue), 교통량 (Vehicle counts)) 을계산한뒤,

26 기존강화학습 (Reinforcement learning) 적용의한계 자료 : D. Silver Environment * 이미지출처 : 구글이미지 강화학습 (RL: Reinforcement learning) 을이용한교통신호제어에관한연구는활발히이루어져왔음 위그림과같이검지기데이터와카메라를통해서수집된이미지를이용하여교통특성 ( 점유율 (Occupancy), 대기행렬 (Queue), 교통량 (Vehicle counts)) 을계산한뒤, 이를강화학습을이용하여시뮬레이션하는방법론을사용 그결과로시간에따른평균지체시간 (Average delay) 을얻을수있으며, 평균지체시간을 reward로설정하고최적화방법이사용됨 실시간으로변화하는교차로의교통상황을제한된수의변수로변환하고교통상태를대표하는방법은한계가있음 교차로교통상태는대기행렬, 교통량, 속도, 지체, 정지수등이아닌 교차로가운영되고있는영상자체

DQN 을이용한 AI 가인간을뛰어넘는결과를보여주었음 이두가지 AI 는모두이미지자체를상태변수로하고누적보상 (Reward) 을최대화하는 DQN 기반의강화학습을적용함 알파고의경우,

27 DQN(Deep Q-Network) 의등장과적용사례 인공지능바둑 (AlphaGo) 아타리블록깨기 (Atari block game) * 이미지출처 : 구글이미지 딥러닝 (Deep learning) 과강화학습 (Reinforcement learning) 을접목한 DQN(Deep Q-Network) 을이용한기계학습 방법론이최근인공지능의대세 알파고, 블록깨기 (Atari break) 게임에서도 DQN 을이용한 AI 가인간을뛰어넘는결과를보여주었음 이두가지 AI 는모두이미지자체를상태변수로하고누적보상 (Reward) 을최대화하는 DQN 기반의강화학습을적용함 알파고의경우, 바둑판의격자에흑돌또는백돌이놓여져있는화면을입력변수로하였음 아타리블록깨기의경우, 블록이남아있는화면자체를입력변수로하여최고의점수를도출하는결과를보여줌 게임의방법또는룰은절대입력하지않았고게임상태 ( 화면 ) 가그대로입력되었을뿐

28 게임과교통제어의비교 비디오게임에적용된 DQN(Deep Q-Network) 주체 (Agent) 교차로신호제어에적용된 DQN(Deep Q-Network) 주체 (Agent) State Action State Action Reward ( 점수 ) Reward ( 소통원활, 정체 ) 자료 : Google DeepMind 환경 (Environment) 환경 (Environment) 교통현상을이론 ( 수학, 물리 ) 으로풀려고하는무모함을버린다면 모의실험으로충분히검증후 실제현장실험필요

강화학습 (AI) 기반의교통제어시스템 AI = RL + Deep Learning 인간의감각을묘사할수있는 Deep Neural Network 딥러닝대표모형 : CNN(Convolutional Neural Network) Stack of 4 previous frames Convolutional layer of ReLu Convolutional layer of

29 강화학습 (AI) 기반의교통제어시스템 AI = RL + Deep Learning 인간의감각을묘사할수있는 Deep Neural Network 딥러닝대표모형 : CNN(Convolutional Neural Network) Stack of 4 previous frames Convolutional layer of ReLu Convolutional layer of ReLu Fully-connected linear output layer 주체 (Agent) Fully-connected layer of ReLu State Action 256 hidden units filters filters 자료 : Mnih et al., Nature 강화학습의기본모형 : MDP(Markov Decision Processes) Reward 환경 (Environment) 현재인공지능은강화학습과딥러닝의융합이대세 정책 (Policy) : π(s) MDP(Markov Decision Processes) 의목적은미래의기대보상을최대화하는최적의정책을찾는것

Fully connected ReLu ReLu ReLu Q(s, a 1, w) Q(s, a 2,

30 최적교통제어관리기술개발에대한 DQN 의적용 교차로 드론 교차로이미지의입력변수화 교차로사진 (Image) 촬영 Convolution Convolution Fully connected Fully connected ReLu ReLu ReLu Q(s, a 1, w) Q(s, a 2, w) Q(s, a 3, w) Q(s, a 4, w) a i which maximize Q(s, a i, w)

31 DQN 을이용한최적교통신호제어시뮬레이션아키텍쳐 Python : RL logic NumPy : Matrix computing WinCom Theano : GPU computing VISSIM : Traffic signal control simulation Keras : Deep learning

32 Large-scale data 개요기계학습기반자료분석기술교통분석에기계학습적용사례 1 CNN 을활용한대중교통수요예측 2 RNN 을활용한공로통행속도예측 3 DQN 을이용한최적교통신호제어 4 시연

<4D6963726F736F667420576F7264202D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5>

<4D6963726F736F667420576F7264202D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5> 주간기술동향 2016. 5.18. 컴퓨터 비전과 인공지능 장혁 한국전자통신연구원 선임연구원 최근 많은 관심을 받고 있는 인공지능(Artificial Intelligence: AI)의 성과는 뇌의 작동 방식과 유사한 딥 러닝의 등장에 기인한 바가 크다. 이미 미국과 유럽 등 AI 선도국에서는 인공지능 연구에서 인간 뇌 이해의 중요성을 인식하고 관련 대형 프로젝트들을