철도궤도결함탐지를위한영역기반및픽셀기반딥러닝기법적용사례 Detection of track defects by region- and pixel-based deep learning approaches 한국철도기술연구원 / 첨단궤도토목본부황성호선임연구원 2015 The MathWorks, Inc. 1
목차 1. 회사및발표자소개 2. 철도및궤도소개 3. 프로젝트개요 4. 연구내용. 영역기반결함탐지. 픽셀기반결함탐지. Network 수정 5. 기술적어려움 6. 향후연구방향 7. MATLAB 에대한소감 2
한국철도기술연구원은? Korea Railroad Research Institute https://www.krri.re.kr - 소속및소재지 : 과학기술정보통신부산하정부출연연구기관 / 경기도의왕 - 임무 : 철도, 대중교통, 물류등공공교통분야의연구개발및성과확산을통해국가및산업계 발전에기여 - 주요기능및역할. 고속철도, 일반철도, 도시철도및경량전철시스템연구개발. 차세대대중교통시스템연구개발. 철도안전, 표준화, 철도정책및물류기술연구개발. 남북철도및대륙철도연계기술연구개발. 철도, 대중교통, 물류등공공교통시스템핵심원천기술연구개발. 중소 중견기업등관련산업계협력 지원및기술사업화등 3
발표자황성호선임연구원은? 이름 : 황성호부서 : 첨단궤도토목본부, 궤도노반연구팀경력 : 2003.07.~ 현재한국철도기술연구원전공 : 토목공학주요연구분야 : 궤도공학, 차량궤도상호작용 E-mail : forever7@krri.re.kr 4
철도란? http://www.hdhy.co.kr/news/articleview.html?idxno=2226 https://hosii.info/1092 https://hadongguk7.tistory.com/165 https://ko.wikipedia.org 5
궤도란? - 궤도의역할 : 차량을직접지지 (support) 정해진길로유도 (guide) - 기본궤도의구성 :. 레일 (rail). 체결장치 (fastener). 침목 (sleeper, tie). 자갈도상 (ballast) Spacing ~ 0.6m f t = 800(KS) ~ 900N/mm²(UIC). 노반 (roadbed) concrete or wood (steel or plastic fo special cases) Modern Railway Track 6
아스팔트도로포장의파손 - 균열 [ 거북등균열 ] [ 단부균열 ] 7
아스팔트도로포장의파손 - 균열 [ 차로와길어깨줄눈균열 ] [ 세로방향균열 ] 8
아스팔트도로포장의파손 - 변형 [ 러팅 ] [ 코러게이션 ] 9
아스팔트도로포장의파손 - 탈리 [ 포트홀 ] [ 박리 ] 10
궤도구성품의파손 - 레일 RailCorp Engineering Manual https://www.picswe.com - Track Surface Defects in Rails [ 레일파단 ] [ 레일스쿼트 ] 11
궤도구성품의파손 - 레일 RailCorp Engineering Manual - Track Surface Defects in Rails [ 레일코러게이션 ] [ 헤드체크 ] RailCorp Engineering Manual - Track Surface Defects in Rails 12
궤도구성품의파손 - 체결장치 https://news.joins.com/article/11227530 http://m.pmnews.co.kr/58496 [ 파손 ] [ 탈락 ] 13
궤도구성품의파손 - 침목 [ 균열 ] [ 침목파손 ] 14
궤도구성품의파손 - 자갈도상 : 침하, 궤도틀림 [ 도상침하 ] [ 궤도틀림 ] 15
궤도유지보수의사결정체계 16
과업개요 - 과업목표 : 궤도결함주 ) 탐지를위한이미지프로세싱 Deep Learning 기법도입및적용 - 과업기간 : 2018. 01. ~ 2020. 12. (3년) - 진행방향 :. Network : 기존 trained network(segnet) 을이용하여 transfer learning 수행. 영역기반결함탐지우선수행 [1]. 픽셀기반결함탐지를통해세부적인결함탐지 [2]. 정확도를높이기위해 Network 수정 [3] - MATLAB 2018b or 2019a의 machine learning 및 deep learning toolbox를이용 주 ) 궤도결함 : 다양한외부환경및열차하중에따라궤도구성품에발생되는결함을의미. 예 ) 레일표면결함, 침목균열및파손, 체결구탈락등 17
SegNet - A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation Vijay Badrubarayanan, Alex Kendall, etc 18
1. 영역기반결함탐지 - input - Bounding Box(BB) - 개체구분 : 나뭇가지, 솔잎 [ 당초이미지 ] [ 영역지정이미지 ] 19
1. 영역기반결함탐지 method - RCNN : selective searching 기법주1) - FCNN : Fast RCNN 주2) 영역기반가속심층학습 - FFCNN : Faster RCNN 주3) 주 1) Girshick, R., et al. Rich feature hierarchies for accurate object detection and semantic segmentation, Proc. IEEE, CVPR, 580-587, 2014. 주 2) Girshick, R. Fast R-CNN, Proc. IEEE ICCV, 1440-1448, 2015. 주 3) Ren, S., et al. Faster R-CNN: Towards real-time object detection with region proposal networks, arxiv:1506.01497, 2016. 20
1. 영역기반결함탐지 결과 [RCNN] [FCNN] [FFCNN] Method RCNN FCNN FFCNN Pr (leaf) 0.04 0.04 0.35 Pr (branch) 0.03 0.0 0.34 21
2. 픽셀기반결함탐지 method - Semantic Segmentation(SS) 주 ). 기존 DCNN 모형에적용한계층구조를적용하여 encoder를구성 pooling 층에대응하는 upsampling 층을도입 decoder 모형을작성하는동시에픽셀단위의 softmax 함수를통해대상물을구분. Decoder는 encoder에서 max pooling 층을사용하여구축한특성맵의해상도를다시향상시키는과정으로이해할수있으며, 이때 pooling층에서사용한인수를기억한후 upsampling 층에서다시사용함으로써원하는특성맵을획득. 따라서균열등과같이길이대비폭이작은대상물의검지에 RCNN 대비상대적으로우월한결과획득가능 주 ) Badrinarayanan, V., et al. SegNet: A deep convolutional encoder-decoder architecture for image segmentation, IEEE Transactions on pattern Analysis and Machine Intelligence, 39(12), pp. 2481-2495, 2017. Garcia-Garcia, A, et al. A review on deep learning techniques applied to semantic segmentation, arxiv:1704.06857, 2017. 22
2. 픽셀기반결함탐지 1 - input [ 당초이미지 ] [ 픽셀지정이미지 ] - 개체구분 : 자갈, 침목, 체결장치, 레일, 나뭇가지, 솔잎 23
2. 픽셀기반결함탐지 1 Image Labeller 24
Polygon Brush digitizer 25
2. 픽셀기반결함탐지 1 - 결과 [ 입력이미지 ] [ 결과이미지 ] Model Leaf Branch Pr IoU Pr IoU SS DCNN 0.96 0.50 0.81 0.48 26
2. 픽셀기반결함탐지 2 [ 입력이미지 ] [ 결과이미지 ] Object avg. Pr IoU Object avg. Pr IoU Ballast 0.99 0.97 Crack 0.76 0.43 Sleeper 0.96 0.94 Branch 0.81 0.53 Rail 0.99 0.96 Stone 0.89 0.69 E-clip 0.99 0.93 Leaf 0.46 0.28 27
3. 정확도향상을위한방안 Kernel size 변화 - Concept ReLU1 ReLU2 BN1 BN2 ReLU1 ReLU2 Conv1 (h w) Conv2 (w h) Pooling BN1 Conv1 (3 3) BN2 Conv2 (3 3) Pooling [Model 1] ReLU1 ReLU2 [SegNet] BN1 Conv1-2 (w h) Conv1-1 (h w) BN2 Conv2-2 (h w) Conv2-1 (w h) Pooling [Model 2] 28
Kernel size 입력 Layer 치환 / 삭제 / 추가 Layer 구성 29
3. 정확도향상을위한방안 Kernel size 변화 - Concept 30
3. 정확도향상을위한방안 결과 [Segnet(2017)] [Model 2] 31
Trouble - 균열검지의어려움. 균열은 bounding box 로 labelling 하기에는실제균열의면적비가작음 Gahyun Suh, Young-Jin Cha, "Deep faster R-CNN-based automated detection and localization of multiple types of damage," Proc. SPIE 10598, Sensors and Smart Structures Technologies for Civil, Mechanical, and Aerospace Systems 2018, 105980T (27 March 2018); doi:10.1117/12.2295954 32
Trouble - 균열검지의어려움. Pixel labelling의경우도 labelling의정밀도에따라결과가달라짐. 균열의경계를찾기가난해 33
34
Trouble - Ground Truth Data 확보의어려움. Bounding Box의경우는 box 지정이용이한편임. Semantic Segmentation은 image labelling 작업이어렵고시간소요가많음. 비록 MATLAB에서제공하는자동 labelling tool이있지만, 아직실효성은낮으며, 균열과같은특이한부분을자동으로해주지못함 Image Labeler App에서 Custom algorithm을넣어서자동화가능 35
36
진행중인연구방향 - 대량의데이터확보. Ground Truth Data 확보가정밀도향상에가장지름길이라판단. Time-consuming한작업이지만균열검지, 균열폭확인을위해서는필요한작업 - Augmentation 을통한정밀도향상. 균열은방향성을가지고있기때문에직사각형 kernel 을사용할경우 augmentation 에따른 정밀도향상을기대할수있음 - Edge detection. 균열폭을검지하기위해서는 edge detection 이필수. how? 37
MATLAB 을활용한 Deep Learning 적용은? - 사용자 interface 우수. Deep learning, Image processing, Machine learning, Statistics 등다양한 toolbox를동시에활용할수있어상호보완적인효과 ex) 기구축된 DB를활용할경우 Label에대한전처리를손쉽게수행가능. Embedded app 을통해사용자편의성고려 ex) Image labeler 를활용하여별도의 image tool 없이도작업가능 (automated tool 등 ) - Trained network 수정용이. 기존의 network 를불러와서 custom layer 를추가하고삭제하는부분이용이 38
경청해주셔서 감사합니다. Q&A 2015 The MathWorks, Inc. 39