Journal of the Korea Academia-Industrial cooperation Society Vol. 13, No. 12 pp. 6098-6104, 2012 http://dx.doi.org/10.5762/kais.2012.13.12.6098 영상처리를이용한철도승강장영역에서의열차상태검지방법 오세찬 1*, 윤용기 1, 백종현 1, 조현정 1 1 한국철도기술연구원광역도시교통연구본부 Train detection in railway platform area using image processing technology Sehchan Oh 1*, Yongki Yoon 1, Jonghyun Baek 1 and Hyunjeong Jo 1 1 Division of Metropolitan Transportation Research Center, Korea Railroad Research Institute 요약현재철도역사의승객위험영역과보안영역등의감시를위해수십대의 CCTV를널리이용하고있다. 그중에서가장빈번한사고가발생되는곳은승객의열차승하차가이루어지는승강장영역이다. 하지만사고예방과신속한대응을위해역무원이여러대의 CCTV를항시모니터링하기는불가능하다. 따라서위험상황을자동으로인지할수있는영상처리기술을이용한승강장모니터링시스템이요구되며, 이를위해서는우선적으로승강장에서의정확한열차상태판단이필요하다. 본논문은비전기반승강장모니터링시스템을위한승강장에서의열차상태에대한검지방법을제안한다. 제안된검지방법은승강장에서의열차점유영역을분석하여열차의진입 (IN), 진출 (OUT), 정지 (ON), 없음 (OFF) 의 4가지생태를판별한다. 제안된검지방법의성능평가을위해서울메트로 4호선동작역과남태령역을대상으로열차상태검지결과를제시하였다. Abstract Currently, dozens of CCTVs are widely used in railway station for monitoring passengers in danger and security areas. The most frequent accidents occur at the platform area where passengers boarding the train. However, It is almost impossible that station operator monitors dozens of CCTV screens and recognizes immediately accidents and handle them. Therefore, railway platform monitoring system using image processing technology which automatically detects platform accidents is needed, and in order to that, preferentially, accurate determination of train state in the platform is required. In the paper, we propose train state detection algorithm for vision based railway platform monitoring system. the proposed algorithm determines four different states i.e. trains approach(in), departure(out), stop(on), and empty(off) of the train, in the platform. To evaluate the proposed algorithm, we present the train detection results for the Seoul Metro Line 4 Dongjak and Namtaeryeong Station Key Words : Railway Platform, Vision based Monitoring System, Image Processing, Trains States 1. 서론 철도승강장에서의승객사고는자칫대형사고로이어질수있으므로이에대한철저한예방과신속한대응이 필요하다. 현재의철도운영기관에서위험영역과보안영역등의감시를위해널리도입하고있는 CCTV는역사내에근무하는역무원에의해서지속적으로모니터링되고있다. 하 * Corresponding Author : Sehchan Oh (Korea Railroad Research Institute) Tel: +82-10-2264-5248 email: soh@krri.re.kr Received September 20, 2012 Revised November 6, 2012 Accepted December 6, 2012 6098
영상처리를이용한철도승강장영역에서의열차상태검지방법 지만하나의역사에설치운영되는 CCTV 개수가수십대에달하며, 이를역무원이항시모니터링하면서사고여부를발견하고위험상황에대해즉각적으로대응하기는거의불가능하다. 이러한문제를해결하기위해최근승강장에서의승객위험상황을영상처리기술을이용하여자동으로감시하는연구가이루어지고있다 [1-10]. 영상처리기술은기존 CCTV 기반의인프라를그대로활용하면서승강장에서발생가능한여러위험상황을자동으로검지할수있는장점이있다. 하지만이를위해서는승강장에서의정확한열차상태판별이우선적으로이루어져야한다. 본논문은비전기반승강장모니터링시스템을위한승강장에서의열차상태검지알고리즘을제안한다. 제안된검지알고리즘은승강장에서의열차점유영역을분석하여열차의진입 (IN), 진출 (OUT), 정지 (ON), 없음 (OFF) 에대한 4가지상태를판별한다. 제안된알고리즘의성능평가를위해서울메트로 4호선동작역과남태령역승강장을대상으로열차검지를수행하였다. 2. 영상처리기술을이용한철도승강장열차상태검지 [Fig. 1] Train states by platform camera; train approach, Train stop, Train departure 열차상태검지를위해서는각각의카메라에대한감시영역을정한다음그영역내에서다시열차영역을설정한다. 열차영역내에서의일정임계치이상의밝기변화를가지고열차의움직임을판별한다. 본논문에서제한하는열차상태판별은그림 2와같은일련의과정을통해진행된다. 승강장감시영역내에서의위험상황을판단하기위해서는우선열차의현재상태를정확하게판별해야한다. 승강장에서의열차의상태는크게열차가진입하는상태 (IN), 승객의승하차를위해정차하는상태 (STOP), 다음역을향하여진출하는상태 (OUT) 그리고진출이후에완전히열차가없는상태 (OFF) 로구분할수있다. 국내도실철도승강장의경우최대 200m 까지길이를가지고있으므로하나의카메라를통해전체영역을감시하기는불가능하다. 따라서여러대의카메라를이용하여검지영역을분할하여야한다. 그림 1은승강장에열차의진입, 정차, 진출에따른각카메라검지영역에서의열차상태를나타낸다. Frame Acquisition Frame Partition Frame Difference Threshold Labeling Merging Projection Train Detection [Fig. 2] Determination procedure for train movements 카메라를통해영상프레임을획득한다음프레임에서의열차영역에해당하는밝기변화계산하기위해이전 6099
한국산학기술학회논문지제 13 권제 12 호, 2012 프레임의열차영역과비교한다. 비교한결과가어느특정임계치이상인경우일단열차의움직임으로간주한다. 이후 Labeling과 Merging 과정을통해일정크기이하의작은영역을노이즈로간주하여제거하고남은영역을합병함으로써열차움직임영역을검출한다. 열차움직임영역으로부터열차를최종판별하기위해서는프로젝션기법을이용하며, 프로젝션되어진차분값픽셀들이열차영역에포함되어있고폭이열차영역폭의 40% 이상이고높이가열차영역높이의 60% 이상인경우열차의움직임으로최종판별한다. 하지만비록높이가열차영역높이의 60% 이하더라도프레임상단에서발견된경우에는열차의움직임으로판단한다. 열차의움직임영역으로부터열차상태및상태전이는다음과같이수행한다. OFF - IN 상태전이열차영역내에큰움직임이연속으로 5프레임이상발생한경우 IN - ON 상태전이열차영역내에큰움직임이연속으로 5프레임이상발생되지않은경우 ON - OUT 상태전이열차영역내에큰움직임이연속으로 5프레임이상발생한경우 OUT - OFF 상태전이열차영역내에큰움직임이연속으로 5프레임이상발생되지않은경우 화하여영상을수집하였으며지상역인성내역의경우승강장내에서낮시간대와저녁시간대조도의변화에따른영향을분석하기위해각각영상을수집하였다. [Fig. 3] Camera Installation; Dongjak station, Namtaeryeong Station 3.2 검지영역의설정 카메라가설치되어있는승강장의구조와형태에따라검지영역을다르게설정하여야한다. 검지영역은크게열차의움직임이발생되는영역과승객의선로추락과같은위험상황이발생되는영역으로구분할수있다. 아래그림 4는동작역과남태령역에설치된카메라영상에설정된열차영역과승객위험영역을보여준다. 열차움직임영역은파란색테두리의영역이며, 승객위험영역은빨간색테두리의영역이다. 열차영역내에서발생되는다양한노이즈, 예를들어열차의헤드라이트, 승강장조명, 그림자등을제거하기위해 Labeling과 Merging을통해열차의움직임으로추정되는프레임이연속하여 5프레임이상발생되는경우를최종열차의움직임으로판단한다. 3. 실험및분석 3.1 실험환경승강장에서의열차상태판별알고리즘을검증하기위해서울메트로 4호선지상역사인동작역과지하역사인남태령역에그림 3과같이카메라를제작설치하여열차운행영상을획득하였다. 승강장의혼잡시간대와비혼잡시간대에영상을녹 [Fig. 4] Setting of detection areas 6100
영상처리를이용한철도승강장영역에서의열차상태검지방법 3.3 열차움직임판별획득된영상을기반으로열차움직임영역내에서의실제열차움직임판별하는결과는그림 5에제시하였다. 이전프레임과의차영상값은그림 5 에제시되었으며, 일정임계치이상의값은그림 5 에제시하였다. 각각의영역에대한 Labeling한결과는그림 5 에, 이들영역을 Merging 한결과는그림 5 에제시하였다. 프로젝션되어진차분값픽셀들이열차영역에포함되어있고그폭이열차영역의 40% 이상, 높이가 60% 이상일때열차가존재하는영역으로최종판단한다. 그림 6 의경우아직열차의움직임으로판별되지않은경우이며, 열차가더진입하는경우열차가존재함으로인식하게된다. 3.4 열차상태전이판별그림 7은지상역사인동작역을대상으로열차상태전이에대한결과값을보여준다. 그림 7 는열차의 OFF 모드에서 IN 모드로의상태전이결과를보여주며, 그림 7 는 IN 모드에서 ON 모드로의상태전이결과를보여준다. 그림 7 는 ON모드에서 OUT 모드로의상태전이를, 그림7 는 OUT 모드에서 OFF모드로의상태전이결과를보여준다. [Fig 5] Determination of train movements; Frame Difference, Thresholding, Labeling, Merging 또한움직임정보가존재하는경우열차의움직임인지아니면보행자의움직임인지를판단하기위해그림 6과같은프로젝션기법을이용하였다. 그림 6 의 Frame Difference 결과승객에해당하는차분값은그림 6 와같이파란색열차움직임영역밖으로프로젝션되어열차의움직임과는구분이가능함을볼수있다. [Fig. 6] Determination of train movements using projection; Original image; Difference values over threshold, Merging result, Projection result 6101
한국산학기술학회논문지 제13권 제12호, 2012 그림 7에서와 같이 제안된 열차상태 검지 알고리즘을 통해 동작역에서의 승강장 진출입 열차의 상태전이를 정 확하게 검지함을 확인하였다. 그림 8은 서울메트로 지하역사인 남태령역을 대상으 로 열차 상태전이에 대한 결과 값을 보여준다. 그림 8, 8는 각각 열차의 OFF 모드에서 IN 모드, IN 모드에서 ON 모드로의 상태전이 결과를 보여주며, 그림 8, 8 는 각각 ON모드에서 OUT 모드, OUT 모드에서 OFF 모 드의 상태전이를 보여준다. [Fig. 7] Transition of train state at platform of Dongjak Station; OFF-IN transition, IN-ON transition, ON-OUT transition, OUT-OFF transition 6102
영상처리를이용한철도승강장영역에서의열차상태검지방법 4. 결론 본논문은비전기반승강장모니터링시스템을위한열차상태판별알고리즘을제안한다. 제안된알고리즘은카메라검지영역을열차영역과승객위험영역으로구분하고열차영역내에임계치이상의움직임을열차의움직임으로간주하여승강장에서의열차의 4가지상태를검지한다. 제안된알고리즘의평가를위해서울메트로 2호선의지상역사인동작역과지하역사인남태령역에카메라를설치하여혼잡 / 비혼잡시간, 낮 / 밤시간대와같이다양한시간대에영상을획득하였으며, 제안된알고리즘을통해승강장에서의열차의상태및상태전이를정확하게판별가능함을확인하였다. 제안된열차상태검지알고리즘은향후비전기반모니터링시스템의위험상황검지알고리즘개발에중요한역할을할것으로기대된다. References [Fig. 8] Transition of train state at platform of Namtaeyeong Station; OFF-IN transition, IN-ON transition, ON-OUT transition, OUT-OFF transition 그림 8의결과에서볼수있듯이, 제안된열차상태판별알고리즘이남태령역사의승강장에서도열차의 OFF, IN, ON, OUT의 4가지상태를정확하게판별할수있음을알수있다. [1] I.Yoda, K.Sakaue. Ubiquitous Stereo Vision for Controlling Safety on Platforms in Railroad Station, IEEJ Tr. on Electronics, Information and Systems, Vol. 124, No. 3, Mar., pp.805-811, 2004, Article(CrossRefLink) [2] F.Kruse, S.Milch, H.Rohling. Multi Sensor System for ObstacleDetection in Train Applications, Proc. of IEEE Tr., June, pp.42-46, 2003. [3] Sehchan Oh, Sunghuk Park, Changmu Lee, "Multi Sensor System for ObstacleDetection in Train Applications," ICEE, 2007. [4] Sehchan Oh, Sunghuk Park, Changmu Lee, "A Platform Suveillance Monitoring System using Image Processing for Passenger Safety in Railway Station," ICCAS, 2007, Article(CrossRefLink) [5] Y.Sasaki, N.Hiura. Development of Image Processing Type Fallen Passenger Detecting System, JR-EAST Technical Review Special Edition Paper, No. 2, pp.66-72, 2003. [6] J. Vhzquez, M. Mao, "Detection of moving objects in railway using vision," IEEE Intelligent Vehicles Symposium University of Parma, Parma, Italy Jun. 1447, 2004, Article(CrossRefLink) [7] N. Paragios and V. Ramesh. An MRF-based approach for real-time subway monitoring. In IEEE Conference 6103
한국산학기술학회논문지제 13 권제 12 호, 2012 on Computer Vision and Pattern Recognition, 2001, Article(CrossRefLink) [8] I.Yoda, "Image processing technology for advanced safety to people in railroad transportation - For railroad crossing and station platform," IPSJ Magazine Vol.48, No.1, pp.10-16, Jan. 2007. [9] I.Yoda, D. Hosotani, and K. Sakaue, "Multi-point Stereo Camera System for Controlling Safety at Railroad Crossings," Proc. of the IEEE International Conference on Computer Vision Systems, 2006, Article(CrossRefLink) [10] Shigeki Sugimoto, Hayato Tateda, Hidekazu Takahashi, Masatoshi Okutomi, "Obstacle Detection Using Millimeter-Wave Radar and Its Visualization on Image Sequence," icpr, pp. 342-345, 17th International Conference on Pattern Recognition (ICPR'04) - Volume 3, 2004, Article(CrossRefLink) 백종현 (Jong-Hyen Baek) [ 정회원 ] 1995 년 2 월 : 전북대학교제어계측공학과학사 1997 년 2 월 : 광주과학기술원메카트로닉스공학과석사 2009 년 8 월 : 전북대학교메카트로닉스공학과박사 1997 년 1 월 ~ 현재 : 한국철도기술연구원열차제어통신연구실선임연구원 현대제어, 지능형시스템, 시스템엔지니어링 오세찬 (Sehchan Oh) [ 정회원 ] 2002 년 2 월 : 강원대학교정보통신공학과학사 2004 년 8 월 : 광주과학기술원정보통신공학과석사 2004 년 11 월 ~ 현재 : 한국철도기술연구원무선통신열차제어연구단선임연구원 조현정 (Hyun-Jeong Jo) [ 정회원 ] 2003 년 2 월 : 한국항공대학교항공전자공학과 ( 공학학사 ) 2005 년 2 월 : 광주과학기술원정보통신공학과 ( 공학석사 ) 2005 년 ~ 현재 : 한국철도기술연구원선임연구원 Train Control System, Communication Network 열차제어및정보통신기술, 철도 S/W 테스팅기술 윤용기 (Yongki Yoon) [ 정회원 ] 1994 년 2 월 : 충북대학교전기공학학사 1996 년 2 월 : 충북대학교전기공학석사 2005 년 3 월 ~ 현재 : 한양대학교제어공학박사수료 2002 년 3 월 ~ 현재 : 한국철도기술연구원무선통신열차제어연구단선임연구원 자동제어, 제어계측, 열차제어 6104