장시웅 * 서상욱 ** Global Positioning Function of Around-View Monitoring System based on Car PC Si-woong Jang* Sang-uk Seo** 이논문은 2012 학년도동의대학교교내연구비에의해작성되었음 ( 과제번호 : 2012AA091) 요 약 최근자동차산업의활성화로운전자보조시스템에연구가많이이루어지고있으며, 그중 AVM 시스템 (Around View Monitoring System) 에대한연구및개발이활발해지고있다. 기존 AVM 시스템은차량주변상황을실시간으로제공하기위해임베디드시스템또는 SoC(System on Chip) 의형태로개발되었다. 그러나 Car PC 가차량에장착되어있으면 AVM 시스템을추가의비용이없이소프트웨어만으로시스템을개발할수있다. 본연구에서는 Car PC 기반의 AVM 시스템기능에위치정보기능인위도, 경도, 속도기능을추가하여위치정보를제공하는 AVM 시스템을구현하였다. 본연구에서구현한위치정보를제공하는 AVM 시스템에저장기능을추가하면 AVM 블랙박스시스템으로활용될수있다. ABSTRACT In recent, the researches on driver assistance systems have been actively performed with development of vehicle industry. AVM(Around View Monitoring) Systems, a part of these systems, have been researching and developing. Existing AVM systems have been developed in the forms of embedded systems or a SoC (System on Chip) to provide view around vehicle in real time. However, if Car PC is equipped with in vehicle, AVM can be developed using only software without additional cost. In this study, we implemented AVM system which provides location information by adding the informations such as latitude, longitude and speed to functions of "Car PC" based AVM system. If storing function is added to the AVM system implemented in this study which provides location information, the system with storing function can be used as AVM black box system. 키워드어라운드뷰, GPS, 블랙박스, 운전자보조시스템, Car PC Key word Around View, GPS, Black Box, Driver Assitant System, Car PC ** 종신회원 : 동의대학교컴퓨터과학과교수 (swjang@deu.ac.kr) ** 준회원 : 동의대학교 IT 융합학과석사과정 접수일자 : 2012. 10. 05 심사완료일자 : 2012. 10. 25 Open Access http://dx.doi.org/10.6109/jkiice.2012.16.11.2532 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li censes/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Ⅰ. 서론최근자동차산업의활성화로인해교통사고급증이사회문제화되면서사고를미연에방지할수있는운전자보조시스템에대한연구가활발하게이루어지고있다. 차량내지능형전자장치는운전자가주행하는데도움을주는안전운전시스템과차량내에서즐길수있는시스템으로구분할수있는데최근안전운전을위한시스템의개발이가속화되고있다. 그중에운전자보조시스템은운전시차량사고를최소화시킬뿐만아니라운전자의편의까지제공하는시스템이다 [1]. 운전자보조시스템의하나인 AVM(Around View Monitoring) 시스템은여러대의카메라를장착하여차량주변상황을운전자에게영상으로제공하기위해최근활발히연구되고있는시스템이다. 독일과일본의여러자동차회사는이미제품으로개발하여출시하고있다. 최근에는여러대의카메라를장착하여운전자에게하늘위에서보는것같은 Bird's Eye View를제공하는시스템들이주류를이루고있다 [2]. 그러나, 이들제품들은실시간으로영상을보여주는기능을제공하지만블랙박스와같은영상저장기능은제공하고있지않은상태이다. 본논문에서는 AVM의장점과블랙박스의장점을접목시켜사각지대가없는영상을저장할수있는 AVM 시스템을개발하는데필요한위도, 경도, 속도등의위치정보기능을기존의 AVM시스템의기능에추가하여 Viewer에서확인할수있는 AVM 시스템을구현한다. 본논문의 2장에서는 AVM 시스템및블랙박스관련연구에대해설명하고 3장에서는시스템설계, 4장에서는결과및고찰, 5장에서는결론을맺는다. Ⅱ. 관련연구 2장에서는 AVM 시스템및블랙박스관련연구에대해설명한다. 황을사각지대없이제공하기위해차량의앞그릴아래, 뒤번호판위, 그리고좌우사이드미러밑등의위치에광각 (180 ) 카메라를장착하여구성한다. 그림 1은 AVM 시스템을위해장착한카메라위치를보여준다 [3]. 그림 1. AVM 시스템의카메라위치 Fig. 1 Camera position of AVM system 그림 1과같이차량의앞그릴아래, 뒤번호판위, 그리고좌우사이드미러밑에카메라가각각 1개씩총 4개가탑재되어있다. 주차시차량의앞뒤와양옆의 360도상황을마치위에서내려다보듯내부모니터를통해장애물뿐만아니라예상하지못했던장애물까지실시간으로보여주는시스템이다 [4, 5]. AVM 시스템에대한문헌적인연구로는 [7-12] 가있다. [7,8] 은원근감을제거하기위해소프트웨어 / 하드웨어의합동적인구현방법을설명하였다. [9] 는비용효율적인 Bird's Eye View를구현하기위해 FPGA나 ASIC에기반한방법을제안한다. [10] 은카메라들의이미지를정합하는과정에서카메라내부적인파라미터와외부적인파라미터의최적화문제에대해다루었다 [11] 은다중카메라들사이의오버랩되는부분에대해어떤카 메라의영상을출력시킬것인지에결정하기위해동적인영역결정알고리즘을제시한다. [12] 에서는 SoC와 FPGA를이용해서 Wraparound 뷰시스템을구성하는방법에대해기술한다. 그러나, 이상의 AVM 시스템에서는블랙박스와의결합에대해고려하지않았다. 2.1. AVM시스템현재출시되고있는 AVM 시스템은 Nissan의 Around View Monitor System, Fujitsu의 360 Surroundings Monitoring System, Honda의 Multi-View Camera System, Volvo의 BLIS System 등이있다. AVM 시스템은차량주변의상 2.2. 블랙박스오늘날에는항공기뿐아니라자동차에도블랙박스가많이설치되어사용된다. 차량용블랙박스는 EDR (Event Data Recorder) 이라고부르기도하는데, 주로카메라형식의제품이많다. 차량내부의룸미러근처나대 2533
한국정보통신학회논문지제 16 권제 11 호 시보드위에주로설치하며, 차량전방의영상을촬영하여동영상으로기록, 교통사고발생시시시비비가리는데주로사용한다. 제품에따라서는 2대이상의카메라를설치하며전면뿐아니라후면, 측면도동시에촬영하는경우도있으며, 불특정다수가이용하는택시나버스같은차량의경우에는음성을녹음하면서차량내부까지촬영하는블랙박스를설치하기도한다. 그외에도충돌에관계없이주행중에상시촬영을하는제품, 차량의갑작스러운움직임을감지하여충돌순간만을촬영하는제품, 혹은주차시에만작동하는제품등이있으며위와같은기능중여러가지를동시에갖추고있는경우도많다. 그외에도내비게이션이나하이패스와기능을함께가진일체형블랙박스도있다 [6]. Ⅲ. 시스템설계 3장에서는시스템구조및시스템설계를설명한다. 3.1. 시스템구조 CarPC 기반어라운드뷰시스템에서위치정보를제공하기위해서는그림 3과같은구성요소가필요하다. 전 후 좌 우영상을받아오기위해서는카메라 4대가필요하고, 카메라로부터받아온영상을 4채널로보내기위해서는 Frame Grabber가필요하다. Car PC는영상왜곡보정, 호모그래피및영상정합을수행하는데사용된다. USB형 GPS는위치정보를받아오고, 또 display는 AVM 영상을보기위해필요하다. 그림 2. 블랙박스시스템 Fig. 2 Black box system 그림 2와같이운전자가별도로장착하는경우외에자동차제조사에서최초부터블랙박스를장착하기도한다. 이때는페달 ( 액셀레이터, 브레이크 ) 이나스티어링휠 ( 핸들 ) 의조작여부, 차량의속도, 안전벨트의상태등이기록되므로보다체계적이고정확하게사고경위조사가가능하다. 차량용블랙박스의보급률이높은미국과유럽에서는이러한형식의블랙박스가많이쓰인다. 주행중언제든녹화가진행되는상시모드와사고시전후 30초의상황을기록하는충격모드, 주차테러에대비해충격시역시전후 30초가량을녹화하는주차모드, 수동으로녹화를조작하는수동모드등이있다. EDR는사고당시영상을기록할뿐아니라사고당시의차량운행속도와조향각도, 브레이크작동여부등자동차운행데이터를모두기록한다. 여기에사고발생시긴급구호송출과내비게이션 하이패스등운전자편의를돕는기능이추가되고있다. 3.2. 시스템설계 그림 3. 시스템구조 Fig. 3 System architecture 그림 4. 시스템처리절차 Fig. 4 System processing procedure 2534
카메라 4대로부터나오는실시간영상을 Frame Grabber가입력받아 CarPC를이용해서 4대의광각카메라에서발생하는방사왜곡현상을제거하기위해카메라모델을미리파악한후전 후방및좌 우측카메라영상을따로받아들여한픽셀마다왜곡계수들을계산한다. 전 후방및좌 우측 4대의카메라각각에들어오는영상의왜곡현상을제거한다. 2 차원평면형태로바꾸는투사변환을사용한다. 그림 6. 호모그래피적용사진 Fig. 6 Image when applying homography (a) 왜곡보정및호모그래피계산을한차량의전 후방및좌 우측결과영상을하나의화면으로정합한영상이다. (b) 그림 5. 왜곡보정전및왜곡이보정된사진 (a) 왜곡보정이전 4 개카메라의이미지 (b) 왜곡보정이후 4 개카메라의이미지 Fig. 5 Images before and after correcting distortion image: (a) Images of 4 cameras before correcting distortion image (b) Images of 4 cameras after correcting distortion image 왜곡현상이제거된이미지를다른평면이미지로옮기기위해호모그래피 (Homography) 과정을수행한다. Car PC 기반 AVM 시스템에서사용되는호모그래피는 3 차원공간상의한평면을바라보았을때실제보여지는 그림 7. 정합사진 Fig 7. Synthesis Image AVM 블랙박스영상을만들기위해 AVM 정합영상에위치정보를추가해야한다. 위치정보획득을위해 GPS 모듈을사용하며, GPS모듈은 COM 포트에연결한다. GPS를 COM 포트에연결하기위해그림 8과같은코드를사용한다. 2535
한국정보통신학회논문지제 16 권제 11 호 그림 8. COM 포트연결코드 Fig. 8 Code for using COM port 포트를연결하고 GPS정보를받아오는버퍼를열어야하는데이때지속적인위치정보를받아오기위해서카운터를적용해서위치정보를계속받아온다. 그림 11. AVM 시스템테스트베드 Fig.11 Test bed for AVM system 그림 9. 카운터코드 Fig. 9 Code for counter 받아온위도, 경도, 속도등의정보는 AVM 영상상단에추가하여모니터에출력한다. 그림 10은 GPS 정보코드를화면에출력하기위해준비하는코드이다. 그림 10. GPS 정보코드 Fig. 10 Code for GPS information Ⅳ. 결과및고찰 본논문에서구현된 Car PC 기반어라운드뷰모니터링시스템의위치정보제공기능의테스트베드는그림 6 과같다. 본테스트베드는철제카트에전 후 좌 우에 4대의카메라를설치하였고배터리를통해 Car PC와모니터의전원을공급한다. 또한모니터를설치하여운전자가영상을확인할수있도록하였다. 구현된 AVM 시스템의위치정보제공화면형태는그림 12와같다. 상단에 X( 위도 ), Y( 경도 ), SP( 속도 ) 라는글을출력하여 GPS 정보를출력한결과영상이다. 사방감시뿐아니라 latitude, longitude를통해위치를알수있으며차가몇 km로달리고있는지알수있다. 그림 12. 위치정보를가진 AVM 시스템의결과영상 Fig. 12 Result image of AVM System with location information Ⅴ. 결론 사각지대및협소한공간에서의사고등을미연에방지할수있는운전자보조시스템이필수적이됨에따라본논문에서는사방감시기능뿐만아니라 GPS를이용한 Car PC 기반어라운드뷰모니터링시스템의위치정 2536
보제공기능을구현하였다. 위치및속도를알수있는 USB GPS를사용하여기존의자동차업체의 AVM 시스템들에서는제공하지않는위치정보를추가하여향후 AVM 블랙박스의기반이되는기능을완성하였다. 향후블랙박스에적합한저장장치를추가하여자동차사방의영상을동시에볼수있는AVM 블랙박스기능을구현할예정이다. 참고문헌 [1] 자동차주행안전지원시스템, 한국과학기술정보연구원, 2008 [ 2 ] Y. Liu, K. Lin and Y. Chen, Bird's-eye view vision system for vehicle surrounding monitoring, Proc., the 2nd international conference on Robot vision (RobVis'08). LNCS, Springer. pp. 207-218. [ 3 ] NISSAN Around View Monitor http://www.nissanglobal.comen/technology/overview/avm.ht ml [ 4 ] INFINITY와 AVM http://www.camenbert.co.kr/119 [ 5 ] http://www.nissan-global.com [ 6 ] http://navercast.naver.com/contents.nhn?contents_ id=5648 [ 7 ] LinBo Luo, InSung Koh, SangYoon Park, ReSen Ahn, JongWha Chong, A SOFTWARE-HARDWARE COOPERATIVE IMPLEMENTATION OF BIRD S- EYE VIEW SYSTEM FOR CAMERA-ON- VEHICLE Proc, IC-NIDC 2009, pp.963-967 [ 8 ] Lin-Bo Luo, In-Sung Koh, Kyeong-Yuk Min, Jun Wang, Jong-Wha Chong, Low-cost Implementation of Bird s-eye View System for Camera-on-vehicle Proc. of Consumer Electronics (ICCE) 2010, pp.311-312 [ 9 ] Bijo Thomas, Rajiv Chithambaran, Development of a Cost Effective Bird s Eye View Parking Assistance System Proc. of Recent Advances in Intelligent Computational Systems (RAICS) 2011, pp. 461-466 [10] Kapje Sung, Joongryoul Lee, Junsik An, and Eugene Chang, Development of Image Synthesis Algorithm with Multi-Camera Proc. of Vehicular Technology Conference (VTC Spring) 2012, pp.1-5 [11] Yi-Yuan Chen, Yuan-Yao Tu, Cheng -Hsiang Chiu, and Yong-Sheng Chen, An Embedded System for Vehicle Surrounding Monitoring Proc. of Power Electronics and Intelligent Transportation System (PEITS) 2009, pp.92-95 [12] Seiya Shimizu, Jun Kawai, Hiroshi Yamada, Wraparound View System for motor vehicles Proc, Fujisu, pp.95-102 저자소개 장시웅 (Si-Woong Jang) 1984년부산대학교계산통계학과이학사 1993년부산대학교전자계산학과이학석사 1996년부산대학교전자계산학과이학박사 1986년~1993년대우통신 ( 주 ) 종합연구소 2004년~2005년 University of Texas at Dallas 객원교수 1996년~현재동의대학교컴퓨터과학과교수 관심분야 : 차량용네트워크, 데이터베이스 서상욱 (Sang-Uk Seo) 2011년동의대학교컴퓨터과학과이학사 2011년동의대학교 IT융합학과석사과정 관심분야 : 차량용네트워크, 영상처리 2537