Journal of Sensor Science and Technology Vol. 23, No. 2 (2014) pp. 142-147 http://dx.doi.org/10.5369/jsst.2014.23.2.142 pissn 1225-5475/eISSN 2093-7563 실시간운전자호흡모니터링 박재희 1,+ 김재우 1 이재천 2 Jaehee Park 1,+, Jaewoo Kim 1, and Jae-Cheon Lee 2 Abstract Real time driver s respiration monitoring method for detecting driver s drowsiness is investigated. The sensor to obtain driver s respiration signal was a piezoelectric pressure sensor attached at the abdominal region of the seat belt. The resistance of the pressure sensor was changed according to the pressure applied to the seat belt due to the driver s respiration. Monitoring driver s respiration was carried out by driving on the virtual road in a driving simulator from Cheonan to Seoul and monitoring results were compared to the PELCLOS. Experiment results show that the driver s respiration signal can be used for detecting driver s drowsiness. Keywords: Respiration, Driver drowsiness, Pressure sensor, Seat belt 1. 서론 비약적인경제성장에따라차량의보급도기하급수적으로늘어났으며이로인하여이동의편리성은과거에비해크게증대되었다. 그러나이로말미암아환경문제, 원료문제, 교통혼잡, 교통사고등의많은사회적인문제점들이야기되었다. 그중교통사고는매년큰재산및인명피해를일으키고있다. 우리나라는다른나라와비교해교통사고사망률이월등히높은데교통사고는계절별로는가을에시간별로는오후 6시이후자정까지상대적으로많이발생하는것으로나타났다. 그이유에대해서는퇴근시간에운전차량의증가에따른원인도있겠지만, 일과를마치고피곤한상태에서운전하여많은사고가발생한탓도있다. 특히심야시간에발생하는사고는주간교통사고보다사망사고로이어질가능성이높은것으로조사되었다. 2008년한해에만교통사고때문에약 10조원의재산피해와 5,870명이사망하고 389,962명이부상을당했다 [1]. 1 계명대학교전자공학과 (Department of Electrical Engineering, Keimyung University) 2 계명대학교기계자동차공학과 (Department of Mechanical & Automotive Engineering, Keimyung University) 1095 Dalgubeol-daero, Dalseo-gu, Daegu 704-701, Korea + Corresponding author: jpark@kmu.ac.kr (Received : Feb. 11, 2014, Revised : Mar. 24, 2014, Accepted : Mar. 25, 2014) This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/ licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. 고속도로교통사고중사고율이가장높은졸음운전을미리예방하기위하여많은기술이개발되였고, 또한새로운기술들을개발하기위한다양한연구들이진행되고있다. 운전자졸음감지기술 [2] 은크게자동차제어상태로부터졸음을감지하는기술, 운전자의생체신호로부터졸음을감지하는기술, 운전자의외형변화로부터졸음을감지하는기술등으로나누어진다. 자동차의제어상태로부터졸음운전을예측하는기술은자동차앞유리에장착된카메라로주행중차선을실시간감지하여차선이탈정도와운전자의핸들조작정도로운전자의졸음을예측하는기술 [3] 과차량의위치와핸들의움직임등으로부터운전자의졸음을예측하는기술 [4] 등이있다. 그러나이런기술들은간접적으로운전자의졸음을예측하는방법들로정확도가매우낮은단점을가지고있다. 운전자의외형변화로부터졸음을감지하는기술들은눈꺼풀의감김정도 (PERCLOS) 로부터졸음을예측하는기술 [5,6], 얼굴의위치와고개의끄덕거림횟수등으로운전자의졸음을예측하는기술 [7,8] 등이있다. 이기술들은주변환경과운전자의복장상태등에영향을많이받는다. 그러나눈꺼풀감김정도로부터졸음을감지하는기술은현존하는가장신뢰성이높은기술로알려져있다. 생체신호로부터운전자졸음을감지하는기술들은주로 ECG (Electro -cardiogram) [9-11], PPG (Photoplethysmography) [12], grip force [13,14] 등을사용하여개발되었다. ECG 혹은 PPG 신호신부터졸음을예측하는기술들은자동차와같은매우나쁜환경에서 PPG 신호와 ECG 신호획득에어려움이있어실제로적용에어려움이있다. Grip force 기반졸음예측기술들은나쁜환경에서비교적양호한신호를획득할수있었으나 ECG 기반졸음예측기술보다는정확도가떨어지는단점이있었다. 본논문에서는자동차 142 J. Sensor Sci. & Tech. Vol. 23, No. 2, 2014
I 71 I Fig. 1. Driver's respiration monitoring system. Fig. 3. Interface circuit. Fig. 2. Pressure sensor attached at the seat belt for obtaining driver s respiration signal. 와 같은 좋지 않은 환경에서 획득이 원활한 운전자의 호흡 신 호를 모니터링 하고 PERCLOS와 비교 분석한 결과를 보여줄 것이다. 더 나아가 호흡신호가 운전자 졸음감지에 사용될 수 있 는 신뢰성 있는 신호임을 보여 줄 것이다. Fig. 4. Respiration signal. 2. 이론적 배경 적용에 적절 하지는 못하다. 그래서 본 연구에서는 piezoresistance 2.1 운전자 호흡 모니터링 시스템 유형의 압력센서(Interlink Electronic FSR-408)를 사용하여 운전 자의 호흡을 측정하였다. 609 15 0.34 mm 크기의 이 압력센서 2.1.1 운전자 호흡 모니터링 시스템 는 인가되는 압력이 크면 클 수록 저항 값이 작아지는 특성을 운전자 호흡 모니터링 시스템(Fig. 1)은 안전벨트의 복부부분 가지고 있고 운전자의 호흡을 원활하게 측정하기 위하여 운전 에 부착된 압력센서, interface 회로, data acquisition (DAQ) 보 자 안전벨트의 복부부분에 부착하여 사용하였다(Fig. 2). 센서의 드, personal computer (PC)로 구성되어 있다. 운전자의 들숨과 저항 값은 운전자의 들숨이 안전벨트에 작은 압력을 인가하기 날숨이 안전벨트에 압력으로 변환되고 이 압력이 안전벨트에 부 때문에 증가하고, 날숨이 안전벨트에 큰 압력을 인가하기 대문 착된 센서의 특성을 변화 시킨다. 센서의 특성 변화가 interface 에 센서의 저항 값을 감소 된다. 즉 운전자호흡이 센서의 저항 회로에서 전기신호 변화로 나타나고 이 변화된 아날로그 전기 값을 변화 시키고, 이 센서의 저항 값 변화로부터 운전자의 호 신호는 DAQ board에서 디지털 신호로 변환된다. 그리고 변환 흡 신호를 얻는다. 된 신호가 PC에 표시된다. 압력센서의 저항 값 변화를 전기신호 변화로 만들고 변화된 전기신호를 쉽게 신호처리 할 수 있도록 interface 회로(Fig. 3) 2.1.2 압력센서 및 신호처리회로 를 사용하였다. Interface 회로는 센서의 저항 값의 변화를 전기 인간의 호흡 신호를 측정하기 위해 여러 종류의 호흡센서 신호의 변화로 바꾸어주는 회로, low pass filter, 증폭기, high [15,16]들이 개발 되었다. 그 센서들은 대부분 수면 무호흡증과 pass filter로 구성되어있다. Low pass filter의 cutoff 주파수는 0.5 같은 호흡 질병을 진단 하기 위해 개발된 것들 이여서 자동차 Hz 이고, high pass filter의 cutoff 주파수는 0.2 Hz 이며, 증폭 143 J. Sensor Sci. & Tech. Vol. 23, No. 2, 2014
I 72 I Jaehee Park, Jaewoo Kim, and Jae-Cheon Lee Fig. 5. Peak detection. 기의증폭도는 15이다. Fig. 4는오실로스코프에나타난 interface 회로의출력신호 ( 호흡신호 ) 이다. 호흡신호에서가장중요한정보는호흡의최대크기 (peak의크기 ) 와호흡률 (peak 사이의간격 ) 이다. 압력센서에서보내오는운전자의호흡정보로부터운전자호흡의최대크기 (peak) 와호흡률에대한정보를유추하기위해호흡신호에서 peak를찾는것이매우중요하다. 본연구에서신호의 peak를찾기위해 noise threshold digital peak detection 기술 [17] 을사용하였다. Noise threshold digital peak detection 기술은 threshold보다큰신호가입력될때부터 peak를찾기시작하다가입력신호가 threshold보다작은신호가입력될때 peak 찾는것을멈춘다. 즉 Fig. 5에서보면 threshold보다 t 에서 t 2 사이의호흡신호가크기때문에이시간동안에만 peak 신호를찾는다. Peak 신호는 t 에서 t 2 사이의신호중크기가가장큰신호 (v p ) 이고, 호흡률은 peak 신호시간 (t p ) 에서직전 peak 신호의시간 (t p ') 을뺀시간이다. peak 신호의크기측정오차는아날로그-디지털변환기 (ADC) 의해상도에의존하고호흡률측정오차는 ADC Sampling 주파수에의존한다. 2.2 수면수면이란수 ( 睡잘수 ) 와면 ( 眠쉴면 ) 으로말그대로자면서쉬는것을말한다. 외적으로주위의환경에반응하지않게되며감각및반사기능, 생체신호들이저하된다. 즉, 수면상태가변화하면뇌파, 심장박동, 호흡등의생체신호에변화가발생한다. 수면의단계 [18] 는총 6단계 (Fig. 6) 로나누어진다. 각성상태, 안구가빠르게움직이는 REM (Rapid Eye Movement ) 수면, 및비REM (Rapid Eye Movement) 수면으로나누어지고비REM 수면은다시 1단계, 2단계, 3단계, 4단계수면으로나누어진다. 각성상태는깨어있는상태이고, REM 수면은꿈을꾸면서자는행위로서척수신경과운동뉴런이강하게억제되기때문에몸의대부분이거의마비상태가된다. 그러나동시에뇌는매우활동적이되어대뇌혈류및산소소모량이증가한다. REM 수면에서는심박동과호흡이불규칙하게나타나는특징이있다. 비REM 1단계는처음졸리기시작할때나타나는활동으로수면과각성상태의과도기적상태이며안구의운동이느린것이특징이다. 수면 2단계는수면 10분후에나타나며안구운동이거의관찰되지않고감각입력에대한뇌의민감성이감소되어 Fig. 6. Sleep stage [19]. 있는상태이다. 수면 3단계와 4단계는가장깊은수면으로의학계에서보고있으며서파수면 (slow-wave sleep) 이라고도한다. 이단계에서는안구운동이전혀관찰되지않고근육이이완된상태에놓이게된다. 일반인들이수면을취할때비REM 1단계부터비REM 수면과 REM 수면을 90분주기로 4 6 회를반복한다. 졸음은잠이오는상태나느낌이란사전적의미를가지고있으며규명하고분석하기어려운성질을가지고있어측정방법이현존하지않는다. 일반적으로졸음은각성과연장상태에있으며각성상태와비REM 1단계어느중간단계부터비REM 1단계까지로판단된다. 수면상태에따라여러가지생체신호의변화가나타나나뇌파가가장좋은측정수단이다. 그러나뇌파는다량의접촉식센서를사용해야하고주변환경에영향을많이받는크기가미약한신호이므로주행중인운전자에게실제적용하기가매우어렵다. 그래서비교적신호의크기가크고간단한구조의센서를사용하여자동차와같은좋지않는환경에서도쉽게수면관련데이터를얻을수있는생체신호획득에많은관심을가져왔다. 그런신호중호흡신호도한종류의신호이다. 이전연구된논문에따르면각성상태일때의호흡이수면상태 ( 비REM 수면과 REM 수면 ) 일때보다호흡의크기는크고, 호흡의주파수는느리다는결과를보고하였다 [18]. 이연구결과가호흡을기반으로각성상태와수면상태를구분할수있으며호흡을기반으로하여운전자의졸음도감지할수있다는것도보여주고있다. 3. 실험결과및고찰 3.1 실험장치운전자의졸음과호흡신호와의관계를알아보기위하여이노 J.Sensor Sci.&Tech.Vol.23,No.2,2014 144
I 73 I Fig. 8. Respiration signals: (a) Awake state and (b) drowsy state. 안전띠를 착용하게 한 후 실험들을 수행하였다. 제일먼저 각성 상태 일 때의 호흡 신호의 특성을 알기 위하여 1분 동안 운전 자 호흡 신호에서 호흡 신호(peak)의 크기와 호흡률(Peak와 Peak 사이의 시간 간격)을 추출하여 분석하였다. 그리고 졸음이라고 생각되는 부분에서의 운전자의 호흡 신호를 구하고 그 신호로 부터 호흡의 크기와 호흡률을 추출하고 각성상태 일 때의 크기 와 호흡률과 비교해 보았다. 각성상태일 때 호흡의 평균 Peak 크기는 2.931 V이며 졸음상태일 때는 각성상태의 73% 보다 작 Fig. 7. Driving simulator: (a) Driving simulator, (b) eye tracking device, and (c) web-cam. 은 1.698 V였다. 평균 호흡률은 각성상태일 때 평균 4.615초이 었고 졸음상태일 때는 10% 이상 빨라진 4.138초이었다. 호흡 크기의 측정 오차는 10 bit Analog-Digital Converter (ADC)를 시뮬레이션 사에서 개발한 차량시뮬레이터(iDrive CDS)를 사용 사용했기 때문에 4.8 mv였고 호흡률의 측정오차는 100 Hz의 하였다. 차량 시뮬레이터(Fig. 7)는 압력센서가 설치된 안전벨트, Sampling Frequency를 사용했기 때문에 10 ms이었다. 두 개의 3개의 32인치 모니터, 운전석, 2축 motion platform과 system rock 값에 대한 오차 값은 측정값들과 비교하여 매우 작아서 무시하 으로 구성되어 있다. 그리고 실험자의 졸음 여부를 감지하기 위 였다. Fig. 8은 각성상태일 때와 졸음상태일 때의 호흡신호들이다. 하여 좌측에 시간이 기록되는 동영상 촬영이 가능한 web 카메 운전자 호흡신호를 실시간 모니터링을 해 보기 위해 30대 초 라(web-cam)를 설치하였고 우측에는 PERCLOS 정보를 수집할 반 남성을 대상으로 두 번째 실험을 수행 하였다. 두 번째 실험 수 있는 시선추적장치(Seeing Machines Co., facelab 5)를 설 은 천안 나들목에서 서울 톨게이트까지 약 64 km 구간을 실제 치하였다. 도로와 비슷하게 제작된 차량 시뮬레이터의 가상도로를 주행하 운전자의 호흡과 졸음 관계를 알아보기 위하여 20대 후반의 면서 운전자 호흡 신호를 실시간 모니터링 하는 것 이였다. 가 남자를 차량 시뮬레이터의 운전석에 앉히고 압력센서가 설치된 상운전에서 졸음이 빨리 올 수 있도록 주변의 차량은 모두 제거 145 J. Sensor Sci. & Tech. Vol. 23, No. 2, 2014
I 74 I Jaehee Park, Jaewoo Kim, and Jae-Cheon Lee 호흡 및 졸음과 눈꺼풀 상태와의 관계에 대한 의학적 공학적 연 구 결과가 없어 정확하게 판단 하기는 어려우나 졸음이 발생하 고 난 후, 눈꺼풀의 움직임과 호흡의 특성이 달라서 발생하는 현상으로 판단된다. 좀 더 정확한 원인을 분석하기 위하여 더 많은 의학적 공학적 연구가 진행되어야 될 것 같다. 차량 시뮬레이터를 이용하여 운전자의 호흡신호와 졸음의 관 계를 알아 보았고 더 나아가 호흡신호를 실시간 모니터링 하였 다. 실험 결과들이 호흡은 이전에 보고된 연구결과와 동일하게 수면 중 호흡신호가 각성 상태일 때 호흡 신호보다 크기는 작 고 주파수는 빠름을 보여 주었다. 그리고 본 실험 결과가 실시 간 운전자 호흡신호를 모니터링을 해서 PERCLOS와 비교 했을 때 두 신호가 상당히 일치한다는 것을 알려 주었다. 그러나 졸 음 기간은 두 신호가 다르게 나왔는데 이는 눈꺼풀과 호흡이 졸 음 중 서로 다른 특성을 나타내기 때문인 것으로 생각된다. 본 연구 결과가 운전자의 졸음을 판단 하는데 사용할 수 있음을 보 여 주고 있다. 4. 결론 및 고찰 본 연구에서는 운전자의 호흡신호를 실시간 모니터링 하는 기 술을 개발하였다. 운전자의 호흡신호를 전기신호로 변환 해 주 기 위해서 안전 벨트에 압력에 따라 저항 값이 바뀌는 piezoresistance 압력센서를 부착하여 사용하였다. 호흡과 수면의 상관 관계는 수면 중 호흡 신호는 각성상태 보다 작고 빨랐다. 운전자 호흡 신호를 실시간 모니터링 한 결과 현재 가장 신뢰성 있다고 알려 진 시선추적장치의 결과(PERCLOS)와 유사한 결과를 얻었다. 실 Fig. 9. Real time monitoring driver s respiration signals. 험의 결과들이 운전자의 호흡 신호도 운전자의 졸음 여부를 감 지하는데 사용 가능함을 보여 주었다. 그러나 졸음관련 의학적 공학적 연구가 배우 미비하여 좀 더 많은 연구가 진행 되어야 하였고 80 km/h의 속도를 유지하면서 주행하도록 지시하였다. 실 될 것으로 판단 된다. 험자는 빠른 졸음을 유발하기 위하여 약 하루 동안 수면을 취 하지 않았으며 점심 30분 후에 실험을 진행하였다. Fig. 9는 가 상도로를 주행 하면서 실시간으로 모니터링 한 운전자의 호흡 REFERENCES 신호와 PERCLOS 값을 표시해 놓은 것이다. PERCLOS의 값 과 시간은 초당 30프레임으로 촬영한 두 개의 카메라에서 나온 [1] J. W. Kim, A driver s drowsiness system based on the respiration, MS Thesis, Keimyung University, 2013. [2] Q. Wang, J. Yang, M. Ren, and Y. Zheng, Driver fatigue detection: a survey, Proc. of the 6th World Congress on Intelligent Control and Automation, pp. 8587-8591, Dalian, China, 2006. [3] J. McCall and M. Trivedi, Video-based lane estimation and tracking for driver assistance: Survey, system, and evaluation, IEEE Trans. Intell. Transp. Syst., vol. 7, no. 1, pp. 20-37, 2006. [4] A. Eskandarian and A. Mortazavi, Evaluation of a smart algorithm for commercial vehicle driver drowsiness detection, Proc. of the 2077 IEEE Intelligent Vehicles Symposium, pp. 553-559, Istanbul, Turkey, 2007. 60개의 사진으로부터 나온 결과이며 호흡신호는 같은 시간대에 PERCLOS Sampling 값과 일치시키기 위해 60 Hz로 Sampling 된 신호이다. 일반적으로 PERCLOS의 값이 0.15인 임계 값 이 상이면 졸음으로 판단하기 때문 PERCLOS의 결과 그래프에서 보면 약 1,890초와 2,950초에 졸음이 감지되었다. 마찬가지로 호흡신호도 약 1,890초와 약 2,950초에서부터 호흡신호가 작아 지기 시작하는 것을 보여주고 있어 PERCLOS의 결과와 일치함 을 알 수 있다. 그러나 1,890초에서는 PERCLOS 졸음예측 기 간이 짧은데 반해 호흡신호는 졸음예측 기간이 길었고, 2,950초 에서는 PERCLOS 졸음 예측 기간과 호흡신호의 졸음예측 기간 이 비슷하게 나타났다. 이런 현상들을 규명할 수 있는 졸음과 J. Sensor Sci. & Tech. Vol. 23, No. 2, 2014 146
I 75 I [5] L. Liying and Q. Haoxiang, The study of driver fatigue monitor algorithm combined PERCLOS and AECS, Proc. of 2008 International Conference on Computer Science and Software Engineering, pp. 349-352, 2008. [6] M. Johns, A. Tucker, and R. Chapman, A new method for monitoring the drowsiness of drivers, Proc. of 2005 International Conference on Fatigue Management in Transportation Operations, pp. 1-16, Seattle, USA, 2005. [7] L. Bergasa, J. Nuevo, M. Sotelo, R. Barea, and M. Lopez, Real-time system for monitoring driver vigilance, IEEE Trans. Intell. Transp. Syst., vol. 7, no. 1, pp. 63-77, 2006. [8] M. Bartlett, G. Littlewort, M. Frank, C. Lainscsek, I. Fasel, and J. Movellan, Automatic recognition of facial actions in spontaneous expressions, J. Multimedia, vol. 1, no. 6, pp 22-35, 2006. [9] H. Rosario, J. Solaz, N. Rodriguez, and L. Bergasa, Controlled inducement and measurement of drowsiness in a driving simulator, IET Intell. Transp. Syst., vol. 4, no. 4, pp. 280-288, 2009. [10] J. Park and J. Shin, Wireless optical fiber interferometer arterial pulse wave sensor system, J. Sensor Sci. & Tech., vol. 22, no. 6, pp. 439-443, 2013. [11] J. Kim, S. Lee, B. Lee, and W. Chung, Mobile healthcare system based on bluetooth medical device, J. Sensor Sci. & Tech., vol. 21, no. 4, pp. 241-248, 2012. [12] H. Shin, S. Jung, J. Kim, and W. Chung, Real time car driver s condition monitoring system, Proc. of IEEE Sensors 2010 Conference, pp. 951-954, 2010. [13] Y. Lin, H. Leng, G. Yang, and H. Cai, An intelligent noninvasive sensor for driver pulse wave measurement, IEEE Sensors Journal, vol. 7, no. 5, pp. 790-799, 2007. [14] J. Park, Plastic optical fiber sensor for measuring drivergripping force, Opt. Eng., vol. 52, no. 2, pp. 020501-020503, 2011. [15] A. Grillet, D. Kinet, J. Witt, M. Schukar, K. Krebber, F. Pirotte, and A. Depre, Optical fiber sensors embedded into medical textiles for healthcare monitoring, IEEE Sensors Journal, vol. 8, no. 7, pp. 1215-1220, 2008. [16] S. Min, Y. Yun, C. Lee, H. Shin, H. Cho, S. Hwang, and M. Lee, Respiration measurement system using textile capacitive pressure sensor, Trans KIEE, vol. 52, no. 1, pp. 58-63, 2010. [17] V. Jordanov, D. Hall, and M. Kastner, Digital peak detection, Proc. of Nuclear Science Sysposium, pp. 140-142, 2002. [18] N. Douglas, D. White, C. Pickett, J. Weil, and C. Zwillich, Respiration during sleep in normal man, Thorax, vol. 37, no. 11, pp. 840-844, 1982. [19] http://msnayana.blog.me/80199670163(retrieved on Jan. 17, 2014). 147 J. Sensor Sci. & Tech. Vol. 23, No. 2, 2014