Transactions of KSAE, Vol. 22, No. 3, pp (2014) Copyright C 2014 KSAE / pissn / eissn DOI

Size: px

Start display at page:

Download "Transactions of KSAE, Vol. 22, No. 3, pp (2014) Copyright C 2014 KSAE / pissn / eissn DOI"

정근 박
5 years ago
Views:

1 Transactions of KSAE, Vol. 22, No. 3, pp (2014) Copyright C 2014 KSAE / pissn / eissn DOI 운전자졸음및각성상태시 ECG 신호처리를통한심장박동신호특성 김민수 1) 김윤년 2) 허윤석 *3) 경운대학교항공정보통신공학과 1) 계명대학교동산의료원 2) 계명대학교의과대학의용공학과 3) Characteristics of Heart Rate Variability Derived from ECG during the Driver s Wake and Sleep States Min Soo Kim 1) Yoon Nyun Kim 2) Yun Seok Heo *3) 1) Department of Aviations Information & Communication Engineering, Kyungwoon University, Gyeongbuk , Korea 2) Dongsan Medical Center, Keimyung University, Daegu , Korea 3) Biomedical Engineering, School of Medicine, Keimyung University, Daegu , Korea (Received 31 October 2013 / Revised 4 February 2014 / Accepted 26 February 2014) Abstract : Distinct features in heart rate signals during the driver s wake and sleep states could provide an initiative for the development of a safe driving systems such as drowsiness detecting sensor in a smart wheel. We measured ECG from health subjects (23.5±2.5 in age) during the wake and drowsiness states. The proposed method is able to detect R waves and R-R interval calculation in the ECG even when the signal includes in abnormal signals. Heart rate variability(hrv) was investigated for the time domain and frequency domains. The STD HR(0.029), NN50(0.044) and VLF power(0.0018) of the RR interval series of the subjects were significantly different from those of the control group (p < 0.05). In conclusion, there are changes in heart rate from wake to drowsiness that are potentially to be detected. The results in our study could be useful for the development of drowsiness detection sensors for effective real-time monitoring. Key words : Awake( 각성 ), Drowsiness( 졸음 ), Electrocardiogram( 심전도 ), Heart rate varibility( 심박변위도 ), Sleep states( 졸음상태 ) 1. 서론 1) 현대사회에서의자동차는필수적인이동수단으로써역할을수행할뿐만아니라생활에편리한기능을제공함으로써그수요가증가하고있다. 이러한증가된수요와함께자동차사고의주요요인중졸음운전으로인한자동차사고도많이발생하고있다. 졸음운전을감지하는기존의연구방법은눈깜박임, 동공의크기를카메라로졸음을감시하는연구등이있다. 1) 또한수면상태에서의뇌파 ((electro- * A part of this paper was presented at the KSAE 2013 Annual Conference and Exhibition * Corresponding author, yunsheo@kmu.ac.kr encephalography: EEG) 와심박변이도 (heart rate variability: HRV) 관계등 2,3) 의연구를통한다양한접근이시도되고있으며주변실험환경조성어려움및졸음을인식하는정도에있어서실제자동차상에서구현하기어렵다는단점도가지고있다. 심혈관측정은구현이쉬워서심박동 (heart rate: HR) 과 HRV는항공분야와자동차운전환경 4-6) 등의많은분야에서작업인지와피로도연구등에연구가이루어지고있다. 실제운전환경과유사한환경에서연구는운전용시뮬레이터및게임용시뮬레이터등의환경에서생체신호를얻는연구들이많이연구되고있으며 7-9) 특히심전도는뇌파에비 136

운전자 졸음 및 각성 상태 시 ECG신호 처리를 통한 심장박동 신호 특성 하여 신호측정방법 및 신호 획득이 용이하며 또 HRV로 운전 중 각성 상태와 졸음의 임상적인 증거 를 찾는 것이 중요하다. 본 연구에서는 모의운전용 시뮬레이터는 안정성, 저비용 및 제어가 쉬워서 데이터를 쉽게 모을 수 있 는 장점을 가지고 있다.

또한 R-R interval를 이용 하여 HRV의 주요 파라메타를 구하기 위하여 시간 영역(time domain)과 주파수 영역(frequency domain) Fig. 1 Driving simulator 으로 해석하였다.

1의 (주) Logitech사의 Webcam C910과 Fig. 2의 드라이빙 시뮬레이터인 Control wheel G27 Fig. 2 Experiment of simulation 을 사용하여 기어변동과 페달을 갖추어 현실감 높은 시뮬레이터를 제공하였다.

2 운전자 졸음 및 각성 상태 시 ECG신호 처리를 통한 심장박동 신호 특성 하여 신호측정방법 및 신호 획득이 용이하며 또 HRV로 운전 중 각성 상태와 졸음의 임상적인 증거 를 찾는 것이 중요하다. 본 연구에서는 모의운전용 시뮬레이터는 안정성, 저비용 및 제어가 쉬워서 데이터를 쉽게 모을 수 있 는 장점을 가지고 있다. 생체신호의 분석을 위하여 심전도(electrocardiogram: ECG)의 주요 신호인 P, QRS, T 중 R peak의 자동 검출용 difference operation 알고리즘10)을 개발하였다. 또한 R-R interval를 이용 하여 HRV의 주요 파라메타를 구하기 위하여 시간 영역(time domain)과 주파수 영역(frequency domain) Fig. 1 Driving simulator 으로 해석하였다. 모의운전용 게임형 시뮬레이터 운전 환경에서 각성상태와 졸음 상태를 구분하여 주요 요소를 찾기 위하여 피 실험자들의 data를 이 용한 통계적 유의성 실험을 실시하였다. 2. 본 론 2.1 방법 본 연구에서 사용한 게임용 운전시뮬레이터를 사 용하여 실제 주행 환경과 유사한 환경에서 실험하 였다. Fig. 1의 (주) Logitech사의 Webcam C910과 Fig. 2의 드라이빙 시뮬레이터인 Control wheel G27 Fig. 2 Experiment of simulation 을 사용하여 기어변동과 페달을 갖추어 현실감 높은 시뮬레이터를 제공하였다. 게임 환경에서 webcam 장비로 관찰한 상태에서 2초 이상의 eye close가 분 당 3회 이상시 졸음으로 판단하였다. 또 시스템은 주행 화면을 운전자에게 제공하여 운전자로 하여금 운전 중 졸음을 유발하기 위해서 단조로운 구간을 장시간 주행이 가능하도록 설정하였다. 피실험자의 생체신호 획득은 on-line 으로 (주)Bionet사의 BM5 Fig. 3 ECG 3 lead wire 로 구성하여 획득하였으며, 생체신호 획득은 0.5Hz- 40Hz 대역의 band pass filter와 60Hz의 notch filter와 정하였고, 실험 전 편안한 상태로 5분 이상 휴식을 함께 sampling rate를 75(Hz)로 설정하여 data를 획득 취한다음 실험을 실시하였다. 게임용 운전 시뮬레 하였다. Fig. 3과 같이 심전도 신호측정을 위해서 가 이터 환경에서 각성과 졸음 상태를 구분하여 데이 슴에 1회용 패치전극을 3곳에 부착하는 3 lead wire 터를 획득하였다. 실험환경에서 졸음을 유도하기 법을 이용하였다. 위해서 실험 전날 수면시간을 4시간 이하로 수면부 2.2 실험대상 측정시간은 졸음에 영향을 받기 쉬운 시간대인 AM 본 실험에 참가한 피험자 30명(23.5±2.5 평균 연 10시에서 12까지, PM 15시에서 17시에 실험을 실시 령)은 임상적으로 정상인으로 판단된 대상으로 선 하였다. 실험에 영향을 줄 수 있는 무리한 운동이나, 족이 발생하도록 하여 피 실험자를 선정하였으며, Transactions of the Korean Society of Automotive Engineers, Vol. 22, No. 3,

3 Min Soo Kim Yoon Nyun Kim Yun Seok Heo 흡연, 음주등을금하게하였다. 자동차운전에미숙하지않은 1년이상의피험자로선정하여운전용게임을하는동안각성과졸음상태에서각각실험하여 5분이상의 ECG 신호를획득하였다. 또한게임환경에서는단조로운구간을위해 traffic 환경 0% 로설정하였으며, 운전자로하여금시속 60km로주행하도록지시하였다. 운전자의피로감누적을위해동일한구간 3회반복주행을실시하였다. 2.3 Heart Rate Variability (HRV) HRV의시간영역측정방법에있어가장유용한변수들은다음과같다. STD HR은 HR의표준편차, SDNN은정상 RR간격의표준편차, 좀더특이한방법으로 RR간격의차이의제곱합의평균에 square root를한 rmssd, 인접한 R-R 간격의차이가 50ms 을초과하는 R-R간격 (NN50) 의개수가전체 R-R간격의개수중몇 % 를차지하는지는보는 pnn50 등이있다. 시간영역분석법에서 rmssd와 pmssd는부교감신경의활성도를반영한다. 주파수영역으로변환시키는방법은 fast Fourier transform하면주파수를 VLF( ), LF( Hz) 및 HF( Hz) power를계산할수있다. LF는교감및부교감신경계모두를반영하며, HF는주로부교감신경을반영한다. 또 LF/HF ratio는교감-부교감신경의균형을의미하며, 증가하면이균형이교감신경쪽으로편향되었음을의미한다. 3. 결과본연구에서개발한알고리즘을통해서 ECG R파의첨두치위치를정확하게찾기위해서는 difference, filter, thresholding 및 tuning과정을거쳐서찾을수있었다. 식 (1) 은차분신호의계산식을나타내며 (1) 식 (2) 는 filter 처리과정을나타내며 (2) k는 filter의길이로서프로그램에서 k=2로설정하 여시뮬레이션한다. Filtered 신호 (* : convolution operation) 식 (3) 은 with threshold level if (3) max (4) t 는가중치로서프로그램에서 t=0.5로설정하여시뮬레이션한다. 이 1인 n이 R의위치가될수있는후보점들임을의미한다. 정확한 R wave의위치를찾기위해서 는후보점들의잡음이나 신호의구간별비단조증가특성 ( 소구간에서기복이있는신호 ) 때문에정상적인 R위치사이에서도여러개의후보점들이존재한다. 이번단계에서얻어진 에서신호값이 1인위치의간격을구한다. (5) 여기서 는 이 1인인접한두신호값에대한각각의 n값을의미하며, 이다. 은인접한두신호값이 1인 의신호값간격을나타낸다., I 는구간의개수를나타낸다. max, T는 tolerance값으로시뮬레이션에서는 0.3을사용한다. 최대간격의 30% 를 Tuning을위한간격으로지정한다. 마지막으로 tuning 과정으로 에서신호값이 1인위치를기점으로 L간격구간내에서 이 1인모든 n에서원신호값 이가장큰 n을 R위치 ( ) 로결정하게된다. max if (6) Fig. 4는본알고리즘에서개발한 difference operation식을이용해서 R peak 자동검출과정들을나타내고있다. Fig. 5는정확한 R peak위치를찾기위한알고리즘의 flowchart를나타내었다. Fig. 6은 R peaks 의찾은정보를이용해서 R-R interval를구한결과이다. 138 한국자동차공학회논문집제 22 권제 3 호, 2014

4 Characteristics of Heart Rate Variability Derived from ECG during the Driver s Wake and Sleep States (a) R peak detect process (b) Result of R peak detect Fig. 4 Automatic detect using difference operation algorithm Table 1에는 ECG 검출 알고리즘의 성능을 검증하 기 위해서 Sensitivity와 positive predictivity 값들을 R peak 검출 성능으로 간주하였으며 아래 식들 (7)과 (8)은 아래와 같다. Pr (8) 여기서 TP는 true positive(옳은 R peak 검출)이며, FN은 false negative(잘못 검출된 R peak)이고 FP는 (7) false positive(검출 에러)를 나타낸다. Table 1의 실험 결과 Se(%)는 99.94(±0.233)와 P는 99.88(±0.173)으 Transactions of the Korean Society of Automotive Engineers, Vol. 22, No. 3,

5 김민수 김윤년 허윤석 Table 1 Results of performance for R peak automation detect 으로써 심박수는 늦어졌으며, 운전 시 영향을 미침 을 알 수 있다. Fig. 5 Flowchart of R peak detect algorithm 본 연구에서 HRV 분석은 시간영역과 주파수 영 역 전체 파라메타를 이용하였다. 획득된 data는 SPSS Ver. 12.0을 이용하여 게임 환경에서 운전 중 각성상태와 졸음상태의 비교를 위해 정규성 검증 후 t-test를 수행했다. Table 2에서는 30명의 피실험자를 HRV의 시간영 역과 주파수영역 21개의 주요 파라메타를 비교한 결과 들이며, 통계비교(p<0.05) 결과 시간영역에서 STD HR (0.029), NN50 (0.044) 및 주파수영역에서는 VLF power(% 0.018)로 통계적으로 중요한 요소로 Fig. 6 Result of R-R interval using difference operation algorithm 로 평균 99%이상으로 높은 검출 성능을 나타내었다. Fig. 7에서는 게임 운전환경에서 시뮬레이터 운 전 시 각성상태와 졸음 운전시 R-R interval과정을 연속적으로 전체 15분 시간을 비교하였다. 비교결 과 각성상태의 구간 평균은 (±125.69)이며, 졸음운전 시 R-R interval 평균 (±105.82)로 3.874%로 조금 증가함을 알 수 있었다. 따라서 운전 중 졸음상태로 변하면서 R-R interval의 평균이 커짐 140 한국자동차공학회논문집 제22 권 제3 호, 2014 Fig. 7 An example of an experiments of R-R interval with awake and drowsiness events

6 운전자졸음및각성상태시 ECG 신호처리를통한심장박동신호특성 Table 2 Comparison of statistics of HRV parameters for awake and drowsiness states during simulation drive (p<0.005) 후기이연구는산업통상자원부기술혁신사업 (2013년지능형자동차상용화연구기반구축사업, 과제번호 ) 지원을받아수행하였음. References 분석되었다. 본연구에서운전중졸음영향으로시간영역의 R-R interval 간격이빨라지면서심박수가늦어지는주요한차이를확인할수있었고, R-R 간격이 50ms보다긴차이를보이는연속적인 NN 간격수가증가함을알수있었다. 또 VLF power(%) 의증가는호흡및저산소혈증에영향을미친다고볼수있다. 4. 결론본연구에서는졸음운전중각성상태와졸음상태일때 ECG 기반생체신호를분석하였다. 본연구에서개발한 difference operation 알고리즘을통해 R-peak를검출하고계산한 R-R Interval(RRI) 값을이용하여심박변위도 (HRV) 의시간영역과주파수영역분석을사용하여각성상태와졸음상태의통계분석을통해서주요한차이를식별할수있었다. 본연구결과는졸음및각성상태의 ECG(Electrocardiogram) 생체신호분석을통한각성상태운전조건과졸음시운전사항에서임상적인단서를찾아낼수있을것으로기대된다. 또자동검출알고리즘을기반으로한졸음운전예방센서개발에기여할것으로예상된다. 향후연구에서는성별, 나이, 사지가불편한피실험자등많은 ECG data mart의구축이이루어질것을기대한다. 1) K. Chung, B. Kim, D. Kim and N. Kim, A Study on the Detection of Driver's Drowsiness, KSAE Spring Conference Proceedings, ) F. Jurysta, P. Bome, P. Miquotte, M. Dumont, J. Lanquart, J. Deqaute and P. Linkowski, A Study of the Dynamic Interactions between Sleep EEG and Heart Rate Varability in Healthy Young Men, Clin. Neurophysiol., Vol.114, No.11, pp , ) W. Kim, K, Kim, S. Park, J. Shin and Y. Yoon, Analyzing Heart Rate Variability for Automatic Sleep Stage Classification, Korean J. of the Science of Emo. and Sens.,Vol.6, No.4, pp.9-14, ) N. Egelund, Spectral Analysis of Heart Rate Variability as an Indicator of Driver Fatigue. Ergonomics, Vol.25, No.7, pp , ) J. Aasman, G. Mulder and L. Mulder, Operator Effort and the Measurement of Heart Rate Variability, Human Factors, Vol.29, No.2, pp , ) P. Jorna, Heart Rate and Workload Variation in Actual and Simulated Flight, Ergonomics, Vol.36, No.9, pp , ) M. P. Reed and P. A. Green, Comparison of Driving Performance On-road and in a Lowcost Simulator Using a Concurrent Telephone Dialing Task, Ergonomics, Vol.42, No.8, pp , ) L. Gang and W. Chung, Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier, Sensors, Vol.13, No.12, pp , ) K. A. Brookhuis and D. Waard, Monitoring Drivers' Mental Workload in Driving Simulators Using Physiological Measures, Accident Transactions of the Korean Society of Automotive Engineers, Vol. 22, No. 3,

7 Min Soo Kim Yoon Nyun Kim Yun Seok Heo Analysis and Prevention, Vol.42, No.3, pp , ) S. Deboleena and M. Madhuchhanda, R-peak Detection Algorithm for ECG Using Double Difference and RR Interval Processing, Procedia Technology, Vol.4, pp , 한국자동차공학회논문집제 22 권제 3 호, 2014

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. 2015 Nov.; 26(11), 985991. http://dx.doi.org/10.5515/kjkiees.2015.26.11.985 ISSN 1226-3133 (Print)ISSN 2288-226X (Online) Analysis