ECG 기반의운전자별인지부하평가방법개발 Development of an Evaluation Method for a Driver s Cognitive Workload Using ECG Signal 2011. 10. 21 Wongi Hong 1, Wonsup Lee 1, Kihyo Jung 2, Baekhee Lee 1, Suwan Park 3, Yunsuk Park 3, Joonwoo Son 3, Seikwon Park 4, and Heecheon You 1 1 Department of Industrial & Management Engineering, Pohang University of Science and Technology 2 School of Industrial Engineering, University of Ulsan 3 HumanLAB, Daegu Gyeongbuk Institute of Science and Technology 4 Department of Industrial Engineering, Air Force Academy 1
AGENDA Background Research Objectives Method - Cognitive Workload Measurement - AUC Analysis Results: Optimal Analysis Condition Discussion
연구배경 안전운전지원기술 보행자추돌방지시스템 (New S60, Volvo) 차선이탈경보장치 (Genesis, Hyundai Motor Company) 심전도 (electrocardiography; ECG) 를활용한안전운전지원기술 인지부하상승 심전도를활용한 3 인지부하파악 안전운전지원
ECG 분석을위한정량화척도 Mean IBI: 평균심박간격 Yao et al. (2008) Variability measure n i= 1 ( d i ) n 1 2 SDNN: 평균대비편차 ( di = yi y ) Wood et al. (2002), Schubert et al. (2002) n i=1 ( y ) n i Interbeat interval(ibi) Mehler et al. (2009) RMSSD: 직전 data 대비편차 ( d y y ) Gould et al. (2009) i = i i 1 RMSE: 회귀추정값대비편차 ( di = yi yˆ ) Lee et al. (2010) IBI 변화 trend 반영 850 IBI (ms) 800 750 700 650 600 SDNN RMSE RMSSD 회귀식 평균 Transitional effect SDNN 550 500 1 11 21 31 41 51 61 71 81 91 Number of measurement 4 *RMSE 사용목적 : 작업부하가가중시 IBI 가점진적으로감소하는경향 (transition effect) 을제외한실제적인 IBI 의변동성을파악하기위함 ( 이원섭외, 2010)
기존 ECG 기반의인지부하파악연구의한계 개인별상이한 ECG 반응민감도를고려하지않음 Gould et al. (2009), Yao et al. (2008), Wood et al. (2002), Schubert et al. (2002) 개인별인지부하판별이용이한 ECG 정량화척도상이 Lee et al. (2010) : Good : Bad HR RMSE SDNN LF/HF HR RMSSD Value Secondary task / Participant 개인별상이한최적 ECG 정량화척도 개인별심박특성을고려한최적 ECG 정량화척도선정하여인지부하를평가하는방법개발필요 5
ECG 기반의실시간인지부하평가 기존연구는특정작업부하상황에서 ECG 신호를수집하고사후에인지 부하를평가함 Gould et al. (2009), Yao et al. (2008), Wood et al. (2002), Schubert et al. (2002) 자동차안전운전시스템적용을위해서는실시간으로측정되는 ECG 신호를지속적으로 sampling 하여분석필요 Overall analysis Window span span span span Window span span 기존연구의 ECG 분석형태 Update rate 실시간 ECG 분석형태 6
연구목적 운전자개인별심박특성이고려된인지부하판별을위한 최적 ECG 분석방법개발 세부연구목적 개인별최적 ECG 정량화척도선정방법개발 실시간분석을위한 sampling 관련변수들 (window span 및 update rate) 의개인별최적조건선정방법개발 Area Under the ROC Curve (AUC) 를통한작업부하수준에따른인지부하간변별능력평가방법개발 7
실험참여자및실험장비 실험참여자 모집인원 : 20 ~ 30대남성 15명 (27.7 ± 3.0세 ) 모집기준 : 운전경력이 3년이상, 심혈관계질환이없는자 실험장비 주행시뮬레이터 : STISIM Drive TM (Systems Technology Inc., USA) ECG 측정장비 : MEDAC system/3 (Biomation, USA) 사용 주행시뮬레이터주행시뮬레이터화면 ( 예 ) ECG 측정장비 8
실험절차 S1 실험준비 실험소개 실험동의서작성 Sensor 부착 S2 연습주행 시뮬레이터연습주행 (10 분 ) S3 본실험 Baseline 측정 (5 분 ) 운전전 N-Back task 수행 (10 분 ) 운전중 N-Back task 수행 (23 분 ) S4 사후설문작성 9
수행작업 주작업 : 편도 2차고속도로 ( 폭 : 4.57m) 약 37km를 23분이내주행 보조작업 : N-back task 연속적으로제시되는무작위숫자들의 N번째이전숫자를기억해내는암기작업 (Son et al., 2010) 0-back: 낮은부하 1-back: 중간부하 2-back: 높은부하 10 N-back task 설명 ( 예 )
실험변수 독립변수 : N-back task(baseline, 0-back, 1-back, 2-back) 종속변수 ECG 정량화척도 (Mean IBI, SDNN, RMSSD, RMSE) 실시간분석을위한 sampling 관련변수 Window span(20초, 30초, 40초 ) Update rate(1초, 2초, 3초 ) 11
Window Span 및 Update Rate ECG data의 IBI 변환시실시간인지부하변화에따른경고를제공하기위해 data를일정구간으로 sampling하여분석에사용 구간의크기 = window span 구간의이동속도 = update rate 분석절차예 (window span = 30초, update rate = 1초 ) S1. 매 1초마다 30초분량의 ECG data를 sampling S2. 각 sampling data (30초) 에서 IBI 추출 S3. IBI로부터 ECG 척도 ( 예 : Mean IBI) 변환 120 초 30초30초30초30초 30초30초 1 초 1 초 1 초 12 총 91 개의척도값도출 1초 1초
Area Under the ROC Curve (AUC) 비교에사용되는 data 가정규분포를따르지않을때사용하는방법 2-back 0-back 0-back & 2-back 0-back 2-back 0-back 2-back AUC = 0 AUC = 0.5 0.5 < AUC < 1.0 AUC = 1 1 1 1 1 0.8 0.8 0.8 0.8 0.6 0.6 0.6 0.6 0.4 0.4 0.4 0.4 0.2 0.2 0.2 0.2 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 AUC 가 0.5 를초과할때, 정상범위의값이며클수록변별능력높음 본연구는 AUC 가높은조건을개인별최적의분석조건으로판별 13
AUC 비교분석에사용된인지부하 인지부하비교방법 : 낮은부하 vs. 높은부하 Non-Driving Driving Baseline N- Back task Rest N- Back task Rest N- Back task Pre Base line N- Back task Rest N- Back task Rest N- Back task Post Base line 분석방법개발에적용 향후분석예정 낮은부하 vs. 높은부하 Baseline 0B vs. 1B 2B 0B vs. 1B 2B Baseline 0B 1B vs. 2B 0B 1B vs. 2B 총 4가지14 부하비교
AUC 분석예 Baseline & 0B vs. 1B & 2B 분석결과예 AUC = 0.888 변별능력이높은것으로파악됨 Baseline & 0B 1B & 2B 예상 data 분포도 Plotting 된 AUC 분석결과예 15
개인별최적 ECG 분석조건 36가지의 AUC 분석조건 ECG 정량화척도 (4가지): Mean IBI, SDNN, RMSSD, RMSE Window span(3가지 ): 20초, 30초, 40초 Update rate(3가지 ): 1초, 2초, 3초 최적 ECG 분석조건파악방법 : 각인지부하비교조건 ( 총 4가지 ) 에서최대 AUC를갖는분석조건을최적의 ECG 분석조건으로선정 16
최적 ECG 분석조건 : 실험참여자 1 번 분석조건 비교인지부하 Window span (s) Update rate (s) 정량화척도 BL & 0B vs. 1B & 2B BL & 0B & 1B vs. 2B 0B vs. 1B & 2B 0B & 1B vs. 2B Mean IBI 0.944 0.870 0.782 0.740 20 1 SDNN 0.511 0.589 0.165 0.445 RMSSD 0.696 0.980 0.037 0.253 RMSE 0.499 0.666 0.296 0.486 Mean IBI 0.945 0.778 0.720 0.554 40 2 SDNN 0.275 0.568 0.059 0.394 RMSSD 0.877 0.989 0.069 0.344 최대 AUC RMSE 0.249 0.504 0.077 0.375 Mean IBI 0.946 0.777 0.715 0.540 40 3 SDNN 0.111 0.349 0.064 0.430 RMSSD 0.563 0.661 0.053 0.322 RMSE 0.109 0.305 0.074 0.384 17
최적 ECG 분석조건 : 실험참여자 1 번 (cont d) 인지부하비교조건 : BL & 0B & 1B vs. 2B RMSSD 의 update rate 1, 2 초에서높은 AUC 값도출 1.0 최소 window span & update rate 0.980 0.975 0.985 0.980 0.988 0.989 최대 AUC 0.870 0.866 0.873 0.8 0.785 0.780 0.763 0.745 0.778 0.778 0.777 Mean IBI A U C 0.6 0.4 0.666 0.657 0.589 0.581 0.599 0.399 0.356 0.600 0.603 0.579 0.585 0.425 0.295 0.586 0.568 0.515 0.504 0.661 0.349 0.305 RMSSD SDNN RMSE 0.2 0.0 1 초 2 초 3 초 1 초 2 초 3 초 1 초 2 초 3 초 20 초 30초 40초 Update rate / Window span 18
실험참여자별최적 ECG 분석조건 최적정량화조건실험참여자 Measure Window span (sec) Update rate (sec) AUC 인지부하비교조건 1 RMSSD 40 2 0.989 BL & 0B & 1B vs. 2B 2 3 SDNN 30 2 0.658 0B & 1B vs. 2B 4 RMSSD 30 1 0.862 0B vs. 1B & 2B 5 RMSSD 30 1 0.993 BL & 0B & 1B vs. 2B 정량화척도 : SDNN (6 명 ) > RMSSD (4 명 ) > Mean IBI (2 명 ) > RMSE (0 명 ) 6 SDNN 40 3 0.636 BL & 0B & 1B vs. 2B 7 SDNN 40 1 0.969 0B & 1B vs. 2B Window span: 40 초 (7 명 ) > 30 초 (4 명 ) > 20 초 (1 명 ) 8 SDNN 20 3 0.947 0B & 1B vs. 2B Update rate: 1 초 (5 명 ) > 3 초 (4 명 ) > 2 초 (3 명 ) 9 SDNN 40 1 0.946 BL & 0B vs. 1B & 2B 10 11 Mean IBI 40 2 0.986 BL & 0B & 1B vs. 2B 12 Mean IBI 40 3 0.844 BL & 0B & 1B vs. 2B 13 SDNN 40 3 0.885 0B & 1B vs. 2B 14 15 RMSSD 30 1 0.970 BL & 0B vs. 1B & 2B : Secondary task 에따른 ECG 변화경향성낮아최적분석조건파악난해한경우 19 BL: baseline, 0B: 0-back, 1B: 1-back, 2B: 2-back
토의 운전자개인별인지부하 (cognitive workload) 최적분석조건선정방법개발 개인별최적 ECG 정량화척도선정방법개발 실시간 (real-time) 분석을위한 sampling 관련변수들 (window span 및 update rate) 의개인별최적조건선정방법파악 운전자개인의특성이고려된안전운전지원시스템적용가능 Window span과 update rate 조합에따른 AUC 세부분석 AUC가유사한것으로파악됨 ( 실험참여자 1번 ) 시스템부하와응답시간을고려하여낮은 window span과 update rate 사용할것을제안함 본연구에서제안된방법을다양한운전자와실차주행에대해검증필요 20
Q & A Thank You for Your Attention! 21