Microsoft Word - S12.4. The Design of Adaptive HVI System based on Cognitive-Reaction

Size: px

Start display at page:

Download "Microsoft Word - S12.4. The Design of Adaptive HVI System based on Cognitive-Reaction"

연홍 피
5 years ago
Views:

1 < 최종원고템플렛 > The Design of Adaptive HVI System based on Cognitive-Reaction Hye Sun Park 1, Jongwoo Choi 1, Kyong-Ho Kim 1, Jun Hoe Kim 2, Woon-Sung Lee 2 1 Green Vehicle IT Research Team, Vehicle-IT Convergence Technology Research Laboratory 138 Gajeongno, Yuseong-gu, Daejeon, Vehicle Control Laboratory, Graduate School of Automotive Engineering, Kookmin University 861-1, Chungnung-dong, Sungbuk-gu, Seoul, ABSTRACT This paper proposes the adaptive HVI(human vehicle interface) system based on cognitive-reaction that controls modality and strength using a driver s cognition and reaction. The system tracks driver's cognitive-reaction to navigation information, thereafter it adaptively controls modality and strength of navigation information according to the states of both driver and vehicle. The cognitive-reaction includes all reactions that occurred when the driver recognizes that information after the navigation information is provided to the driver. We expect that the proposed system will enhance the driver safety. To prove the proposed interface system, we design the driver-oriented adaptive HVI system thereafter we make a hypothesis for the system s experimental results and verify their hypothesis. Keywords: HVI(Human-Vehicle Interface), Adaptive Interface, Cognitive-Reaction, Modality, Navigation information 1. Introduction 최근에는많은텔레매틱스장치들의개발및운전자의편의를위한수집장치들로부터다량의정보들이운전중에제공되고있다. 그런데, 이러한운전자의편리함과안전함을위해제공되는정보들은오히려운전자의주의산만을유발하거나운전부하를높여운전자의안전운전을방해한다 [Koo(2009) & Road Traffic Safety Authority(2005)]. 특히차량내에서사용되고있는내비게이션시스템은다양한정보를운전자에게제공하고있지만, 정보를제공받는운전자의반응을전혀고려하지않고일방적으로운전자에게내비게이션정보를제공하고있다. 예를들어, 내비게이션시스템이갈림길에서좌측으로진입하라는정보를차량으로전달할경우, 이에대한운전자의반응이전혀없다면좀더큰소리로, 그리고더자주이에대한정보를제공함으로써운전자로하여금바른길로안내하는방법이필요하다. 따라서, 본논문에서는안전및편 의를위해내비게이션에서제공되는모든정보들로부터운전자의반응을기반으로운전자가그정보를간과하였거나제대로전달받지못한다고판단되면정보전달모달리티와모달리티강도를조정및제어해주는시스템을제안한다. 먼저제안된시스템은내비게이션에서전달되는정보들로부터운전자의 인지반응 을추적하여, 운전자와차량의상태에알맞게전달정보를조정및제어해준다. 이때, 운전자의 인지반응 이란운전자에게전달되는정보들을운전자가인지했을때운전자에게일어나는신체적ᆞ 심리적ᆞ행동적모든반응을포함한다. 그런데, 본논문에서는 Sweller(1998) 의인지부하를기반으로 Kim(2010) 에서논의한내용을기반으로이러한모든반응중에서, 심리를포함한신체반응인운전자피부전도도 [Kim(1999)], 광혈류량 [Shi(2009)], 동공크기변화와각정보에대한인지반응시간차를검출및분석하고자한다. 따라서본논문에서는위의 3가지운전자반응및반응시간차를기반으로하는 운전자인지반응에따른적응형인터페이스시 1

스템 을설계하고, 그시스템설계의효용성을검증하기위해, 실험가설및가설검증방법을설명한다. 본논문은다음과같이구성되어있다. 제 2장에서제안된적응형인터페이스시스템에대해모듈별로자세히설명하고, 다음으로제 3장에서제안된시스템을검증하기위한실험환경및실험가설에대해기술한다.

그림 2의모듈처리도에서보여지듯, 제안된시스템은다음과같은 4가지모듈로크게나뉜다 : 운전자상태수집장치로부터운전자의상태를검출하는운전자상태검출모듈, 운전자의인지반응여부를판단하는운전자인지반응추정모듈, 내비게이션정보전달모듈, 그리고차량상태수집장치로부터차량의상태를검출하는차량상태검출모듈. 2. Adaptive HVI System based on Cognitive-Reaction 제안된운전자인지반응기반적응형휴먼-차량인터페이스시스템은그림 1과같다.

두번째는생체신호측정기를통해측정되는피부전도도 (GSR) 과광혈류량 (PPG) 이다. 반면, 수집되는차량정보는차량의속도, RPM과같은기본정보뿐만아니라, 휠의각도, 가속력등을포함한다.

이때현재운전자가그정보를전달받아제대로수행할수있는상황인지를먼저판단후, 정보를제공해주기위해, 먼저운전자및차량의상태검출모듈에서현재운전자가정보를받아드릴수있는상황인지를먼저판단한다. 만약받을수있는상황이라고판단되면, 정보는운전자에게현재상황에가장적합한모달리티를통해전달된다. 이때가장처음전달할때의모달리티강도는기본으로한다.

2 스템 을설계하고, 그시스템설계의효용성을검증하기위해, 실험가설및가설검증방법을설명한다. 본논문은다음과같이구성되어있다. 제 2장에서제안된적응형인터페이스시스템에대해모듈별로자세히설명하고, 다음으로제 3장에서제안된시스템을검증하기위한실험환경및실험가설에대해기술한다. 끝으로제 4장에서는실험검증방법및효율성을증명하기위해논의내용및향후분석방법에대해논함으로써결론맺는다. 표출된다. 각수집정보와작동및처리방법은그림 2를통한인터페이스시스템모듈처리도를통해상세하게설명한다. 그림 2의모듈처리도에서보여지듯, 제안된시스템은다음과같은 4가지모듈로크게나뉜다 : 운전자상태수집장치로부터운전자의상태를검출하는운전자상태검출모듈, 운전자의인지반응여부를판단하는운전자인지반응추정모듈, 내비게이션정보전달모듈, 그리고차량상태수집장치로부터차량의상태를검출하는차량상태검출모듈. 2. Adaptive HVI System based on Cognitive-Reaction 제안된운전자인지반응기반적응형휴먼-차량인터페이스시스템은그림 1과같다. 실제차량을기반으로설계된시뮬레이터에는차량및운전자의정보를수집할수있는장치가내장되어있고, 이는시뮬레이터서버와수집장치의로그데이터를저장및처리할수있는 PC와연결되어있다. Figure 1. 운전자인지반응기반적응형 HVI 시스템수집되는운전자정보는 2가지로첫번째는카메라를통한운전자의눈과관련된정보로써, 시선의방향또는동공의크기등이다. 두번째는생체신호측정기를통해측정되는피부전도도 (GSR) 과광혈류량 (PPG) 이다. 반면, 수집되는차량정보는차량의속도, RPM과같은기본정보뿐만아니라, 휠의각도, 가속력등을포함한다. 시뮬레이터전방은 3개의프로젝트로부터실제도로상황을그대로재현한시뮬레이션영상이디스플레이되는데, 가운데스크린오른쪽아래에내비게이션정보의시각표현이 Figure 2. 제안된시스템의모듈처리도내비게이션으로부터운전자에게전달할정보가발생하면, 내비게이션정보전달모듈에서정보를운전자에게전달해준다. 이때현재운전자가그정보를전달받아제대로수행할수있는상황인지를먼저판단후, 정보를제공해주기위해, 먼저운전자및차량의상태검출모듈에서현재운전자가정보를받아드릴수있는상황인지를먼저판단한다. 만약받을수있는상황이라고판단되면, 정보는운전자에게현재상황에가장적합한모달리티를통해전달된다. 이때가장처음전달할때의모달리티강도는기본으로한다. 정보가전달된후에운전자가전달정보를제대로수행했을경우, 제안된시스템은그다음전달정보를기다린다. 그러나, 만약전달정보를운전자가제대로이행하지않았고, 이행해야할중요한정보일경우, 제안된시스템은모달리티의수정또는추가하거나, 기존전달모달리티의강도를높여줌으로써, 운전자가전달정보를제대로인지하고수행하여안전할수있도록돕는다. 3. Experimental Design & Hypothesis 본논문에서는운전자인지반응기반의적응형인터페이스시스템을구축하기위해서, 먼저운전자가인지했을때발생할수있는모든인지반응을가정하고, 추정한다. 그러나운전자가내비게이션의정보를전달받은후, 그 2

전달정보대로수행을하고나서야, 운전자가인지했는지여부를알수있으며, 이러함에도불구하고인지시점은정확히알수가없다. 따라서, 본논문에서는운전자가인지했을때, 직접인지한시점을표시하도록실험을설계하고, 그인지한시점의생체신호변화및반응시간을분석함으로써, 어떠한방식으로의정보를전달했을때운전자가인지가용이하고, 또어느정보의강도에서의전달표현이적합한지에대해논의한다.

3 전달정보대로수행을하고나서야, 운전자가인지했는지여부를알수있으며, 이러함에도불구하고인지시점은정확히알수가없다. 따라서, 본논문에서는운전자가인지했을때, 직접인지한시점을표시하도록실험을설계하고, 그인지한시점의생체신호변화및반응시간을분석함으로써, 어떠한방식으로의정보를전달했을때운전자가인지가용이하고, 또어느정보의강도에서의전달표현이적합한지에대해논의한다. 이러한논의결과는운전자인지반응기반적응형휴먼-차량인터페이스시스템의기반이될것이다. 그리고본실험설계에따른분석결과를토대로, 운전자가인지한시점의운전자생체신호의변화율과시선의변화율을관찰및추정하여, 차후그러한검출된변화율을기반으로실시간운전자의인지여부를판단하고, 그판단여부에따라전달정보를제어및조절하고자하는것을목표로한다. 이를위해, 운전자는시각또는청각의단일모달리티로부터정보를전달받거나, 시각과청각을동시에사용한멀티모달리티로부터정보를전달받는다. 이때, 각모달리티강도를다르게한다. 운전자는이렇게다양한타입의모달리티구성으로같은정보를전달받았을때, 그정보를인지하였다고하면인지했다는동의로써버튼을누르면서전달받은정보가무엇인지응답하는것으로실험을상정하였다. 이러한실험은다음과같은가설을생성한다. [ 가설 ] 내비게이션제공정보종류 / 모달의종류 / 모달의강도에따라반응시간 / 이해정도에차이가있을것이다. 내비게이션정보는운전자가주행을하면서도움받을수있는여러가지다양한종류의정보들이있다. 우리는그많은종류의정보들을다음의표 2와같이 3가지부류로분류하고, 분류된부류안에서각대표가되는정보 2 가지씩을속출하였다. 그리고그속출된 6가지내비게이션정보들에대해서위에서설명한 8가지조합으로전달표현을구성하였다. Table 2. 내비게이션속성분류별정보종류속성별정보분류대표정보종류주행정보직진정보좌회전정보주의ᆞ경고정보사고다발경고정보공사구간주의정보속도정보시속40km제한정보시속80km제한정보앞서설명하였듯이, 설계된실험안에서내비게이션정보들의시각표현은아래그림 3와같이표현되어운전자에게제공된다. 청각표현은차량시뮬레이터안에장착된스피커를통해나타나며, 모달리티의강도는기본 70dB로부터강도가강해질때마다 10dB씩커지기로하였다. 이는일반적인차량소음속에서차량내운전자에게적당한소리의크기를관련연구 [RFDH-Manager(2010)] 로부터발췌하여그대로사용하였으며, 제안된시스템은모달리티강도를 3등급으로나누므로, 최고크기는 90dB이된다. 실제로사람은 90dB이상의소리에는고통을느끼게되므로, 이러한기반연구를토대로청각모달리티의강도를설정하였다. 위의가설을검증하기위해서, 내비게이션의제공정보의종류별로분류하고분류된정보를 3가지형태의모달리티조합및 2가지형태의모달리티강도조합을통한총 8가지형태의모달리티및강도조합으로정보를전달한다. 표 1은내비게이션제공정보의 8가지조합을나타낸다. Table 1. 내비게이션정보제공표현방식모달리티모달리티강도비고 시각 1 기본 3 강도가가장높음. 깜박임 과붉은색으로표현함으로써강조를나타냄. 청각 1 70dB 3 90dB 멀티 1, 1 위의강도의조합으로이루 ( 시각 + 청각 ) 1, 3 3, 어짐. ( 예 ) 1, 3은시각은기본으로표현되면서동시에청각은 90dB로보다큰소리로정보전달을해준다. Figure 3. 각정보별모달리티표현방법 시각모달리티는그림 3과같이, 기본일경우, 각정보별로맨왼쪽에표시된데로표현된다. 반면강도가높아질 3

4 경우, 기본정보는각정보들의중간과세번째에표현된것으로 0.5초마다바뀌면서깜박임과동시에붉은색으로강조를표현하여시각적강도를높인다. 본실험은총 30명의 20대에서 30대사이의성인남녀로부터실험을실시하였으며, 남녀비율은 2:1이다. 이들모두운전면허소지자이며, 실제운전경력이있는사람들만그대상으로하였다. 시뮬레이터의능숙함이각기차이가있어, 차량시뮬레이터에능숙할수있도록충분한연습주행을실시후, 가능한모든피실험자가동일한환경아래에서실험을수행할수있도록하였다. 실험에있어서, 각정보별다른모달리티및강도의변화에따른피실험자의심리적이해및정보전달에있어서의잠재된만족도및인지도가차후운전자인지반응을분석하는데중요한요소가될것으로감안하여, 시뮬레이터주행후, 관련내용을 Sandra(2006) 와 DeLoach(1998) 에서각각설명한 RTLX(Raw Task Load Index) 와 VAS(Visual Analogue Scale 방식의설문지조사를병행하였다. 그림 4 는설문지의문항에대한일부를발췌하여나타냈다. (a) An example of VAS 4. Conclusions & Future Works 제안된시스템설계를위한인지반응실험시나리오및가설에대해다음과같은논의가제기된다. 1. 운전에집중하고있는상태에서, 인지하기쉬운정보는청각모달리티를통해전달하는것이운전자입장에서용이하다. 2. 정보에속성에따라, 인지반응이빠른전달모달리티가있다. 3. 속도제한과같은정보는청각뿐만아니라시각적표현에따른효과가강조의의미를전함으로, 정보전달후수행하지않았을경우, 시각모달리티를사용하여정보를전달해주는것이좋다. 우리는위와같은논의의결론을위해수집한생체신호변화값과반응시간및설문지조사를분석할계획이다. 또한운전시유발되는모든스트레스를포함한운전부하를정의하고산출하여, 운전부하와인지와의관계를파악하여운전자의인지반응을실시간보다정확하고신속하게검출할수있도록할계획이다. 본논문에서는운전자에게적시적소에적절한정보를제공하며, 때에따라제공모달리티와그강도를조정할수있는지능형적응형인터페이스시스템을제안하고, 이러한시스템을구현하기위해, 내비게이션정보의다양한전달유형에따른운전자인지반응을추정하는실험을설계하였다. 이때, 운전자인지반응에운전자의동공크기, 광혈류량, 피부전도도를비롯하여, 반응시간이영향을미친다고판단하고이러한정보를측정및추출하고분석함으로써운전자가주행중정보를전달받았을때, 그정보의속성및전달모달리티와그강도에따라정보를이해하고수행하는것이달라질수있다는것을보여준다. 실험분석결과는차후정보속성, 전달모달리티종류, 모달리티의강도에따라운전자의인지차이를보여주고, 이로써전달정보에따라운전자가좀더인지하기쉬운형태의모달리티를선택하고, 운전자의반응시간에따라모달리티강도를선택해주는지능형적응형인터페이스시스템을구현하는기반이될것이다. Acknowledgements (b) An example of RTLX Figure 4. VAS 및 RTLX 의한예 This work was supported by the Industrial Strategic Technology Development Program and the Development of Driver Adaptive Intelligent HVI(Human-Vehicle 4

5 Interface) Technology ( ) funded by the Ministry of Knowledge Economy (MKE, Korea). Electronics and Telecommunications Research Institute (ETRI) Areas of interest: Human Vehicle Interface System, Real-time Operating System, Embedded Systems References Koo, T.-Y., Park, K.-J., Kim, B.-Y., Kim, H.-J., Suh, M.-W. "A Study on Driver s Workload of Telematics using Driving Simulator-A Comparison among Information Modalities", International Journal of Precision Engineering and Manufacturing, Vol.10, No.3, (pp.59 63), 2009 Road Traffic Safety Authority (South Korea): Statistical Analysis of Traffic Accident: RTSA Annual Report, (pp ), 2005 Sweller, J., Cognitive Lead during Problem Solving: Effects on Learning, Cognitive Science, Vol.12, Issue 2, (pp ), 1988 Kim, Y. S., A Study on Driver Distraction Using a Driving Simulator, published thesis(m.a.), University Kookmin, 2010 Kim. S. K., Min, B. C., Jung, S. C., Min, B. W., Oh, J. Y., Kim, Y. N., Shin, J. S., Kim, C. J., Park, S. J., Driver s GSR according to a Quick start/end, The Ergonomics Society of Korea, Vol. 2, (pp ), 1999 Shi. P., Hu. S., Zhu. Y., A Preliminary Attempt to Understand Compatibility of Photoplethysmographic Pulse Rate Variability with Electrocardiogramic Heart Rate Variability, Journal of Medical and Biological Engineering, Vol.28, No.4, (pp ), 2008 RFDH-Manager, RF Basic Lecture, Corner Book, 2010 Sandra G.. H. NASA-TASK LOAD INDEX(NASA-TLX); 20 years latter, Human Factors and Ergonomics Society Annual Meeting Proceedings, Vol.50, No. 9, (pp ), 2006 DeLoach, L. J. Higgins, M. S., Caplan, A. B., Stiff, J. L. The Visual Analog Scale in the Immediate Postoperative Period: Intrasubject Variability and Correlation with a Numeric Scale, Anesth Analg, Vol. 86, No.1, (pp ), 1998 Kyongho Kim: kkh@etri.re.kr Highest degree: PhD, Department of Computer Science, KAIST Position title: Team leader, Green Vehicle IT Research Team, Vehicle-IT Convergence Technology Research Laboratory, Electronics and Telecommunications Research Institute (ETRI) Areas of interest: HCI(Human Computer Interaction), Virtual Reality, Augmented Reality Junhoe Kim: heartbethesoul@gmail.com Highest degree: Department of Automotive Engineering, Kookmin University Position title: Master student, Graduate School of Automotive Engineering, Kookmin University Areas of interest: Driving simulator development and application, Automotive human factors engineering Woonsung Lee: wslee@kookmin.ac.kr Highest degree: PhD, Department of Mechanical Engineering, University of lowa, USA Position title: Professor, Graduate School of Automotive Engineering, Kookmin University Areas of interest: Driving simulator development and application, Advanced driver assistance systems, Automotive human factors engineering Author listings Hyesun Park: hspark78@etri.re.kr Highest degree: PhD, Department of Computer Science and Engineering, Kyungpook National University Position title: Senior Engineer, Green Vehicle IT Research Team, Vehicle-IT Convergence Technology Research Laboratory, Electronics and Telecommunications Research Institute (ETRI) Areas of interest: HCI(Human Computer Interaction), Computer Vision, Pattern Recognition, Human Behavior Jongwoo Choi: jwchoi@etri.re.kr Highest degree: MS, School of Electrical Engineering and Computer Science, Seoul National University Position title: Member of Engineering Staff, Green Vehicle IT Research Team, Vehicle-IT Convergence Technology Research Laboratory, 5

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770> Journal of the Korea Academia-Industrial cooperation Society Vol. 13, No. 2 pp. 866-871, 2012 http://dx.doi.org/10.5762/kais.2012.13.2.866 증강현실을 이용한 아동교육프로그램 모델제안 권미란 1*, 김정일 2 1 나사렛대학교 아동학과, 2 한세대학교 e-비즈니스학과