<372DBCF6C1A42E687770>

Size: px

Start display at page:

Download "<372DBCF6C1A42E687770>"

지명 단
8 years ago
Views:

1 67 [논문] - 공학기술논문집 Journal of Engineering & Technology Vol.21 (October 2011) 눈 폐쇄상태 인지 및 시선 탐지 기반의 운전자 졸음 감지 시스템 여 호 섭*, 임 준 홍** Driver Drowsiness Monitoring System Based on Eye Closure State Identification and Gaze Detection Ho-Seop Yeo*, Joon-Hong Lim** *Department of Electronics System Engineering, Hanyang University **Corresponding author : jhlim@hanyang.ac.kr, Department of Electronics System Engineering, Hanyang University (Received July 16, 2011) 요 약 본 논문에서는 카메라로부터 받은 영상을 이용하여 운전자의 눈의 개폐상태와 응 시방향을 분석하여 졸음여부를 판단하며, 이를 통해 졸음운전이나 정면을 응시하지 않아서 생기는 사고를 방지한다. 먼저 홍채를 탐지하기 위하여 영상의 색차를 기준 으로 가우시안 필터를 이용하여 분할하며, 탐지된 영역을 관심영역으로 지정하여 히 스토그램 분석을 하였다. 히스토그램 결과에 따라 사용자가 정면을 응시하는지 여부 를 확인하며, 이를 화면에 표시하여 경고하는 시스템을 제안한다. ABSTRACT This paper describes a real-time prototype driver-fatigue monitor. It uses remotely located Normal CCD camera to acquire video images of the driver. The system relies on multiple visual cues to characterize the level of alertness of the driver. The parameters used for detecting fatigue are: eye blinking frequency and eye closure duration. Initially, the capture image is converted to grayscale to detect the face in video frame. Then, an eye region is extracted from the face region and defined closure state. Finally, we update display of the video with embedded rectangles to mark detected face and eye and visaul indication of drowsiness state. In addition, we propose a system that detects the gaze direction of driver using segmentation to prevent careless traffic accident.

*Department of Electronics System Engineering, Hanyang University **Corresponding author : jhlim@hanyang.ac.

2 68 김진수, 임준홍 공학기술논문집 제21권 ( ) 1. 서 론 Ⅰ. 서 론 최근 영상 처리 기술의 발전에 따라 지능 형 자동차에 응용하는 기술에 대한 연구가 활발히 진행되고 있다. 영상 처리 기술을 자 동차에 이용하면, 카메라를 통하여 받은 영 상을 통하여 운전자의 시야 확장, 졸음운전 방지, 자동 주차 등 폭 넓은 응용이 가능하 다. 그 중에서 졸음운전 방지 기술의 경우, 운전자의 얼굴 표정 및 눈 깜박거림(blink), 눈 응시방향 등 다양한 시각적 특징들을 이 용하고 있으므로 영상 처리 기술을 자동차에 응용한 대표적인 예라고 할 수 있다. 졸음 운전 방지 기술은 높은 신뢰성을 필요로 함 으로 운전자의 피로(fatigue)와 가장 상관관 계가 큰 특징들을 이용하여야 한다. 신체에 서 운전자의 의식 수준(consciousness level)을 가장 잘 표현해 주는 부분은 눈이 다. 보통 성인 남자의 경우 1분당 20번 정도 로 눈을 깜박거리지만, 피로도가 높아져서 의식 수준이 떨어질 때 에는 눈의 깜빡임 빈 도수가 낮아지고 눈을 감고 있는 시간도 증 가하게 된다. 일반적으로 눈의 닫힘 지속 시간의 측정은 식 (1)과 같이 정의된 PERCLOS를 사용한다. 방식은 비교적 외부 환경에 영향을 받지 않 고, 인식률이 높은 장점이 있지만 인체에 센 서를 부착하므로 운전자에게 거부감을 줄 뿐 아니라 비교적 고가의 센서를 구입해야 하는 단 점이 있다. 두 번째 방식은 비접촉 방식 이기 때문에 운전자들이 거부감 없이 사용할 수 있는 장점이 있지만, 카메라로부터 받은 영상을 실시간으로 처리해야 하므로 많은 연 산을 요구하여 실시간으로 졸음을 인식할 수 없다는 단점이 있다. 기존에 나와 있는 대부분의 비전 처리 방식 의 졸음방지시스템에서는 그림1과 같은 순서 로 눈의 개폐를 확인하고, PERCLOS를 구하 여 운전자의 졸음운전여부를 판단하고 경고 한다. 그러나 운전자가 졸린 상태에서는 눈 을 뜨고 있더라도 부주의로 인한 사고가 발 생할 수 있다. 뿐만 아니라 연산량이 지나치 게 많아 실시간으로 졸음을 인식하지 못하는 문제가 있다. 눈감은 시간의 누적 실험 (1) 측정 시간 기존의 졸음 방지 시스템에는 뇌파 및 심박 동수변이율(HRV)를 센서를 이용하여 졸음을 감지하는 센서 측정 방식이 있으며, 두 번째 로는 카메라를 이용하여 영상을 입력받아 운 전자의 눈을 검출하여 분석함으로써 졸음을 감지하는 비전 처리 방식이 있다. 첫 번째 그림. 1 기존의 운전자 졸음 감지 시스템 Fig. 1 Existing driver drowsiness monitoring system. 본 논문에서는 졸음 뿐 아니라 사용자의 부 주의로 인한 사고를 방지하기 위하여 운전자 의 정면 응시 여부를 분석한다. 이를 위해서 눈 영역 뿐 아니라 홍채 영역까지 탐지하였 으며, 홍채 영역의 히스토그램의 변화를 가

신체에 서 운전자의 의식 수준(consciousness level)을 가장 잘 표현해 주는 부분은 눈이 다. 보통 성인 남자의 경우 1분당 20번 정도 로 눈을 깜박거리지만, 피로도가 높아져서 의식 수준이 떨어질 때 에는 눈의 깜빡임 빈 도수가 낮아지고 눈을 감고 있는 시간도 증 가하게 된다.

3 눈 폐쇄상태 인지 및 시선 탐지 기반의 운전자 졸음 감지 시스템 69 지고 사용자의 시선을 분석하여 사용자의 집 중상태를 분석한다. 또한 실제 상황에서 얼 굴 움직임에 따라 눈 영역의 검출이 실시간 으로 이루어질 수 있도록 눈의 깜빡임은 눈 영역의 Segmentation된 개수만으로 판단하 고, 눈의 응시방향은 홍채 영역의 중심점을 기준으로 일정 거리 안에서만 연산을 수행하 여 전체적인 연산량이 현저히 줄도록 하는 데 특징이 있다. 미리 얼굴이 학습된 xml파일을 로드하면 Adaboost 방법의 경우 결정트리를 구성하여 일정 Depth이상을 만족하면 Positive를 반환 한다. 이와 같은 과정을 거쳐 만들어지는 분 류기 중에서도 본 논문에서는 Harrcascade_frontalface와 같은 XML파일 을 이용하여 학습된 얼굴을 이용하여 그림 2 와 같이 사람의 얼굴을 검출한다. Ⅱ. 얼굴 및 눈 영역 검출을 통한 홍채 탐지 1. 얼굴 및 눈 영역 검출 및 트래킹 얼굴 검출 방법의 종류로는 그 기반에 따 라 지식 기반(knowledge-based), 특징 기반 (feature-based), 템플릿 기반 (template-based), 상태 기반 (appearance-based) 방법이 있다. 그 중에 서도 상태 기반(appearance-based)방법이 가장 많이 쓰이는데, 이 방법은 Adaboost 등의 패턴 인식 알고리즘을 사용하여 학습함 으로써 대상을 구분하는 분류기(classfier)를 만들어 내는 방법이다. 먼저 학습시킬 얼굴 영상을 수집하고 Negative Sample과 Positive Sample을 구 분한 후, Positive 영상에 대하여 무작위로 (randomly) 회전하거나 이동시키거나 크기를 변형시켜 학습영상을 늘리면 에러에 대한 민 감성을 높일 수 있다. 여기서 Positive Sample이란 인식을 해야 되는 영상으로 일 정 조건을 만족했을 때 분류기가 인식할 수 있도록 Positive 값을 반환한다. 반대로 Negative Sample은 인식하지 말아야 할 영 상으로써 일정 조건을 만족했을 때 분류기가 인식하지 않도록 Negative 값을 반환한다. 그림. 2 영상 내의 얼굴을 검출한 화면 Fig. 2 Face detection in video frame. 추후 검출된 얼굴 영역 내에서 눈 영역을 검 출한다. 얼굴 영역을 검출할 때, 포즈(pose), 부가적인 객체들(안경, 콧수염), 부분적 얼굴, 카메라의 앵글에 따라 얼굴 검출에 문제가 생길 수 있으므로 주의해야 한다. 한편 눈의 위치를 정하기 위하여 이전의 프레임과 현재 프레임 사이의 차이값을 구한 후, 경계값을 설정한다. 결과값으로 나온 이진(binary) 이 미지는 두 프레임간에 발생했던 움직임을 보 여준다. 그 다음 영상을 모폴로지 열림 연산 을 수행하여 조명 조건이나 카메라 해상도로 인하여 발생하는 노이즈를 제거한다. 이 연산을 통하여 추가적으로 적은 수의 큰 연 결된 성분이 생성된다. 다음 반복적인 라벨 링(labeling)작업을 통하여 이진영상으로부터 연결된(connected) 구성성분을 모두 찾는다. 이때 연결된 성분들이 두 눈인지 아닌지를 결정하기 위하여 각각의 R,G,B 채널간의 색 차를 구한다. 일반적으로 눈 영역은 피부 영

미리 얼굴이 학습된 xml파일을 로드하면 Adaboost 방법의 경우 결정트리를 구성하여 일정 Depth이상을 만족하면 Positive를 반환 한다. 이와 같은 과정을 거쳐 만들어지는 분 류기 중에서도 본 논문에서는 Harrcascade_frontalface와 같은 XML파일 을 이용하여 학습된 얼굴을 이용하여 그림 2 와 같이 사람의 얼굴을 검출한다.

4 70 김진수, 임준홍 공학기술논문집 제21권 ( ) 역에 비하여 R,G,B간의 색차가 적다. 따라 서 색차의 합이 가장 적은 영역을 눈의 영역 으로 검출한다. (2) 그림. 3 얼굴과 눈 영역을 검출한 화면 Fig. 3 Detection of the eye in video frame. 위 과정을 통하여 그림. 3과 같이 눈의 영역 을 검출 한 후, 두 개의 구성성분보다 더 큰 템플릿을 생성 한다. 눈 영역에 템플릿이 생 성된 후 시스템은 차후의 프레임에서 사용자 의 눈의 위치를 정하기 위하여 템플릿 매칭 을 사용한다. 한편 이 시스템은 사용자가 눈 을 열때 추적하므로 눈을 깜빡이는 순간 템 플릿을 잘못 생성 할 수 있다. 따라서 한번 눈의 위치가 정해진 후 타이머를 통하여 무 의식적인 깜빡임 후, 눈을 뜨게 되는 대략적 인 시간을 판단하게 된다. 이를 통하여 무의 식적으로 눈을 깜박이는 것은 졸음 감지를 하지 않도록 설정한다. 2. 눈 영역 내의 홍채 탐지 본 논문에서는 홍채를 탐지하기 위해 이진으 로 변환된 영상에서 가우시안 필터를 이용한 영상 분할(segmentation)을 수행하여 홍채의 영역을 탐지한다. 영상처리에서 가우시안 필 터는 식(2)와 같이 정의된 2차원의 가우시안 함수를 사용하며, 이때 는 표준편차를 의미 한다. 원래 가우시안 함수는 연속 함수 이지만 마 스크를 만들기 위하여 x와 y가 정수인 부분 에서만 함수값을 추출한다. 이러한 2차원 가 우시안 함수 값을 이용하여 마스크를 생성하 고, 입력 영상과 마스크연산을 수행해준다. 가우시안 필터의 와 영역 경계선의 Threshold, segmentation 가능한 최소 영역 을 설정하여 그림. 4와 같은 segmentation 결과를 얻는다. 그림. 4 눈이 개방되었을 때 segmentation 결과 Fig. 4 Segmentation result for opened eye. 영상을 분할할 때 R,G,B의 색차를 이용하 였으며, 픽셀끼리 색차를 비교할 때 아래, 오 른쪽 아래, 오른쪽 위의 순서로 비교한다. 눈 영역 안의 홍채의 위치를 탐지 됐는지를 확인하기 위하여 각각의 분할된 요소 (element)들의 조도(luminance)의 합을 구한 다. 이때 눈 주위의 반사효과를 피하기 위하 여 창의 가운데 픽셀을 계산에 넣지 않고 합 을 다시 구한다. 조도의 평균값이 최소가 되 는 위치가 홍채의 영역으로 표시 되었는지 확인한다. 또한 나머지 다른 한쪽의 홍채는 이미 탐지된 홍채와 일정한 색차의 비를 가 지게 되는데, 조도에 따라 이 색차의 비가 조금씩 달라진다. 이에 관하여 Ioana Bacivarov가 제안한 색차와 조도로 이루

따라서 한번 눈의 위치가 정해진 후 타이머를 통하여 무 의식적인 깜빡임 후, 눈을 뜨게 되는 대략적 인 시간을 판단하게 된다. 이를 통하여 무의 식적으로 눈을 깜박이는 것은 졸음 감지를 하지 않도록 설정한다. 2.

5 눈 폐쇄상태 인지 및 시선 탐지 기반의 운전자 졸음 감지 시스템 71 어진 (3),(4),(5)의 관계식을 적용하여 만족하 는 영역을 구한다. and (3) and (4) (5) 여기서 은 첫 번째 구한 홍채 영역 내의 색차의 합계이며 는 두 번째 홍채 영역 후 보군의 색차의 합계이다. 또한 B는 조도의 합계이다. 즉 조도의 합이 최소가 되는 영역 의 element들을 첫 번째 홍채로 고른 후에, 첫 번째 홍채와 색차의 비율이 1.25를 만족 하고 조도의 합이 180이하를 만족하거나 첫 번째 홍채와 색차의 비율이 1.4를 만족하고 조도의 합이 125이하를 만족하는 요소 (element)를 두 번째 홍채의 영역으로 판명 한다. 홍채에 해당하는 영역은 ROI(region of interest) 영역으로 지정하여 추후 홍채를 트래킹 하기 쉽도록 한다. Ⅲ. 폐쇄 상태를 인지 기반한 분석 폐쇄상태를 구분하기 위해서 홍채와 마찬 가지로 색차로 분할(segmentation)된 영상을 사용한다. 분할을 수행하면 그림. 6과 같이 눈을 떴을 때에는 홍채, 동공, 공막, 눈꺼풀, 주변 피부로 분할되는데 비해 눈을 감았을 때는 눈꺼풀과 주변 피부로 나누어지게 된 다. 따라서 분할된 element개수를 가지고 눈 의 개폐상태를 구분 할 수 있다. 이때 element들은 색차로 분할되기 때문에 눈을 반쯤 감은 것과 관계없이 개폐 상태를 구분 할 수 있다. 그림. 6 눈의 개폐에 따른 segmentation 결과 화면 Fig. 6 Segmentation result for open&closed eye. 그림. 5 눈 영역 안의 홍채 검출 Fig. 5 Detection of the iris in eye region. 그림. 5의 초록색 네모는 위의 과정을 통해 구한 홍채의 영역을 표시한다. 그림. 6의 위에 그림과 같이 분할된 element 개수가 지정된 개수(8개)이상일 경 우 눈을 뜬 것으로 판명하며 (open-state), 아래그림과 같이 element 개수가 8개 이하 일 경우 눈을 감은 것으로 정의한 다.(closed-state) 이때 segmentation가능한 최소 크기를 변경함을 통해서 지정된 개수는 변경되어 진다. 그러나 조명의 영향이나 환 경에 의해 segmentation을 이용한 눈의 개 폐상태 판별은 한계를 지닌다. 이를 보완하 기 위하여 홍채 영역의 색차(chrominance)

홍채에 해당하는 영역은 ROI(region of interest) 영역으로 지정하여 추후 홍채를 트래킹 하기 쉽도록 한다. Ⅲ. 폐쇄 상태를 인지 기반한 분석 폐쇄상태를 구분하기 위해서 홍채와 마찬 가지로 색차로 분할(segmentation)된 영상을 사용한다. 분할을 수행하면 그림.

6 72 김진수, 임준홍 공학기술논문집 제21권 ( ) 를 이용한다. 먼저 홍채 영역 안의 색차 중 가장 작은 색차의 합을 구한다. 다음 현재의 홍채 영역 안의 색차의 합을 구한 값을 가장 작은 색차의 합으로 나눈다. 이때 이 비율이 경계치(threshold) 값을 넘을 경우 닫힘 상태라고 정의한다. 이렇게 정의 한 이유는 눈을 감을 경우 부분적으로 피부 를 나타내는 픽셀들이 포함되게 되는데, 피 부의 픽셀은 홍채 영역 안의 픽셀들보다 색 차가 더 크기 때문이다. 눈을 감았을 때는 현재 홍채 영역 안의 색차의 합이 높아지므 로 가장 작은 색차의 합으로 나눈 비율이 경 계치를 넘는다. 이를 적용하므로 segmentation을 이용한 눈의 개폐 판별 방 법을 보완할수 있다. 위의 방법을 이용하여 눈의 폐쇄상태를 식 별한 후, 깜빡임의 횟수 및 눈을 감은 시간 을 구하여 사람의 졸음상태를 판단한다. 경우 운전자가 왼쪽을 보는 것으로 판단한 다. 30프레임 동안 상태가 지속될 경우 사용 자에게 빨간색 네모로 경고한다. 마찬가지의 방법으로 오른쪽을 보는 것도 판단할 수 있 는데, 이 경우 오른쪽 홍채의 왼쪽 영역의 조도의 평균을 계산하여야 한다. 만약 사용 자가 위쪽을 볼 경우 홍채 아래의 공막이 증 가 하게 되므로 이때도 히스토그램을 이용하 여 임계치가 넘는 픽셀수의 비율에 따라 정 면응시의 유무를 확인한다. 폐쇄상태 인지 및 운전자 시선 탐지 시스템의 트리 구성은 그림. 7과 같다. Ⅳ. 운전자 시선 탐지 시선을 탐지하기 위하여 먼저 앞서 구현된 얼굴 추적기(face tracker)를 이용하여 얼굴 의 중심점을 구한다. 이 중심점으로부터 홍 채까지의 거리를 이용하여 왼쪽홍채와 중심 점, 오른쪽홍채와 중심점 사이의 두 가지 거 리를 구할 수 있다. 운전자가 왼쪽을 보는 것을 탐지하기 위하여 왼쪽 홍채의 오른쪽 부분의 조도의 평균을 구한다. 만약 운전자가 왼쪽을 보았다면 왼쪽 홍채 의 오른쪽 영역의 눈의 공막( 鞏膜 )의 화이트 픽셀의 증가로 인하여 조도의 평균이 갑작스 레 올라가는 것을 확인 할 수 있다. 이 경우 임계치(Threshold)를 설정하여 히스토그램 상에서 임계치 이상의 픽셀의 수가 검출될 그림. 7 제안된 알고리즘의 트리 구성 Fig. 7 Tree configuration of the proposed algorithm. Ⅴ. 실 험 먼저 실제 실험 시스템의 구성 화면은 그 림. 7과 같으며, 좌상단 화면은 입력되어 지 는 영상, 우상단 화면은 눈의 영역을 추출한 후 이진화 시킨 영상, 좌하단 화면은 색차로 분할한 영상, 우 하단은 홍채 영역의 히스토 그램 그래프를 나타낸다.

이를 적용하므로 segmentation을 이용한 눈의 개폐 판별 방 법을 보완할수 있다. 위의 방법을 이용하여 눈의 폐쇄상태를 식 별한 후, 깜빡임의 횟수 및 눈을 감은 시간 을 구하여 사람의 졸음상태를 판단한다. 경우 운전자가 왼쪽을 보는 것으로 판단한 다. 30프레임 동안 상태가 지속될 경우 사용 자에게 빨간색 네모로 경고한다.

7 눈 폐쇄상태 인지 및 시선 탐지 기반의 운전자 졸음 감지 시스템 73 두 번째 실험은 사용자의 응시방향을 인식하 는 응시 인식률을 조사한다. 위의 시스템을 이용하였으며, 마찬가지로 Threshold는 69 로 하여 아래와 같은 히스토그램 그래프를 구한다. 실험은 각 응시방향 당 10번씩 1초 간 응시한다. 그림. 8 실제 시스템 구성 화면 Fig. 8 The experimental system configuration screen. 눈의 닫힌 상태를 인식하는 실험은 총 7번으 로 진행되었으며, Threshold값은 69로 고정 하며, 실내 환경에서 형광등 조명을 가지고 실험을 한다. Element개수 경계치 보다 영상을 Segmentation했을 때 분할되어 지는 영역의 개수가 적을 때 닫힘 상태 로 본다. 실험결과 <표1.>과 같이 Element 개수에 따라 눈의 닫힌 상태를 인식하는 인식률이 큰 차이를 보였다. 표 1. 눈 감은 시간과 깜빡임 횟수에 따른 감지 결과 Table 1. Detection result for closure time and blinking number. 눈을 감은 횟수 Element 개수 경계치 눈 닫힘 인식 횟수 인식률 실험 실험 실험 실험 실험 실험 실험 그림. 9 눈의 시선에 따른 히스토그램 Fig. 9 Histogram for gaze detection. 실험 결과 정면을 바라보았을 때에 비하여 옆, 위, 아래를 보았을 때 상대적으로 눈의 공막 영역의 증가로 히스토그램의 가로축의 오른쪽 방향으로 이동할 뿐 아니라 최대 극 점(peak)도 더 높게 형성하는 것을 그림. 9 와 같이 확인 할 수 있다.

Element개수 경계치 보다 영상을 Segmentation했을 때 분할되어 지는 영역의 개수가 적을 때 닫힘 상태 로 본다. 실험결과 <표1.>과 같이 Element 개수에 따라 눈의 닫힌 상태를 인식하는 인식률이 큰 차이를 보였다. 표 1. 눈 감은 시간과 깜빡임 횟수에 따른 감지 결과 Table 1.

8 74 김진수, 임준홍 공학기술논문집 제21권 ( ) 표 2. 운전자의 응시방향에 따른 감지 결과 Table 2. Detection result for Driver gaze Direction. peak 치 응시방 향 임계치가 넘는 픽셀의 비율 인식률 실험1 120 정면 10% 100% 실험2 120 왼쪽 15% 90% 실험3 120 위 17% 90% 실험4 120 아래 19% 70% 실험5 180 정면 4% 100% 실험6 180 왼쪽 11% 93% 실험7 180 위 14% 94% 실험8 180 아래 16% 83% peak치(임계치)를 높게 설정할수록 각 시 선에 따른 임계치가 넘는 픽셀의 비율의 편 차가 크기 때문에, 더욱 높은 응시 방향 인 식률을 얻을 수 있다. Ⅵ. 결 론 그림. 10 거리에 따른 명암 분포 변화 (좌: 정면 응시, 우: 왼쪽 응시) Fig.9 Changes in the distribution of contrast over distance. 이를 기반으로 운전자와 카메라 사이의 거 리를 30cm로 가정하고 실내 조멍 조건에서 peak의 임계치에 따라 응시 방향을 10번씩 응시하여 인식한 결과는 표 2.와 같이 되었 다. 본 논문에서는 졸음을 감지하기 위하여 운 전자의 얼굴을 인식한 후, 구한 영역 내에서 눈의 위치를 구하기 위하여 프레임간의 이진 이미지의 차이 값을 구한다. 또한 노이즈를 제거하기 위하여 모폴로지 열린 연산을 하였 으며, 반복적인 라벨링 작업을 통하여 구한 연결된 성분들의 색차의 합을 구하여 눈의 영역을 검출 한다. 정해진 눈의 영역 안에서 가우시안 필터를 이용한 영상 분할 방법을 이용하여 홍채의 위치 및 눈의 개폐상태를 결정한다. 또한 홍채의 위치가 정확히 탐지 되었는지 확인하기 위하여 홍채 영역의 색차 (chrominance)를 이용한다. 눈의 개폐 상태 를 판별하기 위하여 영상 분할을 통한 요소 의 개수를 사용하였으며, 눈이 닫혀진 후에 는 타이머를 동작시켜 눈 감은 시간을 구한 다. 30 프레임 이상 눈을 감고 있을 경우 졸

설정할수록 각 시 선에 따른 임계치가 넘는 픽셀의 비율의 편 차가 크기 때문에, 더욱 높은 응시 방향 인 식률을 얻을 수 있다. Ⅵ. 결 론 그림. 10 거리에 따른 명암 분포 변화 (좌: 정면 응시, 우: 왼쪽 응시) Fig.9 Changes in the distribution of contrast over distance.

9 눈 폐쇄상태 인지 및 시선 탐지 기반의 운전자 졸음 감지 시스템 75 음 상태로 판별하여 화면의 왼쪽 상단에 빨 간 네모를 표시한다. 마지막으로 운전자의 시선을 구하기 위하여 히스토그램을 이용하 였으며 각각의 응시방향에 따라 발생되는 히 스토그램의 변화를 통하여 응시방향을 결정 한다. 실험결과 조명의 밝기와 머리의 회전 에 따라서 실패가 발생하지만, 일정한 조건 하에서는 보다 정밀한 결과를 얻을 수 있는 것을 확인하였다. 한편 이러한 깜빡임 및 시선을 감지하는 시스템은 운전자 졸음 감시 시스템에 국한되 지 않고, 손의 움직임에 장애를 가진 사람을 위한 시선 위치 추적에 따른 컴퓨터 화면 제 어나 공정 제어 환경과 같이 동시에 조정해 야 할 것들이 많은 상황에서 손과 동시에 눈 을 이용한 입력을 가능케 하는 등 다양한 분 야에 응용 될 수 있을 것이다. 또한 홍채를 이용한 생체 인식 시스템에도 활용되어, 홍 채를 더욱 빠르게 탐지할 수 있도록 응용 될 수 있을 것이다. 참 고 문 헌 [1] Qiang Ji, Zhiwei Zhu, and Peilin Lan, Real-Time Nonintrusive Monitoring and Prediction of Driver Fatigue, IEEE Trans. on Vehicular Technology, Vol. 53 No. 4, pp , JULY 2004 [2] Tomofurni Miyakawa, Hironobu Takano, and Kiyomi Nakamura, Development of Non-contact Real-time Blink Detection System for Doze Alarm, SICE Annual Conference in Sapporo, pp , August 4-6,2004 [3] Michael Chau and Margrit Betke, Real Time Eye Tracking and Blink Detection with USB Cameras, Boston University Computer Science Technical Report, December 2005 [4]Leonidas G.Kourkoutis, Konstantinos I.Panoulas, and Leontios J.Hadjileontiadis, Automated Iris and Gaze Detection Using Chrominance:Application to Human-Computer Interaction Using a Low Resolution Webcam, IEEE International Conference on Tools with Artificial Intelligence, Vol. 1 pp , November 2007 [5]김종일,안현식,정구민,문찬우, 실시간 비전 시스템을 이용한 운전자 신체적 상태 추정, 한 국 인터넷방송통신TV학회 논문지,제9권 제 5호, 쪽, 2009년 10월 [6]Ioana Bacivarov and Mircea Ionita and Peter Corcoran, Mohamed Abdel-Mottaleb, and Mohammad H. Mahoor, Statistical Models of Appearance for Eye Tracking and Eye-Blink Detection and Measurement, IEEE Transactions on Consumer Electronics,Vol. 54,No. 3, pp , August [7]박영식, 색상 차를 이용하는 영역 병합에 기반한 칼라영상 분할 알고리즘, 전자공학회논 문지 SP편, 제40권 제 1호, 1-147쪽, 2003년 1 월 [8]T. Morris and P. Blenkhorn and Farhan Zaidi, Blink detection for real-time eye tracking, Journal of Network and Computer Applications,Vol.25, pp , February 2002

한편 이러한 깜빡임 및 시선을 감지하는 시스템은 운전자 졸음 감시 시스템에 국한되 지 않고, 손의 움직임에 장애를 가진 사람을 위한 시선 위치 추적에 따른 컴퓨터 화면 제 어나 공정 제어 환경과 같이 동시에 조정해 야 할 것들이 많은 상황에서 손과 동시에 눈 을 이용한 입력을 가능케 하는 등 다양한 분 야에 응용 될 수 있을 것이다.

À±½Â¿í Ãâ·Â

À±½Â¿í Ãâ·Â Representation, Encoding and Intermediate View Interpolation Methods for Multi-view Video Using Layered Depth Images The multi-view video is a collection of multiple videos, capturing the same scene at