박정환, 정종진, 김국보 Jung Hwan Park, Jong Jin Jung, Guk Boh Kim 1. 서론 최근영상처리기술의발달로얼굴인식이나물체 인식등의기술을기반으로스마트폰뿐만아니라카 메라 태블릿등의다양한 기기와접목한사용자 편의기능들이소개됨에따라영상인식분야에대한 관심이증가하고있다 따라서인식정확도를향상시 키기위한연구와이를기반으로한서비스연구가 활발히진행되고있다 다양한하드웨어장비에영상 처리를지원하기위한기능들이내장되고 응용프로 그램을통해활용하는서비스들이등장했다 또한오 픈소스컴퓨터비전라이브러리인 를이용 한라이브러리구축및연구가활발히진행되고있 다 영상으로부터원하는정보를인식하기위해서크 게 목표대상영역을검출하고영상정보중특징영 역의위치를탐색한뒤최종적으로인식하는과정으 로이루어진다 이때인식뿐만아니라영상처리영역 전반에걸쳐사용되는것이노이즈필터링절차이다 노이즈필터링은영상처리에서빼놓을수없는 중요한처리과정이다 주로영상의잡음을제거하거 나손상을줄이기위한용도로사용된다 노이즈필 터는여러항목으로분류될수있는데 특히스무딩 연산을위한대표적인필터로는 등이있다 대부분의필터들은영상정보중특징들의정보나 특성을기반으로필터를수행하는것이아닌이웃 픽셀과마스크등을이용해연산을수행한다 따라서 이웃픽셀과대비되는픽셀들이마스크에의해가중
치가부여되어두드러지거나 이웃픽셀평균과의차이등을통해노이즈를이웃픽셀에근사한값으로대체하여노이즈를제거 혹은완화시키는데효과적이다 하지만노이즈필터를수행한후에도노이즈가완전히제거되지않을수있다 또한특징영역의특성이나정보를활용하지않기때문에특징점과노이즈들을구분하여필터링을하지않아반복적인필터링으로특징점의손실이발생할수있다 본논문에서는전처리단계를통해얻은입력영상에대해노이즈를제거하는것이아닌 기울기값을계산하여노이즈를판단하기위한기준으로활용한다 노이즈를판별하고노이즈로판별된개체에대해특징벡터의기울기에해당하는값으로보정하면서입술모양의특징벡터를생성하는기법에대해제안하였다 본논문의구성은 장에서본논문에서기본이되는관련연구에대하여고찰한다음 장에서제안하는입영역에서외곽선의기울기보정을통해특징벡터를생성하는기법을제시한다 여기에서는특징벡터생성을위한전처리과정과초기외곽선추출 그리고기울기보정방법과그에따른결과순으로서술한다 그리고 장에서는결론을맺는다 2. 관련연구 2.1 Otsu's method 는영상을이진화하기위한임계값을계산하는통계학적인방법이다 영상을두클래스로나눌때클래스내분산이최소가되는값을계산해영상을두개의클래스로나누기위한임계값을구한다 식에의해전체분산은클래스내분산과클래스간분산의합으로나타낼수있다 식 에서가중치 는전체영상에서클래스내 에서해당픽셀이나타날확률을의미한다 는 번째히스토그램 의중앙값을나타내며 식 과식 에의해서각각 와 을계산하여클래스 간분산이최대가되는값 를구할수있고 와 또한위식에의해서구해질수있다 클래스간분산 은클래스내분산의역이므로클래스내분산이최 소가되는값 를임계값으로정의한다 2.2 Laplacian 연산은 에의해영상처리에서사 용되었다 L 연산이 차미분항으로구성되어있으 며 인 에서는 을구현할때내부적으로 연산자를 사용하고있다 함수는원본영상 와결과영상 를인자로입력받고 에는커널의크 기를입력받는다 연산은일반적으로 검출에사용된다 주변픽셀보다큰값으로둘러싸인 작은 또는한점에서큰양수값을반환하고 주 변보다작은값으로둘러싸인점또는 에서는 큰음수값이반환된다 이러한특성으로 연산은 에도활용된다 Table 1. Implementation of laplacian operator in OpenCV 2.3 OpenCV 식에의해두클래스내분산의합을정의한다 식에서 는클래스내분산이최소화되는값은클래스간분산이최대가되는값임을보였다 은오픈소스컴퓨터비전라이브러리이다 을지원한다 최적화된 언어로작성되어멀티코어프로세서의장점을활용할수있도록설계되었다 또한실시간영상처리가가능하도록지원하기위해
서계산효율성을고려하여설계되었고 라이브러리는 플랫폼에서동작한다 2.4 Histogram 영상처리에서히스토그램은영상정보를분석하기위한용도로이용된다 히스토그램은디지털이미지의색조분포를시각화해서보여준다 이미지히스토그램이라고도하며 많은카메라에기본적으로내장되어있다 히스토그램은색상의분포나 특정객체를구분하는등다양한용도로사용된다 일반적으로그래프의가로축은톤의변화를나타내며 세로축은특정톤에서의픽셀수로정의된다 2.5 Face detection 얼굴검출은얼굴인식을위해선행되어야할과정이다 사람의얼굴을검출해내기위해서는크기와색상 조명등얼굴이가지는특징요소들을정의하고검출해야한다 하지만모든얼굴들에대해특징을정의하고검출하는것은불가능에하다 기존의연구 에서 는 방식을활용하여빠르게특징들을평가할수있도록이미지를새로운방식으로나타내었다 또한객체가가지는공통적인특징을정의할 을사용하고다양한스케일에서 을빠르게연산하기위해이미지를 로표현하는방법을제시했다 하나의이미지에대해 를적용하여각픽셀당수회의연산으로계산을할수있고 계산후에는어떠한조건의 도일정시간에계산해낼수있다 또한 를활용해중요한 들을이용하여효율적인분류기를구성해강한분류기를생성해내고 구성을통해빠른속도로영상처리를수행하며높은검출률을달성한실시간얼굴검출프레임워크를제안했다 2.6 Lip Extraction 입술을추출하기위한연구는얼굴에서입술이일반적으로위치하는위치에근거한방법 색상정보의차이를이용한방법이나 등다양한접근법이연구되고있다 특히기존의연구에서입술 의색상특징정보를분석결과에서그레이영상에서보다 채널중 채널에서피부와윗입술간의성분차이가두드러지고 아랫입술에서는 채널과 채널성분의차영상이피부와아랫입술간의성분차이가크게나타나는것을분석했다 본연구에서는전처리과정의일부에적용하였다 3. 특징벡터생성기법본논문에서제안하는방법은입영역에서외곽선을추출하고기울기를기준으로노이즈를판단하고보정해나가면서특징벡터를생성하는것이다 본절에서는특징벡터를생성하기에앞서전처리과정과외곽선을추출하는과정 기울기계산으로부터노이즈판단및보정을거쳐최종적으로얼굴특징벡터를생성하는순으로서술한다 은특징벡터를생성하기위한흐름을나타낸활동다이어그램이다 입술영역의특징벡터를생성하기위해얼굴검출과얼굴특징에대한검출을선행작업으로수행한다 얼굴과얼굴특징에대해성공적으로검출이되면다음단계로넘어간다 이때 얼굴의중앙선검출과입술의코너점검출 그리고특징벡터생성을위한입술모양추출이수행된다 얼굴의중앙선과입술의코너점은입술의초기외곽선을추출하는단계에서허용범위로활용된다 입술모양이추출되면입술모양의초기외곽선을추출한다 이후점들간의기울기보정절차를거쳐최종적으로특징벡터를생성한다 3.1 특징벡터생성을위한전처리특징벡터를생성하기위한전처리과정은원본영상에서특징벡터를생성하기위한전처리과정은크게 단계로나누어진다 첫단계는입력영상에대해서얼굴을검출하여얼굴의특징을검출하는단계이고 절에서다룬다 두번째단계는얼굴의중심선을검출하는단계이고 절에서내용을다룬다 마지막단계는특징벡터를생성하기위한입력영상을만드는단계로 절에서내용을다룬다 는각단계를수행하기전가장먼저수행되는전처리의기본단계를나타낸다 이단계에서는크게 단계로나누어원본영상에대해얼굴검출과얼굴의특징검출을위한프로세스를수행한다
Fig. 1. Activity diagram for feature vector generation. 최초입력영상에서 알고리즘을통해학습된분류기를이용하여얼굴을검출한다 얼굴검출시에는 라이브러리에서제공하는기본데이터셋을이용하였으나 정면얼굴에집중된데이 터를사용함으로써각각의얼굴특징에대해더높은검출률을얻을수있었다 얼굴검출이수행된후에는얼굴이가지는각각의특징인눈 코 입을검출한다 이때 각각의특징부위별로관심영역을지정할때실험적인결과를바탕으로일정비율확장하여얼굴의특징이관심영역안에포함될수있도록관심영역을지정했다 얼굴의중심선검출 Fig. 2. Basis step of pre-processing 각전처리단계를수행하기위하여원본영상에 대한얼굴검출과얼굴특징검출에대한관심영역이
Fig. 3. Detecting center-line of face. 지정되고나면 얼굴의중심선검출을수행한다 얼굴의중심선검출은 과같이크게 단계의수행절차를거쳐수행된다 본연구에서는얼굴의특징요소를검출하기에앞서 기준점으로서활용하기위한기준치로얼굴의중심선을고려하였다 기본적인방향은얼굴의중심선을검출하기위해두콧구멍을검출한후 두콧구멍의중심을얼굴의중심선으로지정한다 얼굴의두콧구멍을검출해내기위해서 색상공간에서 채널을활용하여이진화를통해두콧구멍을검출한다 이렇게정의된얼굴의중심선은얼굴의중심축으로서입술의양끝코너점과윗입술에대한두개의봉우리부분을찾기위해입술의중심 값을정하는기준으로활용된다 는원본영상에대해얼굴의중심선을표시한영상을나타낸다 Fig. 5. Detecting corner-points of mouth. 수행한다 는입술의양끝코너점을정의하기위한 단계의수행절차를나타낸다 입술영역의양끝점을추출하기위해 연산을사용하였으나 캐니에지검출기의결과보다두꺼운에지성분이나타나기때문에입술의양끝점을추출하는데캐니에지검출기가더적합함을확인하였다 따라서입술관심영역을채널분리를통해 채널영상을획득한다 이후 채널영상에대해캐니에지검출기를이용하여에지를검출한다 검출된에지에대해모폴로지팽창 침식연산을수행한다 이후레이블링을수행하여입술이외의영역을제거한다 마지막으로중심축에대해서좌우에존재하는최외곽코너점을선택한다 특징벡터생성을위한입술영역검출 입술의초기외곽선및특징벡터를생성하기위 한입술영역을검출하기위한단계로수행절차는 과같은절차를수행한다 Fig 4. Center-line of face. 입술의양끝점검출 얼굴의중심선이정의되면 입술의초기외곽선추출하고특징벡터를생성하기위해서입술의특징벡터영역의범위를정의해야한다 입술특징벡터영역의범위를정의하기위해입술의양끝점검출을 Fig. 6. Input image for feature vector generation.
입술의양끝점이선택되면 입술관심영역을 각각의단일채널로분리한다 윗입술에대하여 영상을이용해 연산을수행한다 이때 커널의크기를 로적용하여두꺼운에지를검출한다 입영역이포함된관심영역은크게입술과피부성분으로구분할수있다 따라서두개의클래스로분할하여이진화를수행해야좋은결과를얻을수있기때문에통계적인방법인 방법을이용하여검출된에지영상에대해이진화를수행한다 이진화영상에서형태를가다듬기위한용도로모폴로지팽창 침식연산을수행한다 수행된결과를레이블링을통해입술을걸러내고미디언필터를거쳐초기외곽선추출전단계의과정을마친다 아랫입술에대해 차영상을이용하여윗입술이수행했던추가적인연산을수행하지않고 방법을이용해이진화를수행한다 이단계는전처리의마지막단계로최종산출물은특징벡터생성을위해초기외곽선의입력영상으로활용한다 은특징벡터생성을위한전처리단계를마친영상을나타낸다 는윗입술추출시사용할영상을나타내며 는아랫입술추출시활용할영상의결과이다 Fig. 8. Process of feature vector generation. 좌표들을선택한다 초기좌표는윗입술과아랫입술각각의관심영역범위안에서 축에대하여 씩증가하는방향으로최상단 최하단 좌표들을선택한다 는윗입술의초기외곽점을나타내고 는아랫입술의초기외곽점을나타낸다 3.3 기울기보정초기외곽선은 에서나타난것과같이입술의특징벡터와노이즈를포함하고있다 본연구에서는노이즈를판별하기위한방법으로기울기보정을제안했다 기울기보정은입술의코너점의기울기를기본으로노이즈를판별하고 이어지는세개의점 에서각점들간의기울기를추가적으로확인하여노이즈를보정한다 이때 축의변화량은균등하기때문에 기울기는 축에변화량을검사하며동작한다 따라서부드러운형태를나타내기위해입술의기울기변화량은식과같다 에서는 의좌표가좌측최상단이기준이된다 Fig. 7. Results of pre-processing (a)upper lip, (b) Lower lip. 낸다 은기울기보정이수행되는절차를나타 초록색원은입술의코너점을나타낸다 본연구 3.2 초기외곽선선택 전처리과정을마친영상에대해특징벡터를생성하기위해서는 단계로이루어진다 먼저최외곽점을추출하고 최외곽점을이용해특징벡터와남아있는오류점에대하여기울기를이용해보정한다 기울기보정을한후 최종적으로특징벡터를추출한다 은특징벡터생성절차를나타낸다 전처리과정을마친영상 에대하여입술 Fig. 9. Initial outline of lip shape (a) Upper lip, (b) Lower lip.
Fig. 10. Gradient correction operation. 에서는상 하에존재하는코너점을선택하기위해얼굴의중심선에서입술의좌 우코너점까지의길이를구하고약 지점의허용범위를두어최상단지점을정하였다 빨간점은초기외곽으로추출된점들의집합이며 빨간점선으로이루어진원은초기외곽점에포함된오류점들이다 보라점은오류점들이기울기보정에의해치환된점들이다 초록색선은점과점사이의기울기를나타내는점들이며빨간점선은기울기보정후의기울기를나타내는선분이다 파란선은코너점간의평균기울기를의미한다 에서흰색선은윗입술에대해기울기보정을위한각각의코너점과보정전의점들간의기울기를이은선을나타내며 축에대해입술영역의최대허용범위 축에대해입술의봉우리로간주할수있는최대허용범위 윗입술로간주할 수있는최대허용범위를나타낸다 윗입술과아랫입술에대해서동일한방법으로기울기보정을수행한다 최종적으로보정이수행된영상은 에나타난다 와 는각영상의특징벡터로 상단부터차례대로윗입술 아랫입술 원본영상에특징벡터를투영시킨결과를나타낸다 5. 결론기존노이즈필터링기법은이웃픽셀간의대비나마스크를정의하기에따라서효과적으로노이즈를제거할수있는방법이다 하지만특징영역의특성이나정보를활용하지않기때문에특징점과노이즈를구분하여제거할수없다 Fig. 11. Gradient of point to point(white line) (a) x-axis bounds of lip (b) x-axis bounds of peak of lip (c) y-axis bounds of upper lip.
Fig. 12. Feature vector generation from image (a), (b). 따라서본논문에서는특징벡터를생성하기위한전처리과정을수행한후 초기외곽선을추출하고잔여노이즈를제거하기위한접근법이아닌 기울기값을계산하여노이즈를판단하기위한기준으로활용하여노이즈를추정하고특징벡터의기울기에해당하는값으로보정하면서입술모양의특징벡터를생성하는기법에대해제안하였다 향후연구에서는얼굴의전체특징벡터생성을위해얼굴의특징중얼굴의전체윤곽과눈 코영역에대한특징요소를정의하고각각의특징요소별로노이즈와특징벡터를구분할수있는선형알고리즘에대한연구를진행할예정이다 REFERENCE
년대진대학교컴퓨터공학과졸업 학사 년 현재대진대학교컴퓨터공학과석사과정관심분야 소프트웨어공학 시스템분석및설계 모바일웹기술 년인하대학교전자계산공학과졸업 학사 년인하대학교전산계산공학과졸업 석사 년인하대학교전산계산공학과졸업 박사 년서울과학기술대학교컴퓨터공학과졸업 학사 년연세대학교공학대학원컴퓨터공학과졸업 석사 년대구가톨릭대학교전산통계학과졸업 박사 년 년해군중앙전산소장 년 년부경대학교교수 년 현재대진대학교컴퓨터공학과교수관심분야 소프트웨어공학 시스템분석및설계 시스템 년 년경문대학인터넷정보과조교수 년 현재대진대학교컴퓨터공학과교수관심분야 패턴인식 지식기반시스템 그래픽스 디지센서스