한국산학기술학회논문지 Vol. 10, No. 2, pp. 358-363, 2009 박종천 1, 이근왕 2* Text Region Detection using Edge and Regional Minima/Maxima Transformation from Natural Scene Images Jong-Cheon Park 1 and Keun-Wang Lee 2* 요약자연이미지로부터텍스트영역검출은다양한응용분야에활용됨으로이분야의많은연구가필요하다. 최근의연구방법은에지및연결요소기반방법을결합하는다양한알고리즘을이용하여텍스트영역을검출하고있다. 그러므로본논문은이러한결합방법으로에지및국부적최소 / 최대변환방법을이용하여텍스트영역을검출하는알고리즘을제안한다. 명도이미지로부터에지및국부적최소 / 최대연결성분을검출하고, 에지및국부적최소 / 최대연결성분을레이블화한다. 레이블된영역을분석하여텍스트후보영역을검출하고, 검출된각각의텍스트후보영역을결합하여단일텍스트후보이미지를생성한다. 텍스트후보개별문자의인접성및유사도를비교하여검증함으로서최종적인텍스트영역을검출한다. 실험결과제안한알고리즘은에지요소및국부적최소 / 최대연결요소검출방법을결합하여자연이미지로부터텍스트영역검출의정확도및재현률을향상할수있었다. Abstract Text region detection from the natural scene images used in a variety of applications, many research are needed in this field. Recent research methods is to detect the text region using various algorithm which it is combination of edge based and connected component based. Therefore, this paper proposes an text region detection using edge and regional minima/maxima transformation algorithm from natural scene images, and then detect the connected components of edge and regional minima/maxima, labeling edge and regional minima/maxima connected components. Analysis the labeled regions and then detect a text candidate regions, each of detected text candidates combined and create a single text candidate image, Final text region validated by comparing the similarity and adjacency of individual characters, and then as the final text regions are detected. As the results of experiments, proposed algorithm improved the correctness of text regions detection using combined edge and regional minima/maxima connected components detection methods. Key Words : Canny-Edge, Regional Minima/Maxima, Text Region Detection 1. 서론 최근모바일기기성능의발전으로이를이용한다양한형태의응용서비스가연구되고있으며, 그중에서모바일기기에내장된카메라의해상도가높아짐에따라카메라로획득된이미지를이용한다양한응용서비스의 필요성이증가하고있는추세이다. 따라서모바일기기로획득된자연이미지를이용하여기존의고정되고제안된영역에서획득된이미지를이용한서비스로부터다양한환경에노출된자연이미지로부터필요한정보를추출하고자하는연구가진행중에있다. 그중에서텍스트정보는데이터베이스, 교통정보, 관광정보, 등의다양한분 본연구는 2008년도청운대학교학술연구조성비지원에의하여연구되었음 1 충북대학교컴퓨공학과 2 청운대학교멀티미디어학과 * 교신저자 : 이근왕 (kwlee@chungwoon.ac.kr) 접수일 09년 01월 05일수정일 09년 02월 03일게재확정일 09년 02월 18일 358
야에서활용이가능한중요한요소로이용될수있다. 최근연구중에는시각장애인안내를위한시각보조시스템 [1] 이개발중에있고, 외국인이휴대장비 (PDA, 스마트폰 ) 로안내표지판, 교통표지판, 간판, 그리고도로표지판등의각종지리정보및관광정보를텍스트영역검출과언어변환기술을이용하여사용자가원하는형태의언어로변환가능하도록하는시스템 [2] 도개발중이다. 이시스템은휴대장비에부착된카메라로부터획득한자연이미지에서텍스트정보를추출하여음성으로텍스트정보를전달해주는시스템이다. 이러한시스템은기본적으로문자인식을위한전처리과정으로텍스트영역을정확히추출하는것을요구한다. 그러나자연이미지에포함된텍스트는복잡한배경, 다양한조명, 텍스트크기, 텍스트의방향, 그리고다양한컬러분포등의특징을갖고있으므로해결해야할많은문제점을갖고있다. 2. 기존연구방법 텍스트영역검출및추출에관한많은연구논문이발표되었으며, 텍스트영역검출및추출방법은영역-기반 (region-based) 방법과텍스쳐-기반 (texture-based) 방법으로분류되며영역-기반방법은연결요소분석방법 (Connected Component based method) 과에지-기반분석방법 (Edge-based method) 으로분류한다 [3]. 연결요소분석방법은픽셀값의지역적유사성을바탕으로그룹화하는과정을수행함으로서이미지에존재하는개별영역을식별하는방법으로서이와관련된아래에제시된기존의연구방법을비교분석하였다. 장인영등은입력이미지로컬러이미지를이용하였고, 전처리는컬러이미지를명도이미지로변환하고, 명암대비개선및적응적임계값을적용하였으며, 모폴로지녹임 (erosion) 을적용한영상과모폴로지 ( 열림닫힘 [OpenClose] + 닫힘열림 [CloseOpen])/2가적용된이미지의차이를이용한텍스트영역을추출방법이연구되어졌다 [4]. Y. Zhong 등은컬러이미지를사용하였고, 전처리는컬러히스토그램을계산하여비슷한컬러영역별로분할합병 (Split and Merge) 알고리즘을적용하였다. 그리고전처리과정중삭제된텍스트영역을복원한후에텍스트영역을추출하는방법이연구되어졌다 [5]. L. Gu, T. Kaneko는컬러이미지를이용하였고, 전처리는컬러이미지를명도이미지로변환하고, DTT(Differential Top-hats) 라는모폴로지분할알고리즘과방향성필터 (directional filter) 를사용하여텍스트영역 과배경영역을분리하는방법을적용하여텍스트영역을추출하는방법이연구되어졌다 [6]. 에지-기반방법과관련된연구를살펴보면, Minhua Li, Chunheng Wang은입력이미지는명도이미지를사용하였고, 배경복잡도분석과정을수행하여복잡도를단순한배경, 중간적배경, 복잡한배경등으로구분하여각각의복잡도에맞는파라미터로에지를검출하고연결요소를분석함으로서텍스트영역을검출하는방법이연구되어졌다 [7]. Toan Nguyen Dinh는모바일폰카메라로획득한이미지를입력이미지로사용하였고, 입력컬러이미지를명도이미지로변환하고, 수평방향에지를검출하고, 수평방향히스토그램을구하여그결과를프로젝션함으로서텍스트영역을검출하고, 검출된텍스트영역을수직방향히스토그램을구하여각각의문자를분리하였다 [8]. 에지-기반방법은이미지대비의높고낮음에따라텍스트영역에서에지검출의정확성이달라지고복잡한배경이있는경우텍스트를포함하지않은영역에도에지가검출되므로텍스트영역검출성능및검출속도를저하시키는결과를초래한다. 반면연결성분을이용한방법은에지-기반방법의단점을보완할수있다. 그러나빛또는조명에민감한단점이있으므로이러한문제점을상호보완하기위한방법으로본논문은각각의방법으로검출한결과를결합함으로서자연이미지로부터텍스트영역을검출하는알고리즘을제안하였다. 3. 제안방법 텍스트영역검출은그림 1과같은과정을수행한다. 자연이미지를명도이미지로변환하고전처리과정을수행하여이미지를개선한다. 텍스트영역추출은에지특징과연결요소성분특징을이용하며추출된각각의특징으로부터텍스트후보영역을추출하고텍스트후보영역검증을수행하여최종적인텍스트영역을검출한다. 3.1 전처리과정디지털카메라로획득한 RGB 24비트컬러이미지를명도이미지 (Gray-scale) 로변환하고, 전처리로서명도대비를개선하기위해이미지의명도값에따라자동적으로대비를개선하는절차를수행한다. 이과정으로대비가낮은이미지에포함된텍스트영역도검출할수있도록한다. 그리고 5 5 마스크의크기를이용하여미디언필터 (Median) 처리를함으로서이미지의작은잡음성분을제 359
한국산학기술학회논문지제 10 권제 2 호, 2009 거한다. 이과정으로연결요소성분을강화하여연결요소성분을효과적으로추출할수있도록하였다. (Morphological reconstruction) 을적용하여연결요소성분을기반으로반복하여확장 (dilation) 연산을수행함으로서국부적으로최소값과최대값영역을검출한다. 국부적최소 / 최대변환을위한임계값은실험결과이미지전체의표준편차를적용한결과텍스트영역을효과적으로검출하였다. 그림 3은국부적최소 / 최대변환을적용하여텍스트영역의연결요소성분으로추출한결과이다. 그림 3 의 (a) 는국부적최소변환결과이미지이고, (b) 국부적최대변환결과이미지를보여준다. 그림 3의 (b) 의국부적최대변환결과대부분의텍스트영역을검출하는것을알수있다. 텍스트영역은일반적으로배경과대비를갖는특징을갖고있으므로국부적최소 / 최대변환으로효과적으로검출될수있다. 그러나임계값에따라서일부텍스트영역은검출하지못하는경우도발생한다. 이러한부분은에지검출방법으로해결될수있다. [ 그림 1] 텍스트영역검출과정 (a) (b) [ 그림 3] 국부적최소 / 최대변환을이용한연결요소성분으로검출된이미지 (a) (b) [ 그림 2] Canny 에지검출기를이용한에지성분검출결과이미지 3.2 에지성분검출 명도이미지로부터에지성분검출은 Canny-Edge 검출기 [9] 를이용하였고, 실험결과에지강도를위한임계값은하한값은 0.1, 상한값은 0.2, 그리고가우시안필터처리를위한시그마 (sigma) 값은 1.7로설정하여 7 7 마스크크기로스무딩 (Smoothing) 연산을수행한다. 그림 2의 (a) 는명도이미지, (b) 는 Canny 에지검출기를이용하여에지를검출한이미지를보여준다. 3.3 연결요소성분검출연결요소성분검출은국부적최소 / 최대 (Regional minima/maxima) 변환을수행하여추출한다. 국부적최소 / 최대변환 [10] 은명도이미지를대상으로형태학적재건 3.4 텍스트후보영역검출텍스트후보영역검출은에지성분과국부적최소 / 최대변환으로검출된연결요소를바탕으로텍스트영역특징을만족하는후보개별문자를추출하는것이다. 이과정을위해서에지성분과국부적최소 / 최대연결요소성분을레이블화하고레이블된영역의특징을검출하기위해서레이블된영역의구조적특징을이용한다. 레이블영역의구조적인특징은다음과같은조건을만족하지않아야된다. nr = 이미지의높이, nc = 이미지의너비 width = 레이블영역의너비 height = 레이블영역의높이 Number_Nested_Label = 레이블영역에포함된다른레이블의수 360
1) Max_Width_Height=max(width,height); if Max_Width_Height < 10 2) if width > height*3 (width <= 4 && height >= width*5) height >= width*10 3) if Number_Nested_Label >= 10 4) if width < (nc*0.9) && height < (nr*0.9) 위의조건 1) 은너비와높이중에서가장긴것을기준으로최소 10픽셀미만의작은텍스트영역을제외하는것이고조건 2) 는가로와세로의비율을지정한것이고, 조건 3) 은잡음영역을제외하는것이고, 조건 4) 는너무크거나작은텍스트영역을제외하는것이다. 위와같은 4가지조건을텍스트영역의후보를검출하는 1차적인조건이고, 추가적으로에지성분에대한조건은에지성분의특징으로아래와같은추가적인조건을만족하지않는것은텍스트후보영역개별문자에서제외한다. Total_Vertical_2_Lines = 수직방향으로검사한 Run의길이가 2개이상인것의합계 Total_Horizontal_2_Lines = 수평방향으로검사한 Run의길이가 2개이상인것의합계 1) Total_Vertical_2_Lines <= height * 0.5 2) Total_Horizontal_2_Lines <= width * 0.5 (a) 검출된에지성분 (b) 검출된국부적최소연결성분 (c) 검출된국부적 (d) 최종검출된테스트최대연결성분영역 [ 그림 4] 텍스트후보영역추출결과이미지 텍스트후보영역검증은검출된텍스트후보영역에서개별문자의지역적인접성을검사함으로서해당하는개별문자의텍스트영역여부를결정한다. 그림 5는텍스트후보영역검증을위한개별문자인접성을체크하는것을보여준다. 인접된문자의유사성의기준은아래와같다. 위의조건은텍스트영역에지성분은에지가최소 2 번이상존재해야만한다는조건을반영한것이다. 3.5 텍스트후보영역결합및검증에지성분과국부적최소 / 최대연결성분으로검출된텍스트후보개별문자영역을결합함으로서하나의텍스트후보영역이미지를생성하게된다. 결합조건은겹쳐진영역이 2개이상인것을조건으로한다. 그림 4의 (d) 는 (a)(b)(c) 의검출결과를결합하여검출된텍스트후보영역이미지이다. [ 그림 5] 텍스트영역검증을위한인접성체크 Width = 검사대상문자의너비 Height = 검사대상문자의높이 NB_Width = 인접한텍스트후보영역의너비 NB_Height = 인접한텍스트후보영역의높이 Similarity_Width = NB_Width/width; Similarity_Height = NB_Height/height; NB_Similarity = max(similarity_width, Similarity_Width); if height >= width*5 && Similarity_Height >= 0.7 && 361
한국산학기술학회논문지제 10 권제 2 호, 2009 Similarity_Height <= 1.5 elseif Similarity_Height >= 0.7 && Similarity_Height <= 1.5 && Similarity_Width <= 2 그림 6은텍스트영역검증결과검출된텍스트영역이미지를보여준다. Recall : True / Sum [ 표 1] 텍스트영역검출률 실험이미지 Sum True Error False Precision Recall 안내판 1070 779 35 74 87.7 72.8 간판 1213 853 39 55 90.1 70.3 교통표지판 512 345 15 50 84.1 67.4 번호판 545 321 30 50 80.0 58.9 교통안내판 453 331 23 50 81.9 73.1 광고판 232 220 19 11 88.0 94.8 전체 4025 2849 161 290 86.3 70.8 실험결과배경이비교적단순한간판, 광고판, 안내표지판은다른이미지에비해상대적으로높은정확도를보였고, 배경이다양하고복잡한교통표지판과교통안내판은낮은 Precision과 Recall 값을나타냈다. [ 그림 6] 텍스트영역검출결과이미지 4. 실험결과 실험이미지는 ICDAR 2003 표준이미지이고, 텍스트영역검출률성능평가는재현률 (Recall) 과정확률 (Precision) 을평가요소 [11] 로하였고, 표 1과같이제시하였다. 그림 6의실험결과를보면상단의텍스트영역이아닌부분을텍스트영역으로검출하는것을볼수있는데이것은텍스트영역을결정하는구조적특징이제안한방법의조건을만족함으로서검출되는것으로 2차적인텍스트영역의구조적특징요소가필요하다. 그리고그림 6의문자중에서영문자 I 는검출하지못한것은이미지의대비가상대적으로낮은영역의국부적최소 / 최대연결성분검출과정에서임계값의영향으로검출하지못한결과이다. Sum : 실험대상이미지내에존재하는전체텍스트영역의문자수 True : 정확히검출한텍스트영역의문자수 Error : 검출하지못한텍스트영역의문자수 False : 텍스트영역이아닌영역을텍스트영역으로잘못검출한문자수 Precision : True / (True+False+Error) 5. 결론및향후연구방향 본논문은자연이미지로부터에지및연결요소성분을결합하여텍스트영역을검출하는방법을제안함으로서기존연구의문제점을해결할수있었다. 에지성분으로검출되지않는부분은국부적최소 / 최대변환연결성분을검출함으로텍스트영역을검출하였고, 국부적최소 / 최대변환을위한임계값의영향으로검출되지않는텍스트영역은에지성분으로검출함으로서텍스트영역을효과적으로검출할수있었다. 향후연구과제는텍스트영역검출성능평가요소중 Error 최소화하기위한방법으로에지성분검출을위한파라미터설정값을결정하는방법과국부적최소 / 최대변환을위한최적의임계값을설정하는연구가필요하다. 그리고 False 요소를최소화하기위해서텍스트영역의군집특징과텍스트영역의특징을결정하는구조적인특징요소를도출하는방법을연구하는것이다. 마지막으로색정보를추가하여효과적으로결합하는방법에관한연구가필요하다. 참고문헌 [1] N. Ezaki, M. Bulacu, L. Schomaker, Text detection from natural scene images: towards a system for 362
visually impaired persons, Pattern Recognition, ICPR 2004, Proceedings of the 17th International Conference on Volume 2, pp.683-686, 2004. [2] J. Yang, X. Chen, J. Zhang, Y. Zhang, A. Waibel, Automatic detection and translation of text from natural scenes, Acoustics, Speech, and Signal Processing, IEEE International Conference on Volume 2, pp.2101-2104, 2002. [3] K. Jung, K. I. Kim and A. K. Jain, Text Information Extraction in Images and Video: A Survey, Pattern Recognition, Volume 37, Issue 5, May pp.977-997, 2004. [4] 장인영, 고병철, 변혜란, 모폴로지를이용한비디오영상에서의자동문자추출, 정보과학회추계학술대회논문집, pp.418-420, 2001. [5] Y. Zhong, K. Karu, A. K. Jain, Locating Text in Complex Color Images, Pattern Recognition, Vol. 28. No. 10, pp. 1523-1535, 1995. [6] L. Gu, T. Kaneko, Robust extraction of Characters from color scene Images Using Mathematical morphology, Proc. 7th Int. Conf. Pattern Recognition, Vol. 2, pp.1002-1004, 1998. [7] M.A. Smith and T. Kanade, Video Skimming for Quick Browsing Based on Audio and Image Characterization, Carnegie Mellon University, Technical Report CMU-CS-95-186, 1995. [8] D. Chen, K. Shearer, and H. Bourlard, Text Enhancement with Asymmetric Filter for Video OCR, Proc. of International Conference on Image Analysis and Processing, pp.192-197, 2001. [9] W. Jiang, Q. Shao-Lin, Q. Zhuo, W. WenYuan, Automatic text detection in complex color image, Machine Learning and Cybernetics, 2002. Proceedings. 2002 International Conference on Volume 3, pp.1167-1171, 2002. [10] H. Xian-Sheng, Z. Liu Wenyin, Hong-Jiang, An Automatic Performance Evaluation Protocol for Video Text Detection Algorithms, IEEE Transactions on Circuits and Systems for Video Technology, Vol 14, No. 4, pp.498-507, 2004. [11] Minhua Li, Chunheng Wang, An Adaptive Text Detection Approach in Images and Video Frames, Neural Networks, IJCNN 2008, pp.72-77, 2008. [12] Toan Nguyen Dinh, Jonghyun Park, GueeSang Lee, Low-Complexity Text Extraction in Korean Signboard for Mobile Applications, CIT(Computer and Information Technology), 2008. 8th IEEE International Conference on pp.333-337, 2008 [13] J. Canny, A Computational Approach to Edge Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 6, pp.679-698, 1986. [14] Luc Vincent, Morphological Gray-scale Reconstruction in Image Analysis:Applications and Efficient Algorithms, Image Processing, IEEE Transactions on Volume 2, pp.176-201, 1993. [15] V. Raghavan, P. Bollmann, and G. Jung, A critical investigation of recall and precision as measures of retrieval system performance, ACM Trans. on Information Systems, Vol. 7, pp.205-229, 1989. 박종천 (Jong-Cheon Park) [ 정회원 ] < 관심분야 > 컴퓨터비전, 영상처리, 인공지능 1994 년 2 월 : 한밭대학교전자계산학과 ( 공학사 ) 1998 년 2 월 : 숭실대학교전자계산학과 ( 공학석사 ) 2004 년 8 월 : 충북대학교컴퓨터공학과박사과정수료 2007 년 9 월 ~ 현재 : 충북대학시간강사 이근왕 (Keun-Wang Lee) [ 종신회원 ] 1993 년 2 월 : 한밭대학교전자계산학과 ( 공학사 ) 1996 년 2 월 : 숭실대학교컴퓨터학과 ( 공학석사 ) 2000 년 2 월 : 숭실대학교컴퓨터학과 ( 공학박사 ) 2001 년 ~ 현재 : 청운대학교멀티미디어학과부교수 < 관심분야 > 멀티미디어통신, 멀티미디어응용, 교육콘텐츠 363