http://dx.doi.org/10.5392/jkca.2015.15.11.018 카메라기반의왜곡이보정된흑백문서영상생성 Distortion Corrected Black and White Document Image Generation Based on Camera 김진호경일대학교전자공학과 Jin-Ho Kim(ho@kiu.ac.kr) 요약스캐너대신카메라를이용하여문서의사본영상을촬영하면촬영각도에따라기하학적왜곡이발생하거나그림자가생길수있다. 본논문에서는카메라로촬영한문서영상으로부터왜곡을보정하고그림자영향을제거한흑백문서영상생성알고리즘을제안하였다. 카메라렌즈의방사왜곡으로인해휘어진테두리를펴거나촬영각도에따라유입된문서외부영역을제거하기위한기하학적보정을위해 2차미분필터기반의문서테두리검출방안을마련하였다. 그리고적응적이진화방법으로그림자를제거한흑백문서영상을생성하였다. 제안한왜곡보정흑백문서영상생성알고리즘을스마트폰카메라로촬영한문서영상들을대상으로실험한결과우수한처리결과를얻을수있었다. 중심어 : 문서왜곡 왜곡보정 적응적이진화 스마트폰카메라 Abstract Geometric distortion and shadow effect due to capturing angle could be included in document copy images that are captured by a camera in stead of a scanner. In this paper, a clean black and white document image generation algorithm by distortion correction and shadow elimination based on a camera, is proposed. In order to correct geometric distortion such as straightening un-straight boundary lines occurred by camera lens radial distortion and eliminating outlying area included by camera direction, second derivative filter based document boundary detection method is developed. Black and white images have been generated by adaptive binarization method by eliminating shadow effect. Experimental results of the black and white document image generation algorithm by recovering geometrical distortion and eliminating shadow effect for the document images captured by smart phone camera, shows very good processing results. keyword : Document Distortion Skew Correction Adaptive Binarization Smart Phone Camera Ⅰ. 서론 스마트폰에고해상도의카메라가탑재되면서스캐너를대신해서카메라로문서영상을촬영하고이를업 접수일자 : 2015 년 09 월 16 일수정일자 : 2015 년 10 월 07 일 무에활용하기위한시도들이많이이루어지고있다. 카메라로문서를촬영하면카메라렌즈의방사왜곡으로인해테두리직선이휘어지거나촬영각도에따라문서테두리밖의여백이유입되는기하학적왜곡이발 심사완료일 : 2015 년 10 월 20 일교신저자 : 김진호, e-mail : ho@kiu.ac.kr
카메라기반의왜곡이보정된흑백문서영상생성 19 생할수있으며카메라의위치에따라문서영상에그림자가드리워지는경우가생기게된다. 카메라로촬영한문서영상을대상으로원본문서의사각형형태와동일하게보정된사본영상을생성하기위해필요한투영변환 (Perspective Transform) 을위해서는문서의테두리직선을정확하게추출할수있어야한다. Kiran 등 [1] 은문서영상의외곽테두리를추출하고이를바탕으로사각꼭지점을찾은다음외부로부터유입된영역을제거하는방식으로보정된문서의사본영상을생성하는연구결과를발표하였다. 이방법에서는테두리추출을위해 Sobel 연산자를사용하였기때문에문서영역과외부영역의명도차이가적을경우정확한에지검출이어려울수있으므로문서의외부배경이문서영역에대비해서명도차이가균일하게커야정확한왜곡보정이가능하다. Jain 등 [2] 은카메라로촬영한문서영상을보정하기위한투영변환에필요한사각형테두리를추출하는데사용되는 Niblack 및 Sauvola 등의적응적이진화방법들을소개하였다. 이러한문서영상의테두리검출방법에서도 1차미분필터를사용하고있기때문에문서의외부배경과문서영역의명도차이가낮을경우테두리직선이정확하게검출되지않을수있다. 촬영각도에따라그림자영향으로조명이불균일한문서영상에서그림자를제거하고문자정보들이강조된흑백문서영상을생성하기위한연구들 [3-5] 도활발하게진행되고있다. Gato 등 [4] 은문서영상에서 Sauvola 방법을적용해서개략적인배경영역을분리한다음적응적임계치를이용해서그림자가제거된흑백문서영상을생성하는알고리즘을제안하였다. 이방법에서는그림자의영향이다양하게존재하는문서영상들에대해서비교적우수한흑백문서영상을생성할수있다는장점이있으나계산량이많아서처리시간이길다는단점이있다. 하지만 Gato의알고리즘을스마트폰기반에서병렬처리코드로구현한다면빠른처리가가능해질수있다. 본논문에서는스마트폰카메라로촬영한문서의사본영상으로부터기하학적왜곡을보정하고그림자영향을제거함으로써문자영역이강조된흑백문서영상 을생성하는알고리즘을제안하였다. 문서영역과배경영역의명도차이가낮아도정확하게외곽테두리를검출하여문서의꼭지점을찾을수있도록 2차미분필터를사용한왜곡보정알고리즘을마련하였다. 그림자 영향을제거하고문자정보들만강조된흑백문서영상을생성하기위해 Gato의이진화알고리즘을안드로이드용인텔 OpenCL(Open Computer Language)[7] 기반의코드로구현하여고속처리가가능하도록하였다. 제안된알고리즘을이용하여스마트폰카메라로획득한문서영상들에대해서왜곡보정및흑백영상생성실험을해보고그결과를분석하였다. Ⅱ. 왜곡보정된흑백문서영상생성개요 카메라로촬영한문서영상으로부터테두리를추출하고꼭지점을검출한다음기하학적왜곡을보정하고흑백문서영상을생성하는예를 [ 그림 1] 에도시하였다. (a) 원본영상 (b) 에지추출 (c) 테두리추출 (d) 꼭지점검출 (e) 왜곡보정 (f) 흑백영상 그림 1. 카메라로촬영한문서영상으로부터왜곡을보정하고문자획이강조된흑백문서영상생성예 카메라로촬영한문서영상으로부터왜곡보정을위한사각형꼭지점들을검출하기위해서문서영상의에지를추출하고이를바탕으로문서의테두리를찾는과
20 한국콘텐츠학회논문지 '15 Vol. 15 No. 11 정을거친다. 허프변환 (Hough Transform) 을적용하여테두리의직선성분을추출하고직선이만나는교차점들을찾는다. 교차점들의위치를바탕으로문서의꼭지점들을정확하게검출하는과정을거친다음투영변환을이용해서기하학적왜곡이보정된문서영상을생성한다. 왜곡이보정된문서영상을대상으로문자획이잘보전된흑백영상을생성하는과정을수행한다. 카메라로촬영한컬러문서영상으로부터왜곡이보정된컬러영상을생성하고이로부터흑백문서영상을생성하는각단계별적용알고리즘을 [ 그림 2] 에도시하였다. 문서의가로및세로테두리직선들의교차점을기준으로사각형꼭지점들을더욱정확하게찾기위해별도의꼭지점탐색알고리즘도마련하였다. 마지막으로보정된컬러문서영상으로부터그림자영향을제거하기위해 Gato의적응적이진화알고리즘을인텔 OpenCl 코드로구현하여고속처리가가능하도록하였다. III. 왜곡보정및그림자제거문서영상생성컬러문서영상의기하학적왜곡을보정하기위해먼저외곽테두리직선을추출하고이들의교차점을기준으로정확한꼭지점들을찾았다. 왜곡이보정된직사각형형태의문서영상을생성하기위해꼭지점들을이용한투영변환을수행하였다. 1. 허프변환기반의문서영상코너점검출카메라로촬영된컬러문서영상을명도영상 (gray image) 으로변환하고이를바탕으로 DoG 필터링을수행한다음그결과영교차점 (zero crossing points) 들을이용해서문서의테두리에지정보를추출하였다. 번호판문자획에지정보를추출하는데사용되는 DoG 필터는다음과같이정의된다. (1) 그림 2. 모바일폰카메라로촬영한문서영상으로부터왜곡이보정된흑백문서영상생성알고리즘의흐름도 제안한왜곡이보정된흑백문서영상생성알고리즘에서는크게세가지의개선된방법을사용하였다. 첫째문서영상의외곽선테두리에지를추출하기위해서기존의이진영상변환에많이사용되고있는적응적이진화방법을사용하지않고 DoG(Difference of Gaussian) 필터를사용함으로써문서영상과문서테두리외부바탕영상과의명도차이가낮아도연결된수평및수직에지성분을추출할수있도록하였다. 둘째 DoG 필터는스케일이다른두가우시안함수의차로구현할수있으며추출할에지의폭은가우시안필터의스케일로조정할수있다. 문서영상을 DoG 필터링하면문서외부의어두운바탕과밝은색문서영역의경계인문서의테두리부분에서필터링결과값의부호가변하는영교차점들이발생하게된다. 따라서수직및수평방향으로스캐닝하면서부호가변하는영교차점들을추출하면수평및수직방향으로연결된에지성분들로구성된흑백영상을생성할수있다. [ 그림 3 (a)] 에문서영상의테두리를추출하기위해수평및수직방향의에지를찾은예를보였다.
카메라기반의왜곡이보정된흑백문서영상생성 21 (a) 수평수직에지성분 (b) 문서의테두리선추출 (a) 허프공간매핑결과 (b) 문서의테두리직선검출 그림 3. DoG 필터링결과에서수평및수직방향의영교차점추출및문서의외곽테두리직선을추출한예 그림 4. 문서의테두리영상을허프변환공간에매핑한결과및테두리직선들을검출예 [ 그림 3 (a)] 에서문서의테두리외곽선뿐만아니라문서에기록된문자나그림들의에지성분도같이검출된것을알수있다. 허프변환을수행하기전에문서의테두리내부의에지성분들을제거하면허프변환계산량을줄이면서정확한테두리직선들을찾을수있다. DoG 필터의특징으로테두리의긴직선들이연결성분 (connected component ) 으로추출되기때문에좌우상하각방향에서가장긴연결성분만남기고나머지부분을제거하면 [ 그림 3 (b)] 와같이문서의테두리직선만추출할수있다. 직선을검출하기위한허프변환은영상의 X-Y 공간상의픽셀 ( ) 들을허프공간 ( ) 으로매핑한점들을누적시키면다음의식 (2) 로표현되는동일한직선상에위치한픽셀들이식 (3) 에서하나의점에누적된다는원리를이용하는것이다. (2) (3) 문서영상의테두리를추출하고테두리선상의모든픽셀들에대해 [ 그림 4(a)] 와같이허프공간으로의매핑을수행한다음허프공간상에가장많이누적된네개의 ( ) 위치를찾아서직선식을추정하면 [ 그림 4 (b)] 와같이문서의테두리를검출할수있다. 문서의외곽테두리직선을찾은다음이들의교차점들을찾으면문서의꼭지점후보들이된다. 카메라로촬영된문서영상은가장자리부분이왜곡될수있어서직선의교차점이문서의정확한꼭지점에서벗어난경우가발생할수있다. 따라서직선의교차점들을기준으로문서의정확한꼭지점들을추가로탐색하는과정을거친다. 문서테두리영상에서모서리를형성하는두직선이연결되어있을경우 [ 그림 5] 에서보인것과같이교차점 (T) 에서가장가까운직선상의근접점 (P) 을찾은다음이를기준으로찾으려는꼭지점의위치에따라상하좌우방향의끝점을연속적으로연결화소들을탐색해서정확한꼭지점 (C) 을찾는과정을수행한다. 그림 5. 교차점을중심으로문서의좌측상단위치의꼭지점을탐색하는개념도 문서영상의테두리직선들의교차점에서직선상의근접점을찾기위해서는교차점을중심으로원의형태로탐색거리를늘여가면서원이직선을만나는최초의점을찾으면된다. 원주상의탐색점 ( ) 은다음과같이구할수있다. (4) (5)
22 한국콘텐츠학회논문지 '15 Vol. 15 No. 11 식 (4) 및 (5) 에서라디안, 값은원주상의점들의개수, 를이용해서구할수있다. 탐색원의중심인교차점을기준으로반지름, 을최대탐색거리, 까지증가시키면서원주상의탐색점개수, 만큼탐색점을계산하고직선상의근접점이존재하는지여부를찾게된다. [ 그림 5] 에보인것과같이테두리의근접점을찾은다음문서의꼭지점위치에따라상단또는하단방향그리고좌측또는우측방향의끝을탐색하면정확한꼭지점을검출할수있다. 이때문서의모서리를형성하는두직선이연결되어있지않을경우탐색을중단하고교차점을꼭지점으로간주한다. 카메라로촬영한문서영상에서외곽테두리직선들의교차점을찾고이를바탕으로꼭지점을정밀하게탐색하여검출한예를 [ 그림 6] 에도시하였다. 모바일카메라로촬영한문서영상에서가장자리외곽테두리가왜곡되어일직선이아닌경우에직선의교차점이꼭지점의실제위치와는다르지만추가로탐색한결과문서영상의꼭지점들을정확하게찾았음을알수있다. 그림 7. 사각형꼭지점들을기준으로한기하학적변환원리입력문서영상의 4개의꼭지점좌표들을알면다음의식 (6) 및 (7) 을이용하여기하학적변환방법으로직사각형형태의목표문서영상으로변환할수있다. (6) (7) 미리알고있는목표영상의꼭지점 A, B, C 및 D 의 4개좌표 와이들좌표에대응하는입력영상에서구한꼭지점 A, B, C 및 D의 4개좌표 를각각수식에대입하여생성한 8개의방정식을풀면 및 상수값들을구할수있다. 이렇게구한상수값들을이용하여목표영상의모든위치의화소가입력영상의어느위치에해당되는가를계산할수있다. 해당위치의화소값은양선형보간법 (bilinear interpolation)[6] 을이용해서구함으로써화질이우수한목표영상을생성할수있다. (a) 꼭지점탐색결과 (b) 문서영상꼭지점 그림 6. 교차점들을중심으로꼭지점들을정확하게탐색한결과를표시한예 2. 꼭지점기반기하변환을통한문서왜곡보정 문서영상에서네개의사각형꼭지점들을찾은다음에이를직사각형형태로변환하기위한기하학적변환개념도를 [ 그림 7] 에도시하였다. 그림에서 TARGET 영상의크기는촬영된문서영상의원래크기에비례하는가로세로비율로사전에미리정의한값으로설정한다. 3. 그림자영향을제거한흑백문서영상생성폰카메라를이용할경우근거리에서문서를촬영해야하기때문에문서영상에그림자가발생할수있다. 따라서컬러문서영상을흑백문서영상으로변환할때그림자를제거해야한다. 본연구에서는 Gato[4] 가제안한그림자제거알고리즘을 Intel Open CL[7] 기반의고속처리코드로구현하였다. 컬러영상을명도영상으로변환한다음그림자제거를위해서먼저 [ 그림 8 (a)] 와같이 Wiener 필터를사용하여명도영상의잡음을제거하고배경표면을평활화한다. 그리고 [ 그림 8 (b)] 및 [ 그림 8(c)] 와같이문자영역인전경 (foreground) 영역을개략적으로추출
카메라기반의왜곡이보정된흑백문서영상생성 23 하고이를바탕으로배경영역을추정하게하였다. 추정한배경영역과문자영역을이용해서그림자가제거되고문자영역만강조된흑백문서영상을 [ 그림 8 (d)] 와같이생성한다. (9) 그림자가제거된최종흑백영상 은다음과같이생성할수있다. 여기서배경영상의화소 와입력영상 의화소차이가임계치 이상이면 1 즉, 흑색문자화소로한다. (a) 왜곡보정영상 (b) 전경추출영상 (10) (11) (12) (c) 배경추정영상 (d) 최종흑백영상 (13) 그림 8. 기하학적왜곡이보정된 (a) 문서영상에서 (b) 전경및 (c) 배경영역을추출하고 (d) 그림자를제거한흑백문서영상을생성한예 명도영상의잡음을제거하고배경표면을평활하하기위해명도영상 에다음과같이 3x3 크기의국소영역 Wiener 필터링 을수행하였다. (8) 식 (11) 은흑백영상생성을위한임계값으로배경과전경의평균거리 및배경의평균 로정의하였으며매개변수들은실험적으로구한값으로각각, 그리고 로설정하였다. 이와같은과정으로흑백영상을생성하면개략적으로추출한전경흑백영상에그림자영향으로포함되었던잡음들이제거된깨끗한흑백문서영상을생성할수있다. 식에서 와 는각각 3x3 영역화소들의국소평균및분산이며 은각화소들의분산값들의전체평균이다. 필터링결과영상으로부터 Sauvola[5] 의적응적이진화알고리즘을이용하여문자 1, 배경 0으로하는개략적인전경이진영상 을추출하였다. 배경명도영상 는입력영상 및이진영상 를이용하여다음과같이구한다. IV. 시뮬레이션결과및고찰제안한모바일폰카메라기반의왜곡이보정된흑백문서영상생성알고리즘을안드로이드 Eclipse 개발환경에서구현하고그결과를분석하였다. 안드로이드인터페이스는 Java 언어로코딩하였으며영상처리부
24 한국콘텐츠학회논문지 '15 Vol. 15 No. 11 분은 인텔 OpenCL 언어 및 NDK(Native Development [그림 10]에 문서 영역과 외부 영역의 명도 대비가 낮 Kit)기반의 C/C++ 언어로 코딩하고 [그림 9]와 같이 갤 은 영상을 대상으로 기존 방법과 제안한 방법으로 테두 럭시 노트3에 구현하였다. 리 검출을 위한 에지 추출 결과 영상과 검출한 테두리 직선을 이용해서 구한 사각형 꼭지점들을 마킹한 영상 의 예를 보였다. (a) 카메라 촬영 영상 (b) 흑백 문서 영상 생성 (a) Kiran s Sobel 그림 9. 문서 영상의 왜곡보정 및 흑백 문서 영상 생성 알고 리즘을 갤럭시 노트에 구현한 예 안드로이드기반 갤럭시 노트3 카메라를 이용하여 A4 규격의 문서를 다양한 각도에서 24비트 규격의 800만 화소급으로 촬영한 46장의 문서 영상 데이터베이스를 대상으로 제안한 기하학적 왜곡 보정 및 흑백 영상 생 성 알고리즘을 시뮬레이션 하였다. 알고리즘의 각 처리 (b) Jain s Niblack 단계별 소요 시간을 [표 1]에 도시하였다. 표 1. 갤럭시 노트3에서 800만 화소급 문서 영상의 왜곡 보 정 및 흑백 영상 생성 각 처리 단계별 소요시간(sec) 처리 과정 NDK 꼭지 점들 찾기 0.587 OpenCL 0.587 기하 왜곡 보정 0.589 0.589 흑백 영상 생성 0.451 0.234 합계 1.627 1.410 (c) Jain s Sauvola 인텔에서는 다중 코어 CPU를 대상으로 병렬처리용 코드를 작성할 수 있도록 OpenCL 프로그래밍 언어[7] 를 제공하고 있다. 흑백 영상 생성을 위한 각 화소 별 임계값 계산의 경우 각 화소별 독립적인 처리가 가능하 기 때문에 인텔 OpenCl 코드로 구현하여 고속 처리한 경우가 NDK 기반의 JNI(Java Native Interface)만으로 구현 경우에 비해 동일한 연산량을 갖지만 더 빠르게 실행되는 것을 확인할 수 있었다. (d) Proposed method 그림 10. 문서 영역과 외부 영역의 명도대비가 낮은 영상에 서 각 방법별 문서 테두리 검출을 위한 에지 추출 및 테두리 직선을 바탕으로 꼭지점들을 검출한 예
카메라기반의왜곡이보정된흑백문서영상생성 25 제안한 2차미분필터를이용한이진화방법이다른방법들에비해문서의테두리직선을더욱정교하게검출할수있어서사각형꼭지점의위치를보다정확하게추정할수있음을확인하였다. [ 그림 11] 에카메라로촬영한컬러문서영상을대상으로왜곡을보정하고그림자가제거된흑백영상을생성한예를보였다. 사본문서영상전체의기하학적왜곡을보정하고그림자를제거하면서판독이용이한흑백문서영상을생성할수있음을확인하였다. 표 2. 문서영상의왜곡보정및그림자제거알고리즘적용전 후문자인식결과비교 인식성능 알고리즘적용전 알고리즘적용후 문자영역분할율 38장 /46장(82.6%) 46장 /46장(100%) 평균문자인식율 98.7% 99.6% ABBY OCR의경우기하학적왜곡이많이발생한 8 장의문서영상에서문자영역분할에실패하였으나기하학적왜곡보정후생성된 46장의흑백문서영상에대해서는문자영역을모두분할할수있었다. 제안한알고리즘을이용하여생성한흑백문서영상들을대상으로도표나그림부분을제외한순수한문자열의인식률을실험하였다. 기하학적왜곡보정과그림자제거결과로인해문자인식률도 0.9% 증가함을확인할수있었다. (a) 컬러문서영상 V. 결론 (b) 흑백문서영상 그림 11. 카메라로촬영한 (a) 컬러문서영상의일부와 (b) 기하학적왜곡을보정하고그림자를제거해서생성한흑백문서영상의일부예 실험결과문서의테두리가포함되도록촬영한 46장의문서영상에대해서모두사각형꼭지점들을찾을수있었고기하학적왜곡을보정한흑백문서영상을생성할수있음을확인하였다. 단문서촬영때문서의테두리가화면내부에모두포함되지않았을경우 A4 문서영상으로변환한결과에서는목표문서의가로세로비율이정확하지않은경우가발생하였다. 상용 ABBY OCR[8] 을이용하여문서영상의왜곡보정및그림자제거에따른문자인식성능을실험해보고그결과를 [ 표 2] 에도시하였다. 본논문에서는카메라로촬영한문서영상에서발생되는기하학적왜곡을보정하고그림자를제거한후흑백문서영상을생성하는알고리즘을제안하였다. 문서영역과배경영역의명도차이가낮을경우에도문서의테두리를정확하게찾기위해 2차미분필터를사용해서에지를검출하였고그림자영향을제거하고문자정보들이강조된흑백문서영상을생성하기위해고속적응적이진화방법을사용하였다. 제안한알고리즘을갤럭시노트3 안드로이드스마트폰에구현한다음 A4규격의문서를다양하게촬영하여기하학적왜곡보정및그림자가제거된흑백영상생성실험을수행하였다. 800만화소급으로촬영된 A4 규격의문서를평균 1.41초에처리할수있었고알고리즘적용전에비해 OCR 문자영역분할및문자인식성능이개선된것을확인할수있었다. 문서를촬영할때문서의테두리가모두포함되지않은경우에도원본문서영상의형태로정확하게보정할수있는부분은추가로연구되어야할것으로보인다.
26 한국콘텐츠학회논문지 '15 Vol. 15 No. 11 참고문헌 [1] G. Kiran and M. S., Automatic Rectification of Perspective Distortion from a Single Image Using Plane Homography, Int. J. of Computational Sciences & Applications, Vol.3, No.5, pp.47-58, 2013. [2] A. Jain, A. Dubey, R. Gupta, N. Jain, and P. Tripathi, Fundamental Challenges to Mobile Based OCR, Int. Journal of Innovative Research & Study, Vol.2, Issue.5, pp.86-101, 2013. [3] J. Wen, S. Li, and J. Sun, A New Binarization Method for Non-uniform Illuminated Document Images, Pattern Recognition, Vol.46, pp.1670-1690, 2013. [4] B. Gato, I. Pratikakis, and S. Perantonis, Adaptive Degraded Document Image Binarization, Pattern Recognition, Vol.39, pp.317-327, 2006. [5] M. Feng and Y. Tan, Contrast Adaptive Binarization of Low Quality Document Images, IEICE Electronics Express, Vol.1, No.16, pp.501-506, 2004. [6] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 3rd Edition, Prentice Hall, Saddle River, 2008. [7] Getting Started with OpenCL on Android OS, https://software.intel.com/en-us/android/article s/opencl-basic-sample-for-android-os [8] ABBY OCR, http://ocr.retia.co.kr 저자소개김진호 (Jin-Ho Kim) 정회원 1986년 2월 : 경북대학교전자공학과 ( 공학사 ) 1988년 2월 : 경북대학교전자공학과 ( 공학석사 ) 1992년 2월 : 경북대학교전자공학과 ( 공학박사 ) 1992년 3월 ~ 현재 : 경일대학교전자공학과교수 < 관심분야 > : 패턴인식, 영상처리, 컴퓨터비젼