Journal of The Korea Society of Computer and Information Vol. 18 No. 2, February 2013 www.ksci.re.kr http://dx.doi.org/10.9708/jksci.2013.18.2.001 인접 픽셀 값 정보를 이용하는 효율적인 확대 영상의 화질 개선 기법 1)정 수 목 *, 온 병 원 ** An efficient quality improvement scheme of magnified image by using the information of adjacent pixel values Soo-Mok Jung *, Byung-Won On ** 요 약 본 논문에서는 확대 영상의 화질을 개선하기 위하여 인접픽셀 값 정보를 이용하여 영상의 단순 볼록 곡면과 단순 오목 곡면을 추정하는 기법과 영상이 단순 볼록 곡면과 단순 오목 곡면의 특성을 반영하여 확대 영상을 구성하는 기법을 제안하였다. 제안된 기법을 사용하여 확대 영상을 구성하면 기존의 기법들을 사용하여 확대한 영상보다 실제 영상에 더욱 충실하게 되어 확대 영상의 화질이 크게 개선된다. 제안된 기법을 적용하여 확대한 영상의 화질향상 정도를 측정하기 위하여 PSNR(Peak Signal to Noise Ratio)을 사용하였다. 제안된 기법을 적용하여 확대한 영상들의 PSNR 값들은 기존의 기법들을 적용하여 확대한 영상들의 PSNR 값보다 큰 것을 확 인하였다. Keyword : 영상, 영상 확대, 보간, 양선형보간, PSNR, 지역성 Abstract To improve the quality of magnified image, two schemes were proposed. The one is used to estimate simple convex surface and simple concave surface using the information of adjacent pixel values, and the other scheme is used to produce magnified image using the characteristics of simple convex surface and simple concave surface. The magnified image using the proposed scheme is more similar to real image than the magnified image using the previous schemes. PSNR(Peak Signal to Noise Ratio) was used to evaluate the quality improvement of the magnified images. The PSNR values of the magnified images using the proposed scheme are greater than those of the magnified images using the previous interpolation schemes. Keyword : Image, Image magnification, Interpolation, Bilinear interpolation, PSNR, Locality 제1저자 : 정수목 교신저자 : 온병원 투고일 : 2013. 1. 24, 심사일 : 2013. 2. 15. 게재확정일 : 2013. 2. 23. * 삼육대학교 컴퓨터학부(Division of Computer, Sahmyook University) * 서울대학교 차세대융합기술연구원(Advanced Institutes of Convergence Technology, Seoul National University) 이 연구는 2012학년도 삼육대학교 학술연구비 지원에 의하여 수행되었음.
2 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) I. 서 론 작은 영상을 크게 확대하는 영상 확대 기술은 여러 분야에서 활용되고 있으며 이러한 영상 확대에는 보간 기법 (interpolation scheme)이 널리 사용되고 있다[1][2]. 보간 기법을 사용하여 확대한 확대 영상은 입력 영상에 존재하는 픽 셀들인 기준 픽셀들과 기준 픽셀들을 사용하여 보간 된 보간 픽셀들(interpolated pixels)로 구성된다. 따라서 확대 영상의 보간 픽셀들의 값이 실제 영상의 픽셀 값에 가까울수록 확대 영상의 화질이 향상된다. 가장 간단하게 구현할 수 있는 보간 기법인 영차 보간법 (zero order interpolation)은 확대 영상의 화질이 저하되는 단 점이 있다. 확대 영상의 화질을 개선하기 위하여 스플라인 보 간법(spline interpolation), 선형 보간법(linear interpolation), 3차회선 보간법(cubic convolution interpolation) 등이 제안되 었으나 영상의 경계면에서 흐림이 발생하는 단점이 있다 [3][4]. 보간 영상의 화질 개선을 위하여 적응 보간(adaptive interpolation) 기법들이 제안되었으며 3차회선 보간 기법이 선 형 보간 기법에 비하여 우수한 성능을 보이기 때문에 적응 보 간 기법 구축 시 기본 모델을 3차회선 보간법에 두는 것이 일 반적이다. 그러나 선형 보간법은 3차회선 보간법에 비하여 간 단하고 적응 선형 보간법들은 보간 영상의 화질이 3차회선 보 간법과 대등한 결과를 보인다[5][6][7]. 영역 변화량의 기울기 값에 따라 보간 커널의 적용을 다르게 하여 에지 정보를 보존하는 기법]이 제안되었으나 보간 화소 값들의 오차정보를 이용하여 부분적인 에지를 보존하지만 오차 정보를 예측하는 과정에서 발생하는 부가적인 오차가 에지를 흐리게 하는 문제점이 발생할 수 있는 한계가 있다[8]. 그리고 초음파 의료 영상을 확대하는 기법이 제안되었다[9] 영상 확대 시 발생하는 화질 저하 문제를 개선하기 위하여 양 선형 보간법(bilinear interpolation)과 기타 기법들이 제안 되었으나 픽셀 값들의 변화가 선형이라는 가정 하에서 가로축 과 세로축 방향으로 보간을 수행하여 보간 픽셀의 픽셀 값을 추정하기 때문에 픽셀 값의 변화가 비선형적인 특성을 갖는 실 제 영상의 픽셀 값을 충실히 반영하지 못하는 단점이 있다. 이 러한 문제점을 해결하기 위하여 보간법이 제안 되었으나 확대 영상의 화질 개선의 정도가 제한적이다[10]. 양 선형 보간법에 서는 확대영상의 보간 픽셀의 값을 추정하기 위하여 입력 영상 으로 역방향 사상된 좌표 주변에 있는 4개의 기준 픽셀 값과, 주변에 있는 4개의 기준 픽셀과의 상대적인 거리에 의해서 결 정되는 가중치를 사용하여 가로축과 세로축 방향으로 선형 보 간을 수행한다. 구해진 보간 픽셀 값들과 기준 픽셀 값들로 확 대 영상이 만들어 진다. 확대 영상의 보간 픽셀 값 추정 시, 입 력 영상으로 역방향 사상된 좌표 주변의 4개의 기준 픽셀 값과 주변 4개의 기준 픽셀과의 상대적인 거리에 의해서 결정되는 가중치 외에 인접 기준 픽셀들과의 픽셀 값 정보를 활용하여 보간을 수행하면 실제 영상에 존재하는 단순 볼록 곡면과 단순 오목 곡면 특성을 충실히 갖게 되어 확대 영상의 화질을 개선 할 수 있다. 본 논문에서는 보간 된 픽셀 값이 실제 영상에 일반적으로 존재하는 지역성과 실제 영상에 존재하는 단순 볼록 곡면 특성 과 단순 오목 곡면의 특성을 보다 충실히 갖도록 하기 위하여 인접 픽셀 값과의 기울기 정보를 이용하여 보간 픽셀 값을 추 정하는 효율적인 기법을 제안하였다. II. 관련 연구 작은 영상을 확대한 확대 영상은 기준 픽셀이 되는 입력 영 상의 픽셀들과 입력 영상의 픽셀들을 이용하여 추정된 보간 픽 셀들로 구성된다. 그러므로 입력 영상의 픽셀 값들을 이용하여 추정된 보간 픽셀의 값이 실제 영상의 픽셀 값과 일치 할수록 확대 영상의 품질이 향상된다. 확대 영상의 품질을 향상시키기 위하여 보간 기법(interpolation)이 널리 사용되고 있다. 보간 기법에서는 확대 영상의 보간 픽셀 값을 추정하기 위하여 두 단계절차를 수행한다. 첫 번째 단계에서는 확대 영상의 픽셀 위 치에 대응하는 입력 영상의 실수(real value) 좌표를 구하기 위 하여 역방향 사상(backward mapping)을 한다. 두 번째 단계에 서는 역방향 사상된 입력 영상의 실수 좌표 주위에 있는 기준 픽셀 값들과 위치 정보를 이용하여 역방향 사상된 실수 좌표에 서의 픽셀 값을 계산한 후 이를 확대 영상의 보간 픽셀 값으로 한다. 2.1 최근방 이웃 보간법 최근방 이웃 보간법(nearest neighbor interpolation)은 확 대 영상을 구성하기 위하여 확대 영상의 각 픽셀 좌표들에서 입력 영상으로 역방향 사상을 하여 입력 영상내의 실수 좌표를 구한다. 그 후 입력 영상의 실수 좌표와 가장 가까운 위치에 있 는 입력 영상 내 픽셀의 값을 확대 영상의 픽셀 값으로 결정하 는 기법이다. 확대 영상 내의 위치가 (x, y)인 픽셀로부터 역방향 사상된 입 력 영상에서의 실수 좌표 가 (x r, y r )이면 (x r, y r )에 가장 가까운 입력 영상에서의 정수 좌표 (x m, y n )은 식 (1), (2)와 같이 구해진 다. x m = (int)(x r +0.5) (1) y n = (int)(y r +0.5) (2) 입력 영상 내 (x m, y n ) 위치에서의 기준 픽셀 값 P i (x m, y n )이 좌표 (x r, y r )에서의 계산된 보간 값 P c (x r, y r )가 되고, 이 값이 확대 영상 내 (x, y)위치의 픽셀 값 P m (x, y)가 된다.
3 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 본 논문에서 사용되는 기호 P i 는 크기가 작은 입력 영상에서 의 픽셀 값(기준 픽셀 값)을 나타내고, P c 는 입력 영상의 기준 픽셀 값들을 이용하여 계산된 보간 픽셀 값을 나타내며, P m 은 확대 영상에서의 픽셀 값을 나타내고, P는 확대 영상에 대응하 는 실제 영상에서의 픽셀 값을 나타낸다. 최근방 이웃 보간법은 간단히 구현할 수 있고 수행 속도가 빠르 지만 확대 영상에 블록화 현상(blocking effect)이 나타나고 이러 한 현상은 확대 배율이 클수록 심하게 나타나 확대 영상의 품질을 떨어뜨리는 단점이 있다. 2.2 양 선형 보간법 양 선형 보간법(bilinear interpolation)은 확대 영상에서 나 타나는 블록화 현상을 제거할 수 있어 확대 영상의 화질을 향 상 시키는 보간 기법이다. 영상 확대에 일반적으로 사용되고 있 는 양 선형 보간법은 확대 영상의 픽셀 좌표로부터 역방향 사 상된 입력 영상의 실수 좌표에 해당하는 보간 값을 계산하기 위하여 입력 영상의 실수 좌표 주변에 있는 4개의 기준 픽셀 값과, 주변 4개의 기준 픽셀과의 상대적인 거리에 의해서 결정 되는 가중치를 사용하여 가로축 방향과 세로축 방향으로 보간 을 수행하여 계산된 보간 값을 확대 영상의 픽셀 값으로 결정 한다. 그림 1은 확대 영상의 픽셀 좌표 (x, y)로부터 역방향 사상 된 입력 영상의 실수 좌표 (x r, y r )의 위치를 검정색 원( )로 나 타내고, 실수 좌표 (x r, y r )의 주변에 있는 회색 원으로 표시된 4개의 기준 픽셀들의 값이 각각 P i (x i, y j )=A, P i (x i+1, y j )=B, P i (x i, y j+1 )=C, P i (x i+1, y j+1 )=D 임을 보여주고 있다. 역방향 사 상된 입력 영상내의 실수 좌표 (x r, y r )에서의 보간 값 R을 계산 하기 위하여 식 (3), (4)와 같이 먼저 가로축 방향으로 보간을 수행하여 좌표 (x r, y j )와 (x r, y j+1 )에서의 보간 값 E, F를 구한 다. 그림 1. 양 선형 보간법에서의 픽셀 보간 Fig. 1. Pixel interpolation in bilinear interpolation α=x r - x i (6) β=y r - y j (7) 양 선형 보간법에서는 가중치 α, β가 식 (6), (7)과 같이 거리에 비례하는 값으로 정의되고 보간 값 E, F가 식 (3), (4) 와 같이 계산되어 지기 때문에 E와 F의 값은 선형적으로 변화 하는 값을 갖는다. 기준 픽셀 값이 A, B, C, D인 그림 1의 입력 영상을 x축 방 향으로 n배 확대한 영상에서 y=y j 인 경우의 확대 영상이 그림 2에 나타나 있다. 그림 2에서 회색 원은 입력 영상의 기준 픽셀 이 확대 영상의 픽셀로 사용되었음을 보여주고 있다. 즉, P m (x ni, y j )=P i (x i, y j )=A, P m (x n(i+1), y j )=P i (x i+1, y j )=B이다. 흰 색 원은 보간 픽셀들이고 보간 픽셀들의 값은 각각 P 1, P 2,..., P n-2, P n-1 이다. P c (x r, y j ) = E = A (1 - α) + B α (3) P c (x r, y j+1 ) = F = C (1 - α) + D α (4) (x r, y j )와 (x r, y j+1 )에서의 보간 값 E, F를 사용하여 세로축 방향 보간을 식 (5)와 같이 수행하여 (x r, y r )에서의 보간 값 R 을 구한다. P c (x r, y r ) = R = E (1 - β) + F β (5) 식 (5)에서 구해진 보간 값 R이 확대 영상내의 좌표 (x, y)에 서의 보간 픽셀 값이 된다. 즉, P m (x, y)=p c (x r, y r )=R이 된다. 가로축 방향 보간과 세로축 방향 보간에 사용되는 가중치 α, β는 식 (6), (7)과 같이 역방향 사상된 좌표와 주변 픽셀과의 상대적 거리에 따라 결정되는 0과 1사이의 실수 값이다. 그림 2. x축으로 n배 확대한 영상에서의 보간 픽셀(단,y=y j ) Fig. 2. Interpolated pixels in n-times magnified image along with x-direction 그림 2의 보간 픽셀들의 값을 식 (3)과 (6)을 사용하여 계산 하면, A<B인 경우에는 식 (8), (9), (10)이 된다. 그리고 A>B인 경우에는 식(8), (9), (10)의 식에서 두 번째 항을 빼주면 된다. P 1 = A+ A-B /n (8) P 2 = A+2( A-B /n) (9) P n-1 = A+(n-1)( A-B /n) (10)
4 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 따라서 확대영상에서의 보간 픽셀의 값 P 1, P 2,..., P ni+n-1 은 그림 3과 같이 선형적인 값이 되며 식(11)의 조건을 만족하 는 값이 된다. 그림 3. x축으로 n배 확대한 영상에서의 보간 픽셀의 값 Fig. 3. Interpolated pixel values in 3-times magnified image along with x-direction. min(a, B) P k max(a, B) k =1, 2,..., ni+n-1 (11) 그림 3에서 보는 바와 같이 양선형 보간 기법을 사용하여 확 대한 확대 영상에서의 보간 픽셀들의 값은 선형적인 값을 갖기 때문에 실제 영상의 곡면 특성을 잘 반영하지 못하는 한계점을 갖는다. 실제 영상이 그림 4와 같이 단순 볼록 곡면(simple convex surface)이라면 보간 픽셀들의 값 P 1, P 2,..., P ni+n-i 값들은 실제 영상의 해당 픽셀 값보다 모두 작게 되어 확대 영 상의 화질이 저하된다. 그림 4에서 검정색 중심을 갖는 회색 원 은 실제 영상의 픽셀 값을 나타내고 이들을 연결한 2점 쇄선은 영상이 단순 볼록 곡면임을 나타낸다. 또한 실제 영상이 단순 오목 곡면(simple concave surface)이라면 보간 픽셀 값들은 실제 영상의 해당 픽셀 값보다 모두 크게 되어 확대 영상의 화 질이 저하된다. 그러므로 이러한 문제점을 해결하는 기법을 적용하면 보간 픽셀 값이 실제 영상에 더욱 가깝게 되어 확대 영상의 화질이 개선될 수 있다. 2.3 3차 회선 보간법 3차회선 보간법은 확대 영상에서의 픽셀 값을 추정하기 위 하여 역방향 사상된 입력 영상에서의 실수 좌표 주변에 있는 16개의 픽셀 값에 가중치 함수(weight function)에 정의된 가 중치를 곱한 값을 모두 합한다. 3차회선 보간법도 양 선형 보간 법과 동일하게 먼저 각 가로축에 대하여 보간을 실시한 후 얻 어진 보간 결과들을 가지고 세로축에 대한 보간을 수행한다. 따 라서 3차회선 보간법을 사용하여 보간을 수행하는 경우에는 가 로축으로 4회, 세로축으로 1회, 총 5회의 보간이 이루어진다. 입력 영상으로 역방향 사상된 실수 좌표 주변 16개 픽셀 들은 그림 5에서와 같이 선택된다. 그림 5에서 는 역방향 사 상된 입력 영상에서의 실수 좌표 (xr, yr)의 위치를 나타내고, 회색 원은 3차회선 보간법에 사용되는 주변 16개의 픽셀들을 나타내고, 흰색 원들은 역방향사상 된 좌표에서의 픽셀 값을 구 하기 위하여 가로축 방향으로 보간 된 픽셀들이다. 식 (12)에서의 a 값은 -0.5, -1.0, -2.0 이며 시각적인 결과 들에 대하여 커널을 평가하면 -1.0이 가장 적합하다. Taylor 급수의 차수를 사용하는 경우 수학적으로 정확히 하기 위해서 a가 -0.5 이어야 함이 제시되었다.[6] a값의 변화에 따른 가 중치 함수가 그림 6에 나타나 있으며, 3차회선 보간법에서의 가중치 함수는 식 (12)와 같다. 그림 5. 3차회선 보간법에 사용되는 입력 영상의 16개 픽셀들 Fig. 5. 16 pixels in input image for cubic convolution interpolation (a+2) x 3-(a+3) x 3+1 0 x 1 f(x)= a x 3-5a x 2 + 8a x -4a 1 x 2 (12) 0 2 x 그림 4. 단순 볼록 곡면 영상과 확대 영상(단, y=y j ) Fig. 4. Simple convex surface image and magnified image (provided y=y j ) 그림 7은 가로축에 대한 보간을 수행하는 경우를 보여 주고 있다. 회색 원은 보간에 사용되는 4개의 기준 픽셀들을 나타내 고 그 값들은 각각 V1, V2, V3, V4이다. 흰색 원은 역방향사상 된 좌표에서의 픽셀 값을 구하기 위하여 x축 방향으로 보간 된
5 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 픽셀이고 픽셀 값은 Vr1이다. 보간 픽셀의 값 Vr1은 식 (13)과 같이 계산된다. 이 때, d는 두 번째 픽셀과 흰색 원 사이의 실수 거리이고 식 (14)를 만족하는 실수 값이다. 그림 6. 3차회선 보간법에 사용되는 가중치함수 Fig. 6. weight function for cubic convolution interpolation 이와 같이 가로축으로 4번의 보간을 수행하여 구해진 보간 값 Vr1, Vr2, Vr3, Vr4 를 가지고 세로축 방향으로 동일한 방 법으로 보간을 수행하여 (xr, yr)에서의 픽셀 값 Vr을 구하여 이를 확대 영상의 보간 픽셀 값으로 한다. 즉, Pm(x, y)= Pc(xr, yr)= Vr 이 된다. 그림 7. 4개의 점을 사용한 3차회선 보간 Fig. 7. Cubic convolution interpolation using 4 pixels Vr1=V1 f(1+d)+v2 f(d)+v3 f(1-d)+v4 f(2-d) (13) 0 d 1 (14) III. 제안기법 영상 확대에 널리 사용되고 있는 양 선형 보간법은 매우 효 율적인 기법이지만, 가로축 방향과 세로축 방향으로 구해지는 보간 픽셀 값들이 식 (3), (4), (6), (7)과 같이 선형적인 계산식 에 의하여 계산되기 때문에 식 (8), (9), (10)과 그림 3에 나타 난 바와 같이 등간격의 선형적인 값들이 된다. 또한 식 (11)과 같이 보간 픽셀 값들은 보간에 이용되는 기준 픽셀 값들 중 최 소 값과 최대 값 사이의 값을 갖게 되는 특성을 갖는다. 이러 한 특성 때문에 양 선형 보간법을 사용하여 확대한 확대 영상 은 그림 4에 나타난 바와 같이 실제 영상에 존재하는 단순 볼 록 곡면과 단순 오목 곡면의 특성을 갖는 보간 값을 구할 수 없 어 확대 영상의 화질이 저하되는 한계가 있다. 따라서 이러한 문제점을 해결하는 기법을 적용하여 영상을 확대하면 실제 영 상에 더욱 가까운 확대 영상을 얻을 수 있어 확대 영상의 화질 을 개선 할 수 있다. 제안된 기법은 역방향 사상된 입력 영상 내의 인접한 기준 픽셀들의 값을 사용하여 실제 영상의 곡면이 단순 볼록 곡면 혹은 단순 오목 곡면인지 여부를 추정한 후 곡면 특성을 고려 하여 보간 값을 계산함으로 보간 픽셀 값이 실제 영상의 단순 볼록 곡면 혹은 단순 오목 곡면의 픽셀 값에 가까운 값을 갖도 록 하여 확대 영상의 화질을 개선하는 기법이다. 그림 8은 역방향 사상된 좌표 주변의 기준 픽셀 4개와 이들 과 인접한 주변의 8개의 기준 픽셀들을 나타낸다. 제안기법에 서는 4개의 기준 픽셀 값(A, B, C, D)과 인접한 주변의 8개의 기준 픽셀 값을 사용하여 실제 영상의 곡면 특성을 추정한다. 그림 8에서 픽셀 값 A, B, C, D를 갖는 기준 픽셀의 좌표는 그 림 1의 좌표와 동일하다. 따라서 입력 영상 내 기준 픽셀의 위 치와 픽셀 값은 다음과 같이 표시 될 수 있다. P i (x i, y j )=A, P i (x i-1, y j )=AL, P i (x i, y j-1 )=AU, P i (x i+1, y j )=B, P i (x i+2, y j )=BR, P i (x i+1, y j-1 )=BU, P i (x i, y j+1 )=C, P i (x i-1, y j+1 )=CL, P i (x i, y j+2 )=CB, P i (x i+1, y j+1 )=D, P i (x i+2, y j+1 )=DR, P i (x i+1, y j+2 )=DB 먼저 기준 픽셀 값 A, B를 사용하여 x축 방향의 보간 값 E p 를 구하기 위하여 인접 픽셀 값과의 기울기를 계산한 다음, 이 를 바탕으로 x축 방향의 곡면 특성을 추정하고 곡면의 특성에 따라 보간 값을 계산한다. 임의의 두 지점 (x 1, y 1 ), (x 2, y 2 )를 지나는 직선의 방정식은 식 (15)와 같고 기울기 G는 (y 2 -y 1 )/(x 2 -x 1 )이다. y={(y 2 -y 1 )/(x 2 -x 1 )}(x-x 1 ) +y 1 (15) 위 수식 (15)를 이용하면 인접 픽셀 값과의 기울기를 간단히 계산할 수 있다. (x i-1, AL)과 (x i, A)를 지나는 직선은 식 (16) 과 같고, (x i+1, B)와 (x i+2, BR)을 지나는 직선은 식 (17)과 같 다. 식 (16), (17)에서 기울기를 각각 좌측 상단의 x축 방향 기 울기(GX LU )와 우측 상단의 x축 방향 기울기(GX RU )라고 정의 하면 식 (18), (19)와 같다. P(x) = {(A-AL)/(x i -x i-1 )}(x-x i-1 )+AL (16) P(x) = {(BR-B)/(x i+2 -x i+1 )}(x-x i+1 ) +B (17) GX LU = (A-AL)/(x i -x i-1 ) = A-AL (18) GX RU = (BR-B)/(x i+2 -x i+1 ) = BR-B (19) 좌측 상단의 x축 방향 기울기(GX LU )가 양이고 우측 상단의 x축 방향 기울기(GX RU )가 음인 경우, x축 좌표와 픽셀 값과의 관계는 그림 9와 같이 된다. 그림 9의 흰색 원은 양 선형 보간 법에서의 식 (3), (6)을 이용하여 입력 영상 내의 좌표 (x r, y j )
6 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 에서 구한 보간 값이 E임을 나타내고 있다. 그림 8. 영상의 곡면 특성을 추정하기 위하여 사용되는 입력 영상 내의 인접한 기준 픽셀들 Fig. 8. The pixels in input image used for the estimation of the curved surface characteristics of image 그림 10. GX LU >0, GX RU <0 인 경우의 보간 값 계산 Fig. 10. Interpolated value calculation in the case of GX LU >0, GX RU <0 E L = (A-AL)(x r -x i-1 )+AL (20) E R = (BR-B)(x r -x i+1 )+B (21) 그림 9. GX LU >0, GX RU <0 인 경우의 보간 값 계산 Fig. 9. Interpolated value calculation in the case of GX LU >0, GX RU <0 일반적으로 자연 영상에는 인접한 픽셀들이 서로 비슷한 픽 셀 값을 갖는 지역성(locality)이 존재하기 때문에 그림 9에서 와 같은 입력 영상의 기준 픽셀 값 A, B를 사용하여 계산되는 보간 값들로 구성되는 확대 영상은 x축 방향으로 단순 볼록 곡 면(simple convex surface)이라고 추정한다. 좌측 상단의 x축 방향 기울기(GX LU )가 음이고 우측 상단의 x축 방향 기울기(GX RU )가 양인 경우, x축 좌표와 픽셀 값과의 관계는 그림 10과 같이 된다. 이러한 경우, 동일한 이유로입력 영상의 기준 픽셀 값 A, B를 사용하여 계산되는 보간 값들로 구성되는 확대 영상은 x축 방향으로 단순 오목 곡면(simple concave surface)이라고 추정한다. 그림 9, 그림 10과 같이 단순 볼록 곡면 혹은 단순 오목 곡 면으로 추정된 경우, 좌표 (x r, y j )에서의 보간 값 E p 는 다음과 같이 구한다. x=x r 에서 식 (16), (17)의 값은 각각 왼쪽과 오 른쪽의 직선 식에 의해서 구해지는 값들이고 이를 E L, E R 이라 고 정의하면 식 (20), (21)과 같이 된다. 식 (6)에서 정의된 α의 값이 작을수록(x r 이 x i 에 가까울수록) 픽셀 값 B보다 픽셀 값 A가 보간 값에 더 큰 영향을 주고, α의 값이 클수록(x r 이 x i+1 에 가까울수록) 픽셀 값 A보다 픽셀 값 B 가 보간 값에 더 큰 영향을 주게 됨을 식 (3)에서 확인 할 수 있 다. 따라서 픽셀 값 A의 영향을 받는 E L 과 픽셀 값 B의 영향을 받는 E R 에 의해서 결정되는 보간 값 E G 를 식 (22)와 같이 정의 한다. 제안기법에서의 최종 보간 값 E P 는 식 (23)과 같이 E-(E G + E)/2, E-E L, E-E R 중의 최소 값으로 정의한 다. 즉, (E G +E)/2, E L, E G 중에서 양 선형 보간법에 의해서 계 산된 픽셀 값인 E에 가장 가까이 있는 값이 제안기법에서 구해 지는 최종 보간 값이 된다. 따라서 제안기법에서 구해진 보간 값은 그림 4에서와 같이 실제 영상의 단순 볼록 곡면 혹은 단 순 오목 곡면의 특성을 충실하게 반영하게 된다. E G = E L (1-α) + E R α (22) E P = min{ E-(E G +E)/2, E-E L, E-E R } (23) 동일한 방법으로 (x r, y j+1 )에서의 보간 값 F P 를 계산하기 위 한 직선 수식을 구하면, 두 점 (x i-1, CL)과 (x i, C)를 지나는 직선 식인 식 (24)와 두 점 (x i+1, D)와 (x i+2, DR)을 지나는 직 선 식인 식 (25)가 된다. 식 (24), (25)에서 기울기를 각각 좌 측 하단의 x축 방향 기울기(GX LB )와 우측 하단의 x축 방향 기 울기(GX RB )라고 정의 하면 식 (26), (27)과 같다. 좌측 하단의 x축 방향 기울기(GX LB )가 양이고 우측 하단의 x축 방향 기울기 (GX RB )가 음인 경우에는 단순 볼록 곡면으로 추정하고, GX LB 가 음이고 GX RB 가 양인 경우에는 단순 오목 곡면으로 추정한 다. x=x r 에서의 식 (24), (25)의 값은 각각 왼쪽 직선 식과 오 른쪽의 직선 식에 의해서 구해지는 값들이고 이를 각각 F L, F R
7 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 이라고 정의하면 식 (28), (29)와 같이 된다. 입력 영상으로 역 방향 사상된 좌표의 하단인 좌표 (x r, y j+1 )에서의 x축 방향 보 간 값 F P 는 식 (30), (31)과 같이 계산된다. 여기서 F는 양 선 형 보간법을 적용하여 좌표 (x r, y j+1 )에서 식 (4)와 같이 구해진 보간 값이다. p(x)={(c-cl)/(x i -x i-1 )}(x-x i-1 ) + CL (24) p(x)={(dr-d)/(x i+2 -x i+1 )}(x-x i+1 ) + D (25) GX LB = (C-CL)/(x i -x i-1 ) = C-CL (26) GX RB = (DR-D)/(x i+2 -x i+1 ) = DR-D (27) F L = (C-CL)(x r -x i-1 ) + CL (28) F R = (DR-D)(x r -x i+1 ) + D (29) F G = F L (1-α) + F R α (30) F P = min{ F-(F G +F)/2, F-F L, F-F R } (31) y축 방향 보간 값인 좌표 (x i, y r )에서의 보간 값 G P 를 계산 하기 위하여 사용되는 직선 수식을 구하면, 두 점 (y j-1, AU)와 (y j, A)를 지나는 직선 식인 식 (32)와 두 점 (y i+1, C)와 (y j+2, CB)를 지나는 직선 식인 식 (33)이 된다. 식(32), (33)에서 기 울기를 각각 좌측 상단의 y축 방향 기울기(GY LU )와 좌측 하단 의 y축 방향 기울기(GY LB )라고 정의 하면 식 (34), (35)와 같 다. GY LU 가 양이고 GY LB 가 음인 경우에는 단순 볼록 곡면으로 추정하고, GY LU 가 음이고 GY LB 가 양인 경우에는 단순 오목 곡 면으로 추정한다. y=y r 에서 식 (32), (33)의 값을 G U, G B 라고 하면 식(36), (37)과 같다. 입력 영상으로 역방향 사상된 좌표 의 좌측인 좌표 (x i, y r )에서의 보간 값 G P 는 식 (38), (39)와 같 이 구해진다. 여기서 G는 양 선형 보간법을 사용하여 좌표 (x i, y r )에서 구한 보간 값인 A (1-β) + C β이다. p(y)={(a-au)/(y j -y j-1 )}(y-y j-1 ) + AU (32) p(y)={(cb-c)/(y j+2 -y j+1 )}(y-y i+1 ) + C (33) GY LU = (A-AU)/(y i -y i-1 ) = A-AU (34) GY LB = (CB-C)/(y j+2 -y j+1 ) = CB-C (35) G U = (A-AU)(y r -y j-1 ) + AU (36) G B = (CB-C)(y r -y j+1 ) + C (37) G G = G U (1-β) + G B β (38) G P = min{ G-(G G +G)/2, G-G U, G-G B } (39) y축 방향 보간 값인 좌표 (x i+1, y r )에서의 보간 값 H P 를 계 산하기 위하여 사용되는 직선 수식을 구하면, 두 점 (y i-1, BU) 와 (y i, B)를 지나는 직선 식인 식 (40)과 두 점 (y i+1, D)와 (y j+2, DB)를 지나는 직선 식인 식 (41)이 된다. 식 (40), (41) 에서 기울기를 각각 우측 상단의 y축 방향 기울기(GY RU )와 우 측 하단의 y축 방향 기울기(GY RB )라고 정의 하면 식 (42), (43) 과 같다. GY RU 가 양이고 GY RB 가 음인 경우에는 단순 볼록 곡 면으로 추정하고 GY RU 가 음이고 GY RB 가 양인 경우에는 단순 오목 곡면으로 추정한다. y=y r 에서 식 (40), (41)의 값을 H U, H B 라고 하면 식(44), (45)와 같다. 입력 영상으로 역방향 사상 된 좌표의 우측인 좌표 (x i+1, y r )에서의 보간 값 H P 는 식 (46), (47)과 같이 구해진다. 여기서 H는 양 선형 보간법을 사용하여 좌표 (x i+1, y r )에서 구한 보간 값인 B (1-β) + D β이다. p(y)={(b-bu)/(y i -y i-1 )}(y-y j-1 ) + BU (40) p(y)={(db-d)/(y j+2 -y j+1 )}(y-y i+1 ) + D (41) GY RU = (B-BU)/(y i -y i-1 ) = B-BU (42) GY RB = (DB-D)/(y j+2 -y j+1 ) = DB-D (43) H U = (B-BU)(y r -y j-1 ) + BU (44) H B = (DB-D)(y r -y j+1 ) + D (45) H G = H U (1-β) + H B β (46) H P = min{ H-(H G +H)/2, H-H U, H-H B } (47) 식 (23), (31), (39), (47)과 같이 구해진 E P, F P, G P, H P 에 대하여 식 (48)과 같이 양 선형 보간을 수행한 후, 평균한 값을 (x r, y r )에서의 보간 값 R로 하고 이를 확대 영상의 픽셀 값으로 한다. 즉, P m (x, y)=p i (x r, y r )=R 이 된다. R= {(E P (1-β) + F P β) +(G P (1-α) + H P α)}/2 (48) 양 선형 보간 기법은 확대 영상의 단순 볼록 곡면과 단순 오 목곡면의 특성을 반영할 수 없으나 제안된 기법을 사용하여 구 한 보간 값 R은 실제 영상의 단순 볼록 곡면과 단순 오목 곡면 의 특성을 충실하게 반영하기 때문에 확대 영상의 화질이 개선 된다. 제안된 기법의 절차는 그림 11과 같다. for (확대 영상의 모든 픽셀의 좌표에 대하여 반복) { 입력 영상내의 역방향 사상된 좌표 (x r, y r ) 계산; //인접 픽셀 값과의 기울기를 이용하여 //단순 볼록 곡면 혹은 단순 오목 곡면 추정 if (단순 볼록(오목) 곡면?) { // 단순 볼록(오목) 곡면임, 인접 픽셀 값과의 // 정보를 이용하여 직선 방정식을 구하고 // 보간 값 E P, F P, G P, H P 계산 x축 방향의 보간 값 E P 계산(식 (16)~(23) 사용); x축 방향의 보간 값 F P 계산(식 (24)~(31) 사용); y축 방향의 보간 값 G P 계산(식 (32)~(39) 사용); y축 방향의 보간 값 H P 계산(식 (40)~(47) 사용); 좌표 (x r, y r )에서의 보간 값 R 계산 (식 (48)); } else { // 단순 볼록(오목) 곡면이 아님 // 양 선형 보간법을 적용하여 (x r, y r )에서의
8 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) // 보간 값 계산 x축 방향의 보간 값 E 계산(식 (3) 사용); x축 방향의 보간 값 F 계산(식 (4) 사용); 좌표 (x r, y r )에서의 보간 값 R 계산(식 (5) 사용); } 보간 값 R을 확대 영상의 해당 좌표의 픽셀 값으로 대치; } 그림 11. 제안된 기법의 절차 Fig. 11. The procedure of the proposed scheme (a) 영상 확대에 사용된 실험 영상 (b) 최근방 이웃 보간법 (c) 양선형 보간법 IV. 실험결과 본 논문에서 제안된 기법을 적용하여 작은 크기의 영상을 확 대한 확대 영상의 품질을 실제 영상과 비교하여 제안된 기법의 성능을 평가하였다. 256x256 픽셀 크기의 lenna, Rocket Laun-ching, Mona Liza, Space shuttle 영상을 가로축 방향과 세로축 방향으로 각 4배 축소한 64x64픽셀 크기를 갖는 작은 영상을 실험 영상으로 사용하였고, 각 실험 영상들에 대하여 영 상 확대 실험을 수행하였다. 실험 영상들에 대하여 최근방 이웃 보간법, 양 선형 보간법, 3차회선 보간법, 제안 기법을 적용하여 가로축 방향과 세로축 방향으로 각각 4배 확대한 확대 영상을 생성한 후, 확대한 영상 들을 축소전의 실제 영상들과 비교하여 PSNR(Peak Signal to Noise Ratio)을 측정하여 각 기법들의 성능을 평가하였다. 그림 9 (a)는 실험 영상중의 하나인 64x64 픽셀크기의 lenna 영상이고, (b)~(e)는 lenna 실험 영상에 대하여 최근방 이웃 보간법, 양 선형 보간법, 3차회선 보간법, 제안기법을 적 용하여 영상을 세로축과 가로축 방향으로 각 4배 확대한 256x256 픽셀 크기의 확대 영상들이다. 표 1 은 기존 기법들과 제안 기법을 사용하여 각 실험 영상 들을 세로축과 가로축 방향으로 각 4배 확대한 영상을 실제 영 상과 비교하여 PSNR을 측정한 결과이다. (9)의 a 값은 -0.5 로 하였다. 표 1의 실험 결과에서 보는 바와 같이 제안 기법을 적용하여 실험 영상을 확대한 경우, 기존의 기법들에 비하여 확 대 영상의 화질이 0.0167dB ~ 4.0131dB 개선되었다. 따라서 제안기법을 사용하여 영상을 확대하면, 확대한 영상은 실제 영 상에 더욱 충실하게 되어 확대영상의 화질이 크게 개선된다. 이러한 화질 향상은 단순 볼록 곡면 혹은 단순 오목 곡면의 특성을 잘 반영하도록 인접 픽셀 값과의 정보를 이용하여 보간 값을 구함으로 구해진 보간 값이 실제 영상의 단순 볼록 곡면 과 단순 오목 곡면의 픽셀 값에 근접하게 되어 확대 영상이 실 제 영상에 더욱 가깝게 되었기 때문이다. (d) 3차회선 보간법 (e) 제안기법 그림 12. 64x64 크기의 lenna영상을 기존 방법 및 제안 기법을 적용하여 가로축 방향 및 세로축 방향으로 각각 4배 확대한 영상 Fig. 12. 4-times magnified images using the previous schemes and the proposed scheme 표 1. 기존 기법 및 제안기법을 적용하여 확대한 확대 영상 에서의 PSNR 실험값[dB] Table 1. PSNR values for the magnified images using the previous schemes and the proposed scheme 최근방 이웃 보간법 양 선형 보간법 3차회선 보간법 제안 기법 lenna 21.9866 24.3946 24.2698 24.4329 Rocket Launching 23.8683 25.7243 25.3531 25.7491 Mona Liza 29.3608 33.2820 33.2907 33.3739 Space shuttle 20.2123 22.0987 21.5227 22.1154 V. 결론 본 논문에서는 확대 영상의 화질을 개선하기 위하여 인접픽 셀 값 정보를 이용하여 영상의 단순 볼록 곡면과 단순 오목 곡 면을 추정하는 기법과 영상이 단순 볼록 곡면과 단순 오목 곡 면의 특성을 반영하여 확대 영상을 구성하는 기법을 제안하였 다. 단순 볼록 곡면과 단순 오목 곡면을 추정하는 기법은 보간
9 韓 國 컴퓨터 情 報 學 會 論 文 誌 (2013. 2.) 값을 구하는 영역이 실제 영상의 단순 볼록 곡면 혹은 단순 오 목 곡면인지를 역방향 사상된 좌표에 인접한 픽셀 값 정보들을 이용하여 판단한다. 영상이 단순 볼록 곡면과 단순 오목 곡면의 특성을 반영하여 확대영상을 구성하는 기법은 보간 값을 구하는 영역이 단순 볼록 곡면 혹은 단순 오목 곡면으로 추정되면 역방향 사상된 좌표에 인접한 픽셀 값의 정보를 이용하여 만들어진 4개의 직 선 방정식을 사용하여 상, 하, 좌, 우 4개의 보간 값(E P, F P, G P, H P )을 구한다. 구해진 상, 하 보간 값과 좌, 우 보간 값에 대하 여 각각 양 선형 보간법을 적용하여 각각 보간 값을 계산하고 이를 더한 후 2로 나누어 최종 보간 값을 구한다. 제안된 기법 을 적용하여 보간 값을 구하면, 단순 볼록 곡면 혹은 단순 오목 곡면 부분에서의 보간 값이 실제 영상의 픽셀 값에 근접하게 되어 확대 영상은 실제 영상의 특성을 충실히 반영하게 되고 화질이 개선된다. 64x64 픽셀 크기를 갖는 실험 영상들을 세로축과 가로축 방 향으로 각 4배 확대하는 경우, 제안기법을 적용하여 확대한 확 대 영상에서의 PSNR 값은 기존의 기법을 적용하여 영상을 확 대한 확대영상의 PSNR 값에 비하여 0.0167dB ~ 4.0131dB 향상되었다. 따라서 제안기법을 사용하여 영상을 확대하면, 확 대한 영상은 실제 영상에 더욱 충실하게 되어 확대 영상의 화 질이 크게 개선된다. 이러한 화질 향상은 실제 영상에 존재하 는 단순 볼록 곡면 혹은 단순 오목 곡면을 추정하고 단순 오목 곡면과 단순 오목 곡면의 특성을 잘 반영하도록 인접 픽셀 값 정보를 이용하여 보간 값을 구함으로 구해진 보간 값이 실제 영상의 픽셀 값에 근접하게 되어 확대 영상이 실제 영상에 더 욱 가깝게 되었기 때문이다. 참고문헌 [1] W. K. Pratt, "Digital Image Processing", New York: Wiley, 1991. [2] M. Petrou, P. Bosdogianni, "Image Processing : The Fundamentals", John Wiley & Sons Inc. Jan. 2002. [3] R. Crane, "Simplified Approach to Image Processing", Prentice Hall, 1997. [4] R. G. Keys, "Cubic convolution interpolation for digital image processing", IEEE Trans. Acoust., Speech, Signal Process, Vol. 29, pp. 1153-1160, Dec. 1981. [5] X. Li, M. Orchard, "New edge-directed interpolation", IEEE Trans. Image Process., Vol. 10, No. 10, pp. 1521-1527, Oct. 2001. [6] J. W. Hwang, and H. S. Lee, "Adaptive image interpolation based on local gradient features", IEEE Signal Processing Letters, Vol. 11, No. 3, pp.359-362, Mar. 2004. [7] T. W. Chan, O. C. Au, T. S. Chong, and W. S. Chau, "An Adaptive interpolation using spatial varing filter", IEEE Int. Conf. Consumer Electron, pp.109-110, Jan. 2005. [8] T. Mori, K. Kameyama, Y. Ohmiya, and J. Lee, "Image resolution conversion based on and edge-adaptive interpolation kernel", IEEE Pacific Rim Conference, pp.497-500, Aug. 2007. [9] Kwang-Baek Kim, Hae-Jung Lee, "Image Magnification using Fuzzy Method for Ultrasound Image of Abdominal Muscles", Journal of the Korea Society of Computer and Information, v.16, no.4, pp.23-28, Apr. 2011. [10]S. M. Jung, "Quality improvement scheme of magnified image by using gradient information between adjacent pixel values", Journal of the Korea Society of Computer and Information, vol. 17, no. 2, pp. 59-67, Feb. 2012. 저 자 소 개 정 수 목 1984: 경북대학교 전자공학과 공학사. 1986: 경북대학교 대학원 컴퓨터공학과 공학석사. 2002: 고려대학교 대학원 컴퓨터학과 이학박사 현 재: 삼육대학교 컴퓨터학부 교수 관심분야: 멀티미디어, 영상처리 Email : jungsm@syu.ac.kr 온 병 원 1998: 안양대학교 컴퓨터공학과 공학사 2000: 고려대학교 대학원 컴퓨터학과 이학석사 2007: 펜실베이니아주립대학교 대학원 컴퓨터공학박사 2011: 일리노이대 차세대디지털과학 센터 선임연구원 현 재: 서울대학교 차세대융합기술연구원 연구교수 관심분야: 데이터마이닝, 데이터베이스 데이터 비주얼라이제이션 패턴인식 Email : on.byung.won@gmail.com