Journal of the Korea Institute of Information and Communication Engineering 한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 1 : 230~236 Jan. 2015 Salt & Pepper 잡음 환경에서 방향성 마스크를 이용한 메디안 필터에 관한 연구 홍상우 김남호 * A Study on Median Filter using Directional Mask in Salt & Pepper Noise Environments Sang-Woo Hong Nam-Ho Kim * Department of Control and Instrumentation Engineering, Pukyong National University, Busan 608-737, Korea 요 약 현재 영상 신호처리는 디지털 시대를 맞이하여 차량 인식, 보안 그리고 로봇 등의 여러 응용 분야에서 활용되고 있다. 일반적으로 영상은 영상 데이터를 전송, 저장, 처리하는 과정에서 salt & pepper 잡음에 의해 열화가 발생한 다. 이러한 잡음을 제거하기 위한 방법들은 SMF, CWMF, SWMF 등이 있으며, 이러한 방법들은 salt & pepper 잡음 환경에서 잡음 제거 특성이 다소 미흡하다. 따라서 본 연구에서는 영상에 첨가된 salt & pepper 잡음을 완화하기 위 하여, 영상 내 마스크를 4개의 영역으로 세분화하여 각 영역에서 비잡음 화소 수를 이용하여 처리하는 알고리즘을 제안하였다. 그리고 제안한 알고리즘의 우수성을 입증하기 위해, PSNR을 사용하여 기존의 방법들과 그 성능을 비 교하였다. ABSTRACT In these digital times, the image signal processing is being used in various areas like vehicle recognition, security, and robotics. Generally, the image deterioration occurs by salt & pepper noise in the procedures of image transmission, storage, and processing. Methods to remove this noise are SMF, CWMF, and SWMF and these methods have few unsatisfactory noise reduction characteristics in salt & pepper noise environment. Therefore, in order to mitigate salt & pepper noise which is added in the image, this study suggested an algorithm which subdivides the masks in the image into four areas and processes using non-noise pixel numbers in each area. Additionally, in order to prove the excellence of the proposed algorithm, relevant performances were compared with existing methods using PSNR. 키워드 : Salt & pepper 잡음, 메디안 필터, 영상 신호처리, 비잡음 화소 Key word : Salt & Pepper Noise, Median Filter, Image Signal Processing, Non-Noise Pixels 접수일자 : 2014. 09. 23 심사완료일자 : 2014. 12. 16 게재확정일자 : 2014. 12. 31 * Corresponding Author Nam-Ho Kim(E-mail: nhk@pknu.ac.kr, Tel:+82-51-629-6328) Dept. of Control and Instrumentation Engineering, Pukyong National University, Busan 608-737, Korea Open Access http://dx.doi.org/10.6109/jkiice.2015.19.1.230 print ISSN: 2234-4772 online ISSN: 2288-4165 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright C The Korea Institute of Information and Communication Engineering.
Salt & Pepper 잡음 환경에서 방향성 마스크를 이용한 메디안 필터에 관한 연구 Ⅰ. 서 론 최근 스마트 TV, 스마트폰, 노트북, 태블릿 PC 등 디스플레이 관련 제품들이 대중화되면서 영상처리의 필요성이 증가되고 있으며, 디지털 영상처리는 방송, 영화, 의료 산업, 군사 분야 등에 폭넓게 활용되고 있다 [1,2]. 디지털 영상처리를 하기 위한 데이터는 주로 카 메라를 포함한 영상 장치에 의해 획득하며, 이 과정에 서 광전자에 의한 잡음, 임펄스 성 잡음 그리고 구조적 잡음 등이 발생한다. 이러한 잡음들 중에서 salt & pepper 잡음을 제거하기 위한 알고리즘에 관한 연구가 국내외에서 활발히 진행되고 있다[2-6]. Salt & pepper 잡음을 제거하기 위해, 개발된 기존의 필터들에는 SMF(standard median filter), CWMF(center weighted median filter), SWMF (switching weighted median filter) 등이 있다[7-11]. 그러나 이러한 필터들은 salt & pepper 잡음 밀도가 낮은 영역에서 잡음 제거 특성 이 우수하지만, 잡음 밀도가 높은 영역에서는 잡음 제거 특성이 다소 미흡하여 시각적인 오류가 발생된다[12]. 따라서 본 논문은 영상에 첨가된 salt & pepper 잡음 을 완화하기 위하여, 중심 화소가 비잡음인 경우 그대 로 보존하고, 잡음인 경우 영상 내 마스크를 4개의 영역 으로 세분화하여 각 영역에서 비잡음 화소의 메디안 값 들을 평균화하는 영상복원 알고리즘을 제안하였다. 그 리고 제안한 알고리즘의 잡음 제거 성능을 평가하기 위 해, PSNR(peak signal to noise ratio)를 사용하여 기존의 방법들과 비교하였다. Ⅱ. 기존 방법 2.1. SMF(standard median filter) SMF는 마스크 내의 중심 화소와 주변 화소를 작 은 값에서 큰 값으로 오름차순으로 정렬한 후 메디안 값을 선택하며, 최종 SMF의 출력은 식 (1)과 같이 표현 된다. (1) 식 (1)에서 는 입력 영상의 화소값이며, 는 출력 영상의 화소값이다. 또한 마스크의 크기는 이고, 는 중앙값 선택 연산자이며, 는 처리 마 스크 내부의 좌표 값이다. SMF는 훼손된 영상으로부터 salt & pepper 잡음을 제거하는 대표적인 비선형 필터이며, 마스크 내의 화소 를 메디안 값으로 처리하므로 에지 보존 특성이 다소 저하된다[7, 8, 14-16]. 2.2. WMF(weighted median filter) WMF(weighted median filter)는 각 화소의 값 를 가중치 만큼 생성한 후, SMF와 마찬가지로 화소값들을 정렬하여 메디안 값을 선택하 여 처리하며, 최종 WMF의 출력은 식 (2)와 같이 나타 낸다. WMF는 SMF를 변형하여 제안된 것이다[9, 17-19]. (2) 2.3. CWMF(center weighted median filter) CWMF는 WMF의 한 가지 경우로서, 최종 CWMF의 출력은 식 (3)과 같이, 중심 화소에 대해서만 가중치를 적용하고, 주변 화소에 대해서는 을 적용 한다. (3) 식 (3)에서 는 양의 정수, 가 0인 경우 CWMF는 SMF가 되고, 마스크 내의 총 화소 수 보다 가중치 이 크거나 같게 되면, 필터링은 수행되지 않는다 [2]. CWMF는 중심화소의 가중치가 클 경우, 에지 보존 특성이 우수해지는 반면 잡음 제거의 한계가 발생한다 [9, 17-19]. 2.4. SWMF(switching weighted median filter) SWMF는 영상 마스크 내의 화소값들을 정렬하여 메디안 값을 구하고, 중심 화소와 구한 메디안 값의 차 이에 따라 잡음 여부를 판단하며, 그 차이가 threshold 값보다 클 경우, 메디안 값으로 처리하고 이 외의 경우, 231
한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 1 : 230~236 Jan. 2015 중심 화소로 출력하며, 최종 출력은 식 (4)와 같이 표현 한다. if (4) 여기서 는 threshold값을 나타내며, SWMF는 잡 음 밀도가 낮을 때 효과적인 잡음 검출 성능을 갖지만 잡음 밀도가 높아지면 잡음 검출 성능 및 잡음 제거 특 성이 저하된다[10,11]. 3.2. 잡음의 제거 Step 1. 영상 마스크의 중심 화소가 비잡음인 경우, 식 (6)과 같이 처리한다. (6) Step 2. 영상 마스크의 중심 화소가 잡음인 경우, 4개 의 영역인 로 세분화하여 방향성 마 스크로 정의하며, 식 (7)과 같다. Ⅲ. 제안한 알고리즘 (7) I 1 I 2 I 3 I 1 I 2 I 3 1 I 4 I 7 I 1 I 2 I 3 I 6 I 9 2 Step 3. 각 영역에서 존재하는 비잡음 화소를 검출하 여, 에 순차적으로 저장하며, 식 (8)과 같이 정의된다. I 4 I 5 I 6 if (8) 3 I 1 I 4 I 7 I 8 I 9 그림 1. 필터링 마스크(3 3) Fig. 1 Filtering mask(3 3) I 7 I 8 I 9 I 3 I 6 I 7 I 8 I 9 4 여기서 는 이고 은 이다. 그리고 은 이며, 는 비잡음 요소 수이다. Step 4. A. 비잡음 요소 수 가 홀수인 경우, 각 영역의 추정 치를 식 (9)과 같이 구한다. 3.1. Salt & pepper 잡음 모델 Salt & pepper 잡음 제거에 의한 훼손된 영상을 로 정의하고 식 (5)와 같이 나타낸다. (5) 여기서, 는 영상에서 위치의 휘도이며, 는 잡음 밀도를 나타낸다. 그리고 은 훼손된 salt & pepper 잡음 화소를 나타내며, 는 원 영상의 화소이 다. 여기서 salt & pepper 잡음은 0 또는 255 크기를 갖 는다[13,20]. (9) B. 비잡음 요소 수 가 짝수인 경우, 각 영역의 추정 치를 식 (10)과 같이 구한다. (10) C. 비잡음 요소 수 가 0인 경우, 각 영역의 추정치 를 식 (11)과 같이 처리한다. (11) 232
Salt & Pepper 잡음 환경에서 방향성 마스크를 이용한 메디안 필터에 관한 연구 Step 5. Step 4에서 식 (9), (10), (11)을 적용하여 구간 용하였으며, 식 (13), (14)과 같다. 내의 각 영역의 메디안 값을 구한 후 평균하여, 최종 출 력을 식 (12)와 같이 구한다. (12) (13) (14) log 그리고 제안한 알고리즘의 순서도는 그림 2와 같다. 여기서 M, N은 영상의 가로 및 세로 크기이다. 그림 3은 Barbara 영상에 50% 밀도의 salt & pepper Input the 3 3 mask 잡음을 첨가한 영상을 적용하여 기존의 필터와 제안한 필터를 시뮬레이션하여 나타낸 결과이다. No Noise Judgement Yes Subdevided into four areas Stored sequentially in Ak noise pixel detection by the non-existing in each area(0 or 255) odd The number of non-noise is Sk Non-noise pixels Original image (a) (b) (c) (d) (e) (f) zero even Median value(odd) Median value(even) 128 Calculate a final median value Restored image 그림 2. 제안한 알고리즘의 순서도 Fig. 2 Flow chart of the proposed algorithm Ⅳ. 시뮬레이션 및 결과 본 논문에서는 512 512 크기의 Barbara 및 Baboon 영상에 10 ~ 60% 밀도의 salt & pepper 잡음을 첨가하 여 시뮬레이션하였으며, 기존의 SMF, CWMF, SWMF 방법들과 성능을 비교하였다. 그리고 영상의 개선 정도 를 평가하기 위해 PSNR(peak signal to noise ratio)를 사 그림 3. Barbara 영상에 대한 시뮬레이션 결과 (a) Original image (b) Noise image (c) SMF (d) CWMF (e) SMWF (f) Fig. 3 Simulation result for Barbara image (a) Original image (b) Noise image (c) SMF (d) CWMF (e) SWMF (f) 233
한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 1 : 230~236 Jan. 2015 30 25 SMF CWMF SWMF 20 15 (a) (b) 10 5 Barbara image 10 20 30 40 50 60 Noise density(%) 그림 5. salt & pepper 잡음 밀도에 따른 PSNR Fig. 5 PSNR with salt & pepper noise density (c) (d) 30 25 SMF CWMF SWMF 20 15 10 (e) 그림 4. 확대한 Barbara 영상에 대한 시뮬레이션 결과 (a) Original image (b) Noise image (c) SMF (d) CWMF (e) SMWF (f) Fig. 4 Simulation result for Barbara enlarged image (a) Original image (b) Noise image (c) SMF (d) CWMF (e) SWMF (f) 그림 3에서 (a)는 원 영상, (b)는 잡음 영상(P=50%), (c) 는 SMF, (d)는 CWMF(), (e)는 SWMF( ), (f)는 제안한 알고리즘()으로 처리하였다. 그림 4는 Barbara 영상(100,300)을 중심으로 상하좌 우 각각 50화소 영역을 확대한 영상이며, 확대한 영상 으로부터 SMF는 잡음 밀도가 높은 영역에서는 잡음 제 거 특성이 다소 미흡하였으며, CWMF는 중심 화소의 가중치가 커짐에 따라 잡음 제거 특성이 다소 미흡하였 다. 또한, SWMF는 SMF, CWMF에 비해 잡음 제거 특 성이 미흡하여 시각적으로 오류를 나타내었다. 그러나 제안한 알고리즘은 기존의 방법들에 비해 잡음 제거 특성이 전반적으로 우수한 결과를 나타내었다. (f) 5 Baboon image 10 20 30 40 50 60 Noise density(%) 그림 6. salt & pepper 잡음 밀도에 따른 PSNR Fig. 6 PSNR with salt & pepper noise density 그림 5, 6은 Barbara 및 Baboon 영상에서 잡음 밀도 변 화에 따른 PSNR 특성을 나타내었고, 표 1, 2는 Barbara 영상과 Barbara 영상을 기존의 방법들과 제안한 알고리 즘으로 처리한 결과를 나타낸 것이다. 표 1. Barbara 영상의 각 PSNR 비교[dB] Table. 1 Each PSNR comparison for Barbara image[db] S & P noise(p) 10% 20% 30% 40% 50% 60% SMF CWMF SWMF 24.67[dB] 23.59[dB] 21.25[dB] 17.98[dB] 14.70[dB] 12.10[dB] 26.79[dB] 23.26[dB] 19.03[dB] 15.60[dB] 12.93[dB] 10.71[dB] 19.14[dB] 16.22[dB] 14.26[dB] 12.71[dB] 11.32[dB] 9.98[dB] 32.39[dB] 28.77[dB] 26.10[dB] 23.10[dB] 20.05[dB] 16.91[dB] 234
Salt & Pepper 잡음 환경에서 방향성 마스크를 이용한 메디안 필터에 관한 연구 표 2. Baboon 영상의 각 PSNR 비교[dB] Table. 2 Each PSNR comparison for Baboon image[db] S & P noise(p) 10% 20% 30% 40% 50% 60% SMF CWMF SWMF 23.03[dB] 22.07[dB] 20.04[dB] 17.42[dB] 14.53[dB] 11.98[dB] 25.00[dB] 22.09[dB] 18.61[dB] 15.49[dB] 12.86[dB] 10.72[dB] 18.00[dB] 15.12[dB] 13.27[dB] 10.53[dB] 9.31[dB] 8.22[dB] 31.14[dB] 27.41[dB] 24.69[dB] 22.18[dB] 19.51[dB] 16.54[dB] 표의 결과로부터, 제안한 방법으로 복원한 영상은 기 존의 방법들에 비해 우수한 PSNR 특성을 보였다. Barbara 영상에 50%의 salt & pepper 잡음에 훼손되었 을 때, 기존의 SMF, CWMF, SWMF는 각각 14.70[dB], 12.93[dB], 11.32[dB]의 PSNR 특성을 나타내었으며, 제안한 알고리즘은 20.05 [db]의 우수한 PSNR 특성을 나타내었다. 그리고 Baboon에 50%의 salt & pepper 잡 음에 훼손되었을 때, 기존의 SMF, CWMF, SWMF는 각각 14.53[dB], 12.86[dB], 9.31[dB]의 PSNR 특성을 나타내었으며, 제안한 알고리즘은 19.51 [db]의 우수한 PSNR 특성을 나타내었다. Ⅴ. 결 론 본 논문은 salt & pepper 잡음에 훼손된 영상에서 효 과적으로 잡음을 제거하기 위하여, 중심 화소가 비잡음 인 경우 그대로 보존하고, 잡음인 경우 4개 영역으로 세 분화하여 비 잡음 요소 수에 따라 각 영역의 비잡음 화 소의 메디안 값들을 평균화하는 영상복원 알고리즘을 제안하였다. 시뮬레이션 결과, 제안한 알고리즘은 salt & pepper 잡음이 첨가된 Barbara 영상에서 기존의 방법 들보다 잡음 제거 특성이 우수한 PSNR 결과 값을 나타 내었다. 그리고 표 1의 결과에서, 제안한 알고리즘은 salt & pepper 잡음( )에 훼손된 Barbara 영상의 처리 결과가 20.05[dB]로 높은 PSNR를 나타내었으며, SMF, CWMF, SWMF에 비해 각각 5.35[dB], 7.12[dB], 8.73[dB] 개선되었다. 따라서 본 논문에서 제안한 메디 안 필터 알고리즘은 salt & pepper 잡음 환경에서 운용 되고 있는 영상처리시스템 분야에 유용하게 적용되리 라 사료된다. 감사의 글 이 논문은 2014년도 Brain Busan 21사업에 의하여 지원되었음 REFERENCES [ 1 ] T. Chen and H. R. Wu, Space variant median filters for the restoration of impulse noise corrupted images IEEE Trans. Circuit Syst.Ⅱ, vo1. 48, no. 8, pp. 784-789, Aug. 2011. [ 2 ] J. S. Cho and H. S. Gang, Multimedia Signal Processing, the second edition, pp. 55-58, Jul. 2011. [ 3 ] Y. Gao and N. H. Kim, Restoration of images contaminated by mixed Gaussian and impulse noise using a complex method JICCE, vol. 9, no. 3, pp. 331-335, June 2011. [ 4 ] R. C. Gonzalez and R. E. Woods, Eds., Digital Image Processing, Prentice Hall, 2007. [ 5 ] K. N. Plataniotis and A. N. Venetsanopoulos, Eds., Color Image Processing and Applications, Springer, Berlin, Germany, 2000. [ 6 ] J. H. Wang and L. D. Lin, Improved median filter using min-max algorithm for image processing, Electronics Letters, vol. 33, no. 16, pp. 1479-1485, October 2005. [ 7 ] L. Yin, R. Yang, M. Gabbouj and Y. Neuvo, Weighted median filters: a tutorial, IEEE Trans. Circuit System, vol. 43, pp. 157-192, 1996. [ 8 ] S.Zhang and M. A. Karin, "A new impulse detector for switching median filters", IEEE Signal Processing Lett., vo1. 9, no. 4, pp. 360-363, Nov. 2002. [ 9 ] S. J. Ko and Y. H. Lee, Center weighted median filters and their application to image enhancement, IEEE Trans. Circuits system, vol. 38,no. 9, pp. 984-993, 1991. [10] J. X. Yang and H. R. Wu, Mixed Gaussian and uniform impulse noise analysis using robust estimation for digital images, Digital Signal Processing 16 th International Conference on, pp. 1-5, 2009. [11] Z. Wang and D. Zhang, "Progressive switching median filter for the removal of impulse noise from highly corrupted images", IEEE Transactions on Circuits and 235
한국정보통신학회논문지(J. Korea Inst. Inf. Commun. Eng.) Vol. 19, No. 1 : 230~236 Jan. 2015 Systems, vol. 46(1), pp. 78-80, 1999. [12] L. Xu and N. H. Kim, "An improved adaptive median filter for impulse noise removal" JKIICE, vol. 17, no. 4, pp. 989-995, 2013. [13] Y. Gao and N. H. Kim, A study on removing impulse noise using modified adaptive switching median filter", JKIICE, vol. 15, no. 11, pp. 2474-2479, 2011. [14] Y. Gao and N. H. Kim, The modified nonlinear filter to remove impulse noise" JKIICE, vol. 15, no. 4, pp. 973-979, 2011. [15] L. Xu and N. H. Kim, A study on image restoration filter in impulse noise environments" JKIICE, vol. 18, no. 2, pp. 475-481, 2014. [16] L. Xu and N. H. Kim, "Modified median filter for impulse noise removal" JKIICE, vol. 17, no. 2, pp. 461-446, 2013. [17] L. Xu and N. H. Kim, "A study on directionally weighted filter algorithm in impulse noise environments" JKIICE, vol. 17, no. 2, pp. 461-446, 2013. [18] Y. Y. Zhou, and J. J. Huang, "Improved decision-based detail-preserving variational method for removal of random-valued impulse noise" Published in IET Image Processing, vol. 6, no. 7, pp. 978-985, 2012. [19] L. Xu and N. H. Kim, "The modified median filter using standard deviation in impulse noise environments" JKIICE, vol. 17, no. 7, pp. 1725-1731, 2013. [20] V. Gupta and M. Shandilya, "Image de-noising by dual threshold median filter for random valued impulse noise" IEEE, Nirma University International Conference on,, pp. 1-5, 2012. 홍상우(Sang-Woo Hong) 2014년 3월 ~ 현재 부경대학교 대학원 제어계측공학과 석사과정 관심분야 : 영상처리 김남호(Nam-Ho Kim) 1992년 3월 ~ 현재 부경대학교 공과대학 제어계측공학과 교수 관심분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원 236