(JBE Vol. 19, No. 5, September 2014) (Special Paper) 19 5, 2014 9 (JBE Vol. 19, No. 5, September 2014) http://dx.doi.org/10.5909/jbe.2014.19.5.606 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) Fresnel a), b), a) Hologram Watermarking Using Fresnel Diffraction Model Yoon-Hyuk Lee a), Young-Ho Seo b), and Dong-Wook Kim a) 2D Fresnel. Fresnel 2D. Fresnel 2D. Fresnel Fresnel 2D Fresnel. Fresnel.,,. Abstract This paper is to propose an algorithm for digital hologram watermarking by using a characteristic of the Fresnel diffraction model in 2D image. When 2D image is applied Fresnel transform, the result concentrates center region. When applied to a hologram, on the other hand, the result focused diffraction pattern of 2D form. Using this characteristic, to generate diffraction model by applying 2-th Fresnel transform to the hologram. Corner of diffraction model is mark space. This mark space is embedded watermark and extracted watermark. Experimental results showed that all the extracted watermarks after several kinds of attacks (Gaussian blurring, Sharpening, JPEG compression) showed visibilities good enough to be recognized to insist the ownership of the hologram. Keyword : Fresnel, Digital Hologram, Watermarking a) (Kwangwoon University Dept. of Electronic Material Engineering) b) (Kwangwoon Uni. Dept. of Culture) Corresponding Author : (Dong-Wook Kim) E-mail: dwkim@kw.ac.kr Tel: +82-2-940-5167 2014 () (NRF-2013R1A1A2057798). 3D Systems and Applications (3DSA 2014). Manuscript received July 17, 2014 Revised September 16, 2014 Accepted September 16, 2014. (Reference light wave) (Object light wave) CCD(Charge Coupled Device). CCD SLM(Spatial Light Modulator)
2 : Fresnel (Yoon-Hyuk Lee et al. : Hologram Watermarking Using Fresnel Diffraction Model) [1-3]. [7-11]. (frequency domain) (spatial domain) [4-6]. 2D 2D. 2D. CCD [7-9]. Wen-Tsum Dai 2D [7]. 2D. Bahram Javidi [8][9]. 2D. 2D [10][11]. Fresnel (2D ) (2D ). 2 Fresnel Fresnel, 3. 4 5. SLM. Fresnel [12]. 1. Fresnel (1-5) Fresnel. (1).,. [12].. Fresnel Fresnel [12]. (2) Taylor 3 (3) [12].. Fresnel CCD SLM. (3) (1) (4). (5) [12].
608 방송공학회논문지 제19권 제5호, 2014년 9월 (JBE Vol. 19, No. 5, September 2014) 2. (5) (6) 식 (7)에 관계식에 의하여 파장, 거리 그리고 영상에 크기에 의해 서로 다르다. 따라서 회절 평면의 의 실제 크 기는 다르다. 그림 1의 사각형 는 회절 평면의 화소의 크기가 영상 평면의 화소 크기보다 클 경우이고 는 작을 경우를 나타내었다. 사각형 는 실제 회절 패턴이 생기는 영역이다. 디지털 홀로그램에 Fresnel 변환을 적용하기 위해서 식 (4)를 이산 화하여 식 (6)과 같이 나타 낼 수 있다. 는 광원의 화소의 크기이고 는 회절 평면의 화소의 크 기이다. 로 대체하면 식 (5)와 식 (6)에서 같이 이산 푸리에 변환 식으로 나타낼 수 있다. 이처럼 와 광원의 해상도( )는 고정되어 있는 값이기 때문에 광 원의 화소와 회절 평면의 화소의 크기는 거리에 따라서 반 비례 관계이다. 이 관계는 2D 영상에 Fresnel 변환을 적용 할 경우 에너지가 가운데로 모이는 중요한 특성의 요소인 데 2.1절에서 설명하도록 한다. (7) Diffraction plane 영상의 Fresnel 변환 특성 그림 1은 2D 영상의 평면에서 만큼 떨어진 회절 평면을 도식화 하였다. 2D 영상은 평면으로 회절 평면과는 평행을 이루고 있다. 따라서 2D 영상을 평면 형태의 광원으로 볼 수 있다. 따라서 2D 영상으로부터 만큼 떨어진 회절 평면 의 회절 패턴은 2D 영상과 유사한 크기로 나타난다. 그러나 2D 영상 평면과 회절 패턴의 화소의 크기는 앞에서 설명한 이산 Fresnel 변환의 특성 2.1 2D (4) Source plane 그림 1. 2D 영상의 Fresnel 변환 특성 Fig. 1. Characteristic of Fresnel transform for 2D image 그림 2는 2D 영상에 Fresnel 변환을 거리에 따라 나타내 그림 2. 거리에 따른 2D 영상의 Fresnel 변환 결과, 원본, 거리:1m,1.5m,2m,(e)3m Fig. 2. Result of Fresnel transform for 2D image origin, Distance: 1m,1.5m,2m,(e)3m (e)
이윤혁 외 인 회절 모델을 이용한 홀로그램 워터마킹 2 : Fresnel (Yoon-Hyuk Lee et al. : Hologram Watermarking Using Fresnel Diffraction Model) 었다. 광원의 파장은 이고 2D 영상은 크기이고 화소 크기는 로 일 때 회절 평면의 화소의 크기와 같도록 하였다. 그림 2는 입력 영상이고 (b-e)는 각각 의 거리만큼 떨어진 회절 평 면을 나타내었다. 위 거리일 때 관계식에 의해서 회절 평면 에 화소의 크기는 각각,,, 이고, 거리가 멀어짐에 따라 회절 패턴이 가운데 로 모이는 것을 확인할 수 있다. 2.2 609 타내었다. 그림 3는 홀로그램을 생성하기 위한 깊이 영 상이고 (b-c)는 Fresnel 변환결과의 실수부와 허수부 (d-f) 는 변환 결과의 복소수의 크기를 나타내었다. 그림 3(b-c)는 거리를 에 맞추고 생성한 홀로그램을 Fresnel 변환 한 영상이고 (d-f)는 각각 에 맞추 어 Fresnel 변환을 수행 후 복소평면의 크기를 구한 영상이 다. Ⅲ. 홀로그램 워터마킹 홀로그램의 Fresnel 변환 특성 홀로그램을 광학 장치를 이용하여 복원할 경우 생성한 거리에 상이 그대로 맺힌다. 이는 Fresnel 변환과 같이 평면 이 아니고 실제 거리가 존재하기 때문에 Fresnel 변환을 적 용할 경우 상이 맺히는 거리와 회절 평면이 일치할 경우 초점이 맞춰지고, 일치하지 않을 경우 초점이 맞지 않기 때 문에 흐림(De-focusing)현상이 생기는데 이를 그림 3에 나 1. 워터마크 삽입 앞장에서 홀로그램과 2D 영상에 Fresnel 변환을 적용하 였을 때 결과에 대하여 살펴보았다. 먼저 홀로그램에 Fresnel 변환을 적용하면 실수부와 허수부로 결과가 나오는데 (e) (f) 그림 3. 홀로그램 영상의 Fresnel 변환 결과, 객체의 깊이영상, 거리 110cm 일 때 변환 결과 :실수,허수, 복소수의 크기(거리): 50cm, (e)110cm, (f)150cm Fig. 3. Result of Fresnel transform for hologram, depth map of object, Result of distance of 110cm : real, imaginary, Amplitude of complex(distance): 50cm, (e)110cm, (f)150cm
610 방송공학회논문지 제19권 제5호, 2014년 9월 (JBE Vol. 19, No. 5, September 2014) Hologram Watermark Forward Fresnel Forward Fresnel N <= N + 1 Converting Complex (complex to polar form) N == 0 N>thd? Forward Fresnel no yes Shifting Diagonal phase Synthesis Inverse Fresnel Converting Complex (polar form to complex) Inverse Fresnel Hologram Embedded Watermark 그림 4. 워터마크 삽입 알고리즘 Fig. 4. Watermark embedding algorithm 이를 극형식(크기와 위상)형태로 변형하면 크기는 2D 형태 의 영상으로 복원이 가능하다. 2D형태의 복원 결과를 회절 평면의 화소가 더 작게 파라미터를 조절하여 Fresnel 변환 을 다시 수행하면 가운데로 모이는 현상이 생긴다. 이때 가 운데로 모이지 않은 주변부가 워터마크 삽입 영역이 되고 다시 역Fresnel 변환을 통하여 삽입한다. 그림 4는 워터마 크 삽입 과정을 나타냈다. 그림 5는 워터마크 과정에 대한 영상을 나타냈다. 그림 5는 홀로그램을 Fresnel 변환을 수행하고 극형식으로 변 환 한 영상 중 크기에 해당하는 영상이다. 그림 5는 각각 워터마크를 차 Fresnel 변환을 수행한 영상으로 수행할 수록 가운데로 모인다. 그림 5는 그림 5와 를 대각 그림 5. 워터마크 삽입 결과 극형식 변환, 워터마크의 N차 Fresnel 변환, 합성, 워터마크 삽입 후 복원 Fig. 5. Result of watermark embedding convert complex to polar form, Nth Fresnel transform for watermark, synthesis, reconstruction after embedding watermark
이윤혁 외 인 회절 모델을 이용한 홀로그램 워터마킹 2 : Fresnel (Yoon-Hyuk Lee et al. : Hologram Watermarking Using Fresnel Diffraction Model) 이동 후 합성한 영상이고, 그림 5(e)는 합성한 영상을 역 Fresnel변환을 수행하여 홀로그램을 만들고 이를 복원한 영 상이다. 2. 워터마크 추출 그림 6에 워터마크 추출 과정을 나타내었다. 워터마크가 삽입된 홀로그램을 Fresnel 변환을 수행 후에 극형식으로 Hologram Embedded Watermark Forward Fresnel Converting Complex (complex to polar form) 변형하고 그중 크기 성분만 다시 Fresnel 변환을 수행한다. 이때 Fresnel 변환은 삽입할 때 사용한 거리 및 파장 그리고 같은 화소의 크기를 이용하여 수행한다. Fresnel 변환을 통하여 생성된 회절 패턴은 중심에 객 체와 주변부의 워터마크의 회절 패턴이 존재하는데 이를 대각 이동시켜 워터마크의 회절 패턴을 중심으로 맞춘 다. 이를 역 Fresnel 변환을 하여 중심부의 워터마크를 추 출한다. 그림 7은 워터마크 추출 과정의 중간영상을 나타냈 다. 그림 7는 극형식의 크기 성분을 나타낸 것이고, 그림 7는 대각이동을 수행한 영상이다. 그림 7는 차 역 Fresnel 변환을 수행하여 추출한 워터마크 영상 이다. Ⅳ. 실험 결과 Forward Fresnel phase Shifting Diagonal 1. Inverse Fresnel N <= N + 1 N>thd? 워터마크 삽입 표 1은 워터마크의 크기에 따른 홀로그램과 삽입 후 홀로 그램, 그리고 복원 객체와 삽입 후 복원 객체의 PSNR을 비 교하였다. 사용한 홀로그램은 1,024 x 1,024 크기로 비교하 였고 복원 객체는 복원된 영역을 가지고 비교하였다. 표 1 에서 홀로그램은 워터마크 크기와 상관없이 PSNR이 분포 한다. 반면 복원 결과는 워터마크의 크기가 증가함에 따라 감소한다. N == 0 no yes Extracted Watermark 그림 6. 워터마크 추출 알고리즘 Fig. 6. Watermark extracting algorithm 611 그림 7. 워터마크 추출 결과 극형식 변환, 대각이동, 워터마크 추출 Fig. 7. Result of extracting watermark convert complex to polar from, shift diagonal, extracted watermark
612 방송공학회논문지 제19권 제5호, 2014년 9월 (JBE Vol. 19, No. 5, September 2014) 표 4. 홀로그램 및 복원 객체의 원본과 워터마크 삽입의 비교 Table 4. Compare original and embedded watermark in hologram and reconstruction Watermark Size 32 x 32 64 x 64 128 x 128 256 x 256 Real 31.31dB 30.94dB 31.44dB 30.71dB Imaginary 31.34dB 32.41dB 31.72dB 33.04dB Reconstruction 49.43dB 42.49dB 36.19dB 30.64dB 그림 8은 워터마크의 차 Fresnel 변환을 수행할 때 거 리에 따라 워터마크를 삽입 후 복원한 결과이다. 그림 8의 결과는 워터마크가 객체에 미치는 영향을 알아보기 위하여 복원 할 경우 생기는 DC 영역을 없애기 위해 복원을 위한 Fresnel 변환 시 평균값이 0 이 되도록 값을 전처리 과정 을 수행하였다. 그림 9는 그림 8과 같은 거리로 추출 할 경우 추출한 워터마크이다. 그림 8에 DC영역에 생기는 잡 음은 워터마크를 삽입하는 과정 중 생기는 것으로 워터마 크에 적용하는 Fresnel 변환의 거리가 가까울 경우 워터마 크의 모이는 정도가 적어져서 객체 영역과 겹치는 현상이 생기게 된다. 이 경우 상대적으로 큰 값을 객체에 의해 워 터마크영역이 크게 손상될 수 있다. 반대로 거리를 너무 길게 하여 변환을 할 경우 모이는 정도가 많아지기 때문에 객체에 비하여 그 크기가 작아져서 이 또한 워터마크에 손상을 준다. 그림 8,9는 순서대로 워터마킹 거리를 증가 시켰다. (e) (f) 그림 8. 워터마크 삽입후 복원 결과, 워터마킹 거리:62, 65, 67, 70 (e)72, (f)74 Fig. 8. Result of reconstruction after embedding watermarking, watermarking distance :62, 65, 67, 70 (e)72, (f)74
이윤혁 외 인 회절 모델을 이용한 홀로그램 워터마킹 2 : Fresnel (Yoon-Hyuk Lee et al. : Hologram Watermarking Using Fresnel Diffraction Model) (e) (f) 613 그림 9. 워터마크 추출 결과, 워터마킹 거리:62, 65, 67, 70 (e)72, (f)74 Fig. 9 Result of watermark extracting, watermarking distance :62, 65, 67, 70 (e)72, (f)74 3. 워터마크의 강인성 표 2는 워터마크 삽입 이후 삽입 전 홀로그램과의 PSNR 표 5. 원본 홀로그램과 공격한 홀로그램의 비교 Table 5. Compare original hologram and attacked holograms Type No Attack Blurring Sharpen Compression Real 31.31dB 20.99dB 10.44dB 21.58dB Imaginary 31.34dB 21.04dB 10.43dB 21.61dB 를 나타냈다. 그림 10은 표 2에 각 공격을 가했을 때 복원 영상을 나타내었다. 홀로그램에 블러링을 수행하면 그림 10와 같이 중요한 정보인 객체 부분이 크게 손상되는 것 을 확인할 수 있다. 또한 샤프닝도 객체 주변에 많은 잡음이 생기는 것을 그림 10에서 확인할 수 있다. 그림 10에 서 볼 수 있듯이 일반적인 2D영상에 적용되는 압축을 수행 할 경우 또한 객체가 많이 손상된다. 이러한 공격을 워터마 크 삽입된 홀로그램에 가한 뒤 워터마크를 추출한 것을 그 림 11에 나타냈다. 는 공격을 가하지 않고 추출한 워터마 그림 10. 다양한 공격이후 복원 결과 원본, 블러링, 샤프닝, JPEG 압축 Fig. 10. Results from reconstructed hologram after various attack; no attack, Gaussian blurring, Laplacian sharpening, JPEG compression
(JBE Vol. 19, No. 5, September 2014) 11.,,, JPEG Fig. 11. Results from extracting watermarks after various attack; no attack, Gaussian blurring, Laplacian sharpening, JPEG compression. (b-d),, JPEG.. Fresnel 2D, 2D Fresnel..,, JPEG, JPEG2000... 2D., 2. (References) [1] HILAIRE, PIERRE ST, HOLOGRAPHIC VIDEO: The ultimate visual interface?, Optics and Photonics News, Vol. 8 Issue 8, pp.35- (1997). [2] J. K. Chung and M. H. Tsai, Three-Dimensional Holographic Imaging, John Wiley & Sons, Inc, 2002. [3] S.A. Benton and V. M. Bove Jr. Holographic Imaging, John Wiley & Sons, Inc, Hoboken, Nj, 2008. [4] J. O. Ruanaidh, W. J. Dowling, and F. M. Boland, Phase Watermarking of Digital Image, in Proc. ICIP'97, Vol.1, pp.239-242, Sep., 1996. [5] I. J. Cox, J. Kilian, F. T. Leighton, and T. Shamoon, Secure Spread Spectrum Watermarking for Multimedia, IEEE Transactions on Image Processing, Vol.6, pp.1673-1687, Dec., 1997. [6] M. Barni, Image Watermarking of Secure Transmission over Public Networks, Proceedings of COST 254 Workshop on Emerging Techniques for Communication Terminals, Toulouse, France, pp.290-294, Jul., 1997. [7] C. J. Chen, L. C. Lin, W. T. Dai, Consturction and detection of digital holographic watermarks, Optics Communications, Vol.248, pp.105-116, Sep. 2005. [8] S. Kishk, B. Javidi, 3D object watermarking by a 3D hidden object. Opt Express 2003;11(8):87488. [9] H. Kim, Y.H. Lee, Optimal watermarking of digital hologram of 3-D object. Opt Express 2005;13(8):28816. [10] H. J. Choi, Y. H. Seo, J. S. Yoo, and D. W. Kim,"Digital watermarking technique for holography interference patterns in a transform domain", Optics and Lasers in Engineering, Vol. 46, Issue 4, pp 343-348, April 2008. [11] H. J. Choi, Y. H. Seo, J. S. Yoo, D. W. Kim, HoloMarking: Digital Watermarking Method using Fresnel Hologram, The Korean Institude of Communications and Information Sciences, Vol. 34, No.6, pp.604-610, Jun. 2009. [12] Fresnel Diffraction, http://en.wikipedia.org/wiki/fresnel_diffraction.
2 : Fresnel (Yoon-Hyuk Lee et al. : Hologram Watermarking Using Fresnel Diffraction Model) - 2012 : () - 2014 : () - 2014 ~ : - :, SoC - 1992 : () - 2001 : () - 2004 : () - 2003 ~ 2004 : - 2005 ~ 2008 : - 2008 ~ : - :. 2D/3D, - 1983 : () - 1985 : ( ) - 1991 : Georgia () - 1992 ~ : - 1996 ~ 2001 : (IDEC) - 1997 ~ 2000 : - 1998 ~ 2001 : IEEE SSCS/EDS Joint Chapter of Korea Section - 1999 ~ 2001 : AP-ASIC - 2001 : - 2005 ~ 2006 : - 2006 ~ 2008 : 3-2009 : - 2011 ~ 2013 : - : 3D,, VLSI Testability, VLSI CAD, DSP, Wireless Communication