Multimedia Security for On-line Social Services Lee, Heung-Kyu hklee@mmc.kaist.ac.kr http://hklee.kaist.ac.kr KAIST Feb. 2012 1
Your Speaker 학력 1955년생, 서울대학교 전자공학과, 1978 한국과학기술원 전산학과, 1981, 1984 경력 한국과학기술원 전산학과 교수(1986-현재까지) 최우수실험실, Lab. of Excellence 지정(2005년) 국가지정연구실, National Research Lab. 지정(2007년) 웹사이언스공학 전공 및 정보보호대학원 참여교수 (2010년-현재까지) 연구분야 Information Hiding, Multimedia Forensics, Steganography & Steganalysis 2
Contents Watermarking and Information Hiding Multimedia Forensics Multimedia Encryption Authentication Steganography and Covert Communication Surveillance Information Hiding for On-line Social Services 3
Information Hiding Digital Watermarking Category Robust digital watermarking Fragile digital watermarking Semi-fragile digital watermarking Digital Fingerprinting 4
What is watermarking? The use of percepually invisible authentication techniques controlled distortion is introduced in a multimedia element Visible watermarks also exists 5
L.S.B. replacement steps C. Kurak and J. McHugh. A cautionary note on image downgrading, Computer security applications conference, San Antonio, Texas, U.S.A., pp. 153 159, December 1992 6
Downgrading problem Cover-image Extracted image 7
Visible Paper watermark Digital watermark Vatican s Library/I.B.M. Invisible Fragile watermarks tamper detection Watermarks copyright marks Fingerprints serial numbers Giovanni Battista Vanni, Head of Saint Courtesy of Musée du Louvre, Paris, France Copyright Vatican s library. Courtesy of I.B.M. 8
Digital Watermarking(Example) <Original> <Watermark> <Watermarked Image> < Invisible watermarking> + < Visible watermarking> 9
Scenario Watermarking Scenario An owner places multimedia on a network server to distribute to the people who has right or has bought the right, but wants to protect the multimedia Goals Verify the owner of the multimedia Detect forgeries of an original media Identify illegal copies of the media Prevent unauthorized distribution 10
Where are watermarks used? Digital camera Broadcast video Sometimes visible watermarks is now used Audio Metadata binding mechanism Medical Image Preventing forgery of bank notes Digital cinema, HD video analog hole 11
Steganography, = Examples Herodotus Histiæus slave covered writing Microphotography, microdots Demeratus wax tablets Invisible ink Acrostic (Amorosa visione) Ave Maria code Terrorism? F. A. P. Petitcolas, R. J. Anderson and M. G. Kuhn. Information hiding a survey. Proceedings of the I.E.E.E., vol. 87, no. 7, pp. 1062 1078, July 1999. 12
Steganography vs. watermarking Steganography Hide very existence of messages Hidden information independent of cover goal Watermarking Add copyright information to content Hidden information related to cover requirement Statistical undetectability Robustness Ability to detect hidden message successful attack Prevent the mark from being read 13
Digital Watermarking Owner s Key Owner s Watermark Owner s Key Extracted Watermark Owner s Key Multimedia Data Watermarked Data <Watermark embedding> <Watermark extraction> 14
Digital Watermarking vs. Encryption Hybrid system Original Data Watermark Insertion Encryption Communication Channel Decryption Watermarked Data key key key 15
Watermarking Algorithms Choice of the workspace Spatial domain Transform domain (DCT, DFT, DWT) DCT & DFT coefficient modulation, sub-band WM Visible WM Choice of host locations in the cover Random selection of features in the transform space Impossible to find out where the information is without a key Spreading Any part of the cover-signal contains the hidden data Merging the watermark & the cover Masking Take explicit advantage of the properties of the human visual or auditory system 16
Spatial vs. Transform Domain WM Spatial domain WM WM loss is larger than tranform WM when compression, filtering are applied WM energy is relatively small It is weak to the deliberate attack Frequency domain WM good fidelity with human visual system WM is embedded into middle band coefficients and then is reverse tranformed. WM energy is distributed into whole image Relatively strong to the attack 17
Statistical method : Patchwork (Bender, IBM Systems J., Vol. 35, No. 3&4, pp. 313-336, 1996) Embedding Pseudo-randomly select n pairs of pixels (ai, bi) Modify their luminance values ~ ai ai ~ bi bi Assumption n a i b i 0 i 1 Detection Retrieve the same pixels Compute: Test n ~ a i b i i 1 ~ 2n : watermarked 0: not watermarked Walter Bender, Daniel Gruhl, Norishige Morimoto and Anthony Lu. Techniques for data hiding, I.B.M. Systems Journal, vol. 35, no. 3&4, pp. 313 336, 1996 18
Patchwork (Conceptual Embedding) 멀티미디어보안연구실 19
멀티미디어보안연구실 Patchwork (Detection) Shifting Due to Data Hiding No Data-Hiding Data-Hiding Threshold 20
Patchwork lena image 1000 different watermarks = 2 6 5 4 Watermarked 3 2 /n 1 0-1 Not watermarked -2 0 100 200 300 400 500 600 700 800 900 1000 21
LSB Coding LSB coding 가장 간단한 형태의 Watermarking 기법 영상의 각 화소의 LSB(Least significant bit)에 watermark 신호를 삽입한다. LSB가 화질에 미치는 영향은 거의 없으므로 watermark 삽입으로 인한 화질 저하는 적다. 그러나, LSB는 여러 가지 데이터처리에 쉽게 손상되므 로 robustness가 떨어진다. Pixel watemark bit 1 0 1 1 0 1 0 7 6 5 4 3 2 1 0(LSB) 22
주파수 변환 뒤, 주파수 계수에 WM를 삽입 DCT, DFT, DWT Frequency Domain 인간의 시각특성 (저주파 민감, 고주파 둔감) WM가 삽입될 적절한 주파수 대역의 선택이 핵심. 저/고 중간대역에 WM 삽입 후, 역변환, WM가 전영 상에 분산 화질저하감소, 공격에 강함. L Frequency Transformation H H 23
Discrete Cosine Transform JPEG의 원리 N N 화소의 DCT : (a) DCT(Discrete Cosine Transform) F( u, v) 2 N c( u) c( v) N 1 N 1 x 0 또는 u 0 v 0 y 0 2N 2 일때 (2x 1) u (2y 1) v f ( x, y)cos cos N 일 때 c( u) c( v) u 0, v 0 c( u) c( v) 1 F( u, v) : f ( x, y) : DCT 계수 영상신호 N 1 x 0 x, y : N 1 y 0 : 1 2 화소의 수 영상의 좌표 24
(b) IDCT(Inverse DCT) f ( u, v) 2 N N 1 N 1 u 0 (2x 1) u (2y 1) v F( u, v)cos cos 2N N v 0 2 영상신호 DCT 계수 25
DCT basis functions u v 26
a)원 영상(8ⅹ8화소)의일부 113 77 40 25 73 59 48 48 34 36 41 49 25 20 13 14 전 화면에 대하여 수행 8ⅹ8화소 g) 복호된 영상(8ⅹ8화소) 126 66 38 22 82 49 39 19 40 39 45 14 25 44 53 14 DC계수 AC계수 b) DCT 계산 후 475 177 112 48-156 -80-32 -27 84 6-14 0 23 116 102 22 Q로 나눈다 양자화 테이블 (Q) 16 11 10 16 12 12 14 19 14 13 16 24 14 17 22 29 f) 역 DCT계산 후 480 176 110 48-156 -84-28 -19 84 13-16 0 28 119 110 29 c) 양자화 테이블로 나눈 결과 30 16 11 3-13 -7-2 -1 6 1-1 0 2 7 5 1 d) 허프만 부호화 파일 보존 Q를 곱한다 e) 허프만 부호로부터 복호 30 16 11 3-13 -7-2 -1 6 1-1 0 2 7 5 1 30, 16, -13, 6, -7, 11, 3, -2, 의 순서로 부호화 (지그재그 스캔) JPEG Processing 27
Example 워터마크 비트가 1 이면 DCT 계수를 홀수로 변경 워터마크 비트가 0 이면 DCT 계수를 짝수로 변경 처음부터 상기조건을 만족하는 경우 그대로 둠 위 조작에 의해 계수가 0 로 되는경우중지또는2 정도 가감 28
원 영상의 DCT (지그재그 스캔 후) 140 120 100 계 수 80 60 40 20 0 대상영상의 DCT계수를 한열로 나열한 것 1 2 3 4 5 6 7 8 9 10 11 12 13 차수 140 120 100 계 수 80 60 40 20 0 비트 1 삽입 대상영상의 DCT계수를 1열로 나열한 것 1 2 3 4 5 6 7 8 9 10 11 12 13 차수 원영상DCT 계수를 지그재그 스캔 주 파 수 높 다 주파수 높다 140 120 100 계 수 80 60 40 20 0 비트 0 삽입 대상영상의 DCT계수를 1열로 나열한 것 1 2 3 4 5 6 7 8 9 10 11 12 13 차수 차수 6인곳의값이원영상/비트1 삽입/비트0 삽입의 경우가 다름 DCT 계수에 워터마크 삽입의 원리 29
Cox: sample 30
Cox: sample = 0.1 31
Contents Watermarking and Information Hiding Information Hiding for On-line Social Services 32
Research & Industry Issues 온라인 공유 콘텐츠의 사생활 보호 공유 콘텐츠 보안 기술 트위터, 페이스북에서의 공유콘텐츠 또는 유통 콘 텐츠이용및악용기술등장 데이터 양과 빈도를 유지하면서 유통 콘텐츠를 활용한 통신 채널 확대 기술(Steganography) Stegobot botnet 및 anti-stegobot 기술 Multimedia Content Steganography & Network Steganography Information smuggling expands through the various steganography 33
중간 고사 문제(예시) 관련 자료 온라인 소셜 서비스에서 정보은닉 기술의 활용성과 그 폐단 가능성에 대하여 기술하여라. 스테가노그라피 기술은 온라인 소셜 미디어에 어떻게 적용 되겠는가? 네트워크 스테가노그라피와 멀티미디어 스테가노그라 피에 대하여 설명하여라. 34