0
1 Image Processing Lab. 지도교수 : 박래홍교수 (R 관 711A 호 ) 대학원생 : 석사 7 명, 박사 1 명 1984~ 현재 연구실 : R 관 711 호 (http://eevision1.sogang.ac.kr)
2 Image Processing Lab. 졸업생현황 전체석사박사 국가연구소 대기업 벤처기업 교수진학창업기타 133 120 13 2 54 37 10 7 6 10 8% 5% 5% 8% 2% 43% 국가연구소대기업벤처기업 교수 29% 진학창업 기타
3 프로젝트 최근수행한프로젝트 삼성전자 idream: Imaging, Denoising/Deblurring, and Resolution Enhancement for Artifact-free Mode 엠텍비젼 3D depth 영상기반의 smart-interactive 기술개발 삼성디지털이미징 고해상도디지털카메라용 Advanced Wide Dynamic Range PIXTREE Encoder (H.263 / H.264 / MPEG4) 화질개선을위한전처리기개발 삼성종합기술원 멀티코어환경에서의코덱설계 : H.264, MPEG-2 decoder 설계
박래홍교수 ( 전공 : 영상처리 ), 02-705-8463, rhpark@sogang.ac.kr 결과 1. 화질개선알고리즘개발 : Noise and artifact reduction, contrast enhancement, color correction 요약 응용분야 영상취득장치산업분야 ( 카메라, 캠코더등 ) 디스플레이장치산업분야 의료 / 군사 / 항공산업분야 처리전 처리후 연구결과 NTSC artifact 제거알고리즘개발 False contour 제거알고리즘개발 시공간잡음제거알고리즘개발 HDR을이용한화질개선알고리즘개발 SVD 기반의조명보상알고리즘개발 기타 4 특허출원 : 국제 (13 편 ), 국내 (13 편 ) 특허등록 : 국제 (3 편 ), 국내 (8 편 ) 국제저널 30 편, 국제학회 35 편
박래홍교수 결과 2. 해상도개선알고리즘 : Super-resolution, frame interpolation 특허출원 : 국제 (2 편 ), 국내 (3 편 ) 특허등록 : 국내 (4 편 ) 국제저널 4 편, 국제학회 8 편 요약 저해상도영상 해상도개선영상 (bilinear) 해상도개선영상 ( 제안한방법 ) 응용분야 영상취득장치산업분야 디스플레이장치산업분야 의료 / 군사 / 항공산업분야 5 연구결과 영상시퀀스를이용한해상도개선알고리즘개발 VQ 를이용한해상도개선알고리즘개발 라플라시안피라미드구조를이용한해상도개선알고리즘개발 계층적움직임보정을이용한해상도개선알고리즘개발 기타
박래홍교수 결과 3. 영상압축알고리즘개발 : MPEG-2, MPEG-4, H.264/AVC 특허등록 : 국제 (1 편 ), 국내 (6 편 ) 국제저널 46 편, 국제학회 70 편 요약 Bi-directional ME, DE 6 응용분야 멀티미디어시스템분야 의료 / 통신분야 디스플레이장치산업분야 MPEG-2 stereoscopic video coding technique using adaptive bandwidth control 연구결과 MPEG-2 stereoscopic video coding 알고리즘개발 MPEG-2 비디오디코더적합성검사용비트열의제작개발 프랙탈이론을이용한저전송률영상부호화에관한연구개발 피라미드구조를이용한물체지향부호화알고리즘개발 H.26L 미디어인터페이스를위한인코딩 / 디코딩엔진개발 다시점영상부호화에관한연구개발 ATM 망에서비디오트래픽모델링및영상부호화에대한연구개발 저전송율영상통신을위한정지영상 / 동영상부호화에관한연구개발 멀티코어환경에서의코덱설계연구개발 기타
박래홍교수 결과 4. 영상인식알고리즘개발 : 물체인식, 문자, 얼굴, 생체, 동작등 특허출원 : 국내 (1 편 ) 국제저널 48 편, 국제학회 59 편 Book chapter 4 편 요약 Input image Object detection Feature Extraction Recognition Identification 얼굴인식시스템 + + + + + + + Accept / Reject 홍채인식시스템 7 응용분야 감시, 보안시스템분야 ( 감시카메라, 워터마킹등 ) 공장 / 사무자동화시스템분야 연구결과 지문의특징점추출을이용한지문인식알고리즘개발 뉴로 - 퍼지를이용한얼굴인식알고리즘개발 위성영상을이용한위치예측알고리즘개발 필기체인식알고리즘개발 영상통신및보호를위한웨이블렛에관한연구개발 기타 지문인식시스템
8 Image Processing Lab. 교수 석사과정생 박사과정생
3D effect image generation 2D-to-3D conversion Depth map을기반으로하여좌영상, 우영상을생성 Application: 3D-TV, 3D camera 등 * 제 11 회서강대학교전자공학과학술경진대회금상수상 Stereogram Depth map Anaglyph 9
10 3D effect image generation 2D-to-3D conversion Depth map을기반으로하여좌영상, 우영상을생성 Application: 3D-TV, 3D camera 등
목표 3D reconstruction * 제 12 회서강대학교전자공학과학술경진대회금상수상 다양한시점에서얻은 3D 정보를합성및복원 Color image Data acquisition Depth image Result of 3D reconstruction
목표 Scene Flow Estimation 3 차원움직임정보추출 Color image Left: estimation result Right: ground truth Depth image
Image completion Image completion (inpainting) 영상에서특정영역을영상내다른영역정보를이용하여제거, 또는복원하는방법 Input image User guide Output image 13 출처 : C. Barnes, E. Shechtman, and A. Finkelstein, D.B. Goldman, PatchMatch: A randomized correspondence algorithm for structural image editing, ACM Trans. Graphics, vol. 28, no.3, Aug. 2009.
14 Logo Detection * 제 10 회서강대학교전자공학과학술경진대회금상수상 로고검출알고리즘의필요 간접광고를막기위해서영상에서자동적으로로고를검출 logo1 logo2
Logo removal Logo Removal * 제 10 회서강대학교전자공학과학술경진대회금상수상 영상을분석, logo DB 내동일한 logo 찾아서제거하는자동화방법 상표검출상표추적상표제거 15 동영상
16 얼굴검출알고리즘이란? Face Detection 영상에서사람의얼굴영역을찾는알고리즘 non-face 얼굴검출 시스템 face 얼굴의 영상획득 non-face
17 얼굴인식알고리즘이란? Face Recognition 카메라를통해서들어온얼굴영상을가지고이사람이누구인가를인식하는알고리즘 Algorithm Database 출처 : AT & T Cambridge face database
홍채인식이란? Iris Recognition 사람마다고유한특성을갖는홍채정보를이용하여사람을인식하고인증하는체계 18 출처 : UBIRIS: A noisy iris image database
19 Gaze estimation 시선인식을통한정보검색응용 하나의 webcam으로실시간시선인식 * 제 12 회서강대학교전자공학과학술경진대회금상수상 시선인식환경 다양한 application 적용 ( 시선에따라관심영역이동 ) 응용예 : 무안경식 3D, 가상현실, 카메라 focusing 시선영역 준비게임결과 지도정보검색 아이돌소개및감상 드래곤플라이트
20 Goal Object Tracking 주어진물체의위치를토대로임의대로움직이는물체의궤도를추적 Application 비디오감시시스템, 얼굴인식, 로봇의자동주행등 출처 ( 실험영상 ): http://vision.ucsd.edu/~bbabenko
Segmentation using color and depth images Depth 영상을추가적으로이용하여 segmentation 정확도를높임 Partition Image 20 20 40 40 60 60 80 80 100 100 120 120 140 140 10 20 30 40 50 60 70 80 90 100 Color 영상 Depth 영상 Color 영상 segmentation Partition Image 결과 160 160 10 20 30 40 50 60 70 80 90 100 Depth 영상 segmentation 결과 제안하는방법결과영상 20 20 40 40 60 60 80 80 100 100 120 120 21 20 40 60 80 Color 영상 Depth 영상 Color 영상 segmentation 결과 140 140 10 20 30 40 50 60 70 80 90 Depth 영상 segmentation 결과 제안하는방법결과영상
22 Goal Object extraction in uncalibrated images Growcut segmentation과 seed 추정을이용한 uncalibrated 영상에서의동일객체추출 첫번째입력영상사용자지정첫번째객체영상 두번째입력영상 Seed 추정두번째객체영상
Moving Object Extraction 배경과 Object 가있는영상을사용하여 Moving Object Extraction 을수행 Background With Object Moving Object Extraction Point: intensity, color, gradient 정보, 이웃화소정보등 23 출처 : D. Duque, H. Santos, and P. Cortez, Moving object detection unaffected by cast shadows, highlights and ghosts, in Proc. IEEE Int. Conf. Image Processing, vol. 3. pp. 413 416, Geneva, Italy, Sept. 2005
24 목적 Image Retrieval 주어진입력과 database 내의영상간의유사도를측정해유사한영상검색 블록도 Feature extraction Database 영상과비교 입력영상 출력영상 출처 : ETH Zurich - Department of Information Technology and Electrical Engineering Computer Vision Laboratory (http://www.vision.ee.ethz.ch/)
목적 : Video retrieval 비디오영상에서자기가원하는인물이나물체를찾아내는것 Query object Retrieval results in video 25 Query object Retrieval results in video 출처 : A. Arasanathan and C. Nishan, Object based video retrieval with local region tracking, Signal Processing: Image Communication, vol. 22, no. 7-8, pp. 607 621, Aug. 2007.
26 Demosaicking Digital camera 에서의컬러영상취득방법 ( 출처 ) http://dsplab.ece.cornell.edu 일반적으로하나의 CCD (Charge Coupled Device) 를사용 CFA (Color Filter Array) 를사용해한화소당하나의컬러만얻음 입력된영상이모자이크형태이므로손실된컬러를추정해서모든화소가 R, G, B 의세값을가지도록만듬
Demosaicking 27 Original image CFA image
Demosaicking 28 Original image CFA image Demosaicing image
High Dynamic Range Image? P. Debevec and J. Malik, Recovering high dynamic range radiance maps from photographs, in Proc. ACM SIGGRAPH, pp. 369 378, Los Angeles, CA, Aug. 1997. 29
30 Image enhancement High Dynamic Range Image [1] Q. Shan, J. Jia, and M. S. Brown, Globally optimized linear windowed tone mapping, IEEE Trans. Visualization and Computer Graphics, vol. 16, no. 4, pp. 663 675, Jul./Aug. 2010., [2] CASIO HDR-ART.
31 Image Enhancement 대형화된디스플레이장치에서의 artifact 제거 False contour 검출및제거 NTSC artifact (dot crawl, rainbow effect 등 )
출처 : Kodack.com V. Kaufmann and R. Ladstädter, Elimination of color fringes in digital photographs caused by lateral chromatic aberration, in Proc. 20th Int. Committee for Documentation of Cultural Heritage, pp. 403 408, Torino, Italy Sept. 2005 32 Automatic Detection and Correction of Purple Fringing Causes of purple fringing Blooming False color Chromatic aberration Purple Fringing
33 Block diagram Automatic Detection and Correction of Color Fringe Detection Correction Results
34 Saturation correction Saturation? Correction Results
Goal Color modification for color-blind 색각이상자들의색구분을위한색변환 원본영상 색각이상자시각 35 원본영상변환후 변환후색각이상자시각
36 Preprocessing for Encoder 목적 모바일환경의제한된환경내에서압축전송시발생하는 artifacts 를전처리과정을통해최소화하여개선된영상얻을수있음 블록도 데이터업로드 Mobile contents server 전처리한 streaming 전송 멀티미디어스트리밍 / 다운로드시스템 사용자수신단말 Video streaming
동영상압축의두가지핵심원리 Video Compression 공간영역의중복성제거 - DCT (Discrete Cosine Transform) 를적용 한프레임내에인접한화소는유사한특징을가진다는점 Uncompressed (262 KB) Compressed (22 KB, 12:1) 시간영역의중복성제거 움직임추정및보상방식을적용 연속되는프레임은유사도가크다는특성을이용함 950 951 952 37 출처 :http://www.kpcom.co.kr/down/technical
압축기술이발전할수록같은대역폭으로더좋은품질의영상의전송이가능해짐 압축기술의발전은영상의전송과저장에관한비용을현격히낮추므로미디어발전의견인차역할을해옴 Video Compression 압축기술의응용분야 압축기술성능비교 Broadcast Content Server Mobile Communication Link Internet Streaming Storage 38 출처 : www.arc.com
39 Super Resolution Spatial domain based real-time super resolution 공간적, 시간적해상도향상 Block-based fast motion estimation Decoder information based fast scheme
40 연구분야정리 3차원영상 / 비디오처리알고리즘개발 영상 segmentation 영상인식알고리즘개발 화질및해상도개선알고리즘개발 Color modification 영상압축알고리즘개발 혼합형태의연구분야 잡음및화질저하요소를최소화하는해상도개선알고리즘개발 Gaze estimation 등 HCI 분야 기타
41 감사합니다.