뒷면 측면 앞면 주 의 주의 ( 주의내용기재 ) (글 14 point 고딕체 ) 디지털디티화영상기디록물 자동복원 병렬처리 구조설계 및 시스템개발 발간등록번호연구결과보고서 디지털화영상기록물자동복원병렬처리구조설계및시스템개발 A parallel Processing Architecture and System Development for Automatic Restoration of Digitized Images 주관연구기관 : 엘앤와이비젼 1. 이보고서는국가기록원에서시행한용역연구개발사업의연구결과보고서입니다. 2. 이보고서내용을발표할때에는반드시국가기록원에서시행한용역연구개발사업의연구결과임을밝혀야합니다. 3. 국가과학기술기밀유지에필요한내용은대외적으로발표또는공개하여서는아니됩니다. 2 0 1 2 국가기록원 국 가 기 록 원
제출문 목 차 국가기록원장귀하 이보고서를 디지털화영상기록물자동복원병렬처리구조설계및시스템개발 주 엘앤와 이비젼 유병문 과제의연구결과보고서로제출합니다 연구개발결과요약문 한글 디지털화영상기록물자동복원병렬처리구조설계및시스템개발 영문 총괄연구개발과제연구결과 제 장총괄연구개발과제의최종연구개발목표 제 장총괄연구개발과제의최종연구개발내용및방법 주관연구기관명 엘앤와이비젼 주관연구책임자 유병문 제장총괄연구개발과제의최종연구개발결과 제장총괄연구개발과제의연구결과고찰및결론 제장총괄연구개발과제의연구성과 제 장참고문헌 제 장첨부서류 - 1 - - 2 -
연구결과보고서요약문 연구과제명디지털화영상기록물자동복원병렬처리구조설계및시스템개발중심단어영상복원, 병렬처리, 긁힘, 스파크, 영상처리 / 컴퓨터비젼주관연구기관 엘앤와이비젼주관연구책임자유병문연구기간 2012. 4. 16-2012. 11. 30 영상자동복원시스템은디지털화된필름이나비디오영상에발생한시각적훼손을영상처리또는컴퓨터비젼기술을이용하여자동으로복원하는시스템이다. 1950년대이전에촬영된모든영상은니트로-셀룰로이드 (nitro-celluloid) 영상필름에기록되어있으며, 이물질의물리적인특성 ( 매우짧은수명기간 ) 으로인해많은영상내용이훼손되고있는실정이다. 보존된비디오나필름의량과, 영상의수작업복원시의장시간, 고비용을고려할때자동으로복원하는영상자동복원시스템이필수적이다. 본연구는 1차년도연구결과인긁힘과스파크복원알고리즘의복원속도를고속화하기위한병렬처리하드웨어시스템개발과병렬처리복원시스템에적합한긁힘과복원알고리즘의병렬화를목표로수행되었다. 1) 1차년도산출물인긁힘, 스파크복원알고리즘의복원성능과속도를개선하기위해텔레시네 (telecine) 알고리즘, 역-텔레시네 (reverse telecine) 알고리즘과삿탐지 (shot detection) 알고리즘구현하였으며, 2) 영상자동복원을고속화하기위해 GPGPU( 그래픽장치를이용한범용컴퓨팅기술 ) 를사용한병렬처리시스템을개발하였고, 3) 본연구를통해개발된병렬처리시스템에적합한긁힘및스파크훼손복원병렬처리알고리즘개발하였다. 국가기록원소장디지털화영상은비월주사 (interlaced scanning) 영상으로직접영상처리기술을적용하기에는부적합형태이다. 본연구에서는역-텔레시네 (reverse telecine) 알고리즘을사용하여국가기록원영상을먼저순차주사 (progressive scanning) 영상으로전환하였으며, 순차주사형태로전환된영상에긁힘과스파크복원과샷전환탐지등의영상처리알고리즘을적용하였으며, 마지막으로훼손이복원된영상은텔레시네알고리즘을사용하여다시비월주사영상으로변환되었다. 영상복원의고속화를위한병렬처리시스템은 Windows 7 시스템과 nvidia사의 GPU 시스템과 CUDA 라이브러리를사용하는하이브리드형태 (hybrid type) 의시스템으로구현되었다. Windows 7 시스템의 CPU와 nvidia사의 GPU는비동기식 (Asynchronous) 로작동하고, 병렬처리에적합한알고리즘만을 GPU 상에서수행하도록알고리즘을개발하였다. 본연구는통해개발된병렬처리복원시스템은 Windows 7 시스템과 nvidia사의 GPU 시스템으로구성된하드웨어와 CUDA 병렬처리라이브러리, OpenCV 영상처리라이브러리, 마이크로소프트 (MicroSoft) 사의 Visual Studio 개발툴, 노키아 (Nokia) 사의 Qt 툴등으로구성되었다. 복원속도는 1 초에 7 프레임을처리하며, 1차년도의결과 (1초에 0.2 프레임복원 ) 과비교할때약 15배개선되었다. 복원율은긁힘의경우에 90% 의복원율 (1차년도의복원율은 64%) 을보였으며, 스파크의경우에는탐지및복원에대한정확한기준을정할수가없었으며, 인공훼손기준약 80% 의복원율을보였다. Title of Project Key Words Image Restoration, Parallel Processing, Scratch, Spark, Image Processing Institute L&Y Vision Technologies, Inc. Project Leader ByoungMoon You Project Period 2012. 4. 16-2012. 11. 30 Automatic Image(Film) Restoration Systems restores visual artifacts, which are commonly encountered in archive films, mainly due to early filming technologies and storage conditions, and uses image processing or computer vision methods for automatic restoration on digitalized images(film). Until the late fifties, most of these films were taken into intro-celluloid material. Chemical changes due to the film material's age as well as improper handling have caused the irretrievable damages. There is a strong demand for an automatic film restoration system when considering the vast amount of film and the time and cost of manual restoration. The purpose of this research are to develop a real-time parallel-processing scratch and spark restoration algorithms, implementing the parallel-processing hardware system for the software algorithms. This research 1) develops reverse-telecine algorithm, telecine algorithm, shot-detection algorithm to improve the performance and speed of the first-year s scratch and spark algorithms 2) designs and implementes a parallel-processing image restoration system using GPGPU(general-purpose graphics processing units) 3) convert the first-year scratch and spark algorithms to a fast parallel-processing algorithms For the image restoration, the interlaced images of the National Archives of Korea are converted to progressive images using the reverse-telecine algorithm first. Then the converted images are used as the input of the scratch and spark algorithms, which detect and restore the damages(scratch and spark) in the images. The restored image are converted to the interlaced images by the telecine algorithm again. The hardware of the parallel-processing system is a hybrid system, which consists of a Windows 7 System(Intel I-7 processor) and nvidia s GPU system. Windows 7 system and nvidia system runs asynchronously and the parallel-processing restoration algorithms are developed to run on the system efficiently. The parallel-processing restoration algorithm restored about 7 frames per second, which is about 15 times faster than the restoration rate of the first-year result (0.5 frame per second). In the case of the restoration rate, the scratch algorithm showed the improvement from 64% (the first-year s result) to about 90% and the system showed about 80% of restoration rate for the artificial spark damages ( there was no restoration rate for the first-year result). - 3 - - 4 -
2. - 5 - - 6 -
국내 외기술개발현황 - 7 - - 8 -
- 9 - - 10 -
- 11 - - 12 -
그림 8. Telecine 과정 - 13 - - 14 -
1 2 3 4 5 6 7 8 9 10 11 12 1 6 12-15 - - 16 -
i f i f i f i f i f - 17 - - 18 -
- 19 - - 20 -
- 21 - - 22 -
긁힘병렬처리 알고리즘 스파크병렬처리 알고리즘 retelecine 알고리즘 입력영상 긁힘복원 알고리즘 전환탐지 알고리즘 스파크복원 알고리즘 Telecine 알고리즘 출력영상 여기서 여기서 - 23 - - 24 -
- 25 - - 26 -
(i-1, j-1) (i-1, j) (i-1, j+1) a b (i, j-1) (i,j) (i, j+1) (i+1, j-1) (i+1, j) (i+1, j+1) c d w h w h 여기서 는상수이다 - 27 - - 28 -
- 29 - - 30 -
a1 S a+1 a2 화소의밝기값 b1 S b-1 b2-31 - - 32 -
(a) (b) (c) (d) (e) (f) (g) (h) (i) - 33 - - 34 -
- 35 - - 36 -
- 37 - - 38 -
국가기록원에서제공한 16개동영상에대하여 telecine 여부, 화면전환수, 긁 힘훼손, 그리고스파크훼손을사람의눈으로확인한결과는표 2와같다. 긁힘발생수 스파크발생수 파일명 프레임수 Telecine순서 화면전환수 강 약 강 약 1. CEN0003315 21,127 불규칙적 (7번바뀜 ) 96 10 51 1984 2666 2. CEN0003528 29,946 규칙적 168 52 311 2443 4715 3. CEN0004103 40,882 규칙적 171 2 11 1172 1676 4. CEN0001235 2,879 규칙적 25 49 81 240 271 5. CEN0005433 23,686 규칙적 123 0 0 523 705 6. CEN0010921 9,607 규칙적 32 7. CEN0003630 23,325 규칙적 139 8. CEN0005239 2,395 규칙적 14 9. CEN0005242 2,497 규칙적 18 21 305 1166 1062 10. CEN0005229 1,692 규칙적 17 49 102 459 538 11. CEN0005268 2,386 규칙적 11 12. CEN0002088 18,637 규칙적 86 13. CEN0002037 19,060 규칙적 98 14. CEN0000403 4,080 규칙적 42 25 47 632 877 15. CEN0003487 34,029 규칙적 235 111 228 2960 3889 16. CEN0003695 26272 규칙적 184 파일명 전체 화면전환 서서히 화면전환 탐지된 화면전환 화면전환 미인식 화면전환 오인식 화면전환 인식률 (%) 1. CEN0003315 96 0 90 5 5 95 2. CEN0003528 167 1 161 6 73 96 3. CEN0004103 171 0 164 7 35 96 4. CEN0001235 24 0 24 0 0 100 5. CEN0005433 123 4 111 12 33 90 6. CEN0010921 31 1 30 1 1 97 7. CEN0003630 140 0 111 29 6 79 8. CEN0005239 14 0 9 5 38 64 9. CEN0005242 18 0 17 1 57 94 10. CEN0005229 19 0 18 1 8 95 11. CEN0005268 12 0 10 2 15 83 12. CEN0002088 90 8 87 3 77 97 13. CEN0002037 100 25 99 1 169 99 14. CEN0000403 42 0 40 2 11 95 15. CEN0003487 235 0 222 13 80 94 16. CEN0003695 184 0 166 18 14 90-39 - - 40 -
- 41 - - 42 -
- 43 - - 44 -
재현률 정확도 File Name CEN0008277 Original Restored 복원된 Scratches 개수 Frame Number Strong Weak Strong Weak Strong Weak 1 6 3 3 2 3 1 2 8 1 3 1 5 0 3 7 3 1 2 6 1 4 4 4 0 0 4 4 5 4 3 0 2 4 1 6 4 3 0 3 4 0 7 3 2 1 2 2 0 8 3 2 0 2 3 0 9 4 2 0 2 4 0 10 4 1 2 1 2 0 11 3 1 1 1 2 0 12 4 0 2 0 2 0 13 3 2 1 2 2 0 14 3 2 0 2 3 0 15 3 1 0 1 3 0 16 3 1 0 1 3 0 17 3 2 0 2 3 0 18 3 1 0 1 3 0 19 3 1 0 0 3 1 20 4 1 0 1 4 0 21 4 1 0 1 4 0 22 5 0 0 0 5 0 23 5 0 1 0 4 0 24 4 2 0 0 4 2 25 6 1 1 0 5 1 26 7 0 1 0 6 0 27 7 1 2 1 5 0 28 6 2 1 2 5 0 29 6 2 1 2 5 0 30 5 2 2 1 3 1 31 5 2 2 2 3 0 32 5 1 2 0 3 1 33 5 2 1 1 4 1 34 3 3 0 1 3 2-45 - - 46 -
35 4 1 1 0 3 1 36 5 1 1 1 4 0 37 5 1 1 1 4 0 38 4 2 1 1 3 1 39 3 1 0 1 3 0 40 3 3 0 2 3 1 41 5 2 2 0 3 2 42 5 0 2 0 3 0 43 4 1 0 1 4 0 44 4 2 0 2 4 0 45 4 2 0 2 4 0 46 4 1 1 0 3 1 47 5 1 2 1 3 0 48 4 2 1 2 3 0 49 5 2 2 2 3 0 50 7 2 4 2 3 0 51 7 0 5 0 2 0 52 5 0 3 0 2 0 53 3 1 1 1 2 0 54 3 1 2 1 1 0 55 2 2 1 2 1 0 56 4 1 3 0 1 1 57 4 0 2 0 2 0 58 3 2 0 1 3 1 59 3 3 0 2 3 1 60 3 1 0 1 3 0 61 3 2 0 2 3 0 62 3 2 0 1 3 1 63 3 1 0 1 3 0 64 3 3 0 2 3 1 65 4 3 1 3 3 0 66 5 5 2 5 3 0 67 5 3 3 3 2 0 68 4 2 1 2 3 0 69 3 5 0 4 3 1 70 5 5 1 5 4 0 71 5 3 2 3 3 0 72 6 3 2 3 4 0 73 5 5 0 4 5 1 74 3 3 2 2 1 1 75 1 3 0 3 1 0 76 3 2 1 2 2 0 77 7 0 5 0 2 0 78 5 2 3 2 2 0 79 3 2 1 2 2 0 80 3 3 1 3 2 0 81 3 2 1 2 2 0 82 3 2 1 2 2 0 83 3 1 1 1 2 0 84 3 2 1 2 2 0 85 3 0 1 0 2 0 86 3 2 1 2 2 0 87 3 3 1 3 2 0 88 3 5 1 5 2 0 89 3 3 0 3 3 0 90 3 3 0 3 3 0 91 3 2 0 2 3 0 92 3 2 1 2 2 0 93 4 2 1 2 3 0 94 4 1 1 1 3 0 95 2 1 0 1 2 0 96 2 1 0 1 2 0 97 2 1 0 1 2 0 98 2 1 0 1 2 0 99 4 2 3 1 1 1 100 2 3 0 0 2 3 Total 397 186 102 152 295 34-47 - - 48 -
File Name CEN0008280 Original Restored 탐지된 Scratches FrameNumber Strong Weak Strong Weak Strong Weak 1 0 1 0 1 0 0 2 0 0 0 0 0 0 3 0 0 0 0 0 0 4 0 0 0 0 0 0 5 0 1 0 1 0 0 6 0 1 0 1 0 0 7 0 1 0 1 0 0 8 0 0 0 0 0 0 9 0 1 0 1 0 0 10 0 0 0 0 0 0 11 0 1 0 1 0 0 12 1 0 1 0 0 0 13 0 0 0 0 0 0 14 0 1 0 1 0 0 15 0 0 0 0 0 0 16 0 1 0 1 0 0 17 0 0 0 0 0 0 18 0 2 0 2 0 0 19 1 0 1 0 0 0 20 1 0 1 0 0 0 21 1 0 1 0 0 0 22 1 0 0 0 1 0 23 0 0 0 0 0 0 24 0 0 0 0 0 0 25 0 0 0 0 0 0 26 0 0 0 0 0 0 27 0 0 0 0 0 0 28 0 0 0 0 0 0 29 0 0 0 0 0 0 30 0 0 0 0 0 0 31 0 0 0 0 0 0 32 0 0 0 0 0 0 33 1 1 0 1 1 0 34 0 1 0 1 0 0 35 1 1 0 0 1 1 36 1 1 0 0 1 1 37 1 0 0 0 1 0 38 1 0 0 0 1 0 39 0 2 0 2 0 0 40 0 1 0 1 0 0 41 0 0 0 0 0 0 42 0 1 0 1 0 0 43 1 0 0 0 1 0 44 1 0 0 0 1 0 45 1 0 0 0 1 0 46 1 0 0 0 1 0 47 0 0 0 0 0 0 48 0 1 0 1 0 0 49 0 2 0 1 0 1 50 0 1 0 1 0 0 51 0 1 0 1 0 0 52 0 1 0 1 0 0 53 0 0 0 0 0 0 54 0 0 0 0 0 0 55 0 1 0 1 0 0 56 0 1 0 1 0 0 57 0 0 0 0 0 0 58 0 1 0 1 0 0 59 0 0 0 0 0 0 60 0 1 0 1 0 0 61 1 0 1 0 0 0 62 1 0 1 0 0 0 63 1 1 1 1 0 0 64 1 1 1 1 0 0 65 1 1 1 1 0 0 66 1 0 1 0 0 0 67 1 0 1 0 0 0 68 1 0 1 0 0 0 69 1 0 1 0 0 0 70 1 0 1 0 0 0 71 1 0 1 0 0 0 72 1 0 1 0 0 0 73 1 1 1 1 0 0 74 1 2 0 2 1 0 75 1 2 0 2 1 0 76 1 1 0 1 1 0 77 1 0 0 0 1 0-49 - - 50 -
78 1 2 0 2 1 0 79 1 0 0 0 1 0 80 1 0 0 0 1 0 81 1 2 1 0 0 2 82 1 2 1 0 0 2 83 0 3 0 3 0 0 84 1 1 0 1 1 0 85 1 0 0 0 1 0 86 1 1 0 1 1 0 87 1 1 0 1 1 0 88 1 1 0 0 1 1 89 1 1 0 0 1 1 90 1 1 0 0 1 1 91 1 1 0 0 1 1 92 0 1 0 0 0 1 93 0 0 0 0 0 0 94 0 2 0 2 0 0 95 0 2 0 2 0 0 96 1 1 1 1 0 0 97 0 2 0 2 0 0 98 0 0 0 0 0 0 99 0 2 0 2 0 0 100 0 1 0 1 0 0 Total 45 64 20 52 25 12 File Name CEN0008278 Original Restored 탐지된 Scratches FrameNumber Strong Weak Strong Weak Strong Weak 1 1 1 0 1 1 0 2 1 1 0 0 1 1 3 2 0 0 0 2 0 4 2 0 1 0 1 0 5 2 0 1 0 1 0 6 2 0 1 0 1 0 7 2 0 1 0 1 0 8 2 0 1 0 1 0 9 2 0 1 0 1 0 10 2 0 1 0 1 0 11 2 0 1 0 1 0 12 2 0 1 0 1 0 13 2 0 1 0 1 0 14 2 0 1 0 1 0 15 2 0 1 0 1 0 16 1 1 0 1 1 0 17 2 0 1 0 1 0 18 2 0 0 0 2 0 19 2 0 1 0 1 0 20 2 0 1 0 1 0 21 2 0 1 0 1 0 22 2 0 1 0 1 0 23 2 0 1 0 1 0 24 2 1 1 1 1 0 25 3 0 2 0 1 0 26 2 1 1 0 1 1 27 3 0 1 0 2 0 28 3 0 1 0 2 0 29 3 0 1 0 2 0 30 3 0 1 0 2 0 31 3 1 1 1 2 0 32 3 1 1 1 2 0 33 3 0 1 0 2 0 34 3 0 1 0 2 0 35 3 1 1 1 2 0 36 2 1 0 1 2 0 37 2 0 0 0 2 0-51 - - 52 -
38 2 1 0 1 2 0 39 2 1 0 1 2 0 40 2 1 0 1 2 0 41 2 0 0 0 2 0 42 2 0 0 0 2 0 43 2 0 0 0 2 0 44 2 1 0 1 2 0 45 1 1 0 1 1 0 46 1 2 0 1 1 1 47 1 2 0 1 1 1 48 2 2 0 2 2 0 49 3 1 0 1 3 0 50 2 1 0 0 2 1 51 2 0 0 0 2 0 52 2 0 0 0 2 0 53 2 0 0 0 2 0 54 2 0 0 0 2 0 55 2 0 0 0 2 0 56 2 0 0 0 2 0 57 1 1 0 0 1 1 58 2 0 0 0 2 0 59 2 0 0 0 2 0 60 2 0 0 0 2 0 61 3 1 0 1 3 0 62 3 0 1 0 2 0 63 3 0 1 0 2 0 64 3 0 1 0 2 0 65 2 1 0 1 2 0 66 2 1 0 1 2 0 67 1 2 0 1 1 1 68 2 1 0 1 2 0 69 2 1 0 1 2 0 70 2 0 0 0 2 0 71 1 1 0 0 1 1 72 1 1 0 0 1 1 73 2 0 0 0 2 0 74 2 1 0 1 2 0 75 2 2 0 2 2 0 76 2 2 0 2 2 0 77 3 0 1 0 2 0 78 3 0 1 0 2 0 79 3 0 1 0 2 0 80 3 0 1 0 2 0 81 3 0 1 0 2 0 82 3 0 1 0 2 0 83 3 1 1 1 2 0 84 3 1 2 1 1 0 85 4 0 2 0 2 0 86 2 2 0 2 2 0 87 2 1 0 1 2 0 88 2 2 0 2 2 0 89 2 0 1 0 1 0 90 2 0 1 0 1 0 91 2 0 1 0 1 0 92 1 0 0 0 1 0 93 1 0 0 0 1 0 94 1 0 0 0 1 0 95 1 0 0 0 1 0 96 1 1 0 1 1 0 97 1 0 0 0 1 0 98 1 0 0 0 1 0 99 1 0 0 0 1 0 100 1 0 0 0 1 0 Total 206 45 48 36 158 9-53 - - 54 -
- 55 - - 56 -
- 57 - - 58 -
- 59 - - 60 -
2. - 61 - - 62 -
제 4 장총괄연구개발과제의연구결과고찰및결론 - 63 - - 64 -
제 5 장총괄연구개발과제의연구성과 활용성과 사 기타 총괄과제명디지털화영상기록물자동복원병렬처리구조설계및시스템개발 총괄과제책임자유병문 / 엘앤와이비젼 / 컴퓨터공학 가 연구논문 번호논문제목저자명저널명집 ( 권 ) 페이지 Impact factor 1 2 나 학술발표 국내 / 국외 SCI 여부 번호발표제목발표형태발표자학회명연월일발표지국내 / 국제화소와히스토그램 1 2 정보를이용한 샷전환탐지알고리즘 객체이동및밝기변화를 고려한샷전환탐지 알고리즘 포스터이준구한국정보처리학회 12.11.22 제주국내 구두이준구한국정보처리학회 12.11.23 제주국내 활용계획 다 지적재산권 번호출원 / 등록특허명출원 ( 등록 ) 인출원 ( 등록 ) 국출원 ( 등록 ) 번호 1 12.11.14 비대칭대응영역에대한밝기비교를통한샷전환탐지방법 국가기록원대한민국 10-2012-0128808 IPC 분류 라 정책활용 마 타연구 차기연구에활용 바 언론홍보및대국민교육 - 65 - - 66 -
제 6 장기타중요변경사항 1. 변경사유 : 최초신청 ( 계약 ) 시원가계산서내에부가가치세를미산정한바, 이를정정하기위하여예산변경함. 2. 변경신청서 : [ 부록 6] 참조 4. 변경승인통보서 : [ 부록 7] 참조 - 67 - - 68 -
- 69 - - 70 -
- 71 - - 72 -
- 73 - - 74 -
- 75 - [ 부록 1] 논문
1. *********** 2. ***********
총괄연구과제요약 과제자동부여공개가능여부고유번호사업명 2012년기록보존기술연구개발 (R&D) 사업과제명디지털화영상기록물자동복원병렬처리구조설계및시스템개발성명유병문연구책임자소속기관명 ( 주 ) 엘앤와이비젼전자우편 ************************ 전화번호 ************ 연구목표영상자동복원시스템은디지털화된필름이나비디오영상에발생한시각적훼손을영상처리또는컴퓨터비젼기술을이용하여자동으로복원하는시스템이다. 1950년대이전에촬영된모든영상은니트로-셀룰로이드 (nitro-celluloid) 영상필름에기록되어있으며, 이물질의물리적인특성 ( 매우짧은수명기간 ) 으로인해많은영상내용이훼손되고있는실정이다. 보존된비디오나필름의량과, 영상의수작업복원시의장시간, 고비용을고려할때자동으로복원하는영상자동복원시스템이필수적이다. 본연구는디지털화영상에서주요훼손인긁힘훼손과스파크훼손을복원하기위한고속병렬처리복원알고리즘과병렬처리알고리즘을위한병렬처리시스템을개발을그목표로한다. 본연구에서개발하는복원시스템은입력영상이비월주사영상인경우에는영상을먼저순차주사영상으로변환한후에영상을복원하고, 다시비월주사영상으로저장을한다. 복원시스템의복원속도는 1초에최소 2 프레임이상을처리하고, 긁힘훼손의경우에는 70% 의복원율을목표로한다. 연구내용본연구는 1차년도연구결과인긁힘과스파크복원알고리즘의복원속도를고속화하기위한병렬처리하드웨어시스템개발과병렬처리복원시스템에적합한긁힘과복원알고리즘의병렬화를수행되었다. 1) 1차년도산출물인긁힘, 스파크복원알고리즘의복원성능과속도를개선하기위해텔레시네 (telecine) 알고리즘, 역-텔레시네 (reverse telecine) 알고리즘과삿탐지 (shot detection) 알고리즘구현하였으며, 2) 영상자동복원을고속화하기위해 GPGPU( 그래픽장치를이용한범용컴퓨팅기술 ) 를사용한병렬처리시스템을개발하였고, 3) 본연구를통해개발된병렬처리시스템에적합한긁힘및스파크훼손복원병렬처리알고리즘개발하였다. 국가기록원소장디지털화영상은비월주사 (interlaced scanning) 영상으로직접영상처리기술을적용하기에는부적합형태이다. 본연구에서는역-텔레시네 (reverse telecine) 알고리즘을사용하여국가기록원영상을먼저순차주사 (progressive scanning) 영상으로전환하였으며, 순차주사형태로전환된영상에긁힘과스파크복원과샷전환탐지등의영상처리알고리즘을적용하였으며, 마지막으로훼손이복원된영상은텔레시네알고리즘을사용하여다시비월주사영상으로변환되었다. 영상복원의고속화를위한병렬처리시스템은 Windows 7 시스템과 nvidia사의 GPU 시스템과 CUDA 라이브러리를사용하는하이브리드형태 (hybrid type) 의시스템으로구현되었다. Windows 7 시스템의 CPU와 nvidia사의 GPU는비동기식 (Asynchronous) 로작동하고, 병렬처리에적합한알고리즘만을 GPU 상에서수행하도록알고리즘을개발하였다. 본연구는통해개발된병렬처리복원시스템은 Windows 7 시스템과 nvidia사의 GPU 시스템으로구성된하드웨어와 CUDA 병렬처리라이브러리, OpenCV 영상처리라이브러리, 마이크로소프트 (MicroSoft) 사의 Visual Studio 개발툴, 노키아 (Nokia) 사의 Qt 툴등으로구성되었다. 복원속도는 1초에 3 프레임을처리하며, 1차년도의결과 (1초에 0.2 프레임복원 ) 과비교할때약 15배개선되었다. 복원율은긁힘의경우에 80% 의복원율 (1차년도의복원율은 64%) 을보였으며, 스파크의경우에는탐지및복원에대한정확한기준을정할수가없었으며, 인공훼손기준약 40% 의복원율을보였다. 연구성과 1) 일반복원방법 ( 수작업 ) 대비시간및비용의절대적인경감효과기대영화 태권 V ( 상영시간 80분 ) 를복원하기위하여 2003년 8월에시작하여약 2여년동안걸쳐 10억원의예산과 70명의인원이투입되었으나, 본시스템을사용하면약 14시간만에복원가능함 2) 전문적인복원툴로개발하여영상복원서비스툴로활용 UNESCO에따르면전세계에 2,200,000Km의영상필름이보관되어있으며, 계속훼손이진행되어지고있다. 해외에서는이미전문적인복원툴 ( 시스템 ) 이상용화되어있으나국내에서는전무하다. 국가기록원, 영상기록원등과같은공공기관을위한영상복원서비스툴로활용이가능하고, 또한해외의많은보관소 (Archives) 를위한영상복원툴로서상용화가가능 3) 국가기록원의고품질의컨텐츠서비스를위해사용국가적중요행사나방송사등을통한영상서비스가필요할때에실시간으로영상훼손을복원하여것이가능함으로고품질의컨텐츠서비스가능 4) 본연구를통해 1건의특허출원과 2편의학술논문을발표하여영상복원관련한지적재산권확보및연구사업의대외홍보효과
총괄참여연구원 성 명 소속 / 직위 성 명 소속 / 직위 유병문 ************** 이정미 ************* 이현명 ************* 이준구 ************* 박태훈 ******* 오명식 ******* 유용길 ******* 손미진 ******* Keywords (5 개내외 ) 한글 영상복원, 영상처리 / 컴퓨터비젼, 영상훼손, 긁힘, 스파크 영문 Image Restoration, Image Processing, Scratch, Spark, Image Damage