< C0CCC1D6C8EF2DBACEBAD020C0E7B1B8BCBAC0BB20C0CCBFEBC7D12E687770>

Similar documents
(JBE Vol. 21, No. 1, January 2016) (Regular Paper) 21 1, (JBE Vol. 21, No. 1, January 2016) ISSN 228

DBPIA-NURIMEDIA

DBPIA-NURIMEDIA

09권오설_ok.hwp

(JBE Vol. 20, No. 6, November 2015) (Regular Paper) 20 6, (JBE Vol. 20, No. 6, November 2015) ISSN

°í¼®ÁÖ Ãâ·Â

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 10, Oct ,,. 0.5 %.., cm mm FR4 (ε r =4.4)

<BBEABEF7B5BFC7E22DA5B12E687770>

DE1-SoC Board

Ⅱ. Embedded GPU 모바일 프로세서의 발전방향은 저전력 고성능 컴퓨팅이다. 이 러한 목표를 달성하기 위해서 모바일 프로세서 기술은 멀티코 어 형태로 발전해 가고 있다. 예를 들어 NVIDIA의 최신 응용프 로세서인 Tegra3의 경우 쿼드코어 ARM Corte

<35335FBCDBC7D1C1A42DB8E2B8AEBDBAC5CDC0C720C0FCB1E2C0FB20C6AFBCBA20BAD0BCAE2E687770>

ch3.hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jan.; 26(1),

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

<333820B1E8C8AFBFEB2D5A B8A620C0CCBFEBC7D120BDC7BFDC20C0A7C4A1C3DFC1A42E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 25(11),

À±½Â¿í Ãâ·Â

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 27(12),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 29(2), IS

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jun.; 27(6),

<3031B0ADB9CEB1B82E687770>

<353420B1C7B9CCB6F52DC1F5B0ADC7F6BDC7C0BB20C0CCBFEBC7D120BEC6B5BFB1B3C0B0C7C1B7CEB1D7B7A52E687770>

6.24-9년 6월

À¯Çõ Ãâ·Â

Voice Portal using Oracle 9i AS Wireless

인문사회과학기술융합학회

???? 1

Software Requirrment Analysis를 위한 정보 검색 기술의 응용

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 29, no. 6, Jun Rate). STAP(Space-Time Adaptive Processing)., -

Gray level 변환 및 Arithmetic 연산을 사용한 영상 개선

I

<30312DC1A4BAB8C5EBBDC5C7E0C1A4B9D7C1A4C3A52DC1A4BFB5C3B62E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

04 김영규.hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 25(3),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 28(3),

<31325FB1E8B0E6BCBA2E687770>

08김현휘_ok.hwp

APOGEE Insight_KR_Base_3P11

<313920C0CCB1E2BFF82E687770>

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 26(10),

[ReadyToCameral]RUF¹öÆÛ(CSTA02-29).hwp

28 저전력복합스위칭기반의 0.16mm 2 12b 30MS/s 0.18um CMOS SAR ADC 신희욱외 Ⅰ. 서론 Ⅱ. 제안하는 SAR ADC 구조및회로설계 1. 제안하는 SAR ADC의전체구조

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 30(9),

박선영무선충전-내지

. 서론,, [1]., PLL.,., SiGe, CMOS SiGe CMOS [2],[3].,,. CMOS,.. 동적주파수분할기동작조건분석 3, Miller injection-locked, static. injection-locked static [4]., 1/n 그림

07변성우_ok.hwp

example code are examined in this stage The low pressure pressurizer reactor trip module of the Plant Protection System was programmed as subject for

07.045~051(D04_신상욱).fm

Microsoft Word - 1-차우창.doc

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 30(3),

8-VSB (Vestigial Sideband Modulation)., (Carrier Phase Offset, CPO) (Timing Frequency Offset),. VSB, 8-PAM(pulse amplitude modulation,, ) DC 1.25V, [2

878 Yu Kim, Dongjae Kim 지막 용량수준까지도 멈춤 규칙이 만족되지 않아 시행이 종료되지 않는 경우에는 MTD의 추정이 불가 능하다는 단점이 있다. 최근 이 SM방법의 단점을 보완하기 위해 O Quigley 등 (1990)이 제안한 CRM(Continu

Microsoft PowerPoint - 30.ppt [호환 모드]

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Sep.; 26(10),

이도경, 최덕재 Dokyeong Lee, Deokjai Choi 1. 서론

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Dec.; 26(12),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Oct.; 27(10),

1. 3DTV Fig. 1. Tentative terrestrial 3DTV broadcasting system. 3D 3DTV. 3DTV ATSC (Advanced Television Sys- tems Committee), 18Mbps [1]. 2D TV (High

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Nov.; 26(11),

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE May; 27(5),

디지털포렌식학회 논문양식

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Mar.; 26(3),

08 조영아.hwp

ez-md+_manual01

5" TFT- LCD 및감압터치지원 : 800x480 USB Host 2.0, USB OTG 2.0, GPS, Wireless LAN, Ethernet 10/100Mbps 통신지원 300 만화소 CMOS Image Sensor 고해상도카메라모듈내장 전원은베이스보드에서공

Microsoft PowerPoint - eSlim SV [ ]

<4D F736F F F696E74202D20BEC6B3AFB7CEB1D7B9D7C6C4BFF64943BFF6C5A9BCA55F FBEC8B1E6C3CA2E707074>

Slide 1

06_ÀÌÀçÈÆ¿Ü0926

1_12-53(김동희)_.hwp

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE. vol. 27, no. 8, Aug [3]. ±90,.,,,, 5,,., 0.01, 0.016, 99 %... 선형간섭

14.531~539(08-037).fm

<38305FC0B1C3A2BCB12D4D41544C41422C D756C696E6BB8A620C0CCBFEBC7D12E687770>

10 노지은.hwp

DBPIA-NURIMEDIA

45-51 ¹Ú¼ø¸¸

Journal of Educational Innovation Research 2018, Vol. 28, No. 1, pp DOI: * A Analysis of

KDTÁ¾ÇÕ-1-07/03

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 27(7),

1 : HEVC Rough Mode Decision (Ji Hun Jang et al.: Down Sampling for Fast Rough Mode Decision for a Hardware-based HEVC Intra-frame encoder) (Special P

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Feb.; 28(2),

±è¼ºÃ¶ Ãâ·Â-1

< C6AFC1FD28C3E0B1B8292E687770>

012임수진

±èÇö¿í Ãâ·Â

<30382E20B1C7BCF8C0E720C6EDC1FD5FC3D6C1BEBABB2E687770>

MAX+plus II Getting Started - 무작정따라하기

???? 1

3. 클라우드 컴퓨팅 상호 운용성 기반의 서비스 평가 방법론 개발.hwp

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: NCS : * A Study on

1. KT 올레스퀘어 미디어파사드 콘텐츠 개발.hwp

ARM01

Á¶Áø¼º Ãâ·Â-1

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

02손예진_ok.hwp

Microsoft PowerPoint - eSlim SV [080116]


<30362E20C6EDC1FD2DB0EDBFB5B4EBB4D420BCF6C1A42E687770>

Transcription:

Journal of the Korea Academia-Industrial cooperation Society Vol. 18, No. 1 pp. 21-31, 2017 https://doi.org/10.5762/kais.2017.18.1.21 ISSN 1975-4701 / eissn 2288-4688 부분재구성을이용한노이즈영상의경계선검출시스템 윤일중 1, 정희원 1, 김승종 2, 민병석 3, 이주흥 1* 1 홍익대학교전자전산공학과, 2 한양여자대학교컴퓨터정보과, 3 충청대학교전자컴퓨터학부 Edge Detection System for Noisy Video Sequences Using Partial Reconfiguration Il-Jung Yoon 1, Hee-Won Joung 1, Seung-Jong Kim 2, Byong-Seok Min 3, Joo-Heung Lee 1* 1 Department of Electronics and Computer Engineering, Hongik University 2 Department of Computer Science & Information System, Hanyang Women's University 3 Department of Digital Electronic Communications, Chung Cheong University 요약본논문에서는 Zynq SoC 플랫폼을사용하여노이즈영상의경계선검출및노이즈감소를위한부분재구성시스템을설계한다. 실시간 1080p 영상시퀀스의처리를위한높은연산량을제공하기위해재구성이가능한 Programmable Logic 영역을사용하고하드웨어필터를구현한다. 또한하드웨어필터들은부분재구성가능한영역을활용한자동재구성기능을통해제한된환경의임베디드시스템에서더욱더효과적으로하드웨어자원활용을가능하게한다. 주어진한계점을넘는잡음을포함한입력영상의경우적응적노이즈제거를위한필터링연산을하드웨어에자동재구성하여수행함으로써제안된시스템은향상된경계선검출결과를보여주고있다. 제안하는시스템을사용하여영상시퀀스의잡음밀도에따라영상처리필터의 bitstream 이스스로재구성되었을때경계선검출의정확도에대한결과가향상된것을 (14~20 배 PFOM) 구현결과에서보여준다. 또한, ZyCAP 을사용하여구현한경우 2.1배빠르게부분재구성함을확인하였다. Abstract In this paper, the Zynq system-on-chip (SoC) platform is used to design an adaptive noise reduction and edge-detection system using partial reconfiguration. Filters are implemented in a partially reconfigurable (PR) region to provide high computational complexity in real-time, 1080p video processing. In addition, partial reconfiguration enables better utilization of hardware resources in the embedded system from autonomous replacement of filters in the same PR region. The proposed edge-detection system performs adaptive noise reduction if the noise density level in the incoming video sequences exceeds a given threshold value. Results of implementation show that the proposed system improves the accuracy of edge-detection results (14~20 times in Pratt's Figure of Merit) through self-reconfiguration of filter bitstreams triggered by noise density level in the video sequences. In addition, the ZyCAP controller implemented in this paper enables about 2.1 times faster reconfiguration when compared to a PCAP controller. Keywords : Edge Detection, Partial Reconfiguration, Pratt s FOM, Salt-and-pepper noise, Zynq SoC 이논문은 2016학년도홍익대학교학술연구진흥비에의하여지원되었음. * Corresponding Author : Joo-Heung Lee(Hongik Univ.) Tel: +82-44-860-2544 email: joolee@hongik.ac.kr Received October 5, 2016 Accepted January 6, 2017 1. 서론 영상의경계선검출은처리해야할정보의양을줄여주면서중요한구조적정보를유지시켜주기때문에물체검출, 얼굴인식, 패턴인식등여러분야에서적용되고있으며, 인식및검출에관련한대부분의영상전처리 Revised November 11, 2016 Published January 31, 2017 과정으로활용되고있다. 그러나영상이 salt-pepper 잡음에훼손되었을경우경계선검출의성능이급격하게저하된다. 이러한문제점을방지하기위하여미디언필터 (median filter) 와같은잡음제거필터들이경계선검출전전처리과정으로활용된다. 최근의영상처리시스템의기반이고속, 고성능의컴퓨터에서휴대폰이나 21

한국산학기술학회논문지제 18 권제 1 호, 2017 Fig. 1. Zynq SoC Architecture SoC (System on Chip) 를탑재한소형임베디드환경으로이동함에따라많은제약사항을고려한설계가이루어지고있다. 특히많은데이터를실시간처리해야하는영상정보의경우, CPU를활용한소프트웨어처리는매우많은클럭을소모하기때문에, 이의효과적인연산을위하여 FPGA (Field- Programmable Gate Array) 와같은하드웨어를이용하여처리함으로서각응용에최적화된병렬처리구조와파이프라이닝을통해저속의동작주파수에서도영상정보의실시간처리가가능하도록시스템레벨에서의설계가이루어지고있다 [1]. 이전에 FPGA와고성능의 ARM Dual-core Cortex-A9 프로세서를탑재한 Zynq SoC 플랫폼을이용하여영상의고주파에지성분을추출하기위한경계선검출필터를구현하였고 [2], 이를바탕으로적응적신호처리를위한복수의영상처리필터들이 floorplanning을통해지정된하드웨어영역을함께사용하도록설계함으로써, 공통된하드웨어자원을활용하여여러개의영상처리알고리즘들을필요에따라실시간선택하여사용할수있는 PR (Partial Reconfiguration) 시스템을구현하였다. 본논문에서는 Zynq SoC 플랫폼을이용하여영상의잡음을제거한후경계선성분을추출하는필터를구현한다. 또한, 영상에존재하는잡음의정도에따라노이즈 제거를위한필터를자동재구성하여연산하는시스템을구현한다. 이를통하여임베디드환경에서제한적인하드웨어자원을더욱효과적으로활용할수있으며, 지금까지의연구방향은사용자의선택에따른수동적재구성을전제로이루어져왔지만본논문에서제안한방법은필터를입력신호의특성을고려하여스스로재구성함으로써잡음에의해훼손된영상이입력될경우이에따른실시간대응이가능하여효과적인경계선검출을수행할수있다. 2장에서는 Zynq SoC Platform에대한설명과필터의자동재구성을위해제안된알고리즘을기술한다. 3장에서는실험결과를기술하고, 4장에서결론을서술한다. 2. 본론 2.1 Zynq SoC 2.1.1 Zynq SoC Platform 성능이낮은프로세서를지원하는기존의 FPGA 와는다르게 reconfigurable SoC platform을대표하는 Zynq-7000 AP SoC는 ARM 프로세서와 Xilinx 22

부분재구성을이용한노이즈영상의경계선검출시스템 7-Series 의 FPGA가결합된 hybrid FPGA platform 이다 [3]. Fig. 1에서보여주고있는 Zynq 내부구조는 PS 와 PL로구성되어있다. PS는 UART, USB, CAN, SPI, I2C 와같은다양한 built-in peripherals 과 ARM dual-core Cortex-A9 MP core, caches, DMA Controller 로구성되어있고 PL은다음과같은자원을가지고있다 : Configurable Logic Blocks (CLB), Digital Signal Processing (DSP) Blocks, Analog-to-Digital converters, serial transceivers. Advanced Microcontroller Bus Architecture (AMBA) 는 PL과 PS 그리고 IP (Intellectual Property) 의원활한연결을위하여 SoC 설계에사용되는 bus protocol이다 [4]. AMBA의대표적인 bus interface는다음과같다 : Advanced Peripheral Bus (APB), Advanced High Performance Bus (AHB) and Advanced extensible Interface (AXI). 특히 AMBA 3.0 Spec 에속해있는 AXI는 write response channel 이추가되어있고, read/write가동시에가능하여 SoC의고속동작을지원한다. 다양한종류의 AXI port가 PS와 PL의통신에관여하고종류는다음과같다 : 32bit General-Purpose (GP) master/slave interface, 32bit/64bit High-Performance interface, 64bit Application Processor Unit interface. AMBA 기반의마이크로컨트롤러는일반적으로 AXI나 AHB를시스템버스로사용하여 ARM CPU나 DMA 등을연결하여사용한다. 또한저속이면서저전력주변장치와의통신을위하여 APB를사용하며, AXI나 AHB에브리지 (Bridge) 를사용하여연결한다. 의 interface를지원한다 : PL 스스로재구성하는방식의 Internal Configuration Access Port (ICAP), PS 영역에서재구성하는 Processor Configuration Access Port (PCAP)[10]. ICAP과 PCAP은 32-bits의 data width를가지고이론적으로최대 400MB/s의 reconfiguration throughput을지원한다. 본논문에서는 PCAP을사용하여 full bitstream과 partial bitstream 파일을 PL로전송하며그과정을 Fig. 2에서보여주고있다. 외부메모리저장소인 SD 카드에서받은 First Stage Boot Loader (FSBL) 는 PS를 boot 시키고 full bitstream을읽어서 PL 의 Static Logic에다운로드한다. 그리고 SD 카드에바이너리파일형식으로저장되어있는 partial bitstream은 PS가접근가능한 DDR Memory로옮겨지고 PR이진행되면필요한기능에해당하는 partial bitstream이 PL 의재구성가능한영역으로다운로드된다. 다운로드되는동안하드웨어의 Static Logic은동작을멈추지않는다 [11]. 2.1.2 Partial Reconfiguration (PR) Xilinx FPGA에서지원되는 PR은재구성이가능한하드웨어자원에서특정부분을 Partially Reconfigurable Region (PRR) 으로재정의하여미리설계된하드웨어비트스트림을다운로드하여사용할수있도록지원한다. 다양한기능의비트스트림들을정의된 PRR에실시간으로재사용하여하드웨어자원을효과적으로활용할수있으며이를통한전력및비용감소를얻을수있다 [5-9]. 기존의 full configuration의주된문제점인 configuration overhead는 full bitstream 보다용량이작은 partial bitstream을 PRR에다운로드함으로써재구성에필요한시간을단축시킬수있다. 하드웨어 Bitstream 을 PL 영역으로전달하기위해 Zynq device는두타입 Fig. 2. PR interface using PCAP 2.2 제안알고리즘 1080p 해상도의비디오영상에서물체의경계선을실시간으로추출하기위해 PL 영역에서 Sobel filter를구현하였다. Fig. 3은각각 2차원형태의수직, 수평 Sobel 연산자를보여주며, 입력된영상의모든픽셀에컨벌루션되어픽셀값을계산한다. 는 (x,y) 지점에서의픽셀값을의미한다 [12]. 23

한국산학기술학회논문지제 18 권제 1 호, 2017 (7) (a) (b) Fig. 3. Sobel Operator (a) Vertical Operator (b) Horizontal Operator (1) (2) 식 (1) 과 (2) 는 (x,y) 지점에서의수직연산자와수평연산자의컨벌루션을나타내며, 기울기의크기와방향은아래의식과같이나타낸다. (3) (4) 경계선검출은위에서정의한 Sobel 연산을통하여검출되지만만약영상을촬영하는센서에결함이발생하거나영상을전송하는과정에서 bit error가발생하여 Salt-and-Pepper와같은 noise가영상에손상을입히게되면경계선검출필터의성능이크게감소하게된다. 본논문에서는 [13] 에서제안된 noise 검출알고리즘을구현하였으며, noise 검출알고리즘은다음과같다. 는 지점의픽셀값이며, 3x3 window에서중앙에위치하게된다. 과 는각각 3x3 window에서의최소값과최대값이며, threshold 값의최소값인 과최대값인 는다음과같이정의된다. (5) (6) 식 (7) 은 가 noise에의해손상된픽셀인지아닌지를판별하는기준으로사용된다. 검출된 noise 픽셀의총수를영상의전체픽셀수로나눈값이주어진영상프레임의 noise 밀도가된다. 영상이 Salt-and-pepper noise에의해손상되면경계선검출성능이많이감소하게되며, 경계선검출성능의감소를막기위해서 noise를제거하는 Median filter를구현하였다. Median filter는식 (8) 의정의와같다. (8) window W안의픽셀들의 median 값은출력값으로선택된다 [14]. Salt-and-pepper noise에의해손상된영상에서효과적인경계선검출을실행하기위해서본논문에서는 Median filter를전처리과정으로사용하여 noise를감소시킨후 Sobel filter를실행 ( 이후에는 Median+Sobel filter로표기 ) 하는 self-reconfiguration 방법을제안하여경계선검출의효율성을높이고자한다. 경계선검출의성능을평가하기위해제안된 Pratt s Figure of Merit (FOM) 을사용하여경계선검출에방해가되는 noise 밀도의기준점을결정하는데사용하였다. Noise에의해경계선검출의정확도가감소하게되면, 필터영역이재구성되어 noise를감소시킨후에경계선검출필터가다시실행되게된다. Pratt s FOM은다음과같이정의된다. 식 (9) 에서 이며, 는경계선이라고정의되는픽셀의총수이며, 는실제로검출된경계선픽셀의총수이다. 는 1/9로정의된값이며, 는검출된경계선과정의된경계선사이의거리값이다 [15]. (9) 24

부분재구성을이용한노이즈영상의경계선검출시스템 한 Partial bit file 을생성한다. PCAP 인터페이스를통한 PR을수행하기위해 partial bit file 또한 SD card에저장한다. Fig. 4. Video pipeline and noise detection task Fig. 4는 video pipeline 과 noise detection task를보여준다. HDMI-IN으로 1080p 해상도의영상이들어오면 DDR memory에저장된다. Noise density level detection 블록의결과에따라 Median+Sobel filter가부분재구성되며, 부분재구성과정은 PS에의해실행된다. 만약 noise density가한계점보다높게측정되면 Median+Sobel bitstream이 Partially Reconfigurable Region (PRR) 에다운로드되어기존의 Sobel bitstream 을교체하게된다. 필터링을거친영상은 display controller를통해 HDMI-OUT으로출력된다. Fig. 5. Experimental environment 3. 실험결과실험에사용되는장비는 XC7Z020 CLG484-1 AP SoC를장착한 ZC702 Evaluation board와 ADV7611/ ADV7511 기반의 HDMI Input/Output을지원하는 FMC Module, 그리고 1920X1080 해상도를지원하는 monitor가있다. UART Terminal Emulator를사용하여 Board를제어한다 [16]. Fig. 5는본논문에서제안하는재구성가능한경계선검출시스템의실험환경이다. 실험에사용하는보드를부팅하기위해서다음과같은파일들을 SD 카드에포함한다. Software Development Kit (SDK) tool을사용하여생성된 FSBL, Vivado에서생성한 full bit file 그리고 U-boot가결합된 BOOT 바이너리파일을생성하고리눅스운영체제를보드에지원해주는압축된커널이미지인 uimage 또한생성한다 [17]. 리눅스파일시스템을사용하기위한 uramdisk와 PL영역을재구성하기위 실험에사용하는 Sobel 필터와 Median+Sobel 필터는 High-Level Synthesis (HLS) tool을사용하여생성된다 [18][19]. HLS는 C언어또는 C++ 언어를 Register Transfer Level (RTL) 로구성된 Verilog 또는 VHDL 언어로변경하고 IP core를생성한다. 또한 tool의 GUI 인터페이스를통하여 pipeline 기능을제공한다. HLS를사용하여생성된필터들은필터 processing, 경계성검출 processing, 그리고비디오영상의입출력제어를위한버스인터페이스세종류의기능으로구성되어있다. IP core 합성결과, pipeline이적용된경계선검출기능의 latency는 9 clock cycle이소모되었고모든기능을사용하기위한 processing time은 2,059 clock cycle이다. Vivado Integrated Design Environment (IDE) 는 Xilinx Integrated Synthesis Environment (ISE) 와 Xilinx Platform Studio (XPS) 을지원하는개발 tool이며 HDL 디자인을분석하거나합성하는기능을지원한다. 25

한국산학기술학회논문지제 18 권제 1 호, 2017 Fig. 6은 bitstream 생성의전체적인과정이다. HLS에의해생성된필터 IP core와전체시스템의 HDL 디자인이합성된다. 이과정에서재구성가능한영역인 PRR의하드웨어자원이 90% 이하로사용되도록설정한다. Table 1. Comparison of PRR and PRMs resources Resources PRR PRMs Available SOBEL M+S LUT 7800 2871(36.8%) 3478(44.6%) SLICE 1400 1054(75.3%) 1220(87.1%) RAMB18 40 4(7.5%) 6(15.0%) DSPs 40 0(0%) 0(0%) Table 2. Bitstream configuration time Full Bitstream Partial Bitstream Bitstream Size 4,045,564 Byte 460,544 Byte PCAP Configuration Time 83ms 10ms ZyCAP Configuration Time - 4.7ms Fig. 7과같이 Median+Sobel의 PRM은기존의 Sobel 필터에서 median 필터의기능이추가되어 Sobel의 PRM 보다많은하드웨어자원을사용하고있음을 Table 1에서보여주고있다. 시스템의 Implementation과 bitstream의생성을마치게되면결과적으로 full bitstream 하나와 partial bitstream 두개가생성된다. PL 영역에처음으로다운로드되는 full bitstream은 static logic과 Sobel filter를포함하고있다. 비디오영상에서일정수치이상의 salt-pepper 노이즈가발생할경우 Median+Sobel filter 의기능을가진 partial bitstream 파일이 PCAP 인터페이스를통하여 PRR에다운로드된다. 만약일정수치보다낮은 salt-pepper 노이즈밀도로줄어들경우 Sobel filter의기능을수행하는 partial bitstream으로하드웨어가재구성된다. PR의사용으로인해서 bitstream의메모리용량과 PCAP configuration에소모되는시간또한감소되었음을 Table 2에서보여주고있다. 실시간영상처리에서중요한부분인 configuration time은 full bitstream의 configuration에사용되는시간의 12% 만을사용하여 Fig. 6. The procedure of bitstream generation Fig. 7. Static logic and PR modules 26

부분 재구성을 이용한 노이즈 영상의 경계선 검출 시스템 (a) (b) (c) (d) (e) (f) (g) (h) Fig. 8. Comparison of edge detection results for the noisy video sequences (a) Noisy video #1 (Salt-and-Pepper noise density : 20%) (b) Noisy video #2 (Salt-and-Pepper noise density : 20%) (c) Output of Sobel filter - original video #1 (d) Output of Sobel filter - original video #2 (e) Output of Sobel filter (noisy video #1) (f) Output of Sobel filter (noisy video #2) (g) Output of Median+Sobel filter (noisy video #1) (h) Output of Median+Sobel filter (noisy video #2) 27

한국산학기술학회논문지제 18 권제 1 호, 2017 (a) (b) (c) (d) Fig. 9. PFOMs for Sobel and Median+Sobel filters (a) Sobel filter with Video #1 (b) Sobel filter with Video #2 (c) Median+Sobel filter with Video #1 (d) Median+Sobel filter with Video #2 partial bitstream의 configuraiton이수행되었음을확인하였다. 기존 Xilinx에서제공하는 PR방식들보다좀더빠르게부분재구성을수행하는 ZyCAP은 AMBA Bus 의 HP Port를효과적으로사용하고기존재구성방식에서소프트웨어에의한 overhead를최소화하여 PR을수행하는방법이며, 오픈소스로제공된다 [20]. 현재플랫폼에적용하여재구성시간을측정한결과, 4.7ms 로서 PCAP보다 2.1배빠르게재구성함을확인하였다. 실험에사용한영상은 1920x1080의해상도를가지는두종류의 Full HD 비디오영상이며 Fig. 8의 Video #1 은 Elephants dream 이고 Video #2는 Soccer Game Goal 이다. Fig. 8-(a) 와 Fig. 8-(b) 는기존 Video #1 과 #2 가 20% 의 salt-and-pepper 노이즈밀도에의해훼손된영상이다. 훼손되지않은기존영상에대한 Sobel filter의경계선검출결과영상이 Fig. 8-(c) 와 Fig. 8-(d) 이다. 경계선검출의결과가매우깨끗함을알수있다. 반면에 Fig. 8-(a) 와 Fig. 8-(b) 의 Sobel filter의결과영상인 Fig. 8-(e) 와 Fig. 8-(f) 는경계선검출의성능이매우낮음을 PFOM을통해확인할수있다. Fig. 8-(g) 와 Fig. 8-(h) 는 Median+Sobel filter를거친결과영상이고 Sobel filter 만을사용한결과영상보다노이즈제거에탁월하고경계선검출성능도효과적인것을확인할수있다. Sobel filter 와 Median+Sobel filter의경계선검출능력의객관적인비교의지표로써 PFOM을사용하여판단한그래프가 Fig. 9이다. 5% 와 10% 의밀도를가지는 salt-and-pepper 노이즈에의해훼손된비디오영상인 Video #1과 #2를측정대상으로하고 frame 진행에따른 Sobel filter 와 Median+Sobel filter의결과영상에따른 PFOM 수치를측정하였다 [21][22]. Median+Sobel filter의 PFOM 수치가 Sobel filter 보다매우높게측정되어잡음에의해훼손된영상의경우보다효과적으로 28

부분재구성을이용한노이즈영상의경계선검출시스템 경계선검출을수행함을확인할수있다. Fig. 10의 CPU 사용량을보면 Sobel 필터의 SW 구현시 CPU를 100% 사용하고있으나 Full HD급의영상프레임이실제끊기는현상이발생하며, HW 구현시 CPU 로드를최소화하며실시간연산처리되는결과를확인할수있다. Fig. 10. CPU Usage 4. 결론본논문에서우리는적응적부분재구성시스템을이용하여경계선검출필터의성능을증가시키는방법을제안하였다. 필터영역을 FPGA에서하드웨어로구현하여 1080p 해상도영상의경계선검출에필요한연산능력을향상시켰다. 영상에 noise가검출되면이를처리하기위한다른하드웨어 bitstream이자동재구성되어손상된영상에서도경계선이효과적으로검출됨을확인할수있었다. 실험결과를보면부분적재구성이전체재구성에걸리는시간보다약 12% 감소함을확인할수있으며, Median+Sobel filter를사용한경우 PFOM 수치가 Sobel filter만사용한경우보다 14 20배정도향상됨을확인하였다. 이후연구진행방향은, 하드웨어의적응적재구성을더욱효과적으로지원할수있는시스템소프트웨어의설계와영상의높은잡음밀도에더욱강인한필터를설계구현하고자한다. References Fig. 11. Comparison of power consumption Xilinx Zynq SoC 하드웨어플랫폼의전력소모량을 Vivado Design Suite에서제공하는 Power Report를사용하여측정하였다 [23]. Fig. 11은각모드별소모되는전력량을측정한그래프이다. 하드웨어가재구성되기전의 non-pr 모드일때전력소모량은재구성이된후의전력소모량보다적다. 그리고 Sobel 모듈은 Median+Sobel 모듈보다더적은자원을사용하기때문에상대적으로적은전력을소모함을알수있다. [1] P. Greisen, M. Runo, P. Guillet, S. Heinzle, A. Smolic, H. Kaeslin and M. Gross, Evaluation and FPGE Implementation of Sparse Linear Solvers for Video Processing Applications, Circuits and Systems for Video Technology, IEEE, vol. 23, Issue: 8, pp. 1402-1407, Feb. 2013. DOI: https://doi.org/10.1109/tcsvt.2013.2244797 [2] UG1165 (v2015.3), "Zynq-7000 All Programmable SoC: Embedded Design Tutorial", Xilinx, Nov. 2015. [3] DS190(v1.8), Zynq-7000 All Programmable SoC Overview, Xilinx, May 2015. [4] UG585(v1.10), Zynq-7000 All Programmable SoC Technical Reference Manual, Xilinx, Feb. 2015. [5] UG909(v2014.4), Vivado Design Suite User Guide Partial Reconfiguration, Xilinx, Nov. 2014. [6] E, Stott, P. Sedcole, P. Y. K. Cheung, Fault tolerant methods for reliability in FPGAs, International Conference on Field Programmable Logic and Applications, pp. 415-420, Sept. 2008. DOI: https://doi.org/10.1109/fpl.2008.4629973 [7] Naveed Imran, Ronald F. DeMara, Jooheung Lee, Jian Huang, Self-Adapting Resource Escalation for Resilient Signal Processing Architectures, Journal of Signal Processing Systems, vol. 77, no. 3, pp. 257-280, Dec. 2014. DOI: https://doi.org/10.1007/s11265-013-0811-x [8] C. Insaurralde, Reconfigurable computer architectures for dynamically adaptable avionics systems, IEEE Aerospace and Electronic Systems Magazine, vol. 30, pp. 46-53, Sept. 2015. 29

한국산학기술학회논문지제 18 권제 1 호, 2017 DOI: https://doi.org/10.1109/maes.2015.140077 [9] UG909(v2014.4), Vivado Design Suite User Guide Partial Reconfiguration, Xilinx, Nov. 2014. [10] Kizheppatt Vipin and Suhaib A. Fahmy, ZyCAP: Efficient Partial Reconfiguration Management on the Xilinx Zynq, Embedded Systems Letters, IEEE, vol. 6, Issue: 3, pp. 41-44, Sep. 2014. DOI: https://doi.org/10.1109/les.2014.2314390 [11] XAPP1159(v1.0), Christian Kohn, Partial Reconfiguration of a Hardware Accelerator on Zynq- 7000 All Programmable SoC Devices, Xilinx, Jan. 2013. [12] Soonjong Jin, Wonki Kim and Jechang Jeong, Fine Directional De-interlacing Algorithm Using Modified Sobel operation, Consumer Electronics, IEEE, vol.54, Issue: 2, pp. 587-862, May. 2008. DOI: http://dx.doi.org/10.1109/tce.2008.4560171 [13] Pei-Yin Chen, Chih-Yuan Lien, and Yi-Ming Lin, A Real-time Image Denoising Chip, Circuits and Systems, ISCAS IEEE International Symposium on, pp. 3390-3393, May. 2008. DOI: http://dx.doi.org/10.1109/iscas.2008.4542186 [14] Chenglong Chen, Jiangqun Ni and Jiwu Huang, Blind Detection of Median Filtering in Digital Images: A Difference Domain based Approach, Image Processing, IEEE, vol. 22, Issue: 12, pp. 4699-4710, Aug. 2013. DOI: https://doi.org/10.1109/tip.2013.2277814 [15] William K. Pratt, Digital Image Processing, PIKS Inside, Third Edition, pp. 490-494, Aug. 2000. [16] XAPP1231 (v1.1), Christian Kohn, Partial Reconfiguration of a Hardware Accelerator with Vivado Design Suite for Zynq-7000 Ap SoC Processor, Xilinx, Mar. 2015. [17] UG821 (v12.0), "Zynq7000 All Programmable SoC Software Developers Guide, Xilinx, Sep. 2015. [18] XAPP890 (v1.0), Fernando Martinez Vallina, Christian Kohn, and Pallav Joshi, Zynq All Programmable SoC Sobel Filter Implementation Using the Vivado HLS Tool, Xilinx, Sep. 2012. [19] UG902 (v2015.4), Vivado Design Suite User Guide : High-Level Synthesis, Xilinx, Nov. 2015. [20] Kizheppatt Vipin and Suhaib A. Fahmy, "ZyCAP: Efficient Partial Reconfiguration Management on the Xilinx Zynq", IEEE Embedded Systems Letters, vol. 6, Issue : 3, Mar. 2014. DOI: http://dx.doi.org/10.1109/les.2014.2314390 [21] Ikram E. Abdou and William K. Pratt, Quantitative design and evaluation of enhancement/thresholding edge detectors, Proceedings of the IEEE, vol. 67, no. 5, pp. 753-763, May 1979. DOI: https://doi.org/10.1109/proc.1979.11325 [22] J.-A. Jiang, C.-L. Chuang, Y.-L. Lu and C.-S. Fahn, Mathematical-morphology-based edge detectors for detection of thin edges in low-contrast regions, Image Processing, IET, vol. 1, no.3 pp. 269-277, Sep. 2007. DOI: https://doi.org/10.1049/iet-ipr:20060273 [23] UG907(v2015.4), "Vivado Design Suite User Guide: Power Analysis and Optimization", Xilinx, Nov. 2015. 윤일중 (Il-Jung Yoon) [ 준회원 ] < 관심분야 > 영상처리, 임베디드시스템 2014 년 2 월 : 홍익대학교전자전기공학과졸업 2014 년 3 월 ~ 현재 : 홍익대학교일반대학원전자전산공학과석사과정 정희원 (Hee-Won Joung) [ 준회원 ] < 관심분야 > 임베디드시스템, IoT 2014 년 2 월 : 홍익대학교전자전기공학과졸업 2014 년 3 월 ~ 현재 : 홍익대학교일반대학원전자전산공학과석사과정 김승종 (Seung-Jong Kim) [ 종신회원 ] 1994 년 2 월 : 한양대학교대학원전자통신공학과 ( 공학석사 ) 2000 년 8 월 : 한양대학교대학원전자통신공학과 ( 공학박사 ) 2000 년 3 월 ~ 2000 년 8 월 : ( 주 )VI 선임연구원 2000 년 9 월 ~ 현재 : 한양여자대학교컴퓨터정보과교수 < 관심분야 > 멀티미디어영상처리, 디지털통신및신호처리 30

부분재구성을이용한노이즈영상의경계선검출시스템 민병석 (Byong-Seok Min) [ 정회원 ] 1990 년 2 월 : 한양대학교전자통신공학과졸업 ( 공학사 ) 1992 년 6 월 : 한양대학교대학원전자통신공학과졸업 ( 공학석사 ) 2002 년 6 월 : 한양대학교대학원전자통신공학과졸업 ( 공학박사 ) 1995 년 3 월 ~ 현재 : 충청대학교전자통신전공교수 < 관심분야 > 영상처리, 임베디드시스템 이주흥 (Joo-Heung Lee) [ 정회원 ] 1998년 2월 : 한양대학교대학원전자통신공학과 ( 공학석사 ) 2006년 8월 : 펜실베니아주립대학교전자공학과 ( 공학박사 ) 2006년 9월 ~ 2011년 8월 : 센트럴플로리다주립대학교전자전산공학과조교수 2011년 9월 ~ 현재 : 홍익대학교전자전기공학과부교수 < 관심분야 > 영상처리, 임베디드시스템, SoC 설계 (System on a Chip) 31