멀티코어프로세서기반 40G 급네트워크패킷수집, 저장, 분석적용사례 발표자 : 에프아이시스김종오 E-mail: jokim@fisys.co.kr 2016. 06. 21.
1. 멀티코어프로세서소개 - ARM 64 비트 MP - IBM Power 계열 - Intel Xeon - 멀티코어프로세서비교 2. 40G 급멀티코어네트워크 Accelerator - Tile-36 멀티코어 Accelerator - Tile-72 멀티코어 Accelerator 3. 40G Accelerator 적용네트워크수집, 저장, 분석사례 - 네트워크패킷무손실수집및부하분산가속 - 실시간모니터링및트래픽 Analysis - XaPCA(Advanced Packet Capture Appliance)
1. 멀티코어프로세서소개 기술트랜드 OpenSource Project 가기술주도 Hybrid Cloud 환경구축요구증가 가상화를통한통합 전용 Multicore(Manycore) Processor 의활용증가 차세대네트워크보안기술의성능극대화구성 3
1. 멀티코어프로세서소개 ARM 계열 Multi-core Processor ARM 기반 Processor 의진화 - ARM32 에서 ARM64 로진화하면서 64 비트구조의 ARM 출현 : ARM Cortex A57/53 MPcore for ARMv8 Architecture 인텔이독점하고있던서버시장 (80% 이상점유 ) 에대한도전 Cavium: ThunderX(48-cores), Applied Micro: X-Gene3(32-cores), Mellanox: Mx-100 THUNDER X CCPI Dual Socket THUNDER X 4
1. 멀티코어프로세서소개 IBM Power Processor IBM Power8 Processor - CPU Cores: 12-cores, 96-thread - PCI-express Gen3 32Lanes by 3x controllers - TDP: 190W/247W(Turbo) IBM Power9(2017) 5
1. 멀티코어프로세서의소개 Intel Xeon 계열 일반서버뿐만아니라클라우드시장이확산되면서네트워크서버, 스토리지서버, 컴퓨팅서버에가장널리사용되고있음 2016 년 1 분기에 E5 v4 시리즈가출시되면서최대 22-core, 44-thread 지원 성능 (E5-2699 v4) - 코어수 : 22 개, 44-Thread - 최대터보주파수 : 3.6GHz - TDP 가 145W 최대지원메모리 : 1536GB, DDR4 2400 PCI I/O - PCI express Gen3 x4, x8, x16 - 최대 Express 레인수 : 40-lanes Dual Socket 인텔하이퍼스레딩 인텔가상화지원 직접 I/O 를위한인텔가상화 6
1. 멀티코어프로세서의소개 서버급멀티코어프로세서의비교 Cavium ThenderX CP Intel Xeon E5-2699 v4 AppliedMicro X-Gene 3 Power 8 CPU Cores 48 cores 22 cores 32 cores 12 cores CPU Thread 48 44(Core 당 2T) 32 96(Core 당 8T) CPU Freq. 2.5GHz 3.6GHz 3.0GHz 3.6GHz Cache 16MB 55MB 32MB 96MB DRAM B/W 76.8GB( 크기 ) 76.8GB/s 1,024GB( 크기 ) 230GB/s PCI Express(G3) 40 Lanes 42 Lanes 32 Lanes Ethernet I/F 2x100GbE + 10x10GbE None None None SPECInt 350 550 670 Power(TDP) 95W 145W 110-125W 247W List Price $600~$800 $4115 - - Production 4Q15 1Q16 2H17 2014 7
1. 멀티코어프로세서의소개 Real-time Analysis 를위한서버급시스템구조 Intel Xeon Series 가장착된 Dual-Socket 서버 System Intel Xeon IBM Power ARM MP CPU CPU (E5) (E5) Gen2/Gen3-8lane PCIe Bus 40Gbps HDD/SSD RAM Storage 1. RAID 방식의 storage 2. Flow 기반의데이타저장 PCIexpress 기반의 20/40Gbps 데이터전달기술보유 1. 64byte 기준 2. Core 별 /Thread 별분산전달 3. Hash(Session)/RR 4. Under 5% CPU-load Accelerator 10G 10G 10G Accelerator 10G/1G-port n 개를장착한 NIC 형태의 Accelerator 1. Full Packet Pumping 2. Packet Handling/Monitoring 3. L2/L3 Packet Processing(QoS, Virtual Switching) 4. IDS/IPS & Crypto Accelerator 5. 고속연산 (GPU) 8
2. 40G 급멀티코어네트워크 Accelerator Accelerator 용멀티코어프로세서 : Mellanox-Tile Gx-series [ 특징 ] - Mellanox 고성능멀티코어 ( 36 & 72 Core) 프로세서탑재 - 다양한응용프로그래밍이가능한매니코어프로세서 - C/C++ 및 JAVA 지원 - Linux OS 36Core: Mellanox - 32KB L1, 256KB L2, 9MB L3 - Memory: 72-bit DDR3 (512GB) - PCIe : G2x12lanes (60G SerDes) - 20 Gbps peak performance per 4-lane port - Four 10 Gbps XAUI ports, including double-xaui support - Up to sixteen 10/100/1000 SGMII ports (multiplexed with XAUI ports) - USB2.0, I2C, SPI, UART - Frequency : 1.0~1.2GHz 72Core: Mellanox - 32KB L1, 256KB L2, 18MB L3 - Memory: 72-bit DDR3 (1TB) - PCIe : G2-96 Gbps of PCIe throughput Six integrated Gen2 PCIe controllers (5G SerDes) with 24 lanes - Eight 10 Gbps XAUI ports, including double-xaui support - Up to thirty-two 10/100/1000 SGMII ports (multiplexed with XAUI ports) - Egress QoS queuing and traffic shaping support - USB2.0, I2C, SPI, UART 9
2. 40G 급멀티코어네트워크 Accelerator PCIe NIC-type Accelerator Line-rate Packet Capture The MDS-4036 network interface adapter provides full packet capture of 20Gbps without packet loss for all frame sizes. 구분 It allows real-time packet by packet distribution to up to 28 CPU cores with extremely low CPU load. - To get 64byte 20Gbps packet transfer, host machine should support PCIe Gen2 x 8 for the MDS-4036 adapter The MDS-40(80)72 adapter provides 40Gbps packet capture and transfers to up to 48 CPU core with zero packet loss for all frame sizes. Applications Enables Customers to build any network appliances as they needed based on standard servers. - SDN Controller and OVS - IDS/IPS/UTM/Firewall - IPSEC/SSL - Flow based Functions - Network Packet Monitoring and filtering - QoS and SLA 제품명 MDS-4036GET MDS-4036GEBT MDS-4072GEBT MDS-8072GEBT Network Processor Tile-Gx36 Tile-Gx36 Tile-Gx72 Interface 1/10Gbps 4-port SFP/SFP+ x4 1/10Gbps 4-port SFP/SFP+ or Optical Bypass 1/10Gbps 4/8-port SFP/SFP+ or Optical Bypass Crypto I/F Crypto Enable Crypto Enable Crypto Enable Time Stamp Yes Yes Yes Data Pumping (PCIe) 64Byte, 20Gbps 28-core distribution CPU load < 5% Hash/Round-robin 64Byte, 20Gbps 28-core distribution CPU Load < 5% Hash/Round-robin 64Byte, 40Gbps 48-core distribution CPU load < 5% Hash/Round-robin TS resolution 5ns 5ns 5ns HW Time Synchronization - GPS GPS MDS : Multi-service Data processing, 40(40Gbps)36(36core)G(Gbps) E(CryptoInstalled)B(BypassModule)T(Timestamp) 10
네트워크패킷무손실수집및부하분산가속 수신네트워크패킷을 5-tuple 에따라분류한후 Session 기반으로 CPU-core 에전달 Packet-queue 방식으로 Thread 별 queue 를할당하여 CPU core 에직접전달 latency 최소화 Core 별응용을수행할수있도록 CPU 점유율을최소화 < 5% Hash 또는 Round-Robin 방식으로분류 Packet stream 4x10Gbps Tile Gx Multicore Accelerator-side 최대 48 CPU core Session 지원 - 40Gbps 무손실패킷 Capture & Transmit 지원 - Host CPU 부하율 < 5% 이하 - 64byte 기준 40Gbps packet transfer - Kernel bypass 10G 10G 10G 10G DDR Memory Hash/RR (Flow) PPT(12cores) Th1 Th2 Th3 Th12 Th1 Th2 Th3 Th4 PCIeT(48cores) Th48 PCIe Bus PCIe Driver Passthrough Channel 1 2 3 4 48 Intel Xeon Multicore Host-side Queue#1 Queue#48 CPU core C1 C2 C3 C4 C48 Max 48-core distrubution Core 별 thread 별 Session based Analysis IDS/IPS Firewall DDoS Session Monitoring Packet Analysis 11
네트워크패킷무손실수집및부하분산가속 Mobile SXR(Secure Accelerator) FW+IDS+IPS+VPN + Anti-SPAM + Anti-DDoS 12
실시간모니터링및 Real-time 트래픽 Analysis K-ICT NET 챌린지시즌캠프 2(NIA) 플로우 (Flow) 및세션 (Session) 정보는 Network Abstraction 을통한대표 Meta-Data Flow 및 Session 정보는방대한 Packet 데이터를간략하게추상화시켜보여줌으로써행위및패턴분석등에활용되며, 네트워크통신의가시성을제공하는핵심 Meta-data 임. 네트워크분석기술들은저장된 Packet 정보로부터 Flow 및 Session 정보를생성하는데많은시간을소요하며, 만일저장된 Packet 정보가클경우엄청난 Overhead 를발생 Flow : 동일한 5-tuple(Source IP, Source Port, Destination IP, Destination Port, Protocol) 정보를가진 Packet 들의집합으로 Active timeout, Inactive timeout 에의해생성 Session : 특정응용의통신시작과끝에사이에포함되는동일한 5-tuple(Source IP, Source Port, Destination IP, Destination Port, Protocol) 정보를가진 Packet 들의집합 13
실시간모니터링및트래픽 Analysis K-ICT NET 챌린지시즌캠프 2(NIA) 패킷 / 플로우 / 세션에대한정확한실시간정보모니터링 트래픽임계치설정 : 이상상황발생시에자동으로경보및분석을수행하고, 리포트생성 입력 & 저장모니터링 : First-N 설정에따른입력데이터와저장데이터를동시에실시간으로모니터링 일괄관제 : 주화면상에타임라인모니터링과이벤트발생상황, 시스템자원현황, 그리고트래픽분석결과를한번에표시 이벤트설정및자동감시 : 트래픽임계치설정을통하여이상트래픽발생을실시간감시하며, 이벤트발생시자동으로트래픽분석과보안검사를자동으로수행하여리포트생성 동시입력과저장감시 : 입력데이터와저장데이터의현상황을동시에표시 일괄데이터감시 : 입력데이터 ( 패킷 ) 과생성데이터 ( 플로우, 세션 ) 을동시에감시함으로써이상현황에대한빠른파악이가능 14
실시간모니터링및트래픽 Analysis - K-ICT NET 챌린지시즌캠프 2(NIA) 사용자및응용에대한 DPI 분석을통해네트워크트래픽에대한분석정보를제공 긴급검사 [ 이벤트검사 ] : 이상트래픽발생시에트래픽을자동으로분석하여리포트생성및저장 정기검사 [ 스마트검사 ] : 지정된주기마다저장된트래픽을분석하여리포트생성및저장 사용자검사 : 지정한시간간격에해당하는트래픽의정기분석결과를정리하여리포트생성및저장 트래픽분석설정 : 긴급및정기검사에필요한정보를설정할수있도록함으로써운용자의자율성증대 결과보고 : 이벤트리스트에분석실행에대한결과를등록하고, 세부정보들을데이터베이스및리포트로생성하여저장 Top N 정보 : 주화면에 Top N 정보를제공하여문제발생시에정보분석이용이 사용자중심분석 : 등록된사용자 IP 정보를중심으로트래픽사용량과개별프로토콜사용량정보를제공 응용중심분석 : DPI 엔진을사용하여응용들을검출하고이에대한트래픽양을계산하여정보로제공 15
실시간모니터링및 Real-time 트래픽 Analysis K-ICT NET 챌린지시즌캠프 2(NIA) KOREN 설치 / 연동 / 시험 / 검증 16
XaPCA(Advanced Packet Capture Appliance) Network Recorder : 네트워크의정보를실시간으로저장하는장비 Analysis : 네트워크정보의저장후분석을지원하기위한기반장비 Packet Capture Appliance 감시수집분석검증검출 네트워크문제해결및최적화 네트워크성능측정, 병목구간, 활동분석 네트워크포렌식 네트워크공격 / 위협감지및조직내부의네트워크감사, 부정방지 네트워크정보확인 각종프로토콜및행위추적 과거미탐지위험재분석 재귀적네트워크보안분석 네트워크의등장시부터존재 : 네트워크가존재하는한존재할수밖에없는장비 근래의네트워크보안의이슈화로인해필요성이점점부각 : 실시간검출및차단의한계성 40G Accelerator 를사용하여 엑사비스에서제품화 17
XaPCA - 필요성 10Giga 네트워크 (1 일 30TB 저장공간필요 ) 및 3 개월에서 1 년이상의장기간저장시이에따른저장공간최적화기술필요 저장된네트워크패킷을분석하기위해서는세션 / 플로우정보와같은분석을위한메타데이터가필요함. 플로우 / 세션실시간생성 / 저장기술필요 ( 메타데이터생성에저장기간의 1/3 시간이소요됨 ) 필요시저장된정보에대한즉시분석가능 회귀보안분석 : 신규룰업데이트시이를적용한과거위협검사. 보안정책수립시과거에대한보안전체룰검사를통한취약점검출로맞춤형보안정책수립 18
XaPCA(Advanced Packet Capture Appliance) 패킷저장의최소화 XaPCA 는고속 / 대용량의네트워크환경에서 Packet 정보의장기간저장을위한장비 Giga Network 의획일적인 Long-time Full Packet Capture 에서발생하는저장공간의부족을해소 적용환경에따라 N 개의패킷또는 N 크기의저장량을제어함으로써최적의저장환경제공 기존 Full-Packet 저장방식 가변길이세션초기 N Packet 저장방식 19
XaPCA(Advanced Packet Capture Appliance) - 저장방식 Packet 저장목적에최적화된다양한저장방식을제공 : 5-Category 획일화된 Full-Packet 저장방식에서탈피하여저장목적에맞도록네트워크데이터를추출하여저장저장공간및기간의효율성, 분석능력의극대화 20
XaPCA(Advanced Packet Capture Appliance) - 고속검색 패킷정보인덱싱의효율성 VS 저장공간효율성 : No Indexing Drill-down Search No Indexing : 패킷정보의인덱싱은활용성에비해저장공간효율성이너무떨어짐. Drill-down Search : 세션 플로우 패킷순의검색으로인덱싱없이목표패킷들을고속검색 Session 추상화된정보를중심으로하위정보를검색 추상화된정보의실시간생성및저장 Flow Flow Packet Packet Packet Packet Packet 플로우리스트정보추출 Session Files 소용량정보검색 Flow Files 패킷저장시간정보추출 패킷파일병렬검색 Packet Files 21
XaPCA(Advanced Packet Capture Appliance) 회귀보안분석 회귀보안분석은네트워크보안탐지영역을현재에서과거 + 현재로확대 신규탐지룰의적용은신규보안위협의생성시와현재까지의보안공백이있었다는것을의미 침입여부 / 침입대상 / 행위분석 / 피해예측등의후속조치가반드시필요 22
XaPCA(Advanced Packet Capture Appliance) - 트래픽 Analysis 사용자및응용에대한 DPI 분석을통해네트워크트래픽에대한분석정보를제공 긴급검사 [ 이벤트검사 ] : 이상트래픽발생시에트래픽을자동으로분석하여리포트생성및저장 정기검사 [ 스마트검사 ] : 지정된주기마다저장된트래픽을분석하여리포트생성및저장 사용자검사 : 지정한시간간격에해당하는트래픽의정기분석결과를정리하여리포트생성및저장 트래픽분석설정 : 긴급및정기검사에필요한정보를설정할수있도록함으로써운용자의자율성증대 결과보고 : 이벤트리스트에분석실행에대한결과를등록하고, 세부정보들을데이터베이스및리포트로생성하여저장 Top N 정보 : 주화면에 Top N 정보를제공하여문제발생시에정보분석이용이 사용자중심분석 : 등록된사용자 IP 정보를중심으로트래픽사용량과개별프로토콜사용량정보를제공 응용중심분석 : DPI 엔진을사용하여응용들을검출하고이에대한트래픽양을계산하여정보로제공 23
XaPCA(Advanced Packet Capture Appliance) - 사이버표적공격역추적시스템 단일타겟에대한다중소스데이터 ( 다중경로등 ) 역추적시스템 KT 기업서비스망에서사용자네트워크까지연결되는네트워크구간의 10G 백본구간에서세션 / 플로우정보를실시간으로생성하고저장 세션 / 플로우정보만생성하여저장하기때문에다중라우터구간이라고해도 2 년이상의장기간네트워크정보저장을보장 10G 백본링크에 TAP 을연결하여트래픽을복제 XaPCA 로전송 XaPCA 의패킷저장방법중 Type A( 세션 / 플로우 + No Packet) 를이용하여 2 년이상장기간저장 역추적명령수령시저장된세션 / 플로우정보를기반으로추적정보를생성하여전달 24
Contact Information ( 주 ) 에프아이시스대전광역시서구둔산대로 117 번길 44, 303 호 ( 만년동, 엑스포오피스텔 ) TEL +82-42-935-5409 FAX +82-42-936-5409 http://www.fisys.co.kr 25