비정상트래픽실시간탐지 / 분석시스템설계및구현 (Design of Implementation on real-time Anomaly Traffic Lookup & Analysis System) 황찬규, 성종규, 이민형, 유재형 KT 기술연구소 *Chan Kyou Hwang, Jong Kyu Seong, Min Hyung Lee, Jae Hyung Yoo KT Technology Laboratory {ckhwang, jksung, minhl, styoo}@kt.co.kr 요 약 최근몇년동안인터넷을통한각종침해사고와트래픽의급격하게증가하고있으며이로인한피해가지속적으로발생하고있다. 최근의네트워크의피해사고는보다다양화되고지능적이며복합적인형태로발생되고있다. 이러한네트워크의비정상적인상황을조기에탐지하기위한보다능동적이고진보된기술을요구된다. 본논문에서는통신사업자의인터넷백본망이비정상적인트래픽의유입이되더라도안정적으로서비스가가능하도록패킷기반의비정상트래픽의탐지와분석이가능토록하는시스템의설계와구현에관하여상세하게기술한다. Keywords: Anomaly Traffic Analysis, Flow Traffic, NetFlow, Packet Capturing, Traffic Management 1. 서론 통신망에는 WWW, FTP, mail, telnet 등의전통적인인터넷응용프로그램뿐만아니라실시간음성, 화상, 스트리밍, P2P, 네트워크게임등인터넷기반의응용트래픽들이복잡화, 다양화되고네트워크에혼재되어있어네트워크트래픽모니터링과안정성에대한중요성이무엇보다중요한상황이다. 최근몇년동안인터넷을통한각종침해사고와공격이점점증가하고있으며이로인한피해가지속적으로발생하고있다. 최근의공격들은보다다양화되고지능적이며복합적인형태로발생되고있으며, 이러한이상징후를조기탐지할수 있는보다능동적이고진보된기술이요구되고있다. 2001 년의 CodeRed 나 2003 년 Slammer 웜같은경우대다수의보안장비들을무력화시키고, 급속도로네트워크로퍼져나가서엄청난사회적피해뿐아니라통신망의안정성에도심각한타격을주었다. Slammer 웜의경우, 세계에미친여파는엄청났다. 10 분만에전세계에있는 75,000 개상의호스트를감염시켰으며, 스캐닝을위한엄청난양의 UDP 패킷은호스트감염뿐만아니라네트워크자체를마비시켜버렸다. [1,2] 이러한대규모의피해를막기위하여통신사업자들은방화벽, 침입탐지 / 방지시스템, 통합보안관리시스템등에많은투자가있었다. KT 는이러한보안적인 43
측면의접근뿐아니라네트워크의트래픽의모니터링을통해비정상적인네트워크트래픽상황을조기에탐지할있는시스템의구축및관련연구가진행되었다. [3,4] 2. 관련연구 트래픽의 모니터링을 통해 네트워크 내부의 트래픽 상태를 분석할 수 있는 연구는크게두가지영역으로볼수있다. 첫째는, 네트워크트래픽모니터링을위해서 네트워크를 지나다니는 모든 패킷들을 미러링해서 네트워크 상태를 알아내는 패시브 (Passive) 모니터링방법이다. 패시브 모니터링 프로젝트로는 다양한 용도로의 분석을 보여주는 Ntop[5], CAIDA 에서 제공하는 모니터링 툴 개발을 위한 소프트웨어인 CoralReef[7], 뉴질랜드의 Waikato 대학의 WAND[9] 프로젝트, NLANR 의 PMA[8], Sprint 의 IP-Mon[10], 우리나라의 Postech 의 WebTrafMon[11] 과 NG- MON[12] 이있다. 통신사업자 같은 대형 네트워크를 패시브 방법 만을 이용해서 실시간으로 트래픽을모니터링한다는것은경제적으로나 데이터 처리 규모로 볼 때 현실적으로 어렵기 때문에 일부 구간을 한정해서 구축한다. 네트워크를미러링하는방법과는다르게 장비의 Flow Exporting 기능을이용한트래픽 정보분석방법이있다. 네트워크장비가 플로우 (Flow) 정보를생성해야하는부담이 있어 고속 네트워크에서의 사용은 제한적이지만 네트워크 장비가 플로우 생성을해주므로트래픽모니터링시스템의 구조가간단해질수있다는장점이있다. 현재많이 쓰이는 Flow exporting 방법은 CISCO 의 NetFlow[13] 가산업체표준으로 자리잡고 있고 플로우를 그래픽으로 네트워크상태를분석하는툴인 FlowScan [6], InMon 에서 개발한 sflow[14] 는 Foundry networks Inc. 의네트워크장비에탑재되어있다. 그리고 IETF 의 IPFIX 워킹그룹 [2] 에서는 Flow Format 의표준을만들기위해노력하고있다. IPFIX 는 CISCO NetFlow v9 을기반으로 Flow Format 의표준을만들고있다. Flow Exporting 데이터를활용하여 DoS 트래픽이나비정상트래픽을탐지하는방법에대한연구도진행되고있다. [15,16] 본논문은패시브모니터링과 Flow Exporting 방법등을기반으로네트워크의비정상적인트래픽상황을조기에탐지하고분석하는시스템의상세요구기능을제안과설계및구현에관한내용이다. 3. 목표시스템주요요구기능 비정상트래픽실시간탐지 / 분석시스템의주요목표요구기능은첫째, 실시간적으로네트워크상황의변화를탐지할수있어야한다. 따라서패시브기반의실시간기가급패킷캡처링방법을기반으로해야한다. 따라서전용의패킷수집장치를부가하여패시브기반으로시스템을구축하는기본구조를한다. 본시스템을구현하기위해서는손실없는 IP 패킷데이터의실시간수집및플로우생성 / 전송 / 수집기능, 플로우통계데이터항목의생성 / 전송 / 관리, DB 구축, DB 를이용한통계웹리포팅, 이상트래픽탐지, 알람처리및사용자인터페이스기능등을제공해야한다. 3.1 무손실기가급링크트래픽수집 / 분석인터넷상의트래픽을대상으로각종통계분석자료뿐아니라, 특정응용프로그램에대해서패킷의손실없이 DPI(Deep Packet Inspection) 가가능한분석가능해야한다. 또한 ISP 의기가급링크구간의트래픽을탐지 / 분석이가능해야한다. [17,18] 44
3.2 유해트래픽탐지기능 일정규모이상의네트워크에서최근가장이슈가되고있는것중하나가비약적으로증가하는비정상 / 유해트래픽이다. 이는외부로부터행해지는직접적인해킹이나공격패킷뿐아니라환경설정오류나웜 / 바이러스, P2P 어플리케이션, DoS/DDoS 등매우다양한원인으로부터발생되고있다. 비정상 / 유해트래픽은정상적인네트워크운용이나서비스운영을방해하는악의적인공격성패킷과 DoS/DDoS, 웜 / 바이러스, 그리고최근유행하고있는 P2P 어플리케이션등으로분류할수있어야한다. [15,17,18,19,20,21,22,23] 3.3 미확인트래픽및어플리케이션탐지 기존의포트별어플리케이션분석방법으로는구분이어려운트래픽에대한유형별, 종류별분류에따른탐지및검출을할수있어야한다. 또한현재까지정의되지않은새로운형태의트래픽에대해서는룰셋사용자정의기능을구현하여신규로추가정의, 업데이트를수행함으로써실시간으로트래픽탐지할수있어야한다. [24,25,26] 3.4 Baseline 기반비정상 / 유해트래픽이상징후검출링크구간의트래픽이력을기반으로 Baseline 을기준의생성과이를이용하여이상트래픽을탐지하는기법이필요하다. Baseline 프로파일을비교하여비정상 / 유해트래픽이상징후검출이가능해야한다. [15,16] 3.5 플로우트래픽상세분석 플로우기반의분석방법을적용하여수집된 IP 패킷으로부터플로우정보를생성, 분류, 분석함으로써인터넷가입자와통신망에서사용되고있는주요 L3/L4 프로토콜계층의다양한속성들에대한실시간 / 비실시간통계분석, L7 어플리케이션 사용성향, 트래픽흐름등을자동으로분석할수있어야한다. 표준화된 IP 플로우를이용하여네트워크에유통되는패킷정보를수집및분석함으로써회선별, 이용자별, 시간대별, 프로토콜별, 어플리케이션별등으로구분하여웹기반의중앙관제시스템의화면을통한다양한분석기능을제공해야한다. 이상징후에대한단계별알람및이벤트처리를통해그결과를온라인을통해운영자에게실시간으로필요한정보를제공할수있어야한다. [24,27,28,29,30] 4. 시스템설계 비정상트래픽실시간탐지 / 분석시스템은패킷수집장치와플로우수집서버및플로우분석서버로구성되어있으며각장치들의구조는아래의 [ 그림 1] 과같다. 4.1 패킷수집장치 패킷수집장치는네트워크인터페이스카드를이용하여기가비트이더넷으로부터미러링트래픽을입력받아손실없이패킷을수집한다. [ 그림 2] 환경설정정보 룰정보 시스템상태정보 실시간통계정보 플로우분석서버 플로우수집서버 구성정보설정 시스템상태관리 구성정보설정 패킷수집장치 구성정보설정 시스템상태 Inbound Outbound 분석자료생성 통계 DB 통계자료생성 NetFlow 생성 그림 1. 비정상트래픽실시간탐지 / 분석시스템개략구성도 손실없는기가급패킷처리기능기가급의패킷을손실없이수집하기위해서 DAG 모니터링카드를사용하였으며, 수집된패킷을 SRC IP, SRC Port, DST IP, DST Port, 프로토콜별로분석하여같은특징을 GUI 시스템상태 통계데이타 netflow 통계 비정상트래픽통계 NetFlow v9 45
가진패킷을묶어하나의플로우로생성한다. DAG/NIC Packet Input sid Gathering Thread Timer Thread Hash Table Hash Walker Flow 분류 Packet 수집 / 분류 Queue Table Packet 수집 / 분류 Flow Export Thread Detection Engine Flow 분석 / 관리 (Library) SID Network DataLink Check offset CheckANDPatternMatch Check depth Flow 생성 Transports Packet Decoder Check flow Snort Rule AS Update Control Thread Rule/AS config Emit Thread Flow Queue stream4_reassemble http_inspect Flow (snort) Detection Module GetFlowbitsData FlowPreprocessor Configuration 시스템관리 / 정보 System config Flow Export Preprocessor Detection Engine Library 그림 2. 패킷수집장치구조 분석서버 수집서버 검출룰분류기준 10 기가등의고속회선수용을위한구조설계 / 최적화향후 10G 의고용량의트래픽을처리하기위해서 Deterministic 패킷샘플링방식을이용하여전체패킷중일정비율의패킷을샘플링하여플로우를생성한다. [30] 비정상트래픽 및 응용프로그램 검출 기능 수집된 패킷으로 하나의 플로우를 생성하고정의된룰로비정상트래픽및 응용프로그램을검출한다. 이검출된내용을 고유의 판별번호 (SID) 를 붙여 플로우에 부가한다. 플로우 (NetFlow V9) 생성및전송기능 NetFlow V9 형식에맞게템플릿의해당필드를생성하며비정상트래픽및응용프로그램을검출과정에서나온 SID 를 Used Define 필드에넣어플로우패킷을생성하고플로우수집서버로전송한다. 실시간통계보고기능실시간으로수집되는패킷을네트워크, 프로토콜및패킷사이즈별로통계를생성하여보고주기에따라플로우분석서버로전송한다. 통계보고주기는플로우분석서버에의해서설정된다. 실시간시스템상태보고기능실시간으로시스템의 CPU, MEM 그리고 DISK 의사용률을취합하여 5초마다플로우분석서버로전송한다. 4.2 플로우수집서버플로우수집서버는패킷수집장치로부터플로우패킷을수집하고이를 Anomaly 탐지프로세스, Worm 탐지프로세스, DoS 탐지프로세스, 통계생성프로세스에전달한다. 각각의기능을수행하는프로세스들은해당기능의통계, 알람정보를생성하여플로우분석서버로전송한다. [ 그림 3] SHM Reader Worm 탐지엔진탐지알고리즘 HASH 테이블생성 / 관리관찰주기타이머알람메시지생성 DoS 탐지엔진 탐지알고리즘 HASH 테이블 FP SHM 생성 / 관리 FlowData 수집 MSG Q BUFFER NetFlow Writer 관찰주기타이머 v9 수집알람메시지생성패킷수집장치 SHM 적재 Netflow 수신라우터 Anomaly 탐지엔진 UDP FlowData 수집 CFG 수신프로파일수신부 NetFlow V5/v9 수집탐지알고리즘라우터 HASH 테이블생성 / 관리전송주기타이머 Mgmt 알람정보생성알람 / 통계전송 수집모듈설정 SHM 설정 / 관리알람통계생성엔진 Dequeue 탐지엔진 FIFO 메시지임계값 / 프로파일송수신트래픽통계 HASH 테이블분석서버탐지엔진주기생성 / 관리전송주기타이머통계정보생성 그림 3. 플로우수집서버구조 프로파일수신 Anomaly/Worm/DoS 탐지를 위한 threshold 값과 데이터 마이닝된 프로파일 값을수신한다. 알람레벨을정의하기위한 알람 레벨 정보를 수신한다. 수신된 메시지들은 분석 후에 SHM( 공유메모리 ) 에 저장된다. 플로우수집프로세스 구성정보에 의해 생성한 /UDP 소켓으로패킷수집장치및라우터로부터 NetFlow 패킷을수신한다. 46
NetFlow 분석프로세스각각의프로세스들은 NetFlow 패킷을 SHM 에서읽어서필요한필드들을 HASH 테이블에저장한다. Worm 탐지프로세스 Worm 탐지프로세스는수신된플로우데이터를가지고분당호스트 (IP) 별로임계값과비교하기위하여해당파라미터값을 HASH 테이블에저장한후 1 분마다 Worm 임계값과그수치를비교하여 Worm 발생여부를판단한다. Worm 으로판단된호스트리스트에대한알람메시지를생성후알람정보전송을위한메시지큐에전송한다. DoS 탐지프로세스 DoS 탐지프로세스는수신된플로우데이터를가지고분당호스트 (IP) 별로임계값과비교하기위하여값을 HASH 테이블에저장한후 1 분마다 DoS 임계값과그수치를비교하여 DoS 발생여부를판단한다. DoS 로판단된호스트리스트에대한알람메시지를생성후알람정보전송을위한메시지큐에전송한다. Anomaly 탐지프로세스 Anomaly 탐지프로세스는수신된장치별플로우데이터를가지고분당호스트 (IP) 별로 BPS/PPS/FPS 임계값과비교하기위하여값을 HASH 테이블에저장한후 1 분마다 BPS/PPS/FPS 임계값과각각의수치를비교하여해당호스트의 Anomaly 여부를판단한다. Anomaly 로판단된호스트리스트에대한알람메시지를생성후알람정보전송을위한메시지큐에전송한다. 통계정보생성호스트 HASH 테이블에해당호스트버킷을생성하고저장된구조체필드로부터 호스트통계정보를카운트한다. - 세션통계 - UDP 세션통계 - ICMP 세션통계 - 프로토콜 / 통계 - 포트통계 - 애플리케이션 (SID) 통계 - 애플리케이션 (Unknown) 통계 - 알람 / 통계정보 4.3 플로우분석서버설계 플로우 분석서버는 플로우 수집서버로부터생성된통계정보를수집하여 DB에저장하며웹을이용하여실시간또는 기간별로트래픽을분석해보여준다. 또한 설정에따른 Anomaly, Dos, Worm 트래픽탐지 현황을알람으로써알려준다. [ 그림4] System 관리모듈통계자료생성 WEB 변환모듈분석서버자원 PORT Payload JSP/Servlet APP APP JAVA Process D B 자원 수집서버자원 SRC IP DEST IP 그래프변환모듈 Signature/Ruleset Hosts Locale Baseline/Profile Chart FX Configration Time Protocol Schedule 모듈 Connetction Pool Anomaly Signature Min/ Hour/ Day Week / Month/ Year DB Connetction Pool AS 별 Unknown Authorization 모듈통계정보수집 Web 서버 User/Password Permission Receive DB I/F Anomaly/ 이상징후통계데이터분석 Baseline 생성엔진쿼리트래픽분석함수알람정보수집 Baseline 생성 ALARM Receive SMS/EMAIL 전송모듈 ALARM 알람데이터분석경보메시지생성 Flow 통계 DB 관리자 그림 4. 플로우분석서버구조 통계수집및저장기능플로우분석서버는다수의플로우수집서버를수용할수있으며, 각각의플로우수집서버로부터수신한통계데이터를손실없이저장한다. 플로우통계수집기능플로우분석서버는 Connection Pool을생성하여다수의플로우수집서버로부터트래픽통계데이터를수집하여해당트래픽 47
통계항목들의 DB에저장한다. Baseline 관리기능 Baseline 프로파일의등록 / 변경 / 삭제및주기이상트래픽탐지기능이다. 정상트래픽패턴의프로파일의임계값과데이터요소들을주기적으로 Data Mining한값으로업데이트하여탐지오류확률을최소화한다. 비정상트래픽 Baseline 프로파일의탐지기준이되는임계값과트래픽데이터구성요소들에대해웹을통해설정하여실시간적용할수있다. 비정상트래픽분석플로우분석서버는미리정해진룰에의해검출된이상트래픽에관한 NetFlow V9 통계정보를이용해플로우기반의분석기능을한다. ( 룰셋및룰의그룹별 / 종류별에따른트래픽통계자료를생성하여상세히분석 ) Baseline 프로파일을기준으로검출된유해트래픽에대한분석기능을한다. 비정상트래픽으로분류된트래픽에대한발신지 IP 주소를추적할수있다. 이러한분석현황은실시간비실시간 ( 기간설정 ) 으로도분석할수있다. 일반트래픽분석수집장치별트래픽흐름및사용량, 특성등의상세정보를제공한다. 플로우분석서버는일반트래픽분석을위해프로토콜별, 어플리케이션별, L3/L4별, 호스트별, 포트별, AS별및 P2P 등의어플리케이션그룹별로통계분석기능을가진다. 따라 관심 / 주의 / 경계 / 위험을 알리는 알람을 발생시킬수있고, 팝업또한설정할수있다. 비정상 / 유해트래픽탐지이력관리 관리자에 의해 네트워크 트래픽 프로파일에 정의된 규칙을 적용하여 트래픽 / 이벤트에대한비정상 / 유해트래픽이 탐지될경우, 트래픽이력을저장하고트래픽 이력으로부터 사후 데이터를 분석하는데 이용할수있다. 패킷수집장치관리기능 패킷수집장치의구성정보, config 설정을 등록하거나수정한다. 비정상트래픽탐지 baseline 프로파일의 탐지기준이 되는 임계값과트래픽데이터구성요소를설정할 수있다. 플로우수집서버관리기능 플로우 수집서버의 추가 / 수정 / 삭제가 가능하고, 각종파라미터를설정할수있다. 프로세스관리기능 패킷수집장치, 플로우수집서버, 플로우 분석서버가현재동작중인지비동작중인지 웹 상에서 확인할 수 있다. 수집장치, 수집서버, 분석서버 각각의 시스템 자원상태 (CPU, memory, Disk 사용량 ) 를 매5초마다 감시함으로써 시스템 자원이나 성능지표를직관적으로판단할수있다. 트래픽조회기능 각카테고리별 ( 프로토콜, 애플리케이션, 포트, 세션, 장비 ) 로 특정 기간의 통계를 조회할수있다. 단계별알람이벤트관리기능프로토콜별, 어플리케이션별, 장치별 bps, pps, fps 각각의초과비율등탐지기준을초과하는상태를탐지할수있다. Anomaly/DoS/Worm 침입탐지시설정에 5. 시스템주요적용기술 5.1 패킷수집기술 기가급트래픽을손실없이수집하기위해서 DAG 카드를사용하였으며, DAG 의 48
인터페이스를위하여 PCAP 을사용하였다. DAG 카드는 시스템의 물리 메모리를 할당하여 사용한다. 수집된 패킷을 최신의 NetFlow v9 포맷으로생성하며, 이때 패킷의 Signature 일부를 함께 부가하여 처리할 수 있는 기술을 제안하고 이를 시스템적용하였다. 또한 Signature 정보를 이용하여비정상트래픽및응용프로그램 검출할수있다. 5.2 룰기반탐지기술 비정상 트래픽 및 응용프로그램을 검출하기 위하여 적용하는 룰 (Rule) 에는 고유한 SID(Signature Identifier) 가부여된다. 검출된 SID 는 NetFlow User Defined 필드에 추가된다. 현재룰은 Snort 와 Bleeding 의 오픈룰을사용하였으며, 또한본시스템을 위해추가적으로정의한룰을추가하였다. 현재사용하고있는룰의종류는 5,000 여 가지 정도이며 메신져나 P2P 관련 룰도 추가되어있다. 5.3 유해트래픽탐지기술 일정규모이상의네트워크에서최근 가장 이슈가 되고 있는 것 중 하나가 비약적으로증가하는비정상 / 유해트래픽이다. 이는 외부로부터 행해지는 직접적인 해킹이나공격패킷뿐아니라환경설정 오류나 웜 / 바이러스, P2P 어플리케이션, DoS/DDoS 등 매우 다양한 원인으로부터 발생되고 있다. 유해 트래픽은 정상적인 네트워크운용이나서비스운영을방해하는 악의적인 공격성 패킷과 DoS/DDoS, 웜 / 바이러스트래픽패턴을포함하고있거나 대역폭이용량, 패킷이용량등의급격한 증가를 유발하는 트래픽들에 대한 이상징후를 최소한의 오탐율로 사전에 탐지할수있도록하였다. Worm 탐지프로세스는수신된 NetFlow 데이터를 가지고 분당 호스트 (IP) 별로 임계값과비교하기위하여해당파라미터 값을 HASH 테이블에저장한후 1 분마다 Worm 임계값과그수치를비교하여 Worm 발생여부를판단한다. [ 표 1] [ 그림 5] 표 1. Worm 탐지주요파라미터 Class Parameter Threshold( 예 ) Traffic (Bytes sent) / (Bytes received) > 3/min Responder Bidirectional connections > 1/min Connector Outgoing connections > 10/min 그림 5. Worm 알람정보생성흐름도 DoS프로세스는수신된 NetFlow 데이터를가지고분당호스트 (IP) 별로임계값과비교하기위하여값을 HASH테이블에저장한후 1분마다 DoS 임계값과그수치를비교하여 DoS 발생여부를판단한다. [ 표2] [ 그림6] 표 2. DoS 탐지주요파라미터 Parameter Threshold( 예 ) Received Packets / Sent Packets Warning > 15 Minor > 30 Major > 50 Critical > 100 Ingoing shot flows / Outgoing short flows Critical > 15 Received packets Critical > 30,000 Received bytes Critical > 50Mbytes Incoming short flows Critical > 1,000 49
DoS Detection Engine MSGQ Bucket 호스트 DoS Victim 판단 알람 MSG DoS Alarm 메세지생성 그림 6. DoS 알람정보생성흐름도 5.4 Anomaly 탐지기술 프로파일이란특정장치의트래픽특성 (BPS, PPS, FPS, 패킷수, 바이트수, 양방향접속, 단방향접속 ) 을 1 시간별로일주일간을분석하여플로우수집서버에적용하여볼륨기반의이상트래픽검출의기준값이다. 이를사용하여수집된트래픽의변화량을통해 Anomaly 트래픽의이상변동상황을조기에탐지할수있다. 탐지파라미터들을적용하여탐지결과를출력한다. [ 표 3][ 그림 7] 표 3. Anomaly 탐지주요파라미터 Parameter Threshold( 예 ) BPS(Byte Per Second) PPS(Packet Per Second) FPS(Flow Per Second) 5.5 트래픽상세분석 Warning > Normal Traffic 150% Minor > Normal Traffic 170% Major > Normal Traffic 180% Critical > Normal Traffic 200% Warning > Normal Traffic 150% Minor > Normal Traffic 170% Major > Normal Traffic 180% Critical > Normal Traffic 200% Warning > Normal Traffic 150% Minor > Normal Traffic 170% Major > Normal Traffic 180% Critical > Normal Traffic 200% IP 플로우를 이용하여 네트워크에 유통되는패킷정보를수집및분석함으로써 회선별, 시간대별, 프로토콜별, 어플리케이션별 프로토콜별, L3/L4별, 호스트별, 포트별, AS별, P2P 등다양한통계 분석기능을제공한다. 그림 7. Anomaly 탐지흐름도 6. 시스템구현 6.1 시스템구성 비정상트래픽실시간탐지 / 분석시스템은패킷수집장치, 플로우수집서버, 플로우분석서버등크게 3가지영역의기능으로망의규모에따라상호통합구조도가능하게구현되어있다. 모든구성정보는플로우분석서버에의하여설정되고패킷수집장치와플로우수집서버는시스템의상태를실시간으로플로우분석서버로전송하여웹상에서각시스템의자원상태를확인할수있다. 또한패킷수집장치는패킷을수집하면서네트워크, 트랜스포트그리고패킷사이즈별통계를실시간으로측정하여플로우분석서버로전송한다. 플로우분석서버는전송된패킷수집장치실시간통계정보를 DB에저장하고웹상에서실시간으로조회할 50
수 있다. 패킷 수집장치는 환경설정, 시스템 상태정보 위해 그리고 플로우 패킷 전송하기 위해서 분석서버와의 소켓을 NetFlow 수집장치로 또는 플로우 송수신하기 분석서버와 사용하며 사용한다. 통계정보를 UDP 소켓을 수집서버는 통신을 위해 V9을 두 플로우 개의 소켓을 사용한다. 하나는 시스템 상태 및 환경설정 정보를 송수신하는 것이고 다른 하나는 통계정보를 플로우 분석서버로 전송하기 위해서 사용한다. [그림8]는 비정상 그림 9. 종합 상황판 트래픽 실시간 탐지/분석시스템 운용도이다. Local Backbone Network Analyzer Switch traffic statistics gerneration and DB insert automatic traffic report view management analysis GUI rule set management Gbps Optical Link system management/health check Collector gather netflow v5/v9 data filter and make short term stat. gen. Optical Tap (Splitter) check anomaly Probe lossless packet capture classify captured packet tag the rule number make netflow data (v5/v9) INTERNET : IP PACKET : FLOW : FLOW Stat. 그림 8. 비정상 트래픽 실시간 탐지/ 분석시스템 운용도 그림 10. 알람 내용 상세분석 화면 6.2 웹기반 주요 GUI 사용자 인터페이스는 웹기반으로 되어 있으며 일부 구현되었다. 기능은 초기 화면은 Ajax 기반으로 종합상황판으로 비정상/유해트래픽 발생 현황 및 추이, 정상 트래픽 추이, 유해트래픽 TOP5, 어플리케이션 TOP5, 알람/ 이벤트 창 등으로 구성되어있다. 실시간(1분)으로 기준으로 비정상 트래픽 탐지 및 분석한다. [그림9] 시스템을 구성하고 그림 11. 정상/비정상 트래픽 상세 분석 화면 있는 패킷 패킷 수집장치(FP)별로 Worm, DoS, Anomaly 트래픽 트래픽에 탐지 건수를 실시간과 누적으로 집계하여 수집장치로부터 대한 NetFlow 수집되는 V9 플로우 IP 내의 통계데이터를 이용하여 사용자/관리자에 의해 나타내며, 알람 유형별 건수를 클릭 시 해당 설정된 전송주기에 따라 주어진 시간대에서 알람의 리스트와 비정상 트래픽의 추이를 가장 보여준다. [그림10] [그림11] 많은 트래픽을 SOURCE/DESTINATION 발생시킨 /SESSION IP 주소들에 대한 상위 목록에 대한 정보를 51
얻을수있다. 각 IP들의세션정보를클릭하면해당 IP와연결된 IP 리스트와해당 IP가사용한어플리케이션을리스트를확인할수있다. 플로우수집서버에서비정상 / 유해트래픽을검출을위한룰을유형별로분류하여그룹핑함으로써단계별로룰목록을관리할수있도록룰셋을구성하여관리하는화면이다. [ 그림12] 플로우수집서버에서비정상 / 유해트래픽을검출하기위해서설정하는프로파일값과 Threshold 값들을설정하는기능이다. 각설정된프로파일값과 Threshold 값들의퍼센트에따라알람을나타내는레벨을설정할수있다. [ 그림13][ 그림14] 7. 시스템기능검증 7.1 시험망구성 그림 14. 임계값관리 비정상트래픽실시간탐지 / 분석시스템의기능검증은 [ 그림15] 와같이 2대의패킷수집장치와플로우수집서버및플로우분석서버로구성되었다. 시험망을 2개의서버네트워크로분리하고 yyy. 서버네트워크를이용해서비정적인패킷및트래픽을생성토록하였다. xxx.123.31.0 KT 그림 12. 룰셋관리화면 KT 1-1-3 xxx.123.31.49 (yyy.168.0.1) 1-1-2 xxx.123.31.21 xxx.123.31.71 xxx.123.31.69 yyy.168.0.0 Web GUI Port Scan, IP Scan, DoS, IP yyy.168.0.5 yyy.168.0.10 ~ yyy.168.0.100 yyy.168.0.200 yyy.168.0.205 그림 15. 시험망구성도 주요검증항목 그림 13. Anomaly 트래픽분석을위한프로파일관리 표 4. 시스템기능시험검증항목장치검증항목패킷초기구동및환경설정수집기가트래픽의실시간손실없는장치패킷수집및분석관리 10기가등의고속회선수용을위한구조설계 / 최적화 NetFlow V9 생성및전송비정상트래픽및응용프로그램검출을위한룰관리 실시간네트워크조회정보의 52
플로우수집서버 플로우분석서버 웹기반 GUI 생성및전송 장애관리일반 NIC 기반고속패킷트래픽수집기능환경설정 NetFlow 수집 NetFlow 분석 Worm 탐지 DoS 탐지 Anomaly Traffic 탐지통계정보생성통계정보전송시스템관리장애관리사후분석용 NetFlow 저장초기구동및환경설정기가트래픽의실시간손실없는패킷수집및분석관리 10기가등의고속회선수용을위한구조설계 / 최적화 NetFlow V9 생성및전송비정상트래픽및응용프로그램검출을위한룰관리실시간네트워크조회정보의생성및전송장애관리일반 NIC 기반고속패킷트래픽수집기능 ( 저손실 ) 탐지기준관리시스템관리코드관리 등이다. 기능검증결과전체시험항목에대해서목표에부합하게모든기능이접합한결과를얻었다. 8. 결론 본논문에서는통신사업자입장에서비정상적인트래픽의발생으로인해고객의서비스에영향을미치는네트워크의이상상황에대처하기위하여비정상트래픽실시간탐지하고분석할수있는시스템설계와구현에초점을맞추고기술하였다. 시스템의구현시적용기술은패시브패킷캡쳐링과이를실시간으로플로우패킷의생성및패킷의 Signature 정보를부가하여처리하는기술을제안하고이를적용하였다. 또한룰과 Baseline 정보를적용한비정상 / 이상탐지기술을시스템하였다. 현재본시스템은연구망에서시범운용중이다. 향후상기기반기술은보안관리, 망관리, 품질관리, 종량제관리, 과금관리등다양한분야에활용할수있는기반기술로활용할수있을것이다. 7. 참고문헌 7.2 검증결과비정상트래픽실시간탐지 / 분석시스템의기능검증은패킷수집장치, 플로우수집서버, 플로우분석서버및웹기반사용자인터페이스등 130여개의세부항목에대해검증을실시했다. 주요검증항목은기가급트래픽의실시간손실없는패킷수집및분석기능시험, 실시간으로 NetFlow V9형식으로생성하고플로우수집서버로전송하는기능시험, 10Giga 등과같이고속회선수용시필요한패킷샘플링기능, 시험, DoS 트래픽발생시탐지기능시험, IP/Port Scanning 등 Worm 트래픽을발생시실시간탐지기능시험, 급격한트래픽변동에따른비정상트래픽상황탐지및알람생성기능시험 [1] 신승원, 오진태, 김기영, 장종수, 인터넷웜공격탐지방법동향, 전자통신동향분석, 제20권제1호, 2005년2월 [2] IPFIX, IETF, http://www.ietf.org/html.charters/ipfix-charter.html. [3] KAPS(Kornet Audit & Provisioning System), KT, 2004~2006 [4] 비정상 / 유해트래픽관리기능개발보고서, KT 운용시스템연구소, 2005.12 [5]Luca Deri, nprobe, http://www.ntop.org/nprobe.html [6]Dave Plonka, FlowScan, http://net.doit.wisc.edu/~plonka/flowscan/. [7]K. Keys, D. Moore, Y. Koga, E. Lagache, M. Tesch, and K. Claffy, "The Architecture of CoralReef: An Internet Traffic Monitoring Software 53
Suite," Proc. of Passive and Active Measurement Workshop 2001, Amsterdam, Netherlands, April 2001. [8]NLANR, Measurement and Operations Analysis Team, http://moat.nlanr.net/. [9]WAND, http://wand.cs.waikato.ac.nz/wand/wits/ [10]IP Monitoring Project (IPMON), http://ipmon.sprint.com/ [11]S. H. Hong, J. Y. Kim, B. R. Cho, J. W. Hong, "Distributed Network Traffic Monitoring and Analysis using Load Balancing Technology," Proc. of APNOMS 2001, Sydney, Australia, Sep., 2001, pp. 172-183. [12]Se-Hee Han, Myung-Sup Kim, Hong-Taek Ju and James W. Hong, "The Architecture of NG- MON: A Passive Network Monitoring System," Proc. of DSOM 2002, Montreal, Canada, Oct., 2002, pp. 16-27. [13]NetFlow, CISCO Inc, http://www.cisco.com/warp/public/cc/pd/iosw/ioft/n eflct/index.shtml. [14]sFlow, InMon Inc, http://www.sflow.org/. [15] UPFrame: UDP Processing Framework, Documentation version 0.2 based on UPFrame version 0.2 ETH DDosVax team and Caspar Schlegel TIK, Communication Systems Group [16]Varun Chandola, Eric Eilertson, Levent ErtÄoz, GyÄorgy Simon and Vipin Kumar, MINDS Data Data Warehousing and Data Mining Techniques for Computer Security, Springer, 2006 [17] 실시간기가급패킷캡쳐링에의한트래픽분석및망감시기능개발보고서, KT 네트워크기술연구소, 2006.12 [18]Cisco NetFlow, V. Valluri, M. Djernaes, G. Sadasivan, and B.Claise, Cisco NetFlow, "Cisco Systems NetFlow Services Export Version 9", IETF RFC3954, Oct. 2004 [19]Bleeding Edge Threats, Bleeding Snort, http://www.bleeding snort.com [20]Daniel Reichle, Thomas Dubendorfer, Arno Wagner, ETH Zurich, "Analysis and Detection of DDoS Attacks in the Internet Backbone using NetFlow Logs", Diploma Thesis, Oct. 2005 [21] Thomas Dubendorfer, Arno Wagner, Bernhard Plattner, "A Framework for Real-Time Worm Attack Detection and Backbone Monitoring", Proceedings of First IEEE International Workshop on Critical Infrastructure Protection (IWCIP 2005) Darmstadt, Germany, 3-4 November, 2005 [22]Thomas Dubendorfer, Bernhard Plattner, "Host Behaviour Based Early Detection of Worm Outbreaks in Internet Backbones", 14th IEEE International Workshops on Enabling Technologies: Infrastructures for Collaborative Enterprises (WET ICE 2005) STCA security workshop, Linko, ping, Sweden, June, 2005 [23]TIK CSG ETH Zurich, DDoSVax, http://www.tik.ee.ethz.ch/ ~ddosvax/ [24]Sourcefire Inc, Snort, http://www.snort.org [25]Hyogon Kim, Inhye Kang, Saewoong Bahk, University Real-time Visualization of Network Attacks on High-Speed Links, IEEE Network September/October, 2004 [26]Subhabrata Sen, Oliver Spatscheck, Accurate, Scalable In-Network Identification of P2P Traffic Using Application Signatures [27]IP Flow 분석시스템개발보고서, KT 운용시스템연구소, 2005.12 [28]Jianning Mai, Chen-Nee Chuah, Tao Ye, Hui Zang, Is Sampled Data Sufficient for Anomaly Dection?, SPRINT ATL Technical Report, RR06- ATL-052679Report [29]Nick Duffield, Sampling for Passive Internet Measurement: A Review, Statistical Science, 2004, Vol.19,No.3, 472-498 [30] Nick Duffield, Carsten Lund, Mikkel Thorup, Properties and Prediction of Flow Statistics from Sampled Packet Streams, IMW'02, Nov. 6-8, 2002 54
황찬규 1984.2 : 경북대학교 전자공학과학사 1986.2 : 경북대학교 전자공학과석사 1986.2 ~ 현재 : KT 기술연구소인터넷연구담당 IP서비스 TASK 코디 < 관심분야 > 비정상트래픽관리, 인터넷서비스서버관리, 라우팅관리, VoIP망관리, 네트워크엔지니어링 등 전자공학과석사 1999.6 : 연세대학교전기. 컴퓨터공학과박사 1986 ~ 현재 : KT 기술연구소인터넷연구담당 < 관심분야 > IP 망관리, QoS 기반트래픽관리, IPTV 망관리, 네트워크엔지니어링등 성종규 1994.2 : 경북대학교 전자공학과학사 1996.2 : 경북대학교 전자공학과석사 1996.2 ~ 현재 : KT 기술연구소 인터넷연구담당 IP품질관리 TASK < 관심분야 > 비정상트래픽관리, 인터넷서비스서버관리, 네트워크 QoS 및 품질 관리, 네트워크 엔지니어링등 이민형 2002. 8 : 서울대학교 컴퓨터공학부학사 2004. 8 : 서울대학교 컴퓨터공학부석사 2004. 8 ~ 현재 : KT 기술연구소 인터넷연구담당 IP 품질관리 TASK < 관심분야 > 트래픽분석, 비정상트래픽관리, QoS 및 품질관리등 유재형 1983.2 : 연세대학교 전자공학과학사 1985.2 : 연세대학교 55