PowerPoint 프레젠테이션

Size: px

Start display at page:

Download "PowerPoint 프레젠테이션"

우연 대
5 years ago
Views:

1 The Leader of In-Memory DBMS 인메모리 DBMS 기반보안빅데이터분석솔루션개발사례 한혁

2 목차 1 IMDBMS 개요 2 IMDBMS 기반보안분석솔루션소개 2

3 The Leader of In-Memory DBMS 1. IMDBMS 개요 3

4 1. IMDBMS 소개 In Memory Computing(IMC) Hardware Advances: Moore s Law - DRAM Pricing 1980: Memory $10,000/MB Memory Cost / Speed 2000: Memory $1/MB 2015: Memory $0.008/MB Time 4

5 1. IMDBMS 소개 In Memory Computing(IMC) memory performance CPU Core Core L1 Cache L1 Cache 0.5 NS L2 Cache L2 Cache L3 Cache Main Memory 7.0 NS 15.0 NS 100 NS Yes, DRAM is 100,000 times faster than disk, but DRAM access is still times slower than on-chip caches Disk SSD: 150K NS HD: 10M NS Ref: In-Memory Database Platform for Big Data, SAP HANA, 6/2013 5

6 1. IMDBMS 소개 In Memory Computing(IMC) Hype Cycle for IMC 6

7 1. IMDBMS 소개 In Memory Computing(IMC) IMC Technology s progression Ref: Cognizant insights. 11/2015 7

1. IMDBMS 소개 In Memory Computing(IMC) - SCM 기술연계 기술 / 시장분석 8 4 0.

512GB Capacity(2016 Storage Visions 시연 ) 중국양산공장설립추진, 2018 년말상용화 HV vault ( 넷리스트, 미국 ) Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러핵심특허다수보유 삼성전자투자 ( 270 억원, 2015 년 ), 2017 년상반기시험용

8 1. IMDBMS 소개 In Memory Computing(IMC) - SCM 기술연계 기술 / 시장분석 SCM : DRAM 에근접한고성능읽기 / 쓰기, 비휘발성, TB 급대용량지원 으로향후 SSD 및 DISK 를대체하는차세대스토리지기술 JEDEC 표준 : NVDIMM-N/F/P PCM/ReRAM vs Hybrid(DRAM+NADN) 3D XPoint ( 인텔 마이크론, 미국 ) PCM 기반 SCM, ~ 512GB Capacity(2016 Storage Visions 시연 ) 중국양산공장설립추진, 2018 년말상용화 HV vault ( 넷리스트, 미국 ) Hybrid(DRAM+NAND), ~1TB Capacity, 컨트롤러핵심특허다수보유 삼성전자투자 ( 270 억원, 2015 년 ), 2017 년상반기시험용 Release 시사점 SCM & In-Memory DBMS SCM 기술검증및활용을위한킬러솔루션 IMDBMS 시장확산의걸림돌 ( 용량, 데이터유실우려 ) 해결을위한출구기술 SCM 2022 년글로벌서버의약 27% 가 SCM 장착 ( 마이크론예측 ) SCM 장착된차세대서버아키텍처기반의컴퓨팅환경 / 시장대응필요 메인스토리지패러다임전환 (DISK -> SCM/SSD, DISK 는백업스토리지 ) IM-DBMS 아키텍처 대용량화를위한 DB 원본저장소 : DRAM->SCM DRAM/SCM/SSD 등메모리계층간데이터관리 8

9 1. IMDBMS 소개 IMDBMS IMDBMS 구조 9

10 1. IMDBMS 소개 IMDBMS 10

11 The Leader of In-Memory DBMS 11

12 보안빅데이터분석시스템개요 보안관제시생성되는다양한형태의대용량로그정보 (Web, FTP, DB, 시스템등 ) 를통합 분석하기위한데이터베이스시스템기반의고성능로그분석시스템 CASE 관리 시각화보고서 로그 DB 메타정보 패턴관리 분석 IT Vision 도구 패턴매칭검색 분석대상로그파일 분석 SQL 처리요청 데이터 IT Vision 서버 사용자정보 점증분석 외부연계 분석 SQL 패턴연산 12

보안빅데이터분석시스템개요 개발배경 침해사고분석대상로그파일크기증가및이기종로그통합분석필요 웹하드와같은접속자가많은서비스의경우, 1 일웹로그생성크기는텍스트 50G 수준 공격지 IP 기준침투경로를추적해나가는기존로그분석방식으로는다양한대용량로그에서전체공격시나리오를추출하는데에한계발생 최근에는공격자가공격지 IP 를수시로변경하며침투과정을진행함 공격자행위추적을공격지 IP

13 보안빅데이터분석시스템개요 개발배경 침해사고분석대상로그파일크기증가및이기종로그통합분석필요 웹하드와같은접속자가많은서비스의경우, 1 일웹로그생성크기는텍스트 50G 수준 공격지 IP 기준침투경로를추적해나가는기존로그분석방식으로는다양한대용량로그에서전체공격시나리오를추출하는데에한계발생 최근에는공격자가공격지 IP 를수시로변경하며침투과정을진행함 공격자행위추적을공격지 IP 기반이아닌다양한관점에서쉽게파악및추적할수있는기능필요 요구사항 침해사고주요 IoC( 공격지 IP, 해킹경유지 VPN 대역, 침투행위패턴등 ) 를기반으로한비정상행위패턴추출기능지원 바이너리, 텍스트, XML 등다양한이기종로그파일에대한포맷변환및통합로그비교를통해타임라인분석이가능한기능지원 도출된침투지표에대한연관적인분석정보 ( 국가별, ip 별, 접속경로등통계 ) 제공 인메모리컴퓨팅기반고속처리기술사용을통한분석시간단축 (DB 구축 + 분석 ) 13

14 보안빅데이터분석시스템개요 시스템의세부기능 CASE 생성및관리기능 Log 그룹 / 파일생성및삭제기능 로그유형에대한사용자지정기능 분석데이터베이스구축기능 Web, FTP, DBMS 로그적재기능 분석컴퓨터의 MFT, 레지스트리, 윈도우이벤트정보입력기능 공격자패턴매칭및정보필터기능 고성능전문검색및결과저장기능 컬럼 / 복합필터링기능, UTC 보정기능 원본 ( 로그 ) 시각화기능 웹로그통계분석기능 보안이슈단위별 (Access, visitor, activity 등 ) 다양한통계분석기능 각통계별상호연관분석기능 Play back/forward 기능 IP 국가 / 기관매핑기능 도구관리기능 메타데이터갱신기능 사용자생성및관리기능 공격자정보 / 공격패턴프로파일관리기능 분석결과파일 (CSV, PDF, Excel, Text 등 ) Export 기능 14

15 보안빅데이터분석시스템개발 15

16 보안빅데이터분석시스템개발 < 관리용테이블 ERD> < 분석용원본테이블 ERD> < 분석용결과및 UDT 테이블 ERD> < 분석용집계및플래그테이블 ERD> 16

17 보안빅데이터분석시스템개발 데이터베이스관리구조 17

18 보안빅데이터분석시스템개발 주요기능 (1) Case( 사건 ) 를생성하고, 해당 Case 에서분석되어야할로그들을데이터서버로적재하여분석가능상태를구성 CASE 관리기능 로그 DB 적재 18

19 보안빅데이터분석시스템개발 주요기능 (2) 일괄적재된로그파일들을각로그타입별로패턴분석진행. 패턴분석기능은플래그, UTC 보정, 간편필터, 복합필터, 결과내보내기등의부가기능을제공 패턴분석및필터 <UTC 보정 > < 복합필터편집 > < 결과내보내기 > 19

20 주요기능화면구성 (3/3) 주요기능 (3) 일괄적재된 WEB 로그파일들에대한통계분석진행 Access, Visitor, Referrer, Activity 분석을지원하며, 다른유형의통계로연관분석기능을제공 Web 로그통계분석 Web 로그연관분석 20

21 성능평가 시험환경 분류 H/W 빅데이터플랫폼 빅데이터플랫폼 (Impala) OS : CentOS 인메모리 DBMS (Kairos) OS : Windows Server

단위로데이터적재 패턴검색성능시험조건 50G 용량의원본데이터적재후각각성능측정 검색키워드크기 (5 / 10 / 20 글자 )

22 성능평가 데이터베이스솔루션간비교 데이터업로드성능시험조건 용량이 10G/20G/30G/40G/50G 인원본데이터파일각각에대한 DB 적재성능을측정 검색성능을위해 Impala 는압축포맷 (Parquet) 변환 IMDBMS 는대용량자료형 CLOB 컬럼에 10M 단위로데이터적재 패턴검색성능시험조건 50G 용량의원본데이터적재후각각성능측정 검색키워드크기 (5 / 10 / 20 글자 ) 별성능측정 질의유형 SELECT COUNT(*) FROM source_tab WHERE text_field LIKE '% Google %'; 22

23 성능평가 패턴검색방식에따른비교 ( IMDBMS only) 23

24 성능평가 통계질의처리성능 ( IMDBMS only ) * 시험데이터 : Web apache log 샘플 (20GB, 약 8 천만레코드, 원본 : 42 개로그파일 ) 24

25 마치며 25

26 The Leader of In-Memory DBMS Thank you! 연락처 기술 : 한혁연구소장 ( ) 영업 : 이영기상무이사 ( )