데이터분석의모든것, 실시간빅데이터분석솔루션 AnyMiner 2015. 03. 25 2015 TmaxSoft Co., Ltd. All Rights Reserved.
Ⅰ Ⅱ Ⅲ 새로운 IT 를위한플랫폼 실시간빅데이터분석솔루션, AnyMiner AnyMiner 의활용
빅데이터관심과고민 빅데이터에대한폭발적인관심과다양한사업들이이루어지고있으나, 궁극적인질문들에는 답을하기어렵습니다. 빅데이터에대한관심도증가 1,000 네이버뉴스빅데이터검색수 500 0 빅데이터 : IT 용어 일반명사국내빅데이터시장규모전망 ( 단위 : 억달러 ) 8.938 6.921 5.393 4.227 3.328 2.63 2015 2016 2017 2018 2019 2020 다양한고민 진짜이렇게크고다양한데이터를분석할수있을까? 빅데이터분석은어려운게당연한건가? 문제가발생하고 난후분석하는건가? 문제가발생하기전에인지하고자동으로조치할수없을까? 빅데이터는실제사업이되고있는분야임 * Source : 한국과학기술정보연구원자료재구성 ( 데일리안기사 ) 2/21
문제와해결방향성 기존솔루션의한계를넘어실시간분석, 통합분석을통해사전대응이가능한지능형솔루션이새로운해결책으로등장하고있습니다. 기존데이터분석의문제점 사후조치중심의수동적인대응 Historical 분석 방향성 사전대응 사후원인분석중심 대응능력없음 개별적인문제분석에만집중 통합분석 데이터, 로그가여러시스템에분리 단위분석중심 통합분석부족 실시간분석 실시간분석구현의한계 다양한, 대량의데이터처리능력부족 빅데이터처리 3/21
새로운 IT 를위한솔루션 새로운방향성에해당되는구체적인요건을만족하는신개념의빅데이터솔루션이필요합니다. 새로운 IT 를위한요건 새로운 IT 실현을위한빅데이터솔루션 사전대응기능패턴정의를위한 Rule Engine 비즈니스담당자 IT 관리자 Business Insight 확보용예측알고리즘 Action Plan 실행 분석엔진실시간분석용고성능의엔진 실시간분석 통합분석 사전조치 자동화된데이터분석알고리즘통합데이터분석기능 사전조치 빅데이터처리인프라 실행력 다양한유형의분석대상데이터수집 대용량의데이터수집및처리 대용량의데이터통합을위한저장소 수집저장분석검색대응 로그시스템정보이벤트컨텐츠 4/21
실시간빅데이터분석솔루션, AnyMiner AnyMiner 는 다양한소스를수집 (Any Source) 하고, 대량데이터를분석 (Any ) 하고, 사전대응을 (Any Way) 을하여 다양한분야에활용 (Any Task) 되는솔루션입니다. Any Way 데이터와의양방향통신 실시간빅데이터분석솔루션 Any Task 다양한분야활용 Any Source 다양한데이터수집 Any 대량사이즈분석 5/21
AnyMiner 아키텍처 AnyMiner 는 Agent,, Search Head Layer 로이루어져있고, 로그수집을담당하는 LogMiner 와시스템정보수집및대응을담당하는 SysMiner 로구성되어있습니다. HTTP Rest AnyMiner 영역 사전대응실시간분석통합분석사전예측 Search Head Search Head Layer 사용자인터페이스 전구간시스템설정관리 실시간 LogMiner 시스템로그거래로그 배치 구성정보 SysMiner 단말기정보 SW 설치정보 대응 Layer LogMiner 로그실시간 / 배치수집 SysMiner 상태정보수집 실시간대응 Agent Agent Agent Layer Agent- 간부하조절 서버 네트워크 Application 센서 단말 Any Machine 로그선처리수집량최소화 6/21
AnyMiner 핵심기능 데이터에서 Value 를찾기위해일반적인방법으로는복잡한단계를거쳐야하는반면, AnyMiner 를통한 One-Stop 처리로궁극적인질문이였던사전대응이라는목표에도달할수있습니다. [AnyMiner 의데이터분석방식 ] 통합분석 데이터 파싱전달저장대응분석도식화 Value 실시간분석 다양한수집 사전대응 VS [ 일반적인데이터분석방식 ] 데이터 파싱 전달 저장 도식화 분석 대응 Value 7/21
다양한데이터수집 AnyMiner Agent 는다양한소스에서다양한데이터를손쉽게수집하는기능을제공합니다. syslog Agent 의데이터수집 로그 Parsing H/W Log TBR 00731 Network ERRPT get Error Java.lang.Exception Router AnyMiner Remote 방식수집 (Agentless) Local 방식수집 Scripts Scripted Input 알려진로그 다양한 Pre-Defined Parser 파일 / 디렉토리 Window 레지스트리 Unix 로그및메트릭 Network 장치로그 Apache 로그 WebSphere 로그 Base 로그 W3C 로그 새로운로그 손쉬운 parsing 프레임워크제공 Regular expression 보다손쉬운 GROK Rule 작성기능제공 Windows Input 다양한데이터소스수집 손쉬운로그파싱 8/21
실시간분석 실시간이벤트프로세싱기술을통해초단위복합이벤트처리와 Action 을실행하여지연없는실시간분석을제공합니다. Time 실시간데이터 실시간수집 AnyMiner 1 Window Slides 2 3 4 5 6 7 8 9 10 스트리밍데이터실시간분석 적용 Rule - 시간 - 건수 - 순서 - 방향등 Search Pattern 등록 복합이벤트처리 실시간이벤트프로세싱 초단위이벤트처리 실시간분석을통한사전대응 Action 9/21
통합분석 문제가발생하기전에는그에대한조짐이보이는데, AnyMiner 는독립된시스템분석이아니라전체를통합적으로판단하여이상징후를감지할수있습니다. 개별적정상여부기준선 정상 초과 비정형데이터 이상징후 통합적정상여부기준선 DB 데이터 사용자프로그램네트워크서버 DB 데이터비정형데이터 Dynamic Log - 시스템로그 - 거래로그 LogMiner DB Static Asset - IP 정보 - SW 설치정보 SysMiner 전체를통합적으로분석 서버 네트워크 프로그램 통합분석을통한사전대응 실시간스트림분석 Topology 분석 사용자 통합분석결과 10/21
사전예측 AnyMiner 는실시간이벤트패턴을분석하여미래에발생할이벤트에대한사전예측기능을제공합니다. Pattern Analyzer A up-down-up-up B down-down-up-down 실시간분석 LogMiner! A Pattern Stream 데이터수집 A Pattern B Pattern B Pattern A Pattern B Pattern 인지 SysMiner Action 로깅알람제어 Time 현재시점 예측을통한사전대응 11/21
사전대응 최종적으로 AnyMiner 는다양한수집, 실시간분석, 통합분석을통해문제가발생한사후분석이아니라사전대응기능을제공합니다. Search Head 통합분석 적용예시 Severity Event 감지판별및반응 사번이포함된 엑셀파일 WARNING 공유폴더로 복사 Warning 레벨로깅 실시간 Alert! 실시간스트림분석 A B Topology 분석 고객전화번호가 포함된엑셀파일 CRITICAL 확장자 변경 Critical 레벨로깅 실시간 Alert 인터넷차단 실시간분석 사전대응 Logging LogMiner SysMiner Log File Index 시스템로그시스템정보 다양한수집 Agent Agent Agent Notification E-Mail SMS Control Scripts Script 실행 차단 12/21
AnyMiner 상세기능 AnyMiner 는수집 - 저장 - 분석단계의과정에서다양한기능과특징을가지고있습니다. 고성능및고가용성 다양한분석기능 Index Sharding 및 Parallel Query Mirroring 및 Fail Over 효율적인데이터관리 대용량처리 다양한사용자인터페이스제공 한글형태소분석 인덱싱데이터의 Materializing 사용자직관적이고강력한분석언어 대용량데이터수명관리 강력한보안아키텍처 병렬분산처리구조 신속하고최적화된검색 13/21
고성능및고가용성 AnyMiner 는멀티노드에대한분산처리와 Fail Over 를통해고성능과고가용성을보장합니다. Index Sharding 및 Parallel Query Mirroring 및 Fail Over Index Sharding 문제발생시에트랜잭션 Fail over 장애 Mirroring Mirroring 된데이터를통해트랜잭션복구 병렬처리 전체 의분산처리로고성능보장 멀티 에대한가용성확보 14/21
효율적인데이터관리 대량데이터에대한효율적인수명관리와강력한데이터 Privacy 를보장합니다. 대용량데이터수명관리 강력한보안아키텍처 Hot Warm Cold Frozen 사용자제어사용자접근, 로그인, 승인, 정보 모든사용자는인증을받고접속 권한에따른데이터캡슐을이용 쓰기가능 검색가능 쓰기불가능 검색불가능 자체보안기능 AnyMiner Masking 감시 접근통제 권리 Mirroring 네트워크보안 데이터에대한접근, 변조, 사용에대한관리및추적을편리성제공 Indexing 결과파일 Directory(Bucket) 에저장 저장기간에따른데이터 Life cycle 관리정책수립 Index 설정을통해 Rolling 정책변경 통신채널암호 수집대상 SSL/TLS SSL (Secure Socket Layer) 및 TLS 제공을통한안전한송수신제공 자동화된관리로저장공간비용절감 Privacy 보장된빅데이터플랫폼 15/21
대용량처리 병렬분산처리구조와최적화된검색기능을통해대용량처리에대한고성능을보장합니다. 병렬분산처리구조 신속하고최적화된검색 Search Head LogMiner 클러스터링 Index Index Index Indexing Parsing Indexing Parsing Indexing Parsing FILE FILE FILE Collection Collection Collection Key Value 형태의 Index Agent Agent Agent Inverted Index 저장기능 Historical query 시영구적으로저장된 index 데이터활용 Multi 처리확장성 실시간과대용량배치처리고성능 16/21
다양한분석기능제공 (1/2) 사용자가원하는데이터자료를분석할수있도록 WEB 기반의분석화면을제공하며, 한글형태소분석기를통해한글인덱싱과한글검색을지원합니다. 다양한사용자인터페이스제공 한글형태소분석 한글분석기구조도 소스 1 2 3 Reader Korean Tokenizer Korean Filter 한글인덱싱 결과 5 Stop Filter 4 LowerCase Filter 한글검색 보고서 다양한대용량로그분석보고서제공 대시보드 시계열데이터검색, 분석대시보드생성 사용자별화면 Customizing 각사용자별보고서, 대시보드편집기능 1. 수집데이터 Reading 2. 입력된문장을공백등의기준으로분리 3. 한글유형 ( 한글형태소분석, 복합명사분석 ) 과기타유형으로구분하여처리 4. 영문자를모두소문자로변환 5. 불용어제거 WEB 기반의편리한데이터분석제공 한글분석을통한국내사용자활용증대 17/21
다양한분석기능제공 (2/2) 과거데이터와실시간데이터의즉각적인분석기능과제공되는강력한검색언어로대용량, 비정형데이터를직관적이고손쉽게분석합니다. 인덱싱데이터의 Materializing 사용자직관적이고강력한분석언어 Time T1 T2 T3 T4 Search index= A region= asia 인덱싱인덱싱인덱싱 분석 join ip [ search index= B age < 20 ] 쿼리결과 T1 쿼리결과 T2 쿼리결과 T3 Stream A asia top limit=10 join top Materialized T1+T2+T3 Stream B age Log Indexing 결과사전 Materializing 정형, 비정형통합분석 장기간데이터고성능분석제공 Materialized + Indexed Log = T1+T2+T3+T4 Index Search Language 손쉬운접근언어제공 여러 stream/index 에대한 join 등을수행 강력한 pipeline 기능제공 스트림데이터 처리최적화된 Pipeline 을제공 손쉬운데이터분석 18/21
AnyMiner 활용 AnyMiner 는빅데이터를위한솔루션이므로, 다양한분야에서다양한가치를제공합니다. 비즈니스분야 U-City: 센서데이터를분석하여범죄예방, 교통통제활용 이상금융거래탐지 : 비대면전자금융의심거래를탐지, 차단 재난관리 : 재난발생을미리예측하고선제조치 Plug-In 형식으로다양한비즈니스적용 보안분야 개인정보유출방지 : 비정상적인데이터접근단말차단 실시간보안관제 : 보안의취약점사전에파악 / 조치 IT 관리분야 사전장애예방 : 운영로그를분석하여장애가발생할소지차단 IT 자산관리 : 시스템로그통합및분석 19/21
티맥스의새로운 IT 제안 데이터분석의모든것, 실시간빅데이터분석솔루션 AnyMiner 를통해새로운미래를위한도약을확신합니다. 전통적데이터분석현재까지의솔루션티맥스의새로운 IT 데이터를저장하라. Store. 데이터를경청하라. Listen to your. 데이터와소통하라! Communicate with Any. 구조적질의언어 검색언어 사전대응 배치 실시간인덱싱 통합분석 정형데이터 비정형데이터 모든데이터 정형데이터를 RDBMS 에저장하고, 배치성 ETL 방식으로가공해서 SQL 질의 비정형, 반정형에대해실시간인덱싱및검색 모든데이터를전체적으로모아서판단하여사전대응 20/21
맺음말 티맥스의빅데이터분석솔루션 AnyMiner 를통해다양한분야의비즈니스에성공적인도입을확신합니다. 생산성을혁신적인개선을통한비용절감 데이터기반의의사결정을통한수익증대 다양한비즈니스에활용되어더욱효율적인비즈니스지원 데이터분석의모든것, 실시간빅데이터분석솔루션 실시간분석사전대응통합분석 기존데이터분석요구사항 21/21