개인데이터기반활용 서비스융합기반 인공지능기반 데이터산업생태계변화
데이터산업생태계변화 실시간빅데이터분석솔루션
데이터의이해 데이터처리기술의이해 데이터분석기획 데이터분석 데이터시각화
고성능및고가용성 빅데이터플랫폼 다양한분석기능 Index Sharding 및 Parallel Query Mirroring 및 Fail Over 효율적인데이터관리 대용량처리 다양한사용자인터페이스제공 한글형태소분석 인덱싱데이터의 Materializing 사용자직관적이고강력한분석언어 대용량데이터수명관리 강력한보안아키텍처 병렬분산처리구조 신속하고최적화된검색
실시간성 1s 1m 부정사용감시, 보안관제 실시간상품추천 도시관제, 재난대응 장애예방 통합로그관리 의료, 헬스케어서비스 1h 1d 소셜미디어분석 ( 트랜드, 감성, 이슈분석외 ) 고객, 시민목소리 (VOC) 분석 1w 국방, 보안관제 /ediscovery 정책발굴, 관리 기술, 학술정보분석 정형반정형비정형 비정형성
구성요소정형데이터비정형데이터 정의 스키마가정의된데이터 정형데이터가아닌것 데이터소스 RDBMS 의테이블형태데이터 텍스트데이터, 로그 데이터처리 엄밀한트랜잭션처리, 완벽한복구 (Commit or Rollback) Read only 데이터처리고성능 (Eventually consistency ) 데이터증가량 증가 매우빠르게증가 데이터조회기술 SQL, 수리통계 NoSQL, 머신러닝 RDBMS Active Active 클러스터 Master Node 데이터처리기술 Data Data SlaveNo de SlaveNo de SlaveNo de SlaveNo de SlaveNo de 분석목적 과거지향적 ( 정합성보장분석, 월별과금배치 ) 미래지향적 ( 추천, 예측 )
운영시스템 콜센터어플리케이션 빅데이터분석 로그수집 (XML, CSV, Text 등 ) 마케팅분석 1. 금융상품추천 VOC 어플리케이션 실시간분석용이한 구조로저장 성능, 보안 2. IT 운영관리 보안장비네트워크장비 등록된룰과비교 검색 제조관리 3. 스마트팩토리 서버, 프로세스 실시간모니터링
빅데이터이전시대 빅데이터시대 빅데이터인프라구축 빅데이터활용마케팅 상담직원또는 지인추천에의한 서비스 / 상품선택 고객불만에대한 분석부족 시스템로그 음성대화 ( 음성변환 ) 실시간이벤트처리 마이닝 최적의상품 직감에의한서비스 / 상품제공방식 개별고객서비스 / 상품선호반영불가 개별고객특성을반영한서비스 / 상품설계불가 다수상품에서고객최적서비스 / 상품선택불가 데이터분석기반서비스 / 상품추천 분석되지못했던시스템로그및음성데이터에대한실시간처리를통한서비스 / 상품추천
[ 빅데이터플랫폼 ] 데이터수집 저장 데이터조회 실시간처리 시각화 분석솔루션 Kafka HDFS Map Reduce Storm Kibana R Flume Cassandra Impala Spark Qliktech SAS Scoop Mongo Hive CEP Esper Micro strategy SPSS Informatica Elastic Search Oracle TimesTen Tableau IBM InfoSphere DataStage Teradata Aster Tibco Stream Base Teradata Aster 오픈소스소프트웨어 상용소프트웨어
[AnyMiner Coverage] [Key Features] 데이터수집 저장 데이터조회 실시간처리 시각화 분석솔루션 Kafka HDFS Map Reduce Storm Kibana R Flume Cassandra Impala Spark Qliktech SAS Scoop Mongo Hive CEP Esper Micro strategy SPSS Informatica Elastic Search Oracle TimesTen Tableau IBM InfoSphere DataStage Teradata Aster AnyMiner 대응영역 Tibco Stream Base Teradata Aster 오픈소스소프트웨어 상용소프트웨어
특징 처리 Active SQL Active Engine Query Engine 빅데이터조회, 분석, 대응 AI Flow Designer CEP Engine SQL Query Engine 고가용성및복잡 Query 분석 CEP Engine 실시간데이터분석 Function Off Loading Index 생성적재 Elasticsearch 활용적재 적재 Storage Server Storage Server Elastic Search Elastic Search Index 활용고성능데이터조회 Storage Server 활용적재 AnyMiner Storage Server Function Off Loading 활용 데이터필터링처리 수집 Data Loader Data Loader Data Loader Rule Source Source Source Agent Buffer Size 단위 Buffer Size 단위데이터수집 시스템 IO 최소화성능극대화 Agent Fail-Over 장애발생시지속적데이터수집
빅데이터스키마설계 데이터분석통합포털활용 DataSet Management 빅데이터스키마설계 DataSet 속성 1 2 3 4 5 빅데이터생성 분석대상시스템 Agent 설치 DataSet 생성 DataLoader, DataSet 매핑 Agent로데이터수집빅데이터생성완료 Elasticsearch Segment Index 빅데이터생성 Data Loader Agent
[Agent/Agentless 데이터수집 ] Switch Agent Agentless File/Directory 데이터분석플랫폼 수집 정형 / 비정형수집 DB JDBC Parsing Router Remote 방식수집 (Agentless) Local 방식수집 Scripts Scripted Input Agent, Agentless 기반데이터수집 Agent : 파일 / 디렉토리에서데이터추출 Agentless : syslog 등과같이네트워크를통해직접전송되는데이터를수집 다양한형태수집방식지원 File / Directory : 특정 File 이나 Directory 에변화인식하여데이터전달 Scripted Input : Script 의실행결과를수집하는기능 JDBC : RDBMS 에표준프로토콜 (JDBC) 를이용한데이터룩업 (Look up)
Hadoop 대비 6 배이상고성능데이터적재 품질지표품질목표결과치 로그처리성능 200,000 EPS 202,541 EPS 다수의로그포맷처리 다수의 Alert 검출 10 개 10 개이상 5 개 5 개 분석성능 50GB/sec 1,033 GB/sec 시험조건 서버 1 대 AnyMiner Server 와 Agent 설치 Ubuntu 16.04 LTS(64bit) Intel Xeon E5-2660 v4 @2.00GHz * 14 128GB Memory, 600 GB HDD 시험대상로그 크기 : 1,046,720 KB(0..99 GB) 데이터건수 : 11,879,501 건 형식 : ACCESS_COMMON 노드당성능증가율 실시간검출지연시간 50% 65.4 % 10ms 1.9 ms 측정방법 로그개수 / 처리시간 EPS(Event Per Second) 다수로그포맷처리, Alert 검출 실측값 분석성능 로그사이즈 / 처리시간 실시간검출지연시간 이벤트검출시간 / 개수
[ 빅데이터처리흐름 ] [ 워크플로우관련도구 ] AnyMiner 직관적 Data 모델링 SQL Engine 처리및가공 Data Modeler Auto Discovery 데이터소스에서제공정보기반모델링 관계형모델링 Virtual Table 간 Relation 정보확인 데이터저장소 유연한 Flow 개발 Data Loader Agent Source 수집및가공 Flow Designer View / Monitoring Drag & Drop 방식, Task 재사용 다양한 Task 제공 Query, Join, Filter, Sort, FileWrite, FileRead, 등 조건형 Flow 설계 선행 Task 성공여부에따른분기, 후행 Task 실행순서지정 Ad-hoc 쿼리구문실행, 결과확인 Flow 의실행 Plan 확인 Flow Task 중간결과조회가능 실행 Log View 제공 개발가시성확보
PS Primary Shard, R - Replica Dataset Part_2016.01 Part_2016.02 Part_2016.08 Node 1 Node 2 Node 3 PS1 R2 PS2 PS1 PS2 PS3 R3 R1 R2 PS1 R3 R1 PS2 R1 PS3 R2 전체 Node 의분산처리로고성능보장 멀티 Node 에대한가용성확보
Anyminer 플랫폼데이터저장구조 Document 1 Document 2 Document 3 Stopword list a and around for from In Is It not On One the to under Inverted index ID Term Document 1 Best 2 2 Blue 1,3 3 Bright 1,3 4 Butterfly 1 5 Breeze 1 6 Forget 2 7 Great 2 8 Hangs 1 9 Need 3 10 Retire 2 11 Search 3 12 Sky 2,3 13 wind 2 Index 형태의데이터저장 텍스트데이터분석에용이한 Inverted Index 형태로데이터인덱싱 비정형데이터에대한검색속도향상 비정형데이터최적인덱싱 일반적인 Hadoop 기반솔루션은 index 가없는구조 검색속도이슈발생 text search (inverted index) - 대부분의필드가 cardinality 가적은특징 최적의인덱싱방식
App App SPL 과 SQL 모두제공 SQL Select abc from Table SPL search abc top 5 SPL 장점 : 파이프라인, join 손쉬운언어 SQL 장점 : 개발자익숙, 정교함 Query Engine 강력한 Query Power 정형 비정형 SPL(Search Processing Language): 검색프로세싱언어 전문 RDBMS 쿼리엔진 비용기반옵티마이저고성능지원 Hive, Impala 등오픈소스의근본적차별성
스트림데이터 구성요소 Real-time Alert Scheduled Alert CEP Time Range = 5 초 시간구간 비교적짧다 (sec, min) 비교적길다 (hour, day) A S A B F I C U 룰예시 : ABC, 5초인메모리 Complex Event 언제검사하나? 동작방식 Rule 정의는? Event-driven In-memory processing CQL Time-driven Store & Processing SQL Services Action Notification 구현은? CEP Querying
통계패키지 표준프로토콜 표준 SQL 조회 다양한분석솔루션연동 글로벌상용소프트웨어 : SPSS, SAS 등 오픈소스 : R, Python scikit-learn, Tensorflow 등 국산상용소프트웨어 : ECMiner AnyMiner Query Engine 비정형데이터저장소 표준프로토콜 /SQL 정형뿐만아니라, 비정형데이터도 Query Engine 을통해연동 JDBC, ODBC 등표준프로토콜지원 ANSI 표준 SQL 을통한데이터조회
Hadoop AnyMiner 단점 장점 구성의복잡성 ( 구축 ) 성능이슈 ( 구축 & 관리 ) 장애대응어려움 ( 관리 ) 장점 빅데이터기반마련 다양한 Component 소유 인력인프라 급변하는 S/W 의 Lifecycle 단일제품 ( 구축 ) 빠른수집 / 최소의오버헤드 ( 구축 & 관리 ) 통합플랫폼 ( 관리 ) 단점 시각화, 분석기능활용툴부족 ( 진화중 ) 인력 / 교육적인프라부족 단일플랫폼으로계속적인지원 호튼윅스, 클라우데라, 맵알등의벤더 ( 상용하둡 ) 이용하여단일솔루션들의조합의구축어려움의단점을해결하고자노력 Hadoop 인터페이스에대한지원등으로단점을극복하고자진화중
기능구분 AnyMiner Hadoop 플랫폼제공관점 통합제품 ( 플랫폼 ) 으로제공 단위솔루션조합 수집 Agent 관리 웹기반관리툴로편의성제공 오픈소스이용으로관리툴부족및관리어려움존재 데이터파싱 정규식형태의유연성제공 복잡하고유연성부족수집정합성 중복없고, 데이터유실도없음 데이터중복및유실에대한이슈많음이벤트수집속도 수집시빠른성능보장 수집에부하가많고느림저장형태 Index형태로검색속도빠름 Raw data저장검색, 상대적으로느림 SQL 조회기능 이벤트처리 강력한 Query Power Tibero 의강력한옵티마이저이용 CEP(Complex Event Processing) 기반실시간처리 기본적은 SQL Like 기능제공 (Hive) 상용 DBMS Tibero 엔진기반으로하는 AnyMiner 보다적은지원범위및성능상느림 실시간처리제공어려움 ( 일괄처리기반 ) - SPARK 와같은별도 S/W 설치
[Without AnyMiner] [With AnyMiner] 빅데이터 = 오픈소스? 빅데이터개념초창기 Hadoop 기반의오픈소스기반프로젝트진행 프로젝트진행과정중인프라제품기술력한계, 요구사항반영부족등의한계 빅데이터시대에걸맞는상용소프트웨어 수집 / 저장 / 분석전영역에여러오픈소스로산재되어있는기술을단일솔루션으로대체가능 국내원천기술보유기술력을통한보다확실한기술지원서비스확보
XML 데이터파싱기능 필드별암호화 / 마스킹기능 스토리지데이터스캔성능개선 쿼리엔진병렬처리기능개선 CEP 기능고도화 Virtual DB 연동 (ETL) 사용자별권한관리 Machine Learning 엔진탑재 TmaxIaaS에통합 18 년상반기 CEP 분산처리 신분석툴개발 시각화도구 18 년하반기 17 년하반기