Smart Factory Conference 2018 The Database for Things Era of Smart X 마크베이스 이재훈본부장
Table of Contents The Fastest Time Series DBMS Machbase Smart X Era Time Series Database Industrial IoT Machbase Overview Machbase Use Cases
Smart X Era
SMART X Smart X Era - 4 -
SMART Home
SMART City Industrial IoT Era - 6 -
SMART Factory - 7 -
Smart X 시대의도래 SMART Grid SMART Farm SMART Home SMART Factory SMART X SMART Logistics SMART Health SMART City SMART Building Smart X Era - 8 -
IoT/IoE Device 폭증 * Source : iot-analytics.com, 2014 Smart X Era - 9 -
Smart Things? Connected Big Data Intelligence M2M(Machine To Machine), IoT(Internet of Things) 자동차, 발전소, 건축물, 각종센서. TB, PB 데이터볼륨 초당수백만데이터수집, 저장 인공지능 머신러닝 모델링, 예지보전분석 Smart X Era - 10 -
Business 요구사항 Past Present Future Historical Analysis Check a specific data point Real-time Trend monitoring Anomaly detection Alarm & Notification Troubleshooting Predictive Maintenance Reducing downtime Smart X Era - 11 -
Time Series Database
구슬이서말이라도 꿰어야보배
머신데이터, 센서데이터 2018-02-03 21:26:40.000,TAGID00025,56.970000 2018-02-03 21:26:39.998,TAGID00088,58.690000 2018-02-03 21:26:39.997,TAGID00045,59.570000 2018-02-03 21:26:39.996,TAGID00038,62.610000 2018-02-03 21:26:39.995,TAGID00044,58.410000 2018-02-03 21:26:39.993,TAGID00051,58.910000 2018-02-03 21:26:39.992,TAGID00094,53.190000 2018-02-03 21:26:39.991,TAGID00017,51.960000 2018-02-03 21:26:39.990,TAGID00010,53.050000 2018-02-03 21:26:39.988,TAGID00072,62.190000 2018-02-03 21:26:39.987,TAGID00018,62.680000 2018-02-03 21:26:39.986,TAGID00097,51.110000 2018-02-03 21:26:39.985,TAGID00012,55.360000 2018-02-03 21:26:39.983,TAGID00073,55.900000 2018-02-03 21:26:39.982,TAGID00053,64.730000 2018-02-03 21:26:39.981,TAGID00023,51.590000 2018-02-03 21:26:39.980,TAGID00046,55.660000 2018-02-03 21:26:39.978,TAGID00012,53.360000 2018-02-03 21:26:39.977,TAGID00042,50.620000 2018-02-03 21:26:39.976,TAGID00050,57.940000 2018-02-03 21:26:39.975,TAGID00033,51.360000 2018-02-03 21:26:39.973,TAGID00010,59.730000 2018-02-03 21:26:39.972,TAGID00080,55.890000 2018-02-03 21:26:39.971,TAGID00029,60.130000 2018-02-03 21:26:39.970,TAGID00037,59.650000 2018-02-03 21:26:39.968,TAGID00088,54.030000 2018-02-03 21:26:39.967,TAGID00083,58.880000 2018-02-03 21:26:39.966,TAGID00051,56.350000 10,000 Tag * 1 초 * 50 Bytes 9억건 40GB - day - 3,154억건 14.3TB - year - Time Series Database - 14 -
시계열데이터 데이터특성 ( 정형 / 반정형 ) 시간흐름에따라발생하는로그, 이벤트정보 데이터입력위주 데이터업데이트없고과거데이터순삭제 ID, 상태정보포함 해당데이터소스의 ID 및상태정보를반드시포함 시간데이터 시간을기준으로각종통계, 분석수행 매우빠른생성속도 동일패턴, 지속적으로빠르게생성 Time Series Database - 15 -
최근 24 개월 DB 트렌드 * Source : db-engines.com Time Series Database - 16 -
Time Series DB 전성시대 Prometheus Beringei Time Series Database - 17 -
Industrial IoT
IIoT 데이터처리환경변화 전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요 Scan rate 고도화추세 500msec 1msec 저장해야할데이터기간및용량증가 센서개수의증가 데이터량폭증 분석대상데이터범위증가 기구축된시스템의데이터처리허용한도초과 오픈소스솔루션의기능확장및책임소재이슈발생 Industrial IoT - 19 -
데이터처리요구량증가 Scan rate( 초당 ) Smart Factory 시대의데이터처리요구량 1,000 100 현재처리능력 1 10k 500k 1M # of sensor Industrial IoT - 20 -
OT 와 IT 의융합 Visualization & Analytics Tableau QlikView Spotfire SAS MSFT BI ECMiner Custom Applications Enterprise Data Warehouse / Data Mart / Data Lake Convergence Operational Intelligence RTDB PI System Historian PHD dataparc Predix InfoPlus Industrial IoT - 21 -
새로운데이터처리제품필요 초당 2 백만건이상고성능데이터입력지원 데이터증가에따른확장기능 (Scalability) + 데이터압축저장 무정지서비스기능 (High Availability) 요구사항 책임있는기술지원및사후관리 편리한개발및도구통합기능제공 IIoT 에적합한기술개발로드맵제시 Industrial IoT - 22 -
Machbase Overview
10101101010110101101010110101101 01101010110101101011010101 0010101101000101011010 10110101001011010100 010110010010110010 The Fastest Time Series DBMS IoT Analytics Sensor/ Machine Data OT IT Query Results BI ISV Management Machbase Overview - 24 -
마크베이스포지셔닝 Data Entry x 1,000,000 Batch oriented Big Data Analytics Text File Real-Time Big Data Analytics ParStream Machbase HADOOP Enhanced HADOOP Solutions Splunk x 100,000 x 10,000 Conventional Analytics Columnar DBMS BI Solutions Conventional OLTP/OLAP Clustered Columnar DBMS Engineered System (ExaData) In-Memory DBMS X 1000 Disk DBMS Very Old (hours) Old (minutes) Current (seconds) Data Freshness Machbase Overview - 25 -
마크베이스의혁신성 RDBMS Technology Machbase BigData Technology 안정성, 편의성, 사용자특성감안 대용량처리, 클러스터링 데이터베이스 소프트웨어개발및관리편리 느린성능, 소규모데이터처리적합 노드및데이터증가에따른확장성부족 빅데이터솔루션 대용량데이터입력및처리에특화 데이터베이스사용자편의성부족 학습및유지보수관리매우취약 Machbase Overview - 26 -
기술적차별성 초고속데이터입력기술 시계열데이터입력및파티셔닝기술 ( 미국특허 ) 병렬클러스터를통해선형적성능증가 ( 초당천만건이상 ) 초고속데이터전송프로토콜구현 ( 미국특허 ) 클러스터링기술 클러스터노드관리기술 클러스터기반초고속 SQL 처리기술 데이터복제및데이터밸런싱기술 ( 미국특허 ) 고가용보장및노드확장기술 초대용량데이터검색기술 빅데이터를위한 LSM 인덱스구현 10억건검색 0.1초완료 병렬 SQL 처리기술 ( 미국특허 ) 초고속인덱스생성기술 실시간비트맵인덱스인덱스당초당백만건이상처리 파티셔닝기반병렬인덱스생성기술 ( 미국특허 ) Machbase Overview - 27 -
마크베이스제품군 Embedded Edition Real-time Edge Analytics for IoT sensor data Machbase 3 types Standard Edition Fast data processing performance in a single node Enterprise Edition Big data technology revolution in multi-nodes cluster Machbase Overview - 28 -
Embedded Edition Edge Analytics를 위한 최고 솔루션 Raspberry PI 2 CPU : ARM, x86 support O/S : Linux(Redhat, CentOS, Fedora, Ubuntu) Real-time Linux (Wind river Linux) Raspberry PI 3 Windows 64bit 7 Samsung ARTIK 10 Performance : 20,000~ 200,000 EPS input Support ARTIK 7 (64 bit, Linux, ARM CPU) Advantech UTX-3115 Machbase Overview - 29 -
Embedded 성능측정 항목 ARTIK 7 (64BIT) CPU 8 core ARM Cortex A53 @ 1.4Ghz BogoMips 19.71 Memory Storage OS Machbase 1GB 256GB SSD Ubuntu 16.04.3 LTS 3.7.0.88fd672_A53-64-release Client Spec (sending data) Intel i7-4790 @ 3.6Ghz x 8 CPU 32GB Memory CentOS 6.7 1Gbps NIC Machbase Overview - 30 -
Embedded 입력, 조회성능 단위 : 초 항목 입력성능 항목 조회성능 전체입력건수 100,000,000 1 시간범위총건수 (36 만건 ) 0.185 입력소요시간 (sec) 575 1 시간범위 raw 데이터 (36 만건 ) 1.896 초당입력건수 (EPS) 173,913 1 일범위총건수 (864 만건 ) 0.238 평균 CPU 사용률 400% 1 일범위 raw 데이터 (864 만건 ) 37.256 평균메모리사용률 40% 특정조건총건수 (26 만건 ) 1.203 저장용량 (GB) 4.8 1 일범위통계 Top 10 9.913 Machbase Overview - 31 -
Standard Edition 단일노드에서최고의데이터처리성능발휘 초당수만 ~ 수십만건입력가능 데이터처리및보안관련 ISV 에게최고의솔루션 삼성 SECUI, 우정사업본부, KORAIL, 경기도평생교육진흥원 홈페이지 ( http://www.machbase.com ) 에서제품다운로드가능 Machbase Overview - 32 -
Standard 테스트환경 1 억건, 13GB 데이터, 각제품의데이터입력및조회성능측정 - CentOS 6.6 - Machbase 3.5.0 - Intel(R) Core(TM) i7-4790 - MySQL 5.7.12 MyISAM 하드웨어사양 CPU @3.60GHz(4 core) - 32GB memory - SATA DISK 테스트대상 - Splunk 6.4.0 - Elasticsearch 2.3.4 - MongoDB 3.2.6 DATA Field Create Time Source IP Source port Destination IP Destination port Protocol Type Log Text Status Code Data Size Field Name arrivaltime srcip srcport dstip dstport protocol eventlog eventcode eventsize Field Type datetime ipv4 integer ipv4 integer short varchar (1024) short long Machbase Overview - 33 -
Standard 성능비교 초고속입력과압축성능 초당입력건수 압축저장사이즈 250K 232,558 20 17.4 17.6 200K 15 150K 13.3 10 8.9 100K 69,493 50K 44,583 38,344 5 4.64 1,388 0 Machbase MongoDB Splunk MySQL ElasticSearch 0 Machbase MongoDB Splunk MySQL ElasticSearch 데이터입력시간과인덱스생성시간을종합하여계산함 Machbase 는원본크기보다 64.3% 압축됨 (4.64/13GB) Machbase Overview - 34 -
Enterprise Edition 멀티노드클러스터확장구성 단일노드에서도 Scale-up 구성가능 멀티노드로 Scale-out 구성 안정적인대용량데이터처리가능 분산저장, 분산쿼리로성능향상 시계열빅데이터클라우드시스템구축가능 Machbase Overview - 35 -
Enterprise Architecture CLIENT : Active : Standby COORDINATOR COORDINATOR Application WAREHOUSE WAREHOUSE WAREHOUSE Web Analytics WAREHOUSE WAREHOUSE WAREHOUSE Collector ODBC/JDBC BROKER Utility BROKER WAREHOUSE WAREHOUSE WAREHOUSE R WAREHOUSE WAREHOUSE WAREHOUSE Machbase Overview - 36 -
Enterprise 노드종류 노드 역할 Broker 클라이언트프로그램과통신 Warehouse 에게분산데이터 / 쿼리전송 Warehouse Broker와통신 쿼리의분산수행 데이터의저장 데이터의복제수행 Coordinator Broker, Warehouse 상태감시 Node 장애감시 Fail-over 수행 Deployer Broker 와 Warehouse 설치, 제거수행 Machbase Overview - 37 -
Enterprise 성능비교 입력성능 단위 : EPS Test case Standard Enterprise Factor Insert (200 Bytes) 1991 765 0.38 Append (200 Bytes) 555,208 1,976,675 3.56 Append (50KB) 8105 12,724 1.57 Append (24 Bytes) 1,699,824 7,034,510 4.22 조회성능 Test case Standard Enterprise Factor Select 100K data (Event Per Second) 63,234 748,342 11.83 Select from 1M data (second) All data GROUP BY & ORDER BY 1.40 0.33 4.24 Select from 1M data (second) Inline View 0.32 0.04 8.00 Select from 1M data (second) WHERE conditions 0.46 0.06 7.67 테스트환경 : CPU - 16 cores/32 threads, MEM - 256GB, DISK - NVME SSD, 8x warehouse Machbase Overview - 38 -
Machbase Use Cases
빌딩에너지관리시스템적용 빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행 DATA Gateway DATA Gateway DATA Gateway Event Data, log MS-SQL 수집속도한계 Applications IoT Core Security System 변경 Machbase 빌딩에너지관리시스템 스마트아파트관리시스템 빌딩내에너지사용기기에서발생하는다량의센서데이터등을수집하는데기존 RDBMS 속도한계인식 기존대비데이터수집주기를더줄여서수집가능하게됨으로성능에만족. 현재내부솔루션수정예정 빌딩에너지관리시스템 (BEMS) 으로시작하여, 스마트아파트관리시스템으로확장예정 Machbase Use Cases - 40 -
지능형영상정보저장분석 오산시지능형 CCTV 영상정보저장및통계분석플랫폼 구성도 CCTV ( 지능형카메라 ) IntelliVix ( 지능형영상분석 ) 마크베이스통계플랫폼 비디오스트림 객체메타데이터 Machbase ( 시계열 Database) Machbase Grafana ( 시각화대시보드 ). CCTV 1,500 대 IntelliVix 서버 50 대 객체감지 / 추적 이벤트감지 녹화 / 검색 / 재생 / 전송 번호판 / 얼굴인식 이벤트감지메타데이터 DB 서버 1EA 객체매타데이터저장 자동차 / 사람의배회이벤트저장 / 조회 일 1,500 만건의이벤트 / 객체데이터처리 Query 통계서버 도로별안전데이터통계 차량등객체의지역별 / 기간별유동량 / 배회통계분석 배경 인텔리빅스내부 DB 로는모든이벤트 / 메타데이터저장을못함 속도및 DB Size 제약으로최근 1 개월내의데이터만보관 월 / 연인원, 차량 / 인구유동량등통계자료확보못함 적용 효과 1 년이상의전체데이터보관가능하며, 향후확장하여최대 5 년간보관예정 교차로등의사건 / 사고추이분석을위한기초자료제공및대응방안수립을위한통계분석활용 월별, 연별유동량및배회등이벤트패턴분석기반마련 Machbase Use Cases - 41 -
Super Speed Event Interface Service Smart Factory Package HMI Wireless MCU DAQ OPC-DA Ethernet MQTT Pub/Sub RS232 Modbus N-lite N-lite N-lite N-Pro N-lite MQTT/TSN Standard Connetivity Service OPC-UA / TSN 100 만 EPS Simulation Thing Connet Interface Service Web socket Management Console HTTPS/REST 종합모니터링 Smart Factory Monitoring & Analytics HTTP Web Service + 스마트팩토리설비데이터통합분석 I-IoT OneWay Platform + + Thing Model Thing Model Thing Model + Big Data HUB Interface Service Analytics Ethernet TCP/IP 예지정비 HTTPS/AJAX Machbase Event Status The Fastest Time Series DBMS HTTPS/XHR 설비결함메커니즘분석솔루션 POP System Big Data Operation MES System APS System ERP System SCM System 공정빅데이터의초고속수집 공정분석시간단축 예지보전즉시화 Machbase Use Cases - 42 -
Human Data Oracle MS-SQL Big Data Hadoop NoSQL
Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data Tag Data
www.machbase.com Thank You Machbase Inc. Website Email Tel : : : www.machbase.com sales@machbase.com 02-2038-4606