The Database for Things The Fastest Time Series DBMS for Industrial IoT Data ( 주 ) 마크베이스 이재훈본부장
Table of Contents The Fastest Time Series DBMS Machbase Global IoT Trend Time Series Database Industrial IoT Machbase for IIoT Machbase Use Cases Summary
Global IoT Trend
Smart-X 시대의도래 SMART Logistics SMART Farm SMART Home SMART Factory SMART X SMART Grid SMART Health SMART City SMART Building - 4 -
IoT Device 의폭증 Internet of Things (IoT) connected devices installed base worldwide from 2015 to 2025 100 unit: Bn 80 7544 Connected devices in billions 60 40 20 1541 1768 2035 2314 2666 3073 3582 4262 5111 6212 0 source: statistacom 2019-5 -
Strategic Technology Trend * Source : gartner 2017 2018 2019 Intelligent Applied AI & Advanced ML AI Foundations AI-Driven Development Intelligence Things Intelligent Things Autonomous Things Intelligence Apps Intelligent Apps and Analytics Augmented Analytics Digital Digital Twins Virtual & Augmented Reality Blockchains and Distrinuted Ledgers Digital Twins Cloud to the Edge Immersive Experience Conversational Platform Digital Twin Empowered Edge Immersive Experience Mesh Conversational Systems Mesh app and Service Architecture Digital Technology Platforms Adaptive Security Architecture Blockchain Event-Driven Continuous Adaptive Risk and Trust Blockchain Smart Spaces Privacy and Ethics Quantum Computing IoT 데이터폭증 à Edge Computing à 초연결지능화 - 6 -
Strategic Technology Trend 2020 People-centric Smart spaces 2019 Gartner Inc - 7 -
최근 24 개월 DBMS Trend Time Series DBMS - 8 -
Time Series Database ( TSDB )
Time Series Data? Stock Price Server Metrics Autonomous Driving Sensor & IoT Data - 10 -
Time Series Data 특징 데이터특성 ( 정형 / 반정형 ) 시간흐름에따라발생하는로그, 이벤트정보 데이터입력위주 데이터업데이트없고과거데이터순삭제 ID, 상태정보포함 해당데이터소스의 ID 및상태정보포함 시간데이터 시간을기준으로각종통계, 분석수행 매우빠른생성속도 동일패턴, 지속적으로빠르게생성 - 11 -
Time Series DBMS(TSDB) A software system that is optimized for storing and serving time series through associated pairs of time(s) and value(s) - wikipedia TSDB High Ingest Scalability Usability - 12 -
Time Series DB 종류 Prometheus Time Series Database - 13 -
Time Series DB 용도 Analyze Past Monitor Present Predict Future Historical Analysis Check a specific data point Real-time Trend monitoring Anomaly detection Alarm & Notification Predictive maintenance Reducing downtime Machine learning - 14 -
Industrial IoT ( IIoT )
OT 와 IT 의융합 Visualization & Analytics Tableau QlikView Spotfire SAS MSFT BI ECMiner Custom Applications Enterprise Data Warehouse / Data Mart / Data Lake Convergence! Operational Intelligence RTDB PI System Historian PHD dataparc Predix InfoPlus - 16 -
Industrial IoT 데이터추이 Scan rate(second) Smart Factory 시대의데이터처리요구량 1,000? 100 처리요구량증가 현재처리능력 1 10k 500k 1M # of sensor - 17 -
IIoT 데이터의증가 AI 분석목적저장기간증가 1,000 개 * 100 ms * 40 Bytes Duration 설치센서개수증가 Count of sensor 9 억건 32 GB - day - 3,154 억건 Sampling Rate 센서성능향상 11 TB - year - - 18 -
현장의요구사항 (Edge Level) Memory Limitation 저장소압축 512M ~ 2G CPU 고속데이터추출 ARM, X86 Storage Limitation 4GB ~ 128GB 빠른센서데이터입력 zzz - 19 -
현장의요구사항 (Enterprise Level) P 사압연공정 비싼구매비용 2msec, 1TB / 일 복잡한프로세스 L 사 Display 설비센서 1500 만 tag / 초 높은유지보수인력 S 사웨이퍼공정 느린성능 zzz 4 조 4 천억건 / 년 - 20 -
IIoT 데이터처리환경변화 제조공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요 Scan rate 고도화추세 500msec à 10msec 저장해야할데이터기간및용량증가 센서개수의증가 데이터량폭증 분석대상데이터범위증가 기구축된시스템의데이터처리허용한도초과 오픈소스솔루션의기능확장및책임소재이슈발생 - 21 -
제품요구사항 IIoT 의특성을고려한 DBMS 기본구조필요 고속입력 : 초당수십만건이상의입력가능아키텍처 실시간압축 : 저장소효율성극대화를위한압축알고리즘 센서스키마 : IIoT 의센서를대표하는저장구조지원 고속시계열질의 : 시간범위에대한빠른검색성능 실시간통계 : 실시간통계기능지원 Scale-out & High Availability : 대규모센서빅데이터지원 Embedded Architecture : 에지컴퓨팅 (Edge Computing) 의필수요소 SQL support : 개발편의성및기존지식재활용 - 22 -
Machbase for IIoT
The Database for Things 스마트공장설비에서발생하는센서데이터를실시간으로저장, 분석하는시계열 DBMS Analytics 10101101010110101101010110101101 01101010110101101011010101 0010101101000101011010 10110101001011010100 010110010010110010 Sensor/ Machine Data OT IoT IT Query Results BI ISV Management - 24 -
Machbase Position L4 Analysis R SAS ECMiner AI IT L3 BigData RDBMS Hadoop OpenSource Machbase L2 RTDB PI Historian InfoPlus OT L1 제어설비 PLC HMI SCADA H/W 영역 L0 생산설비 Sensor Actuator - 25 -
Machbase 제품군 Edge Edition Real-time Edge Analytics for IoT sensor data Machbase 3 types Fog Edition Fast data processing performance in a single server Cluster Edition Big data technology revolution in multi-nodes cluster - 26 -
Edge Edition Best solution for Edge Analytics CPU : ARM, ATOM(x86) series Raspberry PI 3 O/S : Linux(Redhat, CentOS, Fedora, Ubuntu) Real-time Linux (Windriver Linux) Windows 64bit Raspberry PI 4 Performance : 초당수천에서수십만건저장가능 Samsung nvidia JetsonTx2 ARTIK 10 nvidia Jetson (64 bit, Linux, ARM CPU) 지원 LattePanda - 27 -
Fog Edition Fast data process performance in a single server 단일서버에서최고의성능발휘 초당수만건에서수십만건데이터저장가능 리눅스, 윈도우 64 bit 지원 고성능시계열 DB 를필요로하는 ISV 의최적솔루션 - 28 -
Cluster Edition Multi-nodes Cluster Scalability 다중노드를통한분산저장, 분산쿼리지원 고가용성, 고확장성지원 노드증가에따른성능향상 시계열데이터용클라우드시스템구성가능 - 29 -
Machbase 혁신성 RDBMS Technology Machbase IIoT BigData Technology 안정성, 편의성, 사용자특성감안 대용량처리, 클러스터링, CAP 이론 데이터베이스 소프트웨어개발및관리편리 느린성능, 소규모데이터처리적합 노드및데이터증가에따른확장성부족 빅데이터솔루션 대용량데이터입력및처리에특화 데이터베이스사용자편의성부족 학습및유지보수관리매우취약 - 30 -
Machbase 기술적차별성 초고속데이터입력기술 시계열데이터입력및파티셔닝기술 ( 미국특허 ) 병렬클러스터를통해선형적성능성능증가 초고속데이터전송프로토콜구현 ( 미국특허 ) 실시간데이터압축기술 (2단계압축 ) 멀티노드클러스터링기술 클러스터노드관리기술 클러스터기반초고속 SQL 처리기술 데이터복제및데이터밸런싱기술 ( 미국특허 ) 고가용보장및노드확장기술 초대용량데이터검색기술 센서데이터를위한 Tag 구조및알고리즘 ( 특허 ) 세계최고성능의 SQL 기반의 RTDB 기능지원 Rollup Table을통한실시간통계기능지원 빅데이터를위한 LSM 인덱스지원 병렬 SQL 처리기술 ( 미국특허 ) 초고속인덱스생성기술 실시간센서데이터 Tag 인덱스 실시간비트맵인덱스인덱스별초당백만건이상처리 파티셔닝기반병렬인덱스생성기술 ( 미국특허 ) - 31 -
센서데이터처리기법비교 Tree 기반기존기술 마크베이스 Tag Table 기술 B+-Tree Index on Time Column T1 T2 검색범위 Clustered Partition Sensor Block 검색범위 T1 In-Memory Time Range Index T2 시간순서센서데이터는서로섞임 한개센서데이터검색범위매우증가 데이터량, 센서개수증가시입력 / 검색성능은선형적으로저하 모든 Tree 기반구조는동일약점보유 각각의센서데이터가 Clustering 됨 특정시간범위, 센서데이터접근시효율 데이터량, 센서개수증가에도입력 / 검색성능은미비하게저하 수백억건저장기준밀리초추출성능 - 32 -
특화된테이블제공 Volatile Table Lookup Table Memory 휘발성데이터 Snapshot 데이터 PK 기반입력, 수정, 삭제 기준정보데이터 디스크저장유지 PK 기반입력, 수정, 삭제 Log Table Tag Table Disk 시계열로그데이터 이력 (Historical) 데이터 입력, 선택적삭제 센서데이터 자동통계데이터생성 입력, 선택적삭제 - 33 -
TPCorg 공식표준 IoT DBMS TPC ( 세계성능평가협회 ) (Transaction Processing Performance Council) http://wwwtpcorg/tpcx-iot/ ü HP, IBM, 오라클, 인텔, 마이크로소프트등글로벌 IT 업체가 모여만든성능검증비영리단체로 TPC 인증은국제표준으로 통용되며, 제품신뢰성을확보하는평가모델로전세계가인정 ü TPC 회원사인해외주요 HW 기업과 DBMS 벤더가협력하여 공식성능평가자료를공개 ü TPCx-IoT 분야는 IoT 데이터처리 DBMS 성능을평가하는스펙 ü 정부의지원 (TTA) 을받아 TPC 와함께테스트및등록진행 ü TPC 공식검증을통해세계최고의성능을국제적으로인정 - 34 -
TPCx-IoT 세계 1 위 DBMS - 35 -
Machbase Use Cases
제지업체 E-IoT 플랫폼 제지공정내설비최적운전사전단계로 Tag 고속수집 구성도 OPC Client E-IoT 플랫폼 OPC Data Access I/F Network DCS Foxboro DCS ABB DCS OPC Client OPC Server Inner Layer OPC Client OPC DA Server OPC DA Client CSV 파일 API Library Workstation (DCS Real- Time Data) Server (Real-Time Historical Data) Network Servers Machbase Machbase DBMS for E-IoT Platform 배경 DCS - OPC DA Client 수집불가 기존시스템내 RDBMS 탑재 à Tag 1000 개 / 초수집이어려움 OPC UA 가아닌프로토콜에서의수집방안연구 적용 효과 OPC DA 서버로부터생성된 CSV 파일고속수집 초당 1 천 Tag 이상수집및 1 초단위로데이터입력진행 수집한센서데이터의 Tag 값에대해재접속시자동입력 - 37 -
시멘트공정품질데이터모니터링 시계열 DB 를통한공정요소트렌드, 알람, 이벤트, 조치 실험정보관리시스템 도입 배경 압축감도기, 동결측정기, 밀도측정기등수십개장비내선택데이터에대한종합화면구성필요 검사항목별로샘플링한검사결과에대한자동화데이터추출및모니터링니즈 Needs 실험데이터는 MS SQL 내쌓고있으나각공정별품질데이터변화에대한실시간모니터링이어려워 수집주기를 15분에서초단위로변경하여데이터정밀도상향필요 연속공정내품질데이터집계 Pain Point 특수한공정내에서이전두시간에한번씩체크 아날로그데이터수기입력 최종공정에대한결과치만있고중간공정에는없어 시계열데이터베이스 + 실시간모니터링 적용 효과 원료 ( 석회석 ) 품위데이터에대하여초단위로데이터수집 데이터적재시데이터량및품위변경에따른샘플링결과가 장비별, 공정별로시시각각모니터링가능해짐 - 38 -
리튬이온배터리품질데이터수집 Tester #1 Tester #2 Tester #3 Tester #4 Tester #5 Tester #6 Tester #7 Tester #8 32 개 32 개 32 개 32 개 32 개 32 개 32 개 32 개 32EA x Tester 8SET= 256EA Machbase DBMS Fog Edition : 1EA (DB 용 PC 별도구성필요 ) Keysight BT2200 Charge-Discharge Platform NET, C# Tag Analyzer Machbase - 39 -
제약사스마트팩토리 - 40 -
지능형영상정보저장분석 오산시지능형 CCTV 영상정보저장및통계분석플랫폼 구성도 CCTV ( 지능형카메라 ) IntelliVix ( 지능형영상분석 ) 마크베이스통계플랫폼 비디오스트림 객체메타데이터 Machbase ( 시계열 Database) Machbase Grafana ( 시각화대시보드 ) CCTV 1,500 대 IntelliVix 서버 50 대 객체감지 / 추적 이벤트감지 녹화 / 검색 / 재생 / 전송 번호판 / 얼굴인식 이벤트감지메타데이터 DB 서버 1EA 객체매타데이터저장 자동차 / 사람의배회이벤트저장 / 조회 일 1,500 만건의이벤트 / 객체데이터처리 Query 통계서버 도로별안전데이터통계 차량등객체의지역별 / 기간별 유동량 / 배회통계분석 배경 인텔리빅스내부 DB 로는모든이벤트 / 메타데이터저장을못함 속도및 DB Size 제약으로최근 1 개월내의데이터만보관 월 / 연인원, 차량 / 인구유동량등통계자료확보못함 적용 효과 1 년이상의전체데이터보관가능하며, 향후확장하여최대 5 년간보관예정 교차로등의사건 / 사고추이분석을위한기초자료제공및대응방안수립을위한통계분석활용 월별, 연별유동량및배회등이벤트패턴분석기반마련 - 41 -
선박운전정보모니터링시스템 Data Collection Data Storing Visualization & Analysis Satellite By CAN Communication Tag, Alert Alert, Warning & Error Control Room Shape of Distribution 선박인도후고객밀착서비스 More than 200 Vessels 기술지원 유지보수 장애처리 - 42 -
에너지빅데이터플랫폼 (Before) Hadoop Ecosystem Architecture Conventional MG MG/PV MG/PV MG/CT MG/CT Modbus/TCP Modbus/TCP Modbus/TCP Modbus/TCP MG data collector MG data collector MG data collector MG data collector Spark stream HDFS Spark (batch) Combined MG MG/EMS MG/EMS RESTful RESTful REST data collector REST data collector Kafka RDBMS eiot Sensor/IoT Sensor/IoT Sensor/IoT LWM2M LWM2M LWM2M LWM2M data collector LWM2M data collector LWM2M data collector Time Series Data Agent InfluxDB Log Data Agent Big Data (CSV) Logstash (filter#1) Logstash (filter#2) Logstash (filter#3) ElasticSearch Kibana - 43 -
에너지빅데이터플랫폼 (After) Machbase Database Architecture Conventional MG Combined MG Big Data (CSV) MG/PV MG/EMS Modbus/TCP RESTful File MG data collector REST data collector File Loader Filtering Filtering Filtering Machbase (TSDB) Python Application Visualization Grafana eiot Sensor/IoT LWM2M LWM2M Server Filtering Visualization Tableau - 44 -
Edge Device Embedding Edge Device 내마크베이스임베딩하여 Edge Computing 구현 Edge Fog Machbase Edge Edge Device Replication Machbase Edge NET Machbase Edge Edge Device Replication Custom Visualization 배경 기존에는 Edge 없이 Fog 서버의 RDB 에데이터저장 RDB 로는 raw 데이터저장못하고 avg 값만저장 Fog 에서데이터검색성능저하 적용 효과 Edge Device 내 Machbase 임베딩, 1 차데이터수집 센서개수증가에대응가능한데이터수집구조구현 현장에 Edge Computing 적용을위한검증완료 - 45 -
Summary
Summary Smart-X Smart-X 시대센서데이터처리에대한요구사항증대 Edge Computing Edge Computing 이 IIoT 의중심기술로대두되고있음 TimeSeries DBMS 센서데이터영역을위한최고성능의신개념 DBMS 필요 Machbase 마크베이스는센서데이터를위한최적의 DBMS 솔루션 - 47 -
Human Data Oracle MS-SQL Machine Data MACHBASE