The Database for Smart Factory 한국밸런스
목차 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Global IoT Trend IT vs OI Challenges Requirements for IIoT Machbase for IIoT Key Features Solution Comparison Performance Edge Computing in IIoT Conclusion - 2 -
Global IoT Trend
Industrial IoT 머신데이터의폭발적증가 실시간저장분석 = 난제 스마트시대 IT 인프라구성단말 Device 폭증 Smart Devices Cloud Computing Infra Artificial Intelligence M2M(Machine To Machine), IoT(Internet of Things) 자동차, 발전소, 건축물, 각종센서. 수십만대의서버및네트워크장비로부터관리데이터폭증 제 4 차산업혁명시대의도래 머신러닝 예지보전분석 Smart Factory Smart Grid IoT Devices Global IoT Trend - 4 -
IoT/IoE Device 의폭증 2020 년까지 180 억 ~ 500 억개 IoT 디바이스증가예상 * Source : iot-analytics.com, 2014 Global IoT Trend - 5 -
2019 시장전망 IoT 데이터폭증 실시간데이터처리 / 분석 예측, 장애감지 Global IoT Trend - 6 -
가장 IIoT 데이터가 많은 영역 SMART Logistics SMART Farm SMART Home SMART SMART Factory SMART Health Global IoT Trend X SMART City -7- SMART Grid SMART Building
IT vs OI
Industrial IoT 데이터트렌드 Visualization & Analytics Tableau QlikView Spotfire SAS MSFT BI ECMiner Custom Applications Enterprise Data Warehouse / Data Mart / Data Lake EarthQuake! Operational Intelligence RTDB PI System Historian PHD dataparc Predix InfoPlus IT vs OI - 9 -
Industrial IoT 데이터트렌드 L4 Analysis R SAS ECMiner AI IT L3 BigData RDBMS Hadoop OpenSource 2 4 3 L2 RTDB PI Historian InfoPlus 1 OT L1 제어설비 PLC HMI SCADA H/W 영역 ( 파트너협업 ) L0 생산설비 Sensor Actuator IT vs OI - 10 -
IIoT 데이터처리환경변화 전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요 Scan rate 고도화추세 500msec 10msec 저장해야할데이터기간및용량증가 센서개수의증가 데이터량폭증 분석대상데이터범위증가 기구축된시스템의데이터처리허용한도초과 오픈소스솔루션의기능확장및책임소재이슈발생 IT vs OI - 11 -
Challenges
Industrial IoT 데이터트렌드 Scan rate(second) Smart X 시대의데이터처리요구량 1,000? 100 현재처리능력 1 10k 500k 1M # of sensor Challenges - 13 -
현장의요구사항 (Edge Level) Memory Limitation 저장소압축 512M ~ 2G CPU 고속데이터추출 ARM, X86 32bit Storage Limitation 4G ~ 128G 빠른센서데이터입력 zzz.. Challenges - 14 -
현장의요구사항 (Enterprise Level) P 사압연공정 비싼구매비용 2msec, 1TB / 일 복잡한프로세스 L 사 Display 설비센서 1500 만 tag / 초 높은유지보수인력 S 사웨이퍼공정 느린성능 zzz.. 4 조 4 천억건 / 년 Challenges - 15 -
Requirements for IIoT
왜기존제품으로는 IIoT 처리가어려울까? 데이터처리에대한철학적배경이다름 RDBMS (Disk/Memory) Transaction based expensive data Hadoop Completely unstructured data with full-scan No-SQL Key-Value based easy clustering & partition RTDB Single Node based Solution not DBMS!! IIoT 의특성을고려한 DBMS 기본구조가필요 고속입력 - 초당수십만건이상의입력허용구조 실시간압축 저장소효율성극대화를위한압축알고리즘 Sensor based Schema IIoT 의센서를대표하는저장구조지원 고속시계열질의 시간범위에대한극한검색성능 Real-time statistics 실시간통계기능지원 Scale-out & High Availability 초대규모센서빅데이터지원 Embedded architecture The essentials for Edge computing SQL support easy development & reusable knowledge Requirements for IIoT - 17 -
기능요구비교 Desired Product Open Source (Cassandra, ScyllaDB) RDBMS (Oracle, Mysql) RTDB (Historian DB) 고속데이터입력 (1M EPS) X 고확장성 (Scale-out) X X 고가용성 (HA) SQL 구문지원 X 개발용이성 X 기존지식재활용성 X 시계열데이터처리 X 낮은 TCO X X 센서형데이터타입처리 X X Requirements for IIoT - 18 -
Machbase for IIoT
Machbase 혁신성 RDBMS Technology Machbase IIoT BigData Technology 안정성, 편의성, 사용자특성감안 대용량처리, 클러스터링, CAP 이론 데이터베이스 소프트웨어개발및관리편리 느린성능, 소규모데이터처리적합 노드및데이터증가에따른확장성부족 빅데이터솔루션 대용량데이터입력및처리에특화 데이터베이스사용자편의성부족 학습및유지보수관리매우취약 Machbase for IIoT - 20 -
Machbase 기술적차별성 초고속데이터입력기술 시계열데이터입력및파티셔닝기술 ( 미국특허 ) 병렬클러스터를통해선형적성능증가 ( 초당천만건이상 ) 초고속데이터전송프로토콜구현 ( 미국특허 ) 실시간데이터압축기술 (2단계압축 ) 클러스터링기술 클러스터노드관리기술 클러스터기반초고속 SQL 처리기술 데이터복제및데이터밸런싱기술 ( 미국특허 ) 고가용보장및노드확장기술 초대용량데이터검색기술 센서데이터를위한 Tag 구조및알고리즘 ( 특허 ) 세계최고성능의 SQL 기반의 RTDB 기능지원 Rollup Table을통한실시간통계기능지원 빅데이터를위한 LSM 인덱스구현 10억건검색 0.1초완료 병렬 SQL 처리기술 ( 미국특허 ) 초고속인덱스관리기술 실시간센서데이터 Tag 인덱스 ( 초당 150만건이상 ) 실시간비트맵인덱스인덱스당초당백만건이상처리 파티셔닝기반병렬인덱스생성기술 ( 미국특허 ) Machbase for IIoT - 21 -
Machbase 제품군 Edge Edition Real-time Edge Analytics for IoT sensor data Machbase 3 types Standard Edition Fast data processing performance in a single node Enterprise Edition Big data technology revolution in multi-nodes cluster Machbase for IIoT - 22 -
Edge Edition Best solution for Edge Analytics CPU : ARM, ATOM(x86) series Raspberry PI 2 O/S : Linux(Redhat, CentOS, Fedora, Ubuntu) Real-time Linux (Windriver Linux) Windows 10 Raspberry PI 3 Performance : 20,000~ 200,000 EPS input Samsung ARTIK 10 7 Recently, support ARTIK 7 (64 bit, Linux, ARM CPU) LattePanda Machbase for IIoT - 23 -
Standard Edition Fast data process performance in a single node Capable of tens to hundreds of thousands of entries Best solution for data processing and security related ISVs Samsung SECUI, KORAIL, KOREA POST Full-version download available at Homepage( http://www.machbase.com ) Machbase for IIoT - 24 -
Enterprise Edition Multi-nodes Cluster Scalability Scale-up configuration on a single node Scale-out configuration on multi-nodes Linear performance increase Capable of building the time series data cloud system Machbase for IIoT - 25 -
Key Features
Tag Table 수백억태그데이터에빠른저장과초고속태그데이터추출 테이블명은 TAG 로고정되고 Tag, Timestamp, Value 3개칼럼기본구성 Tag, Timestamp 기반 Partitioning 저장, 빠른추출가능함 TAG TAG1 TAG2 TAGn TAG1_value3 TAG1_value2 TAG1_value1 TAG2_value3 TAG2_value2 TAG2_value1 TAGn_value3 TAGn_value2 TAGn_value1 Key Features - 27 -
Rollup Table TAG 테이블생성시자동으로생성되며사용자레벨에서조작불가 집계시간단위는 Second, Minute, Hour 집계함수는 Minimum, Maximum, Average, Sum, Count TAG TAG1 TAG2 TAGn TAG1_Rollup_SEC TAG1_Rollup_MIN TAG1_Rollup_HOUR TAG2_Rollup_SEC TAG2_Rollup_MIN TAG2_Rollup_HOUR TAGn_Rollup_SEC TAGn_Rollup_MIN TAGn_Rollup_HOUR Key Features - 28 -
STREAM 소스테이블과타깃테이블사이에서 SQL 질의를통해실시간데이터변환 INSERT INTO SELECT 구문을통한실시간이벤트필터링 동시에다수의 STREAM 생성및실행가능 INSERT INTO SELECT Filter 1 Filter 2 Filter 3 source STREAM target Key Features - 29 -
Tag Analyzer Tag 데이터에대한 Fast Trend Monitoring 가능한웹기반대시보드 년, 월, 일, 시, 분, 초, RAW 데이터에대한 Drill Down Browsing 가능 좌우 50%, 100% 이동등다양한차트조작기능제공 Key Features - 30 -
제안시스템구성도 설비센서빅데이터저장소 Machbase v5 R SAS BI Custom Data Analysis Machbase RDBMS Hadoop Data Store Tag 정형 정형 비정형 설비데이터 생산데이터 품질데이터 Data Type Key Features - 31 -
Solution Comparison
솔루션비교표 Open Source RDBMS InfiniFlux 구분 shows Machbase outstanding Hadoopperformance (Cassandra, with InfluxDB ScyllaDB) (Oracle, Mysql) RTDB (Historian DB) 고속데이터입력 (1M EPS) X 고확장성 (Scale-out) X X 고가용성 (HA) 풍부한 SQL 구문제공 X 개발용이성 X 기존지식재활용성 X X 기술지원 X X 낮은 TCO X X OT 와 IT 융합지원 X Solution Comparison - 33 -
하둡 (Hadoop) 과의차별성 실시간데이터수집및저장 하둡의경우실시간처리가어려워배치분석에유리 마크베이스는초당 1만 100만건이상데이터수집및저장속도보장 데이터압축률 하둡의경우인덱싱크기에따라데이터량증가 마크베이스는머신및센서데이터 90% 까지압축 고가용성 하둡역시 HA 가가능하나노드증가시비용역시증가 마크베이스는단일서버부터분산환경까지확장지원 예를들어하둡 100노드구성 vs 마크베이스 10노드로도구성가능 물리적서버수량절감으로 HW 구성비용절약가능 유지보수인력국내상시대기 클라우데라, 호튼웍스, 맵알등하둡지원및구축외산서비스업체대기시간대비즉각대응가능 표준 SQL 로기존기술활용가능. 국내기술인력상시지원및교육지원 Solution Comparison - 34 -
오픈소스와의차별성 (Cassandra, ScyllaDB) 탁월한제품성능 싱글노드에서 Cassandra 대비 10 배빠름 초당 200 만건입력 (20bytes payload) 센서데이터처리에최적화된구조 시간기준파티션저장 시계열데이터에특화된 SQL 구문제공 멀티노드 (4 노드 ) 초당 700 만건입력 (20bytes payload) Key-Value 구조의제약극복 풍부한데이터분석가능 Aggregation, Grouping, Text Search 기능제공 책임소재가분명한기술지원 모든소스코드자체개발 한국에 R&D 센터보유 글로벌기술지원체계및시스템구축 (Zendesk) Solution Comparison - 35 -
RDBMS 와의차별성 (Oracle, MySQL) 클러스터기능지원을통한 Scale-out 서버추가로선형적인데이터처리량증가 무정지서비스지원 HA (High Availability) 기술을통한서버장애시에도 서비스지속가능 Master/Slave 이중화로데이터관리 센서데이터에최적화된고성능데이터입력 클러스터구성시초당 700 만건이상입력가능 낮은 TCO (Total Cost of Ownership) 고객맞춤형라이선스정책 x86 기반의리눅스서버로하드웨어비용절감 Solution Comparison - 36 -
RTDB 와의차별성 (Historian DB, PI System) DBMS 기술을통한안정적인아키텍처 이중기록 (double write) 기반복구기술적용 클러스터기술로데이터이중화및 HA 지원 최신빅데이터기술아키텍처지원 RTDB 는 30 년이상된오래된기술로확장성에한계 다중서버를통한성능의선형증가구성가능 개발및유지보수의용이성 전통적인 DBMS 기술을통한쉬운개발및유지보수가능 기존지식재활용가능 OT 와 IT 영역모두적용 기본적으로 OT 영역의 RTDB 역할수행가능 IT 영역에서의빅데이터분석용활용가능 Solution Comparison - 37 -
Performance
Edge 테스트환경구성 센서데이터 1,000 개태그, 500ms Scan 데이터는 Timestamp, Tag, Value 3 개칼럼으로구성 데이터시간범위는 2018-01-01 ~ 2018-01-29 총 50 억건데이터배치로딩 테스트서버 SPEC CPU : Intel Xeon E5-2667 @ 3.2Ghz * 8 cores(16 threads) Memory : 32 GB, DISK : SSD 256GB, OS : CentOS 6.8 Insert Data TAG_DATA table Select Data Create Data Machbase v5 User Analysis Performance - 39 -
Edge 로딩성능 항목 결과 전체데이터건수 50 억건 (5,000,000,000) 데이터로딩시간 (sec) 2,991 seconds 초당입력건수 (Event/Sec) 1,671,713 데이터입력중 CPU 사용률 594% ~ 1029% 데이터입력중메모리사용량 RES 6.4 ~ 6.8 GB 디스크사용량 (GB) 182 GB Performance - 40 -
Edge 추출성능 #1 항목 SQL QUERY 결과건수시간 ( 초 ) 전체건수 SELECT COUNT(*) FROM TAG; 5000000000 0.001 데이터시간범위최소, 최대값 SELECCT MIN(TIME), MAX(TIME) FROM TAG; 2018-01-01 00:00:00 ~ 2018-01-29 22:26:40 0.003 1 일시간범위 1 개태그추출 SELECT COUNT(*) FROM ( SELECT * FROM TAG WHERE NAME = 'TAG_00300' AND TIME BETWEEN TO_DATE('2018-01-01 00:00:00') AND TO_DATE('2018-01-01 23:59:59') ); 172,798 0.072 1 일시간범위 10 개태그추출 SELECT COUNT(*) FROM ( SELECT * FROM TAG WHERE NAME IN ('TAG_00010', 'TAG_00200', 'TAG_00300', 'TAG_00400', 'TAG_00500', 'TAG_00600', 'TAG_00700', 'TAG_00800', 'TAG_00900', 'TAG_01000' ) AND TIME BETWEEN TO_DATE('2018-01-01 00:00:00') AND TO_DATE('2018-01-01 23:59:59') ); 1,727,980 0.260 Performance - 41 -
Edge 추출성능 #2 항목 SQL QUERY 결과건수시간 ( 초 ) 1 시간범위특정태그의초당평균값추출 1 일동안특정태그의시간당최대값추출 1 개월동안특정태그의일별평균값추출 SELECT /*+ ROLLUP(TAG, SEC) */ TIME, VALUE FROM TAG WHERE NAME = 'TAG_00500' AND TIME BETWEEN TO_DATE('2018-01-01 00:00:00') AND TO_DATE('2018-01-01 01:00:00') ORDER BY TIME; SELECT /*+ ROLLUP(TAG, HOUR, MAX) */ TIME, VALUE FROM TAG WHERE NAME = 'TAG_00700' AND TIME BETWEEN TO_DATE('2018-01-01 00:00:00') AND TO_DATE('2018-01-01 23:59:59') ORDER BY TIME; SELECT DATE_TRUNC('DAY', TIME, 1) DATE, AVG(VALUE) VALUE FROM ( SELECT /*+ ROLLUP(TAG, HOUR) */ TIME, VALUE FROM TAG WHERE NAME = TAG_00900' AND TIME BETWEEN TO_DATE('2018-01-01 00:00:00') AND TO_DATE('2018-01-31 23:59:59') ) GROUP BY DATE ORDER BY DATE; 3,600 0.138 24 0.004 29 0.011 Performance - 42 -
Standard 성능비교 #1 초고속입력과압축성능 Events Per Second Compressed Data Size 250K 232,558 20 17.4 17.6 200K 15 150K 13 13.3 10 8.9 100K 69,493 50K 44,583 38,344 5 4.64 1,388 0 Machbase MongoDB Splunk MySQL ElasticSearch 0 Machbase MongoDB Splunk MySQL ElasticSearch Overall time of loading and searching data Machbase compresses 64.3% of original size.(4.64gb/13gb) Machbase Editions - 43 -
Standard 성능비교 #2 Resource/Query Machbase InfluxDB Cassandra Original targeting data 100M data, 13GB, csv file CPU Usage(%) 24% 35% 92% Memory Usage(GB) 1.5GB 1.4GB 11GB DISK Usage(GB) 5GB 20GB 5.3GB Data insertion speed/sec (EPS) 336,022 EPS 39,117 EPS 41,968 EPS Total count 0.000 sec 34.957 sec 807.101 sec Simple Condition 0.214 sec 4.245 sec 3.348 sec Query Complex Condition 30.852 sec 52.126 sec 41.037 sec GROUP BY COUNT 7.738 sec 40.673 sec Not supported SQL GROUP BY SUM 11.83 sec 6.49 sec Not supported SQL GROUP BY STDDEV 14.869 sec 303.034 sec Not supported SQL * InfluxDB is a open source time series database for metrics & events, http://www.influxdata.com Cassandra is a open source distributed NoSQL database management system. http://cassandra.apache.org Machbase Editions - 44 -
Enterprise Architecture ENTERPRISE COORDINATOR BROKER WAREHOUSE WAREHOUSE WAREHOUSE WAREHOUSE WAREHOUSE WAREHOUSE Data/Application SQL CLIENT ODBC/JDBC Web Analytics COLLECTOR Machbase Editions - 45 -
Enterprise 성능비교 Insert Performance Unit : EPS Test case Standard Enterprise Factor Append (200 Bytes) 555,208 1,976,675 3.56 Append (50KB) 8105 12,724 1.57 Append (24 Bytes) 1,699,824 7,034,510 4.22 Search Performance Test case Single Node Multi Nodes Factor Select 100K data (Event Per Second) 63,234 748,342 11.83 Select from 1M data (second) All data GROUP BY & ORDER BY 1.40 0.33 4.24 Select from 1M data (second) Inline View 0.32 0.04 8.00 Select from 1M data (second) WHERE conditions 0.46 0.06 7.67 Test Environment: CPU - 16 cores/32 threads, MEM - 256GB, DISK - NVME SSD, 8x warehouse Machbase Editions - 46 -
Edge Computing in IIoT
What is Edge Computing? Edge Driver Cost reduction of cloud storage and bandwidth Real-time response in edge side Security and Safety against DDoS, network failure Edge Computing in IIoT - 48 -
Cloud vs Edge $$$$$$$ $$$$$$$ $$ AS IS TO BE Edge Computing in IIoT - 49 -
Edge Computing with Machbase Zigbee Wifi Alarm/Monitoring Backup/Restore Provisioning 원격관리 대시보드 리포팅서버 Web Apps HTTP HTTP Machine Learning/AI Multitenancy/User Auth Provisioning Monitoring/Secure Protocol Edge Administration Sensor Big Data Management Wire protocol Data pulling Sensor Edge Analytic Gateway Machbase Cluster DBMS Edge Computing(LAN) Cloud Service for Edge Computing Edge Computing in IIoT - 50 -
적용분야 Manufacturing 연속공정스트리밍데이터처리 사례 : ㅅ시멘트, ㅎ제지 적용 : 실험정보데이터관리시스템, 제지업체 ESS (Energy Storage System) Transportation 주행차량, 자동차, 항공기공정 사례 : 철도청, ㅂ사 (PoC) ㅎ산업 (PoC) 적용 : 철도안전관제시스템, 주행기록블랙박스, A3*0 제조라인 Logistics 반도체물류및 SCM 내 사례 : ㅇ반도체, ㅅ사 (PoC), ㅇ사 (PoC) 적용 : 클린물류궤도이상감지시스템, 반도체설비내탑재 Power Plant 펌프및모터등대형설비예지보전 사례 : ㄴ발전 적용 : 주파수스펙트럼이용한비파괴진단솔루션내탑재 Smart Factory 스마트팩토리센서데이터모니터링 사례 : ㅎ제약, ㄷ식품, ㅇ식품 적용 : 스마트팩토리모듈형라인및연속공정내센서데이터취합 Bio & HealthCare 유전체염기서열분석, 환자상태실시간모니터링 사례 : ㅁ사, ㅇ병원 (PoC) 적용 : 유전적변이맵핑을위한대용량빅데이터처리, 마취과연구과제 Log Analysis 대용량로그저장및조회 사례 : ㅇ대학의료원, ㄱ교육진흥원 적용 : 통합로그저장을통한성능관리, MOOC 서비스로그실시간추적 Firewall & UTM UTM (Unified Threat Management) 장비 사례 : ㅅ사방화벽, ㅋ사방화벽매니저 적용 : 방화벽어플라이언스내탑재, 이기종방화벽로그수집및저장 Game 게임사사용자로그실시간저장 사례 : ㅅ사 적용 : 실시간사용자로그초당 30 만건이상수집및저장 Conclusion - 51 -
Conclusion
Conclusion Smart X 시대센서데이터처리에대한요구사항증대 Edge Computing 이 IIoT 의중심기술로대두되고있음 센서데이터영역을위한최고성능의신개념 DBMS 필요 IoT 시대에서의핵심소프트웨어로서의역할 이센서데이터영역을선점하는자가미래의주인공 Conclusion - 53 -
Contact : 한국밸런스김형덕영업대표 Mobile : 010-7138-8889 Email : hdkim@valence.co.kr Thank You