Smart FI Best Practice Conference 2018 IIoT 데이터문제해결을위한 새로운데이터처리방안 마크베이스 이재훈본부장
Table of Contents The Database for Things Machbase Industrial IoT Era Machbase Overview Key Features for IIoT Data Machbase Use Cases
Industrial IoT Era
Smart X 시대의도래 SMART Grid SMART Farm SMART Home SMART Factory SMART X SMART Logistics SMART Health SMART City SMART Building Industrial IoT Era - 4 -
IoT/IoE Device 폭증 * Source : iot-analytics.com, 2014 Industrial IoT Era - 5 -
Smart Things? Connected Big Data Intelligence M2M(Machine To Machine), IoT(Internet of Things) 자동차, 발전소, 건축물, 각종센서. TB, PB 데이터볼륨 초당수백만데이터수집, 저장 인공지능 머신러닝 모델링, 예지보전분석 Industrial IoT Era - 6 -
Business 요구사항 Past Present Future Historical Analysis Check a specific data point Real-time Trend monitoring Anomaly detection Alarm & Notification Troubleshooting Predictive Maintenance Reducing downtime Industrial IoT Era - 7 -
IIoT 데이터처리환경변화 전통적인방식은각각시스템에맞게별개의인터페이스로통신공정내 Thing 연결환경및데이터특성에맞는저장및분석 SW 필요 Scan rate 고도화추세 500msec 10msec 저장해야할데이터기간및용량증가 센서개수의증가 데이터량폭증 분석대상데이터범위증가 기구축된시스템의데이터처리허용한도초과 오픈소스솔루션의기능확장및책임소재이슈발생 Industrial IoT Era - 8 -
데이터처리요구량증가 Scan rate( 초당 ) Smart Factory 시대의데이터처리요구량 1,000 100 현재처리능력 1 10k 500k 1M # of sensor Industrial IoT Era - 9 -
무엇이문제인가? 데이터가없다? 데이터가너무많이쏟아진다? 가시성확보어렵다? 분석하는데높은비용이든다. 산업용빅데이터관리의최종목적 통제할수없는문제의영역 통제, 예측가능한수준으로 Industrial IoT Era - 10 -
새로운데이터처리제품필요 초당 2 백만건이상고성능데이터입력지원 데이터증가에따른확장기능 (Scalability) + 데이터압축저장 무정지서비스기능 (High Availability) 요구사항 책임있는기술지원및사후관리 편리한개발및도구통합기능제공 IIoT 에적합한기술개발로드맵제시 Industrial IoT Era - 11 -
Machbase Overview
10101101010110101101010110101101 01101010110101101011010101 0010101101000101011010 10110101001011010100 010110010010110010 The Database for Things IoT Analytics Sensor/ Machine Data OT IT Query Results BI ISV Management Machbase Overview - 13 -
마크베이스포지셔닝 Data Entry x 1,000,000 Batch oriented Big Data Analytics Text File Real-Time Big Data Analytics ParStream Machbase HADOOP Enhanced HADOOP Solutions Splunk x 100,000 x 10,000 Conventional Analytics Columnar DBMS BI Solutions Conventional OLTP/OLAP Clustered Columnar DBMS Engineered System (ExaData) In-Memory DBMS X 1000 Disk DBMS Very Old (hours) Old (minutes) Current (seconds) Data Freshness Machbase Overview - 14 -
마크베이스기술 RDBMS Technology Machbase BigData Technology 안정성, 편의성, 사용자특성감안 대용량처리, 클러스터링 데이터베이스 소프트웨어개발및관리편리 느린성능, 소규모데이터처리적합 노드및데이터증가에따른확장성부족 빅데이터솔루션 대용량데이터입력및처리에특화 데이터베이스사용자편의성부족 학습및유지보수관리매우취약 Machbase Overview - 15 -
마크베이스제품군 Embedded Edition Real-time Edge Analytics for IoT sensor data Machbase 3 types Standard Edition Fast data processing performance in a single node Enterprise Edition Big data technology revolution in multi-nodes cluster Machbase Overview - 16 -
Key Features for IIoT Data
제안시스템구성도 설비센서빅데이터저장소 Machbase 5.0 R SAS BI Custom Data Analysis Machbase 5.0 RDBMS Hadoop Data Store Tag 정형 정형 비정형 설비데이터 생산데이터 품질데이터 Data Type Key Features for IIoT Data - 18 -
Machbase 5.0 Highlight! Tag Table 수백억건의 < 센서, 시간 > 기준초고속데이터접근 Rollup Table 수년간의통계차트 ~ 분당통계차트 : 초고속접근 STREAM 분석 연속적데이터분석을통한위험포착및대응 Tag Analyzer 다양한조건의데이터시각화도구제공 Standard API Legacy 분석툴과의쉬운연동 Key Features for IIoT Data - 19 -
Tag Table 수백억태그데이터에빠른저장과초고속태그데이터추출 테이블명은 TAG 로고정되고 Tag, Timestamp, Value 3개칼럼기본구성 Tag, Timestamp 기반 Partitioning 저장, 빠른추출가능함 TAG TAG1 TAG2 TAGn TAG1_value3 TAG1_value2 TAG1_value1 TAG2_value3 TAG2_value2 TAG2_value1 TAGn_value3 TAGn_value2 TAGn_value1 Key Features for IIoT Data - 20 -
Rollup Table TAG 테이블생성시자동으로생성되며사용자레벨에서조작불가 집계시간단위는 Second, Minute, Hour 집계함수는 Minimum, Maximum, Average, Sum, Count TAG TAG1 TAG2 TAGn TAG1_Rollup_SEC TAG1_Rollup_MIN TAG1_Rollup_HOUR TAG2_Rollup_SEC TAG2_Rollup_MIN TAG2_Rollup_HOUR TAGn_Rollup_SEC TAGn_Rollup_MIN TAGn_Rollup_HOUR Key Features for IIoT Data - 21 -
STREAM 소스테이블과타깃테이블사이에서 SQL 질의를통해실시간데이터변환 INSERT INTO SELECT 구문을통한실시간이벤트필터링 동시에다수의 STREAM 생성및실행가능 INSERT INTO SELECT Filter 1 Filter 2 Filter 3 source STREAM target Key Features for IIoT Data - 22 -
STREAM 예시 Sensor Data Temper table < tag1, 2018-05-12 11:32:41, 30> < tag1, 2018-05-12 11:32:42, 70> < tag1, 2018-05-12 11:32:43, 35> INSERT INTO Event SELECT * FROM Temper WHERE VALUE > 60; Event table < tag1, 2018-05-12 11:32:42, 70> Key Features for IIoT Data - 23 -
Tag Analyzer Tag 데이터에대한 Fast Trend Monitoring 가능한웹기반대시보드 년, 월, 일, 시, 분, 초, RAW 데이터에대한 Drill Down Browsing 가능 좌우 50%, 100% 이동등다양한차트조작기능제공 Key Features for IIoT Data - 24 -
System Architecture Tag Analyzer TAG1_Rollup_HOUR TAG1_Rollup_MIN TAG1_Rollup_SEC TAG1 (real) TAG2_Rollup_HOUR TAG2_Rollup_MIN TAG2_Rollup_SEC TAG2 (real) TAGn_Rollup_HOUR TAGn_Rollup_MIN TAGn_Rollup_SEC TAGn (real) Tag Table (virtual) Sensor Data Key Features for IIoT Data - 25 -
Machbase Use Cases
제지업체 Energy Storage System 제지공정내예지보전진단사전단계로 ESS 내 Tag 고속수집 구성도 OPC Client ESS 응용플랫폼 Network OPC Client OPC Data Access I/F OPC Server Inner Layer API Library OPC Client DCS Schneider Electric Foxboro DCS OPC DA Server (Windows 7) OPC DA Client Workstation (DCS Real- Time Data) Server (Real-Time Historical Data) Network Servers Machbase Machbase DBMS for ESS Platform 배경 DCS - OPC DA Client 수집불가 기존시스템내 RDBMS 탑재 Tag 1000 개 / 초수집이어려움 OPC UA 가아닌프로토콜에서의수집방안연구 적용 효과 OPC DA 서버와의유연한연동 초당 1 천 Tag 이상수집및 1 초단위로데이터입력진행 수집한센서데이터의 Tag 값에대해재접속시자동입력 Machbase Use Cases - 27 -
빌딩에너지관리시스템적용 빌딩에너지관리시스템의데이터수집개선을위한마크베이스도입및테스트진행 DATA Gateway DATA Gateway DATA Gateway Event Data, log MS-SQL 수집속도한계 Applications IoT Core Security System 변경 Machbase 빌딩에너지관리시스템 스마트아파트관리시스템 빌딩내에너지사용기기에서발생하는다량의센서데이터등을수집하는데기존 RDBMS 속도한계인식 기존대비데이터수집주기를더줄여서수집가능하게됨으로성능에만족. 현재내부솔루션수정예정 빌딩에너지관리시스템 (BEMS) 으로시작하여, 스마트아파트관리시스템으로확장예정 Machbase Use Cases - 28 -
지능형영상정보저장분석 오산시지능형 CCTV 영상정보저장및통계분석플랫폼 구성도 CCTV ( 지능형카메라 ) IntelliVix ( 지능형영상분석 ) 마크베이스통계플랫폼 비디오스트림 객체메타데이터 Machbase ( 시계열 Database) Machbase Grafana ( 시각화대시보드 ). CCTV 1,500 대 IntelliVix 서버 50 대 객체감지 / 추적 이벤트감지 녹화 / 검색 / 재생 / 전송 번호판 / 얼굴인식 이벤트감지메타데이터 DB 서버 1EA 객체매타데이터저장 자동차 / 사람의배회이벤트저장 / 조회 일 1,500 만건의이벤트 / 객체데이터처리 Query 통계서버 도로별안전데이터통계 차량등객체의지역별 / 기간별유동량 / 배회통계분석 배경 인텔리빅스내부 DB 로는모든이벤트 / 메타데이터저장을못함 속도및 DB Size 제약으로최근 1 개월내의데이터만보관 월 / 연인원, 차량 / 인구유동량등통계자료확보못함 적용 효과 1 년이상의전체데이터보관가능하며, 향후확장하여최대 5 년간보관예정 교차로등의사건 / 사고추이분석을위한기초자료제공및대응방안수립을위한통계분석활용 월별, 연별유동량및배회등이벤트패턴분석기반마련 Machbase Use Cases - 29 -
Super Speed Event Interface Service Smart Factory Package HMI Wireless MCU DAQ OPC-DA Ethernet MQTT Pub/Sub RS232 Modbus N-lite N-lite N-lite N-Pro N-lite MQTT/TSN Standard Connetivity Service OPC-UA / TSN 100 만 EPS Simulation Thing Connet Interface Service Web socket Management Console HTTPS/REST 종합모니터링 Smart Factory Monitoring & Analytics HTTP Web Service + 스마트팩토리설비데이터통합분석 I-IoT OneWay Platform + + Thing Model Thing Model Thing Model + Big Data HUB Interface Service Analytics Ethernet TCP/IP 예지정비 HTTPS/AJAX Machbase Event Status The Fastest Time Series DBMS HTTPS/XHR 설비결함메커니즘분석솔루션 POP System Big Data Operation MES System APS System ERP System SCM System 공정빅데이터의초고속수집 공정분석시간단축 예지보전즉시화 Machbase Use Cases - 30 -
Smart FI Best Practice Conference 2018 Thank You Machbase Inc. Website Email Tel : : : www.machbase.com sales@machbase.com 02-2038-4606