슬라이드 1

Size: px

Start display at page:

Download "슬라이드 1"

영자 가
5 years ago
Views:

1 * 중소형스마트팩토리를위한대용량데이터저장및활용방안 * aimsystems * 김찬석부사장

2 Contents 1. 제조현장의대용량데이터 2. 주요핵심기술및기능 3. aimdbbank 기능소개 4. 활용사례

3 [Heading 1 Arial,24pt,bold] [Heading 2, Arial, 24pt] [Heading 3. Arial, 20pt] Figure 1 [Figure Caption, Times New Roman, 12pt] Table 1 [Table Caption, Times New Roman, 12pt] 3

4 [ 제조현장의대용량데이터 ] MES 데이터 생산이력데이터의장기저장 (10 년이상 ) 대상 : Lot History, 검 / 계측데이터 문제점 : 저장비용상승 - DBMS 필요, Disk 가격, Tape Backup 시의불편함 센서데이터 설비센서에서발생하는설비상태모니터링데이터 1 초당여러항목들을수집 문제점 : 센서데이터의과다로저장비용상승 Log 데이터 시스템 / 설비등 Log 데이터 설비이상유무, 문제발생시 Trace 문제점 : Text 데이터로문제발생시분석의어려움 4

[MES 이력데이터저장및활용 ] MES 및자동화시스템의 DB에서생산완료된 Lot

5 [MES 이력데이터저장및활용 ] MES 및자동화시스템의 DB에서생산완료된 Lot 데이터를주기적으로아카이브후적재하고이를조회할수있는기능 MES DSS (Distributed Storage Solution ) 데이터이력조회 App DB ETL Module EAS App MCS DB IN 생산완료된데이터에대해서 History, 품질이력을 Document 및 Binary 형태로저장 고객요구및소비자분쟁시신속한대응 Lot 이력, 품질이력 (DCOLL), Rework 등의주요항목조회 App DB Lot 이력 검사데이터계측데이터 OUT

(Distributed Storage Solution ) Chamber C Chamber B Chamber C Cpk

6 [ 설비센서데이터분석 ] 설비센서데이터저장, 조회및분석기능 센서데이터분석 Server APP 설비센서데이터를설비와 I/F 하여저장 VID 3 Material In Chamber B 설비상태 제품진행정보 설비센서데이터 DSS (Distributed Storage Solution ) Chamber C Chamber B Chamber C Cpk : 0.95 Cpk : 1.10 설비 설비센서데이터적재 실시간설비상태모니터링및불량발생시센서데이터분석 Median, Cp/ Cpk, Std

7 [ 로그데이터분석 ] 설비센서데이터저장, 조회및분석기능 APP Server Agent Log Agent 를이용하여 App, 장비 Log 를자동수집 Log 분석 대용량검색 / 분석 일수백 GB ~ 수 TB 이상대용량고속검색. 필요시신속한검색 장애사전조치 장비상태변경 제품진행정보 장비 Alarm 정보 DSS (Distributed Storage Solution ) 장비및시스템간연관분석이가능 비정형로그추가 신규장비추가시로그추가구성 / 빠르게변화하는요구사항대응 장비 Syste m 장비로그, 시스템로그등의로그파일을 DSS 에적재 비정형데이터를정형화시키는 Data Mining 기법적용 다양한업무시스템확장 장비로그, 시스템로그, 사용자로그, 보안로그 등의각로그에맞는시스템개발가능

8 Contents 1. 제조현장의대용량데이터 2. 주요핵심기술및기능 3. aimdbbank 기능소개 4. 활용사례 * DSS (Distributed Storage Solution) * ATS (Archiving & Tracing Solution)

[ 기술개요 ] aimdb 는 NoSQL 데이터베이스기술의성능을최대로활용,

9 [ 기술개요 ] aimdb 는 NoSQL 데이터베이스기술의성능을최대로활용, 지속적으로가장높은성능을구현하도록최적화된 Distributed Storage Solution 전용어플라이언스제품 Big Data 처리 S/W 기술과 Big Data 전용 H/W 기술을결합하여확장이가능하도록설계된일체형제품 NoSQL + 데이터처리기술 + 최적화된 NoSQL 전용 S/W 데이터추출기술 데이터분산처리 빅데이터서버 저비용고효율의최적의 H/W SPEC 에임시스템분산처리프레임워크

10 [ 고성능 ] Memory-mapped File (OS 에서제공하는 mmap 을사용 ) 기법을사용하여메모리용량내에서는 In-Memory DB 급의성능을보장 데이터를 write 할때, 논리적으로 memory 공간에 write 하고, 일정주기에따라서이메모리 Block 을주기적으로 Disk 로 write 함으로써, 성능보장 (Hot Data 기준 )

11 [ 고안정성 ] Replica Set : 과거의 Master-Slave Replication 대신, 3 대이상의노드가결합된보다안정적인 Replica Set 을지원 Single Primary Multiple Secondary 구조 Replica Set 내에서자동 Fail-Over 지원 미국 Primary 한국 Replication Secondary Secondary Secondary Heartbeat Heartbeat

12 [ 쉬운확장성 ] Sharding : N 대의 Shard 에데이터를분산저장하는기법 조회나통계명령어를경우에따라각 Shard Node 에나누어서실행가능 (M/R 이용 ) Collection 1 TB Shard A Shard B Shard C Shard D 256 GB 256 GB 256 GB 256 GB

13 [Data 추출 ] 다른시스템의 DB 나 File 로부터 Data 를추출하여변환또는가공된 Data 를또다른시스템으로적재 사용자는 Data 의추출, 변환, 적재에따른일련의과정을시각적으로표현할수있으며작성된 Job 을바로수행하거나 Schedule 에의해정해진시간에따라수행도가능

14 Dash board [ 관리기능 (1/3)]

15 Instance 및 Sharding 정보 [ 관리기능 (2/3)]

16 [ 관리기능 (3/3)] 각항목별모니터링 ( 그래프 ) (Page fault, Lock, Memory, Connection 정보, 쿼리현황, 네트워크송수신 ) Page Fault Lock Memory Connection Query Network

17 Contents 1. 제조현장의대용량데이터 2. 주요핵심기술및기능 3. aimdbbank 기능소개 4. 활용사례

18 [ 데이터백업및조회솔루션 ] 단순 Backup 시스템이아닌, 실시간 Back up 및즉시조회, 분석등이가능하고초기구축비용이높지않은고효율의솔루션 aimdbbank 주요특징 [ 설비 BOM 구축 ] Client (Web/Mobile) aimdb (Software) 이력데이터조회및검색기능으로빠르고편리한시스템제공 Web, Mobile 지원 실시간 Backup 기능과, 이를쉽게분산처리할수있는기능제공 고성능, 고가용성지원 aimbox (Hardware) 낮은가격, 고성능의하드웨어 Scale-out, up 모두가능한형태의구성지원 : 향후확장성이용이함

[ 시스템구축구성도 ] 기존시스템 aimdbbank MES Web Server

어플라이언스시스템신규구매또는기존서버활용 ETL Web Server 기존시스템

19 [ 시스템구축구성도 ] 기존시스템 aimdbbank MES Web Server MES DB ETL aimdb aimdb aimdb Tape Backup 12 T (3T * 4) Xeon CPU 64G Mem. 12 T (3T * 4) Xeon CPU 64G Mem. 12 T (3T * 4) Xeon CPU 64G Mem. 구분업무 Remark aimdb 어플라이언스시스템신규구매또는기존서버활용 ETL Web Server 기존시스템 Data 추출 Web Service 기존서버활용 ( 통합운영 )

0) 다국어지원을위한 Architecture 지원 사용자에따라메뉴를구성할수있는개인화기능 One-Source 로 PC / 태블릿 /

20 [ 사용자화면기술 (1/2)] 사용자화면은반응형웹기반으로개발되어 PC, 모바일, 태블릿등에서접근이가능하고, 사용자환경에맞도록커스터마이징이가능 표준화된기술적용 (HTML5, CSS 3.0, PHP 5.0) 다국어지원을위한 Architecture 지원 사용자에따라메뉴를구성할수있는개인화기능 One-Source 로 PC / 태블릿 / 스마트폰환경을모두지원 상용웹어플리케이션수준의웹 UI 품질및 Theme 기능지원 멀티브라우저 ( 인터넷익스플로러, 파이어폭스, 크롬, 오페라등 ) 를지원 조회및분석화면 TemplateModelingCustomization

21 [ 사용자화면기술 (2/2)] One Source 로 PC 환경과 Mobile 환경모두지원 PC 환경 Mobile 환경

22 데이터추출이력조회 [ 사용자화면소개 ] 데이터추출작업에대한성공유무, 건수, 평균걸린시간등에대한데이터를제공

23 [ 사용자화면소개 ] 검색조건 다양한검색조건을통해생산이완료된제품을쉽게찾을수있는기능제공

24 [ 사용자화면소개 ] 이력조회 LOT 의생산이력을조회할수있는기능제공

25 계측, 검사데이터조회 [ 사용자화면소개 ] 계측, 검사데이터조회화면을제공 (Image Data 포함 )

26 [ 사용자화면소개 ] 자재검색 특정소모성자재 (Consumable) 를사용하여생산한 Lot 을조회할수있는기능제공

27 Cassette 이력조회 [ 사용자화면소개 ] Cassette 이력을조회할수있는기능제공 (Lot Change, Clean 상태등 )

28 [ 사용자화면소개 ] 설비이력조회 Machine 이력을조회할수있는기능제공 (Online 상태, Machine 상태, 진행 Lot 등 )

29 [ 비교자료 ] RDBMS 및기존 Backup 솔루션과의비교자료 aimdbbank RDBMS (Ora*, MS*) Backup 솔루션 (EM*) 주요특징 - 기존 MES 시스템의특징을고려하여설계됨 - 제조시스템운영환경에영향을미치지않도록데이터보호가가능함 - 공용화된소프트웨어로써제조운영환경에최적화되지않음 - 해당공장시스템환경을잘알고있는전문 Vendor 가필요함 - 데이터복구관리에한정 Scale Out - 저비용의하드웨어를병렬로연결함으로써가능 - 지원하지않음 - Disk 또는 Tape 를추가연결하여가능 데이터조회기능 - 신속하고즉각적인조회가능 (Web, Mobile 또는기존 MES 화면재사용 ) - 신속하고즉각적인조회가능 (Data 가많아질수록조회속도가느려짐 ) - Disk 및 Tape 에서 Restore 가필요. - 상당한시간이소요됨 도입비용 (20T 기준 ) - 1/6 (Ora* 기준대비 ) - 1 (Ora* 기준 ) - 1/3 (Ora* 기준대비 )

30 Contents 1. 제조현장의대용량데이터 2. 주요핵심기술및기능 3. aimdbbank 기능소개 4. 활용사례

장비에서발생한이벤트메시지수집및메시지별 ElapseTime Trend 조회 백업 Data MES 및

31 [MES 데이터 BackUp] 적용대상 : MES DB Table MES 의주요이력데이터실시간백업및 Tracing 기능 : Lot, LotHistory 등 MES Log Data 수집 장비에서발생한이벤트메시지수집및메시지별 ElapseTime Trend 조회 백업 Data MES 및 REPORT DB : 일별 30 만건데이터백업 < 그림 > Archive Trend < 그림 > Log Trend

32 기준시간 [ 설비센서데이터 ] 적용대상 : LCD 설비센서데이터분석시스템 설비 1 대의 Unit 대상, 1 Unit 당 16 개의 Subunit 에서 Trace Data 를동시수신 설비가하루 24 시간 Run 상태일경우 Data 는 Daily 약 2 GB 처리됨. 조회성능 : 하루 2GB 데이터기준 단위 : s 기준시간 1 분 1 시간 10 시간 24 시간 3 일 측정시간

33 [Pilot : FDC Data to aimdb] Pilot 대상 : 국내 M 사 ( 반도체 ) FDC DATA 현황 : 대용량의 FDC Data 조회에따른성능이슈발생 요청내용 : 대용량의 FDC Data 조회성능비교 (Oracle vs aimdb) Pilot 결과 : 오라클대비조회성능향상 200 조회성능비교 (aimdb vs Oracle) ,000 5,000 50, , ,000 aimdss Oracle

34 [Pilot : System Log to aimdb] Pilot 대상 : 국내 H 사 ( 반도체 ) 자동화시스템 Log 현황 : 자동반송시스템의 Transaction Log 를 File 로저장하며, 그중일부 Data 를 DB 에저장하고있음. 문제점 : DBMS 시스템부하로일부 Data 만 DB 화되어있으므로, 실제장애분석시파일을로딩해야함. 요청내용 - Transaction Log 의모든내용을 DB 화 - 기존오라클 DB 의성능부하감소 - Log Data 저장 / 조회성능비교 Pilot 결과 : 오라클대비저장및조회성능향상

35 [Pilot : System Log to aimdb] 600 Insert 성능비교 (aimdb vs Oracle) 80 조회성능비교 (aimdb vs Oracle) TS01.log TS02.log TS03.log TS04.log TS05.log ,003 54,069 93, ,121 aimdss Oracle aimdss oracle

Microsoft PowerPoint - CNVZNGWAIYSE.pptx

Microsoft PowerPoint - CNVZNGWAIYSE.pptx 대용량데이터처리를위한 Sharding 2013.1. 이동현 DBMS 개발랩 /NHN Business Platform SQL 기술전략세미나 2 대용량데이터를위한솔루션은 NoSQL 인가, RDBMS 인가? 모든경우에대해어떤하나의선택을하자는게아닙니다. SQL 기술전략세미나 3 언제, 그리고왜 RDBMS 를선택해야하는가? NoSQL 과다른 RDBMS 만의특징이필요할때