Cloudera Toolkit (Dark) 2018

Similar documents
김기남_ATDC2016_160620_[키노트].key

DW 개요.PDF

2017 1

Open Cloud Engine Open Source Big Data Platform Flamingo Project Open Cloud Engine Flamingo Project Leader 김병곤

SW¹é¼Ł-³¯°³Æ÷ÇÔÇ¥Áö2013

ecorp-프로젝트제안서작성실무(양식3)

Oracle Apps Day_SEM

ETL_project_best_practice1.ppt

1.장인석-ITIL 소개.ppt

歯목차45호.PDF

15_3oracle

Intra_DW_Ch4.PDF

13 Who am I? R&D, Product Development Manager / Smart Worker Visualization SW SW KAIST Software Engineering Computer Engineering 3

untitled

歯김한석.PDF

빅데이터_DAY key

PowerPoint 프레젠테이션

CONTENTS Volume 테마 즐겨찾기 빅데이터의 현주소 진일보하는 공개 기술, 빅데이터 새 시대를 열다 12 테마 활동 빅데이터 플랫폼 기술의 현황 빅데이터, 하둡 품고 병렬처리 가속화 16 테마 더하기 국내 빅데이터 산 학 연 관

Enterprise Edition, 데이터분석의내일을말하다 지금은모든기업이데이터로부터가치있는통찰력을얻어혁신하기위해노력하는데이터시대입니다. 는이러한시대에기업이보다빠르고쉽게데이터를처리하도록돕는오픈소스기반의데이터통합및분석플랫폼으로, 데이터의통합, 분석, 시각화에이르기까지빅데

시안

PowerPoint Presentation

F1-1(수정).ppt

이제는 쓸모없는 질문들 1. 스마트폰 열기가 과연 계속될까? 2. 언제 스마트폰이 일반 휴대폰을 앞지를까? (2010년 10%, 2012년 33% 예상) 3. 삼성의 스마트폰 OS 바다는 과연 성공할 수 있을까? 지금부터 기업들이 관심 가져야 할 질문들 1. 스마트폰은

Model Investor MANDO Portal Site People Customer BIS Supplier C R M PLM ERP MES HRIS S C M KMS Web -Based

E-BI Day Presentation

Disclaimer IPO Presentation,. Presentation...,,,,, E.,,., Presentation,., Representative...

PowerPoint 프레젠테이션

Agenda

Data Industry White Paper

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

歯CRM개괄_허순영.PDF

PowerPoint Presentation


Intro to Servlet, EJB, JSP, WS

Portal_9iAS.ppt [읽기 전용]

Service-Oriented Architecture Copyright Tmax Soft 2005


<4D F736F F D20955C955C8E8682C697A0955C8E8693E091A42E646F63>

슬라이드 1

PowerPoint Presentation

istay

정보기술응용학회 발표


Oracle CX Cloud

untitled

SAP ERP SAP Korea / Public &

04-다시_고속철도61~80p

학습영역의 Taxonomy에 기초한 CD-ROM Title의 효과분석

Microsoft PowerPoint - 3.공영DBM_최동욱_본부장-중소기업의_실용주의_CRM

비식별화 기술 활용 안내서-최종수정.indd

Æí¶÷4-¼Ö·ç¼Çc03ÖÁ¾š

Agenda I. What is SRM? II. Why SRM? Trend, III. Function / To-be - IV. V. Critical Success Factor 2

슬라이드 1

PowerPoint 프레젠테이션

세션 2-2(허태경).ppt

Cloudera Toolkit (Dark) 2018

untitled

PowerPoint 프레젠테이션

CRM Fair 2004

대학교육151호-합침

SECTION TITLE A PURE PRIMER (AI), // 1

슬라이드 1

따끈따끈한 한국 Azure 데이터센터 서비스를 활용한 탁월한 데이터 분석 방안 (To be named)

슬라이드 1

03.Agile.key

제 출 문 문화체육관광부장관 귀하 본 보고서를 문화예술분야 통계 생산 및 관리 방안 연구결과 최종 보고서로 제출합니다. 2010년 10월 숙명여자대학교 산학협력단 본 보고서는 문화체육관광부의 공식적인 견해와 다를 수 있습니다

PowerPoint Presentation

KEIT PD(15-11)-수정1차.indd

Agenda 오픈소스 트렌드 전망 Red Hat Enterprise Virtualization Red Hat Enterprise Linux OpenStack Platform Open Hybrid Cloud

PowerPoint Presentation

PCServerMgmt7

CATIA V5 소개

<C7CFB9DDB1E2C3A4BFEB20B8AEC7C3B8B45F FC3D6C1BEB5A5C0CCC5CD5FC0CEBCE2BFEB2E6169>

Corporate PPT Template

RVC Robot Vaccum Cleaner

세션 Tutorial 1 강연 시간 5/11(수) 09:30-11:30 주 제 5G System: Vision & Enabling Technologies 성 명 강충구 소속기관명 고려대학교 부서/학과명 전기전자공학부 직 위 교수 5G 이동통신의 응용 분야에 따른 기술

PowerPoint 프레젠테이션

Joseph Hwang, IBM Rational Software

슬라이드 제목 없음


PowerPoint 프레젠테이션

Sensitive Compartmented Information Facility (SCIF) and Special Access Program Facility (SAPF) Criteria

슬라이드 1

KD hwp

슬라이드 1

PowerPoint 프레젠테이션

현안연구14-01.hwp

SAS Customer Intelligence SAS Customer Intelligence Suite은 기업이 당면한 다양한 마케팅 과제들을 해결하기 위한 최적의 통합 마케팅 제품군으로 전사적 마케팅 자원관리를 위한 Marketing Operation Manageme

세션 3 (오이식).ppt

IoT / マシンデータの活用事例のご紹介

FSB-6¿ù-³»Áö

Journal of Educational Innovation Research 2018, Vol. 28, No. 3, pp DOI: NCS : * A Study on

국내 디지털콘텐츠산업의 Global화 전략

Something that can be seen, touched or otherwise sensed

PowerPoint 프레젠테이션

PowerPoint Presentation

<30332DB1E2C8B9C6AFC1FD28B7F9C0E7C8AB D E687770>

RFID USN_K_100107

歯3이화진

APOGEE Insight_KR_Base_3P11

Transcription:

PENTAHO 를활용한 SMART FACTORY 구축사례 효성인포메이션시스템 / 최태욱부장

IoT and Smart Factory 2

IT 와 OT 의통합 CLOUD CITY COMMUNICATIONS IoT INDUSTRIAL ARTIFICIAL INTELLIGENCE IT INSIGHT OT BUSINESS IT SYSTEMS BIG DATA ANALYTICS CONSUMER 3

IoT Analytics 을통한진화 More Data Descriptive Analytics Predictive Analytics Prescriptive Analytics Autonomous / AI Asset monitoring Asset optimization Operations optimization Business optimization More Complexity 4

Smart Factory 의 IoT Journey Physical to Digital Digital Information to Intelligence Intelligence to Physical Digitizing Assets Wave 0 Factory Wide Connectivity Wave 1 Prediction & Automation Wave 2 Digital Supply Chain Wave 3 5

Digital Journey Wave 1 Factory Wide Connectivity Mature 지능형제고관리 설비 (Asset) 설비활용도모니터링을위한센서데이터수집 환경조건, 이동, 압력에대한모니터링 품질매트릭스의실시간모니터링및이상탐지 Early 설비활용최적화 Function Specific Wave 1 Factory Wide Data Connectivity Cycle 시간모니터링 (RFID systems) 제품품질모니터링 Business Impact End to End 제조라인 인라인품질테스트 실시간제조라인모니터링 공장 더나은시각성 공장전역의데이터를엔터프라이즈데이터와연동 실시간에가까운운영대시보드 6

Digital Journey Wave 2 Machine Intelligence Mature 이상감지 설비활용최적화 잔여이용시간 지능형제고관리 Wave 2 Prediction & Automation 예측 & 자동화 실시간생산및재고데이터를이용한고급계획및유지관리 공장설비의잔여유효수명파악 제조공정의이상징후감지및예측 Wave 1 Factory Wide Data Connectivity 예지보전 Early Cycle 시간모니터링 (RFID systems) 제품품질모니터링 Function Specific Business Impact End to End 7

Digital Journey Wave 3 Supply Chain Automation Mature 공장 & 공급망 공급망통합 이상감지 설비활용최적화 잔여이용시간 지능형재고관리 Wave 2 Prediction & Automation Wave 3 Digital Supply Chain 공급망을통해이동하는것들의실시간재고추적 재고관리를최적화하기위한분석 ( 모니터링, 이벤트알람, 보충하기 ) Upstream 데이터 ( 고객주문, 장비상태, 부품가용성등 ) 를기반으로한프로세스자동화 Wave 1 Factory Wide Data Connectivity 예지보전 반복적태스크의자동화 Early Cycle 시간모니터링 (RFID systems) 제품품질모니터링 Function Specific Business Impact End to End 8

IoT 적용이슈 Disconnected Environments Manual process cycles Traditional Supply Chain 제조공장의약 90% 기계 / 설비들이아직네트워크연결이안됨 작업자의수작업에의존하는공정에서는작업자의사소한변화가품질에큰영향을줄수있음 전통적인공급망프로세스는다이나믹한고객요구와시장환경에빠르게적응하기어려움 9

Data 관리이슈 Treating IoT Like Any Other Data Source Underestimating OT-IT Integration Not Planning for Data Operations 단지 1% Data 만이 Alarm 이나실시간제어를위해사용되고있음 2020 년까지 IoT 프로젝트비용의약 50% 가 data integration 부분에할당됨 Data science projects 의 20% 만이실제제품화로구현됨 10

LUMADA 11

Hitachi s Lumada OT 와 IT 시스템을통합하는산업용 IoT Platform (Hitachi 100 년 OT 기술와 60 년 IT 기술노하우포함 ) 12

Lumada Applications 13

Lumada Core 14

Lumada Infra 15

PENTAHO 16

Pentaho 개요 다양한데이터를수집, 변환, 적재하고분석및시각화까지 One-stop 으로제공하는빅데이터통합분석플랫폼 Big Data Integration & Analytics Platform Engineering Preparation Analytics Data Ingest Blend Catalog Explore Analyze Present Insights Security Lifecycle Provenance Scalability Administration Monitoring Automation 17

Pentaho 구성 Data Engineer Data Analyst / Data Scientist Business Analyst Pentaho Business Analytics Suite Data Integration Spoon Pan / Kitchen Carte Machine Learning Data Science Pack Pentaho Machine Intelligence Business Analytics Reporting Interactive Query and Analysis Dashboards Security Administration Repository Operational Data Big Data Data Stream Public/Private Clouds 18

Pentaho 특징 1) 직관적이고편리한인터페이스 100% GUI-based Configuration Drag & drop Development 200+ Transformation Steps 19

Pentaho 특징 2) 강력한빅데이터통합 / 처리 다양한데이터소스수집 / 통합 빅데이터병렬처리 (Multiple Threads) 서버성능확장용이 (PDI Clustering) Hadoop/Spark 기능내장 현존하는대부분의데이터소스 (Hadoop, RDB, EDW) 를추출, 변환, 적재가능 연산량이많은변환스텝에서할당된쓰레드를증가시켜처리속도를향상 물리적인서버를클러스터링하여 CPU, 메모리, 네트워크자원을확장하고데이터처리성능을극대화 하둡 Map/Reduce 기능을기본스텝으로제공하고, AEL 을통해 Spark 엔진실행가능 20

Pentaho 특징 3) 데이터 PIPELINE 자동화 Data Ingestion and Data Validation Data Blending and ML Ops Business Analytics And Visualization 21

Pentaho 특징 4) 빅데이터와 DW 의블렌딩 Big Data Sources Pentaho Data Integration Hadoop/ Data Lake Pentaho Data Integration Analytic Datasets Line of Business Pentaho Data Integration Analytics Traditional Data Pentaho Data Integration Data Warehouse Pentaho Data Integration Data Marts 22

Pentaho 특징 5) 머신러닝운영자동화 Continuous Life Cycle Enables Business Value Deploy and Operationalize Models 실시간모델업데이트 비교 & 평가 최적모델선정 Prepare Data Engineer Features Train, Tune, and Test Models 모형업데이트 Evaluate Models 모니터링 23

Pentaho 특징 6) 다양한시각화지원 다양한리포트 / 대시보드 Analysis Report Interactive Report Dashboard Geo Map OLAP / DW 지원 Schema workbench Metadata editor Aggregation designer 다양한접근성 웹, 이메일, 모바일등접근가능 다양한출력포맷지원 HTML, PDF, EXCEL/CSV 등 24

USE CASES 25

Pentaho Reference 1,500 개이상의고객사보유, 전세계 185 개국공급 Business Services Manufacturing/IoT Telecommunication Energy/Utilities Transportation/Logistics Media/Entertainment Financial Services Retail Healthcare/Life science 26

DAICEL 사례 Predictive Quality and Work Training Challenges 자동차에어백제조과정에서제품불량감소및작업자능률향상니즈 ( 대규모리콜사태 ) 결함분석시생산라인이중단되기때문에빠른분석이필요 3M: Man, Machines, Materials Solution 작업자의활동사항을측정하기위해심층카메라를활용한영상분석시스템도입 작업자의활동사항에대한편차를파악하고패턴을분석 Outcomes 제품품질및작업자생산성이향상되었고전체리콜위험감소 일본에있는공장에파일럿을수행한후해외 6 개공장으로시스템확장 27

DAICEL 사례 수행과정 1 Engage to define 2 Build an analytical specific use cases model with data 3 4 Create solution to generate outcomes Validate the delivered value Stakeholder 인터뷰 과제우선순위화 Co-creation 가능성검토 3M(Man, Machine, Material) 데이터수집 카메라, 이미지센서로부터작업자행동, 위치정보수집 MES 데이터와영상 / 이미지데이터통합분석 Data Pipeline 및 Analytical workflow 작성 솔루션설치 / 구축 공정라인설비와작업자행동에서이상발생신호검출 / 확인 작업자의움직임에대한패턴분석 분석알고리즘및솔루션개발 28

자동차부품공장사례 Challenges 갑자기발생하는예측되지않은 Downtime 제조품질데이터에대한수집부족 조립라인에결함있는부품의유출가능성 Solution Process quality visualization Process anomaly detection 및 Process change detection Outcomes 전체머신 downtime 시간이 15% 이하로개선됨 100% 품질체크및빠른 root cause 분석가능 예측되지않은상태변화감지 workpiece cutter Machining (metal cutting) 29

자동차부품공장사례 구현시스템 Feature value B Feature value B In-Process Data Acquisition Machining equip. DAQ module Storage Motor data CNC data Sensor data Process Change Detection Staff PC Process Quality Visualization Processor Feature value A Unsupervised learning Process Anomaly Detection Alert Production engineer System Installation Operator Alert Feature value A Supervised learning 2 companies, 3 factories have adopted these solutions 30

Why HIS(Hyosung Information Systems)? 31

효성인포메이션시스템은? 더나은세상을위한데이터혁신기업 효성인포메이션시스템 Solutions Expert Method 전세계 185 개국에서활용되고있는빅데이터 /IoT 솔루션과기술력보유 빅데이터의청사진을제시하고, 고객이필요로하는 Value 를창출하는전문가보유 초기기획부터분석모델, 솔루션개발, 운영환경구성까지효과적인방법론제공 32

빅데이터 /IoT 솔루션및전문역량 스마트인더스트리 스마트비즈니스 스마트시티 스마트에너지 Applications Platform (Pentaho/Lumada) Big Data Integration Business Analytics Asset Avatar IoT Edge Data Lake NoSQL Hadoop (Cloudera) Data Warehouse Infra-Structure 33

Co-Creation 으로데이터기반성과창출 1. Engage 2. Build Model 3. Create Solution 4. Validate 컨설턴트데이터과학자솔루션개발자데이터엔지니어 비즈니스와도전과제의이해 Use cases 정의 IoT 분석플랫폼설치 OT 와 IT 시스템통합 사용자경험설계 데이터소스탐색 분석알고리즘구현 데이터파이프라인업데이트 데이터모델준비 솔루션 UI 개발 통합테스트 비전과전략공유 분석모델개발 샘플데이터테스트 KPI 및산출물검증 Problem Definition Proof of Concept Verified Solution Proof of Value 34

THANK YOU