이씨마이너소개및 비즈니스빅데이터 분석적용사례 이씨마이너 2015 년 0
목 차 I. 회사소개 II. 제조부문 Big Data III. 제품소개 IV. 부문별적용사례 1
I. 회사소개 2
I. 회사소개 목차 1. 일반현황 2. 주요사업분야 3. 솔루션현황 4. 사업실적 5. 데이터분석을위한파트너슆 6. Why ECMiner? 3
1. 일반현황 I. 회사소개 2000 년에설립된 이씨마이너는국내최초로데이터마이닝 S/W 의국산화에성공, LG, 삼성, SK, 포스코등 Global 기업에 S/W 를공급하며, 데이터마이닝전문솔루션기업으로꾸준히성장하고있습니다. 대표이사민광기임직원수 40 명 (2015 년 1 월 ) 핵심보유기술 주요사업내용 자체기술력으로데이터마이닝 S/W 개발데이터마이닝기반의각종응용기술보유대용량데이터처리기술보유 데이터마이닝패키지 ECMiner 공급데이터마이닝응용솔루션공급 (ECMinerIMS, ECMinerAML, etc..) 고객사요구사항을반영한자사제품기반시스템구축데이터마이닝컨설팅수행 4
2. 주요사업분야 I. 회사소개 데이터마이닝분야국내선두기업 공공 / 금융 / 서비스 제조 교육 CRM Target Marketing 고객세분화 Cross Selling/Up Selling Fraud Detection 자금세탁 / 보험사기 / 카드사기보안, 침입탐지, 범죄수사등 기타 Risk Management Traffic 분석수요예측, 경영분석및계획 반도체 / 철강 / 화학 /Display 등의기업 품질 / 안전 / 에너지절감등의업무 공정분석조업편차가시화편차원인분석최적운전조건분석 품질예측및영향인자분석 실시간모니터링및이상진단 ECMiner 교육 S/W 사용법 데이터마이닝이론및업무적용을위한분석방법론교육 수업용교재로 ECMiner 지원산학협약에의해국내 15 여개대학에서수업용교재로활용되고있음 5
3. 솔루션현황 (1/2) I. 회사소개 ECMiner 는 Data Mining 원천기술을기반으로 Real Time 분석, 상용화된모니터링응용솔루션등을개발하여응용분야별제품을공급하고있습니다. 지능형모니터링시스템 IMS - 실시간예측 - 실시간공정모니터링 -Alarm/Action Guidance - 실시간분석 Text Mining 시스템 TMS ECMiner 데이터마이닝 S/W 국내최초, 유일 NEP 인증제품 AML 자금세탁방지시스템 - Transaction Monitoring Sys. - RBA 기반위험관리 - Watch List Filtering - Rule, Link Analysis, etc.. 결함패턴인식및탐지시스템 SSA SIS 이미지 Mining 시스템 6
3. 솔루션현황 (2/2) I. 회사소개 ECMiner 개발 Roadmap ECMiner 는 Big Data 처리기술기반, 다양한형태의데이터처리, 통합분석환경을제공함으로써멀티미디어데이터마이닝패키지로진화하고자합니다. Multimedia Data Mining Package ECMiner2012 대용량데이터처리기술 Text Mining Image Mining ECMiner2013 비정형데이터간분석을위한 DBMS 설계비정형데이터통합분석환경제공 Big Data 처리기술적용 ECMiner 와 Hadoop 연동 HPC: High Performance Computing 알고리듬의분산병렬처리 MS PDW와분석 appliance로연동데이터와차트의연동및동적스크립트언어개발 64bits 7
4. 사업실적 (1/9) 품질향상 (1/2) 고객사 담당조직 개요 수주 롯데케미컬 정보전략 빅데이터기반 NC공장및 PP 공장최적화 2015.06 SEMES 연구소 반도체장비운전데이터와품질데이터간원인분석 2015.05 LG MMA 생산팀 데이터분석을위한 ECMiner Lease Version 도입 2014.11 LG이노텍 공정기술팀 ECMiner 분석시스템개선 2014.09 SEMES 연구소 Clean Lab ECMiner, ECMinerSSA 공급. 품질분석및 Defects 패턴추출용 2014.08 엘지화학 정보전략팀 빅데이터확산을위한 ECMiner 실무교육및컨설팅 2014.06 SKHynix 자동화그룹 Thin film 공정의 VM 개발및 R2R 제어 2014.04 SKHynix 자동화그룹 Virtual Metrology 개발 (SD BUF OX DEP 공정및 ILD1X CMP 공정 ) 2013.08 엘지화학 정보전략팀 Big Data 분석시스템구축및컨설팅 (Glass공장, PC공장, 토너공장 ) 2013.06 포스코 압연 ( 광양 ) 하이밀 RM(Roughing Mill) 의 Off-center 원인규명컨설팅 2013.05 엘지화학 Glass 사업팀 TOLM(Take off line management) system 구축 2013.04 엘지화학 소형전지 용접기불량용접현황에대한실시간모니터링시스템 2013.04 SKHynix 자동화그룹 청주공장 VM(Virtual Metrology) 개발및 R2R Control 2013.03 엘지화학 정보전략팀 파주 Glass 사업장 Defects 원인분석용데이터마이닝 S/W 도입 2013.01 SKHynix 자동화그룹 Etching 공정설비에대한 VM(Virtual Metrology) 개발 2012.09 SKI FCCL 공장 데이터마이닝기반 QMS 시스템구축 2012.04 SKHynix 자동화 2팀 HiTAS 시스템내 ECMiner 의데이터탐색기모듈공급 2012.02 SKI LIBS 공장 데이터마이닝기반 QMS 시스템구축 2011.09 삼성전자LCD CAE그룹 Photo공정진단시스템구축을위한 ECMiner, ECMinerIMS 공급 2011.08 8
4. 사업실적 (2/9) 품질향상 (2/2) 고객사 담당조직 개요 수주 삼성정밀화학 기술팀 DMAC 공장품질향상및에너지절감컨설팅 2011.06 포스코 마그네슘제련연구단 마그네슘제련모니터링을위한지능형모니터링시스템구축 2011.05 삼성반도체 시스템LSI MASS+ 비정형분석시스템데이터베이스변경구축 ( 오라클->DB2) 2011.05 LG이노텍 PI혁신팀 LED 수율향상분석시스템구축 2010.04 LG화학 Glass 사업팀 Computer Vision 기반 Glass 표면 Waviness 탐지시스템개발 2010.02 삼성전자 반도체부문시스템LSI 비정형분석시스템성능개선프로젝트 2009.09 삼성반도체 시스템LSI MASS+ 비정형분석시스템 2차고도화사업 / 실시간모니터링시스템 2008.09 삼성반도체 시스템LSI MASS+ 비정형분석시스템 ( 데이터마이닝분석 ) 고도화 2008.03 LG실트론 TDR 단결정성장공정 ( 초크랄스키공정 ) 의품질분석컨설팅 2007.03 삼성전자LCD 생산기술그룹 ECMiner 기반 CVD공정분석컨설팅 2007.02 LG전자 LG전자PDP A3공장 (42 PDP 생산 ) 품질인자규명및개선프로젝트 2006.06 삼성반도체 시스템LSI SSA(Spatial Signature Analysis) 를이용한 Wafer 결함패턴분석시스템 2005.09 LG화학 2차전지공장 ( 청주 ) 2차전지품질에영향을미치는요인분석 2005.07 LG화학 VCM공장 ( 대산 ) VCM 공정품질향상을위한컨설팅 2005.03 삼성반도체 시스템LSI ECMiner 을기반한 MASS+ 비정형분석시스템구축 2004. 09 LG전자 DAV사업부 ECMiner 공급및불량에영향을미치는품질인자분석 2004. 12 LG화학 화성품공장 ( 여수 ) 조업분석표준화를위한 ECMiner, ECMienrRTMDS 납품및컨설팅 2004. 10 LG화학 PVC 공장 ( 여수 ) PVC 공정품질향상을위한분석컨설팅 (Pilot Project ) 2004. 07 LG칼텍스정유 RFCC 공정시스템 RFCC 공정수율향상 ( 컨설팅및 ECMiner 공급 ) 2004. 07 9
4. 사업실적 (3/9) 환경 / 에너지 / 수요예측 고객사 담당조직 개요 수주 삼성BP 기획팀 ECMiner 기반원료수요예측 2015.03 RIST 에너지자원연구본부 ECMiner 데이터마이닝 S/W 도입및 CO2 포집데이터분석 2014.01 LG화학 NCC기술팀 NCC공정에너지효율모니터링시스템구축 2011.01 SKC 기술팀 메탄올분리공정조업최적화컨설팅 (Pilot) 2009.06 삼성BP 기술팀 ECMiner 구매 2009.04 여천NCC 에너지관리TFT SM공장최적화 : 에너지소비최소화프로젝트 2006.12 여천NCC 에너지관리TFT팀 ECMiner 활용 MTBE 공장에너지최적화 Consulting 2005.12 LG화학 화성품 ( 여수 ) NPG공장 : ECMiner 와 ECMinerRTMDS 공급 2005.10 LG화학 BRU공장 ( 대산 ) BRU(Benzene Recovery Unit) 공정분석및에너지최적화 2005.09 LG화학 BR공장 ( 대산 ) BR공장에너지최적화 2005.06 10
4. 사업실적 (4/9) 설비이상진단 / 안전 / 생산성 고객사담당조직개요수주 LS 니꼬동제련 IT 팀 Booster Fan 의이상징후예측을통한 Preventive Maintenance 2015.07 포스코설비기술팀 2 열연공장압연기 Camber 원인분석 2015.06 SK Hynix 환경안전본부 GAS Tank 누수감지분석시스템구축 2014.11 현대중공업조선사업부데이터모델링을통한중장납기 / 강재에대한수요분석 2014.07 포스코연주 ( 광양 ) MLH(Mold Level Hunting) 원인인자규명 (2 차사업 ) 2012.09 포스코제선부 ( 광양 ) 노황관리시스템 (BOSO ) 고도화 2012.04 포스코연주 ( 광양 ) MLH(Mold Level Hunting) 원인인자규명 2012.04 삼성전자가전사업부 GMES 구축 : 예측 BI 활용방안도출컨설팅 (PoC) 2011.09 포스코제선부 ( 광양 ) 노내가스류변동예측시스템구축 2011.01 포스코제선부 ( 포항 ) 포항 2, 4 고로노황관리시스템 (BOSO System) 확대적용 2010.02 포스코제선부 ( 광양 ) 광양 4 고로노황관리시스템 (BOSO System) 구축 2010.02 포스코제선부 ( 포항 ) 포항 3 고로노황관리시스템 (BOSO System) 구축 2009.09 삼성반도체메모리사업부전문가시스템기반진공펌프실시간모니터링 / 이상진단시스템구축 2008.02 포스코제선부데이터마이닝기반공장모니터링시스템구축 2007.08 현대제철특수강기술팀 ECMiner 납품및교육 2007.01 포스코 FINEX 공장 ECMiner, ECMinerRTMDS 기반실시간공정 / 품질모니터링 / 이상진단시스템구축 2006.08 포스코 Finex/ 기술연구소 ECMiner 활용 Finex 공장최적조업분석컨설팅 2006.02 삼성반도체메모리사업부 ECMiner 활용진공펌프조기이상진단컨설팅프로젝트 2006.01 포스코기술연구소 Finex 공장조업분석용 ECMiner 공급 2005.10 11
4. 사업실적 (5/9) 공공 / 금융 / 서비스 (1/3) 고객사 담당조직 개요 수주 금융정보분석원 제도운영과 국가자금세탁위험평가시스템구축 ( 보험부문 ) 중컨설팅컨소시움 2015.04 전국은행연합회 전산팀 신용정보및세금우대시스템노후장비교체중빅데이터분석 2015.04 국세청 국제조사과 해외금융정보교환 분석시스템 (AXIS) 구축사업 : 참여기업 2015.02 농협 준법감시실 자금세탁방지시스템 KYC, TMS 고도화컨설팅 2014.11 롯데카드 법무감시팀 자금세탁방지시스템관련 FDS 연동시스템구축 2014.11 한국수력원자력 감사총괄팀 감사정보체계고도화컨설팅 2014.10 RIST 정도경영실 ECMiner 기반예방감사분석 2014.09 은행연합회 전산부 TDB(Tech Database) 전산시스템구축 : TDB 활용방안에대한 ISP 진행 2014.07 국세청 첨단탈세방지 FIU정보통합분석시스템 FOCAS 구축사업 : 분석시스템구축부분 2014.06 금융정보분석원 제도운영과 국가자금세탁위험평가시스템구축 2014.05 포스코 정도경영실 실시간예방감사시스템고도화 2014.04 한국석유관리원 수급보고추진팀 석유제품수급보고시스템구축-불법유통이상징후업소분석및추출 2014.01 국립암센터 암등록사업부 암빅데이터서비스사업화컨설팅 2014.01 현대캐피탈 / 카드 / 커머셜 준법감시실 자금세탁방지시스템고도화 2013.12 생산성본부 IT팀 데이터마이닝결과보고서고도화 2013.11 롯데카드 Compliance 팀 자금세탁방지시스템 차세대시스템구축에따른재사용인터페이스 2013.07 SKT 솔루션사업팀 고객분석및추천시스템구축을위한컨설팅 2013.01 포스코 정도경영실 실시간예방감사시스템구축 2013.01 현대캐피탈 / 카드 / 커머셜 준법감시실 ECMinerAML 기반자금세탁방지시스템구축 2012.10 금융정보분석원 기획행정실 STR관련건전략분석시스템구축 2011.09 12
4. 사업실적 (6/9) 공공 / 금융 / 서비스 (2/3) 고객사 담당조직 개요 수주 CUPIA 네팔관세청 관세업무를위한위험관리정보시스템구축 2011.07 KT 네트워크연구소 3G 기지국트래픽과부하실시간추정시스템개발 2011.05 CUPIA 에콰도르관세청 관세업무를위한위험관리정보시스템구축 2011.02 서울시메트로 지하철사업단 서울시메트로공기질모니터링시스템구축 2차년도 2011.01 생산성본부 IT팀 데이터마이닝결과보고서자동화를위한데이터마트구축 2010.07 CUPIA 과테말라국세청 관세업무를위한위험관리정보시스템구축 2010.03 서울시메트로 지하철사업단 서울시메트로공기질모니터링시스템구축 1차년도 2010.01 한국석유관리원 유통관리팀 불법석유유통방지시스템 2009.09 신협 준법감시실 자금세탁방지시스템구축 2009.09 금융정보분석원 기획행정실 자금세탁방지시스템고도화 7차사업 2009.08 외환은행 카드 카드고객 LTV 산정 2009.07 KT 네트워크연구소 기업고객의회선별트래픽추이분석을통한해지예측모델구축 2009.07 롯데카드 Compliance 팀 ECMinerAML 기반자금세탁방지시스템구축 2009.03 농협 준법감시실 ECMinerAML 기반자금세탁방지시스템구축 2008.08 한국전자통관진흥원 한국전자통관진흥원 관세분야위험관리모듈화개발사업 2008.08 관세청 외환조사 외환거래모니터링시스템구축 2008.05 국민은행 준법감시실 자금세탁방지를위한룰 / 스코어링시스템구축을위한컨설팅 2008.05 하나은행 준법감시실 자금세탁방지를위한룰 / 스코어링시스템구축을위한컨설팅 2008.04 SKT NGM(ISF) 차세대서비스구축 2차사업 2008.01 13
4. 사업실적 (7/9) 공공 / 금융 / 서비스 (3/3) 고객사 담당조직 개요 수주 ETRI USN 연구단 ECMiner 납품및교육 2007.11 관세청 관세청 무역기반자금세탁 (TBML) 방지를위한분석컨설팅 2007.10 재정경제부 금융정보분석원 금융거래분석시스템구축 2007.10 KT BcN 본부 광고대상고객선정을위한스코어링시스템개발 2007.10 심평원 평가정보부 의료보험과청구모델예측 2007.07 경찰청 경찰청수사국 범죄정보분석시스템개발 2007.04 정통부 우정사업본부전산센터 보험고객이탈모형구축 2007.03 SKT NGM(ISF) 차세대서비스시스템구축 2007.03 재정경제부 금융정보분석원 ECMinerAML 기반자금세탁심사분석시스템구축 2007.01 재정경제부 금융정보분석원 ECMiner 기반자금세탁방지를위한 Scoring 시스템구축 2006.06 농협 CRM ECMiner 활용 CRM 컨설팅 ( 고객세분화 ) 프로젝트수행 2005.09 삼성전자 마케팅 데이터마이닝기반의마케팅지원을위한 CRM 컨설팅수행 2004.10 KBS DTV 데이터분석 디지털방송송신의품질개선을위한데이터마이닝컨설팅및 SW납품 2004.09 롯데백화점 마케팅 고객 Needs에기반한고객구매원인분석및구매예측모델구축컨설팅 2004. 03 SK Telecom 마케팅 네이트이용자패턴분석및우수고객분석, 선호컨텐츠분석컨설팅 2002. 03 새롬기술 마케팅 Dial Pad고객및콜센터데이터분석및유료화전환시수익성예측모델 2001. 11 현대자동차 마케팅 웹사이트광고효과분석데이터마이닝컨설팅프로젝트수행 2001.06 대교 마케팅 CRM 전략개발및데이터마이닝컨설팅프로젝트수행 2000. 09 14
4. 사업실적 (8/9) 교육 고객사 S/W 공급방식 개요 수주 서강대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2015.03 서울대빅데이터센터 기술제휴협약 연구용데이터마이닝 S/W ECMiner 제공에대한기술제휴협약체결 2013.11 포항공과대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2011.10 건국대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2011.10 서울과학기술대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2011.07 고려대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2011.02 한남대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2009.11 건국대학교공과대학 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2009.03 동국대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2009.03 경희대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2008.09 KAIST 경영정보대 판매 ECMiner 와 ECMinerRTMDS 납품및교육 2007.03 경성대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2006.09 동명정보대 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2006.08 광운대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2006.04 숭실대학교 산학협약 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2006.04 카톨릭대학교 판매 교육및연구용으로 ECMiner 공급 2005.08 연세대학교상경대학 산학협약식 교육용데이터마이닝 S/W ECMiner 제공에대한산학협약체결 2005.05 포항공과대학교 판매 교육및연구용으로 ECMiner 공급 2004.01 15
4. 사업실적 (9/9) 정부과제 과제주관기관과제수행기관개요수주 미래창조과학부 Altibase 빅데이터통합모니터링및분석을위한고성능데이터베이스솔루션개발 2014.05 환경부 Kwater 수질맞춤형정수처리시스템구축 - 전문가의사결정시스템 2013.01 지식경제부 중소기업청 중소기업청 서울시메트로 정보통신부 ( 선도기술개발보급지원사업 ) 중소기업청 ( 기술혁신개발사업 ) 정보통신부 ( 디지털콘텐츠기술개발사업 ) ETRI( 주관 )/ 이씨마이너 ( 참여 ) 누리봄 ( 주관 )/ 이씨마이너 ( 참여 ) 서울대학교 / 이씨마이너 건국대학교 / 이씨마이너 차세대메모리기반 Big Data 분석을위한원천기술개발 (5 년 ) 2012.05 매장관리및마케팅정보분석을위한영상센서기반영상정보분석서비스솔루션개발 2012.11 ECMiner 이상치탐지모듈의최적화및개발 2012.06 지하역사및터널의인공지능형공기질제어및관리시스템개발 2011.01 이씨마이너 Six Sigma 를위한 Datamining 기반의 MSPC 응용 S/W 개발 2003.08 이씨마이너웹기반감시제어시스템의연결성을고려한범용소프트웨어의설계기술 2002.07 이씨마이너 Web Datamining 기반의 ecrm 기술개발 2002.01 16
5. 데이터분석을위한파트너쉽 (1/3) End user Business Analyst Decisions Data Presentation(BI) Data Analyst Data Mining Information Discovery(BA) Data Exploration Statistical Analysis, Querying and Reporting Database Administrator Data Warehouses/Data Marts OLAP, MDA Data Source Papers, Files, Information Providers, Database System, OLTP Hardware 17
5. 데이터분석을위한파트너쉽 (2/3) MS, ECMiner, HP 협약식 이씨마이너 - 서울대빅데이터센터 ( 왼쪽부터 ) HP 기업영업총괄신종원부사장, 이씨마이너민광기대표이사, 한국마이크로소프기업고객사업본부본부장민성원전무 ( 왼쪽부터 ) 이씨마이너민광기대표이사, 서울대학교빅데이터센터김형주센터장 18
5. 데이터분석을위한파트너쉽 (3/3) 이씨마이너 - 서강대학교 ( 왼쪽부터 ) 서강대학교유기풍총장님, 이씨마이너민광기대표이사 19
6. Why ECMiner(1/5) I. 회사소개 제조분야에특화된프로젝트수행역량 검증된소프트웨어를기반으로다수의프로젝트경험을가진컨설턴트와개발자를프로젝트수행시투입합니다. 또한 Customizing 및산학협력을통해 S/W 의기능을수정하거나추가하여고객사에맞는시스템을개발합니다. 소프트웨어역량 자체개발 S/W 다수의프로젝트를통해검증된소프트웨어 강력한전처리기능 대용량처리능력 컨설팅역량 수많은제조분석경험 (100 여개프로젝트수행경험 ) 제조분석방법론활용 (SDM) 프로젝트수행역량 시스템개발역량 고객사특성을반영한시스템구축 컨설팅과개발의일괄수행을통한프로젝트안정성확보 네트워크역량 전문분야별산학협력을통한협업 30 여명의국내외교수참여 20
6. Why ECMiner(2/5) I. 회사소개 소프트웨어역량 프로젝트수행시고객사의특성을반영한기능을 Customizing 을통해제공하고있습니다. 또한강력한데이터전처리기능과대용량데이터처리는프로젝트를수행하면서검증받았습니다. 1 고객사특성을반영한기능 2 강력한데이터전처리기능 데이터탐색노드 고객사특성그래프 3 검증된대용량데이터처리 고객통화및서비스이용데이터 ( 약 2 억건, 100 여개변수 ) 7 개의처리프로세스 54 분 소요 21
6. Why ECMiner(3/5) I. 회사소개 컨설팅역량 이씨마이너의제조분석방법론인 SDM(Smart DataMining Methodology) 을기반으로축적된제조분석경험과업종지식은품질향상, 설비이상진단, 생산성향상의프로젝트에서성공적인사례를만들어가고있습니다. 체계적인컨설팅수행절차 품질및수율향상!! 제조분석방법론 (SDM) 활용 설비이상진단!! 다양한제조분석경험 / 업종지식 분석 S/W 와제조응용시스템 현업과긴밀한협업 생산성향상!! 22
6. Why ECMiner(4/5) I. 회사소개 시스템개발및네트워크역량 시스템개발시프로젝트담당컨설턴트와고객담당자의긴밀한협조를통해고객요구사항을최대한반영합니다. 또한추가라이브러리를개발하거나새로운알고리즘이필요한경우본사개발지원체제를활용합니다. 고객사 본사 R&D 팀 공정설명요구사항 업무협의요구사항정의 시스템개발 산학연계 컨설팅 < 프로젝트내개발업무수행도 > 분야별전문가집단 ( 화학공학과, 산업공학과, 통계학과, 전산과교수 30 여명 ) < 본사개발지원업무수행도 > 23
6. Why ECMiner(5/5) I. 회사소개 ECMiner 는국내기술로개발된검증된 SW 로하이테크, 제조분야에최상의솔루션과서비스를제공합니다. 24
II. Big Data 25
II. Big Data 목차 1. 데이터마이닝소개 2. Big Data 현황 3. Big Data 시대의 Data Mining 4. Big Data 아키텍쳐 5. Big Data 처리를위한 ECMiner ver. 2013 6. Big Data 의료부문활용 26
1. 데이터마이닝소개 (1/5) II. Big Data 데이터마이닝정의 데이터마이닝은대량의데이터로부터전처리과정 ( 변환 ) 을거쳐, 데이터의특성, 패턴, 규칙등을추출, 정보화, 지식화하여의사결정에적용하는과정입니다. 온도, 압력등수많은센서로부터수집되는대량의데이터 이상 / 결측치처리, 추가변수생성등분석을위한데이터로변환 데이터의특성, 패턴, 규칙등을추출 분석결과 Visualization (Grid, 차트, 이미지등 ) 대용량데이터데이터전처리정보화 / 지식화의사결정 Recipe 연 / 원료조성온도압력유량 Level RPM 품질측정치 생산설비운전품질 시간을기준으로데이터를수집 27
1. 데이터마이닝소개 (2/5) II. Big Data 데이터마이닝출현배경 기술적발전과기업환경의변화에의해기업경쟁력향상을위해데이터마이닝의필요성이대두되었습니다. Data Mining 28
1. 데이터마이닝소개 (3/5) II. Big Data 데이터마이닝요소기술 통계 패턴인식 데이터베이스 데이터마이닝 KDD 기계학습 인공지능 (AI) * KDD: Knowledge Discovery in Database * A I : Artificial Intelligence 29
1. 데이터마이닝소개 (4/5) II. Big Data 데이터마이닝주요기능 판별식또는판별기준을설정한후양 / 불량을판별함. 분류 (Classification) 예측 (Prediction) 과거 / 현재의데이터를기반으로모형을만들어미래의상황을예측함. ( 예 : 시계열분석활용익월수익예측 ) 속성이유사한것끼리자동으로군집화를함. ( 예 : 고객 Profiling 을기반한고객세분화 ) 군집화 (Clustering) 복잡한데이터를사용자가직관적으로이해하기쉬운형태로가시화함. ( 예 : Visualization Data Mining, OLAP, etc) 가시화및정보요약 (Visualization/ Summarization) 연관분석 (Association Analysis) 상품과상품의연관정도를나타냄. ( 예 : 기저귀를사는사람이맥주를많이산다. -> 신혼부부 ) 30
1. 데이터마이닝소개 (5/5) II. Big Data 데이터마이닝활용분야 데이터마이닝은제조업, 금융, 의료, 마켓팅, 컴퓨터, 에너지등활용분야가점차넓혀가고있으며, 최근 SNS, log data 분석을통해소셜네트워크분야에많은적용이이루어지고있습니다. 출처 : 2011 대한산업공학회추계학술대회고태훈, 강석호, 조성준 * 31
2. Big Data 현황 (1/3) II. Big Data 빅데이터 (Big Data) 란 대량의데이터가실시간으로끊임없이다양한형태로들어오는것.(Gartner) 전통적인데이터베이스 SW로는수집, 저장, 관리, 분석이어려운정도의큰규모의데이터.(McKinsey. 11) 다양한형태 ( 비디오, 오디오, 텍스트등 ) 로구성된대용량데이터로부터데이터의고속탐색, 수집및분석을통해경제적으로필요한가치를추출할수있도록디자인된차세대기술과아키텍쳐를의미한다.(IDC. 11) Volume - Large volume of data - Terabytes or Petabytes - Size, records, transactions or tables BigData 비정형데이터 - 비디오, 오디오, 텍스트 반정형데이터 - 웹로그, 소셜미디어피드 BigData Variety - Number and type of data sources - Structured or Unstructured data 대용량복잡다양고속생성 정형데이터 - 센서, 운전데이터 - DW/DM 정보 Velocity - Frequency of updates - Real time or streams - Batch processing (Umesh Jain) Time (IDC, 11) 32
2. Big Data 현황 (2/3) II. Big Data 빅데이터 (Big Data) 적용분야 빅데이터 (Big Data) 활용분야는다양한산업분야에걸쳐상당한재무적가치를생산 33
2. Big Data 현황 (3/3) II. Big Data 분야별빅데이터 (Big Data) 량 34
3. Big Data 시대의 Data Mining(1/3) II. Big Data 출처 : Apporoach to Building and Implementing Business Intelligence Systems (Olszax. C.M & Ziemba. E, 2007) 35
3. Big Data 시대의 Data Mining(2/3) II. Big Data BI 인프라 Operations Business Intelligence Operational Systems Data Integration Information Warehouse BI Application Potals Employee Operations Extract Automated Warehouse Infrastructure Continuous Monitoring Alerts Continuous Business Intelligence Monitoring Publishing Alerts Suppliers Manufacturing Distribution Logistics Cleanse Operational Intelligence Scorecards Employee Community Customers Sales, Maketing Transform Clickstream Intelligence Customer Intelligence Graphical Trends Analysis Scheduled Reporting Suppliers Community Customers Community Partners Finance, Human Resources Load Integrated Enterprise Information Query & Analysis Partner Community Meta Data 출처 : Business Intelligence Infrastructure(Robinson, 2002) 36
... 3. Big Data 시대의 Data Mining(3/3) II. Big Data BI Platform 을위한 BA Source Layer Data Warehouse Layer Business Analytic Layer User Layer MES System 서울광주... Plant floor info. Control System Machine/Tools conveyor Business info. CRM ERP SCM 데이터통합 (Data Integration) EDW Packaged DW Model In-Database Analytics Analytics Sand Box HOLAP MART Real time Analysis B.A Layer 4 전략적의사결정 B.A Layer 1 포탈, 대시보드 B.A Layer 2 비정형분석, 빠른예측모델 B.A Layer 3 모델관리 비정형리포트 데이터마이닝 OLAP 정형리포트 Excel 데이터시각화 분석리포트 & 탐색 텍스트마이닝 비즈니스계획 예측 & 최적화 프로세스설정 Partners Employees Analysts Executives Operational Process Discovery Process 분석통합메타데이터 & 통합관리 (ECMiner Management) 출처 : Data Warehouse Architecture(UC-Berkely, 2006) 37
4. Big Data 아키텍쳐 (1/2) II. Big Data Big Data 분석을위한아키텍쳐 데이터원천데이터통합데이터저장데이터분석데이터표현 공공민원범죄수사 ETL (Extraction, Transformation, Loading) EDW (Enterprise Data Warehouse) On-Line 실시간모니터링 & 이상진단 국세 / 관세거래보건의료 EAI (Enterprise Application Integration) ECMinerIMS - 실시간예측 - 실시간모니터링 - 실시간분석 - Alarm/Action Guidance 금융거래통신이용 CEP (Complex Event Processing) Big Data 분석마트 Off-Line Data Mining ECMiner 고객관계 재무회계 Hive - 예측 / 군집 / 분류 / 연관성 - 데이터입력 / 출력 - 데이터전처리 / 차트 - 모델검증 Sqoop 생산관리 MapReduce 공정계측 HDFS (Hadoop Distributed File System) Hadoop 38
4. Big Data 아키텍쳐 (2/2) II. Big Data L 사구축사례 : 생산데이터분석 Architecture 분석영역과테이터플랫폼의두영역의체계적수행을통해초기성공모델확보및향후확대를달성함 Big Data 분석을위한아키텍처 역할 분석도구 ECMiner 1 분석영역 ECMiner 분석모델생성 / 관리 Visualization 모델실행 빅데이터분석 ( 정형, 비정형 ) 처리기반 MS PDW(RDB) MS PDW 분석모델의실행 ( 병렬처리 ) Report 조회등의 OLTP 성 RDBMS 지원 빅데이터기반 LG CNS SBP Appliance (Hadoop) 정형 Data 2 데이터플랫폼영역 LG CNS SBP 데이터수집 데이터저장 데이터전처리 DBMS I/F (Data Importer) 비정형데이터 I/F (Data Collector) MES QMS EMS 도면이미지설비 Log 39
5. Big Data 분석을위한 ECMiner 2013(1/7) II. Big Data Big Data 분석을위한 ECMiner ECMiner 는 Big Data 처리를위해 Hadoop 연동, HPC 연동, 분산 / 병렬, ECMiner in PDW Appliance, 64Bits 처리, 그리고 Dynamic chats 를제공함으로써, Big Data 분석을위한최적의분석환경을제공합니다. ECMiner 에서직접 Hadoop 에접속하여데이터를정제하여분석용파일생성. 1. Hadoop 연동 데이터와차트동기화를통한직관적분석기능강화. 6. Dynamic charts 2. HPC 고성능어플라이언스를통한고속처리 ECMiner 5. ECMinerIMS 연동 별도의프로그램없이모델을 ECMinerIMS 에등록함으로실시간모니터링및이상진단시스템구현 4. ECMiner in PDW Appliance 3. 분산 / 병렬 데이터입력, 전처리, 알고리듬에대한분산 / 병렬처리 데이터고속처리를위해 In-memory 상연산 40
5. Big Data 분석을위한 ECMiner 2013(2/7) II. Big Data Hadoop 연동 ECMiner 는 Hadoop 데이터를입력 / 전처리 / 통계 / 저장기능을제공함. 이를이용하여 Big Data 분석마트에분석용데이터를적재하여업무에활용합니다. Big Data 분석마트 데이터입력 / 출력 Job Scheduler Batch Manager H A D O O P Sqoop Data Import Data Export Hive HiveQL MapReduce Transformation HDFS MapReduce (Hadoop Distributed File System) Pig Pig Script MapReduce Transformation Hive Connector HiveQL Executor Schema Explorer Hadoop 전처리기 Pig Script Generator Pig Script Runner HDFS I/O Module File Explorer File Downloader E C M I N E R 41
5. Big Data 분석을위한 ECMiner 2013(3/7) II. Big Data ECMiner 와같은환경에서 Hadoop 을이용한분석작업 Hadoop 에저장된데이터를분석하기위해 ECMiner 가제공하는동일한분석용환경을제공합니다. Hadoop 의 MapReduce 를이용한데이터전처리 모델링수행및결과레포팅 데이터마트로적재 Hadoop에저장된데이터는 ECMiner 의 Hadoop 노드를통해데이터입력, 데이터전처리, 데이터저장등의작업이수행되고, Hadoop 노드를통해정제된데이터는모델링노드를통해데이터마이닝작업이수행됨. 데이터입력속성설정 필터속성설정 Join 속성설정 모델링결과출력 DB 속성설정 42
인피니밴드 (Infiniband) & Ethernet 5. Big Data 분석을위한 ECMiner 2013(4/7) II. Big Data ECMiner in PDW appliance ECMiner 는 Microsoft PDW appliance 와최적화되어, PDW 에서제공하는병렬및분산처리기법을 fully 활용하여최적의성능을보장할수있습니다. ECMiner and MS PDW 제어노드 Passive Node 데이터스토리지 SAS 전처리및 마이닝 병렬처리 SAS SAS SAS Landing Zone (ECMiner Application) 파일시스템공간스토리지백업스토리지 43
5. Big Data 분석을위한 ECMiner 2013(5/7) II. Big Data 데이터병렬 / 분산처리 ECMiner 의알고리즘을전부병렬 / 분산처리를도입하여고속의분석환경을제공합니다. Ex) 500MB(110 만건 ) 데이터를대상으로분산병렬처리를이용한 MLR 알고리듬경우 10 배 (110sec -> 10 sec) 의속도향상성과가있었고, 전체적으로대략 5 배 (140 sec. -> 27 sec) 속도가향상되었습니다. 44
5. Big Data 분석을위한 ECMiner 2013(6/7) II. 제조부문 Big Data ECMinerIMS 연동 ECMiner 에서생성된예측및모니터링모델은 ECMinerIMS 에탑재하여실시간모니터링 & 이상진단을할수있습니다. ECMinerIMS 는데이터의효율적처리, 모델관리의편리성, 그리고모델의실행결과를직관적으로조회할수있도록 Server/Controller/Viewer 의 3 부분으로구성되어있습니다. ECMinerIMS Viewer 정보제공 ECMiner 예측 / 모니터링모델 Controller 모델관리 Server 모델실행 분석용데이터 실시간운전데이터 DBMS 45
5. Big Data 분석을위한 ECMiner 2013(7/7) II. Big Data 직관적이며동적인차트지원 차트와데이터를연동하여시계열적인변화를통해직관적으로의미를파악할수있습니다. 또한여러가지차트를이용하여데이터를직관적으로다양하게표현을제공합니다. 46
III. 제품소개 : ECMiner TM 47
III. 제품소개 : ECMiner 목차 1. ECMiner 개요 2. ECMiner 특장점 3. ECMiner 구성도 4. ECMiner 주요기능 5. 기대효과 48
III. 제품소개 : ECMiner 목차 1. ECMiner 개요 2. ECMiner 특장점 3. ECMiner 구성도 4. ECMiner 주요기능 5. 기대효과 49
1. ECMiner 개요 III. 제품소개 : ECMiner ECMiner 는자체기술력으로개발한국내최초, 유일의데이터마이닝 S/W 로서데이터입력, 전처리, 분석, 모델링, 모델평가, 차트등데이터마이닝작업을위한기능을통합지원하는분석 S/W 입니다. ECMiner 대용량데이터처리 효율적인데이터처리를위한자체데이터구조채택 검증된대용량데이터처리능력 (SKT, 삼성, 엘지등 ) 고난도분석기능 예측 / 분류 / 군집화 / 연관규칙관련알고리즘제공통계 / 시계열분석 / 실험계획 /Nonlinear Resgression 등텍스트마이닝 / 이미지마이닝등 사용자중심의분석환경 직관적판단을위한비쥬얼데이터마이닝채택모든작업이 Visual하게구성사용편의성 (Score card 생성등 ) 강력한데이터전처리기능 DB 타입에독립적인데이터추출기능 강력한데이터전처리능력 ( 병합 / 이상치제거, 정렬, 파생변수생성, 변환등 ) Data Warehouse, Data Mart 통계, 데이터마이닝, 다양한분석알고리즘 50
2. ECMiner 특장점 III. 제품소개 : ECMiner ECMiner 은제조분야에특화된데이터마이닝패키지로, 분석을위한데이터추출에서분석결과저장까지데이터마이닝을위한일련의작업을통합된환경하에서사용, 실시간예측 / 모니터링시스템과의즉시적연동, 그리고고객 Needs 에부합하는 Customizing 지원등이제품의특장점입니다. 제조분야특화된데이터마이닝 S/W ECMiner 는다양한데이터마이닝알고리듬, 통계, 실험설계, 시계열, 회귀분석, SPC, MSPC 등의분석기능을통해수많은센서에서수집되는대량의데이터를분석하여 품질향상, 공장안전, 에너지절감등의목표를달성하기위한분석 S/W 입니다. 데이터추출에서분석결과저장까지 ECMiner 은 Database 로부터의데이터추출, 전처리, 차트, 모델링, 결과저장등 분석에필요한일련의작업을통합된화면에서제공함으로써분석시사용자 편리성을강화하였습니다. 실시간예측 / 모니터링시스템과의연동 ECMiner 으로개발된예측및모니터링모델은 ECMinerIMS 에탑재하여 즉시적으로실시간예측 / 모니터링시스템으로별도의프로그램작업없이구현되어 질수있습니다. 고객 Needs 에부합하는 Customizing ECMiner 은 이씨마이너의자체기술로개발되어고객의요구사항에유연하게 대응할수있습니다. 51
2.1 제조분야특화분석 Contents III. 제품소개 : ECMiner ECMiner 은다양한데이터마이닝알고리듬과 Minitab 의분석기능 ( 실험설계, 시계열, 회귀분석등 ), 기초 / 고급통계, SPC/MSPC 의분석기능을추가함으로써제조분야에특화된데이터마이닝패키지입니다. 통계기초통계, 고급통계 데이터마이닝알고리듬예측, 분류, 군집화, 연관규칙 기타 Nonlinear Regression, 통계차트, PID Autotuning 분석 Contents Minitab 실험설계, 회귀분석, 시계열분석, 등 통계공정제어 SPC(Statistical Process Control) MSPC(Multivariate SPC) 52
2.2 데이터추출에서분석결과저장까지 III. 제품소개 : ECMiner DB 에서데이터추출, 전처리, 통계분석, 모델링, 분석결과출력및저장까지의데이터마이닝전프로세스를 ECMiner 의통합분석환경에서진행할수있습니다. 53
2.3 실시간예측 / 모니터링시스템과의연동 III. 제품소개 : ECMiner ECMiner 에서생성된예측및모니터링모델은 ECMinerIMS 에즉시적으로탑재하여실시간모니터링 & 이상진단을할수있습니다. ECMinerIMS 는데이터의효율적처리, 모델관리의편리성, 그리고모델의실행결과를직관적으로조회할수있도록 Server/Controller/Viewer 의 3 부분으로구성되어있습니다. ECMinerIMS Viewer 정보제공 ECMiner 예측 / 모니터링모델 Controller 모델관리 Server 모델실행 분석용데이터 실시간운전데이터 DBMS 54
2.4 고객 Needs 에부합하는 Customizing III. 제품소개 : ECMiner S 사의 YMS 시스템은 ECMiner 기반으로영문화, 노드의트리구조화, 데이터검색, Multi-Charts, 메일연동등의사용자요구사항을반영하여 Customizing 된사례입니다. S 사의 YMS(Yield Management System) ECMiner 기반 Customizing 화면 고객 Needs 에따른 Multi-Charts 55
3. ECMiner 구성도 : H/W III. 제품소개 : ECMiner ECMiner 의 H/W 구성은 Server 와 Clients 로구성되어있으며, Server 는 Network 를톻해 Clients 와통신하며, 만들어진모델은 Scheduler 에의해주기적으로실행됩니다. Clients ECMiner Client ECMiner Client ECMiner Client ECMiner Client Network Server 분석용 Data Mart ECMiner Server H/W Spec - CPU : Pentium Xeon 2.6GHz x 4 - HDD : 360 GB x 4 (RAID) - RAM : 2GB S/W Spec - Windows2000 Adv. Server 또는 Windows Server 2003 - ECMiner Server ver. 2.7 - IIS 5.0 이상, IE 5.5 이상 데이터전처리 통계 Engine Mining Engine Scheduler 인터페이스 56
3. ECMiner 구성도 : 화면 (1/2) III. 제품소개 : ECMiner 메뉴 노드창입력노드, 전처리노드, 차트노드, 모델링노드, 모델평가노드등으로구성. 리소스창 Local 및서버의데이터리소스를지정. 모델 / 결과물목록. 리소스세부창리소스창의목록을클릭할경우세부내용을보여줌. Drag & Drop 에의해작업창으로데이터전달. 작업창 메세지창작업수행내용에대한 Log. 노드속성창선택된노드의 Option 조정및편집. 특정알고리즘에대한분석결과바로가기. 도움말선택된노드 /Option 에대한도움말제공. 작업창노드의추가및 Work Flow 작성. 데이터분석실행. 57
3. ECMiner 구성도 : 화면 (2/2) III. 제품소개 : ECMiner ECMiner 는데이터마이닝을위한데이터획득, 가공, 모델링, 통계적검증, 가시화등의모든기능을포함하고있으므로사용자는통합된 UI 에서데이터마이닝작업을수행할수있습니다. 입력노드 ( 데이터획득 ) 전처리노드 ( 정제 / 가공처리 ) 모델링노드 ( 알고리즘 ) 차트노드 ( 데이터가시화 ) 출력노드 ( 데이터적재 ) 모델링 데이터획득 차트에의한데이터가시화 데이터적재 < 노드를연결하여데이터분석스트림을구성한예시 > 가공처리 58
4. ECMiner 주요기능 (1/8) III. 제품소개 : ECMiner 사용자관점의인터페이스 사용자 GUI 화면 데이터가시화 다양한데이터획득방법 다양한파일포맷지원 각종상용 DB 지원 / 동시에여러 DB 접근가능 ECMiner 강력한데이터처리기능 고난도분석기능 데이터처리를위한전처리노드및함수지원 대용량데이터처리 예측, 분류, 군집, 연관성등의데이터마이닝 통계 /SPC/MSPC/ 시계열분석 / 실험계획법등 편리한모델관리기능 하나의프로젝트에서다중모델지원 직렬 / 병렬처리 간단한시스템화작업 모델링결과를실행파일로자동생성 / 스케줄러지원 Batch 기능지원 59
4. ECMiner 주요기능 (2/8) III. 제품소개 : ECMiner 사용자관점의인터페이스 - 사용자 GUI 화면 사용자가편리하게사용할수있는 GUI 화면을제공하며, 분석에필요한노드를프로젝트창으로 Drag & Drop 하고, 작업순서를설정 ( 노드연결 ) 함으로써프로젝트 (ECMiner 의작업창에사용자가기능을구현한작업파일로 ecm 확장자로저장됨 ) 를쉽게구성할수있습니다. Drag & Drop or 더블클릭 마우스휠 60
4. ECMiner 주요기능 (3/8) III. 제품소개 : ECMiner 사용자관점의인터페이스 - 데이터가시화 비쥬얼데이터마이닝기법기반다양한분석용차트를제공합니다. 상관관계도 그룹별매트릭스차트 그룹별멀티 Data 차트 그룹화된 3D 차트 61
4. ECMiner 주요기능 (4/8) III. 제품소개 : ECMiner 다양한데이터획득방법 상용 DB, ECL( 자체개발데이터구조 ), TEXT, EXCEL 등의데이터형식을지원하고, Sybase ASIQ, Oracle 등은처리속도향상을위해별도의전용노드를제공합니다. 전처리기능중병합노드는사용자가각종파일, 이기종 DB 의데이터를통합하여분석할수있도록지원합니다. ODBC / OLEDB DB (Oracle, MS-SQL, Sybase, DB2, Access) 파일입력 / 엑셀데이터 데이터파일 (ECL, TEXT, 엑셀등 ) 병합 DB 에연결되면테이블, 컬럼 ( 컬럼명, Type) 정보를노드속성창에보여줌으로써, 사용자가선택하여사용할수있고, Query 문장을직접입력하여데이터를조회할수있음. TEXT, EXCEL 파일도형식화하여데이터를가져옴. 62
4. ECMiner 주요기능 (5/8) III. 제품소개 : ECMiner 강력한데이터처리기능 데이터마이닝작업에있어많은시간이소요되는데이터변환처리를사용자가쉽고, 편리하게작업할수있도록다양한전처리기능을제공합니다. 또한, 처리속도향상을위해자체데이터구조 (ECL) 를개발하였고, 대용량데이터처리가필요한통신, 제조, 금융업무에적용하여그성능을인정받았습니다. 다양한전처리기능제공 파생변수생성을위한수식편집기와함수 63
4. ECMiner 주요기능 (6/8) III. 제품소개 : ECMiner 데이터마이닝모델링기법과통계분석기능 군집, 예측, 분류, 연관성등의데이터마이닝모델링기법과통계분석, 실험계획법, 시계열분석등의기능은다양한업무분야에활용되어집니다. 통계 데이터마이닝실험계획법시계열분석 기타 탐색적데이터분석기법 MLR 기술통계 Logistic 빈도분석 / 교차분석 PCA 상관관계 PLS T-검정 PCR 카이스퀘어검정 LDA / QDA ANOVA FA Gage R&R GLM 군집화 (Clustering) 예측 (Prediction) 분류 (Classification) 연관성규칙 (Association Rule) 요인설계 반응표면설계 혼합물설계 다구찌설계 ARIMA AR MA 지수평활 추세분석 Nonlinear Regression PID Tuning * 통계부분은파일에디터창에서지원 64
4. ECMiner 주요기능 (7/8) III. 제품소개 : ECMiner 편리한모델관리기능 프로젝트구성시다중모델을지원합니다. 또한, 프로젝트는저장하여재사용할수있습니다. - 모델을병렬로실행할수있는기능을제공 - 각각의모델결과를비교하여선택할수있음 - 모델을직렬로실행할수있는기능을제공 - 모델의결과를다른모델에서활용할수있음 65
4. ECMiner 주요기능 (8/8) III. 제품소개 : ECMiner 간단한시스템화작업 간단한조작만으로정기적또는비정기적모델수행업무를자동화할수있는스케줄러기능과작업우선순위를고려하여여러프로젝트를묶어서실행할수있는 Batch 기능을제공합니다. 스케줄러에직접설정하여서버에서주기적으로자동실행 Batch 프로젝트 등록된실행순서에따라프로젝트가실행되고, 실행순서가동일한경우에는동시에실행됨. 실행순서가동일한프로젝트가모두실행완료되어야다음실행순서로넘어감. * C/S 버전에서지원함. 66
5. 기대효과 III. 제품소개 : ECMiner 조업편차감소를통한 안정적운영 실시간공정의이상원인진단을통한공정조업의안정적 운영및조업편차감소 1 실시간모니터링및 이상조기감지 실시간공정감시시스템구축을통한이상조기감지및진단 2 ECMiner 기대효과 3 품질관리 품질변수에대해실시간예측을통한 품질관리 4 생산성증대 안정적조업 / 에너지최적화 / 품질향상에따른생산성증대 67
IV. 적용사례 1. 공공분야 자금세탁방지시스템 ( 금융정분석원 ) 불법석유유통방지시스템 ( 석유관리원 ) 의료보험과청구업체예측시스템 ( 건강심사평가원 ) 범죄정보분석시스템 ( 경찰청 ) 관세업무를위한위험관리정보시스템 ( 관세청 ) 2. 금융 / 통신 / 서비스 3G 기지국트래픽과부하실시간추정시스템 (KT) 카드고객 LTV 산정 {CRM} ( 외환은행 ) 차세대서비스 (ISF) 구축 {CRM} (SKT) 68
1. 공공분야 KoFIU 자금세탁방지시스템구축 (1/3) IV. 사례소개 배경및목적 금융기관의신뢰도제고 범죄행위의효율적규제 심사업무의효율성향상 자금세탁행위 차단을위한 모니터링시스템 자금세탁방지시스템구축 건전한금융질서확립 수행영역 ECMinerAML 의연계분석모듈을커스터마이징한자금세탁방지시스템구축 수행기간 2011년 9월 ~ 2011년 12월 (4개월) 대상 : KoFIU( 금융정보분석원 ) 에보고되는 STR 1) 자료 1) STR (Suspicious Transaction Report) : 금융기관은해당거래가불법재산혹은자금세탁행위및공중협박조달행위로의심되는합당한근거가있는거래에대해 KoFIU 에 STR 양식으로보고함. 69
1. 공공분야 KoFIU 자금세탁방지시스템구축 (2/3) IV. 사례소개 수행내용 70
1. 공공분야 KoFIU 자금세탁방지시스템구축 (3/3) IV. 사례소개 구축효과 조회업무시간 80% 단축 분석업무의효율화 반복적인조회업무자동화 - 다수의 STR 조회업무를 1 건의 연계화면으로가시화 혐의추출정확성향상 자금세탁유형및혐의자정확성향상 - Rule, Scoring에의한객관화, 지식화 - 과거누적자료, 완료자료, 기타행정자료를활용한심사분석 업무표준화 STR 접수후심사분석에서완료보고서까지업무를표준화, 자동화함 STR 접수 연계도를통한가시화 상세분석을통한거래, 흐름, 유형파악 완료보고서 71
1. 공공분야 석유관리원불법석유유통방지시스템구축 (1/3) IV. 사례소개 배경및목적 불법석유유통의증가 범죄행위의효율적규제 유통방지업무의효율성향상 불법석유유통 방지를위한 분석시스템 불법석유유통방지시스템 건전한시장질서확립 수행영역 ECMiner 을통한모델개발및적용 ECMinerAML 의연계분석을커스터마이징한불법석유유통방지시스템구축 컨설팅수행 ( 모델링및교육 ) 수행기간 2009 년 9 월 ~ 2010 년 2 월 (5.5 개월 ) 대상 : 석유거래데이터, 업체정보 72
1. 공공분야 석유관리원불법석유유통방지시스템구축 (2/3) IV. 사례소개 수행내용 데이터분석 및모델링 조건검색 불법유통징후 업체검색 연계분석 1 2 3 4 21 개룰모델개발 조건검색웹화면제공 스코어모델검출이력조회 제품의유통경로시각화 룰별검출빈도와중요도를고려한 3개스코어모델개발 21개룰모델및 3개스코어모델에대한검출결과및룰별상세화면제공 해당거래기간내에업 체별, 제품별로총괄위험 점수, 거래위험점수, 종합위험점수제공 노드속성정보, 링크속성정보및 Summary Report 제공 73
1. 공공분야 석유관리원불법석유유통방지시스템구축 (3/3) IV. 사례소개 구축효과 업무효율 위험점수가높은사업자만을검증함으로써업무효율성을증대및비용절감 위험점수가높은사업자추출 현장검증 업무효율성 혐의추출정확성 위험점수가높은사업자에대한현장 검증을통해적발율 25% 실적이룸 적발률 25% 74
1. 공공분야 심평원의료보험과청구업체예측시스템구축 (1/4) IV. 사례소개 배경및목적 일관성없는현지조사대상선정 선정에대한인과관계설명력부재 기개발된모델의성능저하 데이터마이닝을 활용한 부당기관선별 한의원현지조사대상선정모델 예측력향상및설명력제고 수행영역 ECMiner 와 SAS 를통한모델개발및스코어모델개발 수행기간 2007 년 7 월 ~ 2008 년 1 월 (7 개월 ) 분석데이터 : 요양기관거래내역및청구명세서항목 < 건강보험심사평가원 > 75
1. 공공분야 심평원의료보험과청구업체예측시스템구축 (2/4) IV. 사례소개 수행절차 SDM (Smart Datamining Methology) ( 주 ) 이씨마이너의분석수행방법론인 SDM 절차에따라모델을개발합니다. 필요데이터 List-up 데이터평가방법정의 모델요건정의 데이터마트구축 데이터품질체크 현황분석 요건정의 초기데이터 수집 데이터추출 모델링 모델평가 및선정 업무환경분석 모델개발영역선정 요구사항분석 데이터정의 정보입수프로세스이해 가용데이터확인 모집단선정 표본추출 유의변수선정 모델링기법선정 모델생성 76
1. 공공분야 심평원의료보험과청구업체예측시스템구축 (3/4) IV. 사례소개 수행내용 요양기관의입력변수 2 결과활용 월별동일수진자발생비율수진자당내원일수조정비율 etc. 1 Score Card 화면결과를통해현지조사대상기관선정함 스코어링결과를토대로 Action Plan 을계획함. 3 실시간 / 주기적모니터링 모형평가 중요항목변화모니터링 스코어모델개발전략개발모니터링체계구축 1 2 3 부당의정도를나타내는양적인값을산출 위험예측을하기위한위험요소 (Risk Factor) 를발굴 부당의정도를예측하는스코어값들과부당의등급결과를이용하여최종적인부당정도를결정 부당정도에따른적절한 Action Plan 을결정 부당의정도를예측하기위한모델의성능을 Feed Back 을통하여정기적으로모니터링화 모델에사용되는요소들에대한타당성검토가능 77
1. 공공분야 심평원의료보험과청구업체예측시스템구축 (4/4) IV. 사례소개 구축효과 부당적중률항샹 모델을분리개발하여부당적중률을향상 - 요양기관과청구명세서를분리하여모델링 - 최적변수의선정과최적의모델을선정 설명력있는평점표모델개발 현지조사대상선정이유를설명하기쉬운모델 - 해석하기쉬운평점표모델개발 활용가능성극대화 부당기관과개연성감시가용이하여활용성증가 - 활용도를고려한화면구성과운용방법으로개선 - 높은적중률과인관관계해석이용이하여활용도향상 78
1. 공공분야 - 경찰청범죄정보분석시스템 (1/3) IV. 사례소개 배경및목적 새로운범죄수사기법에대한요구 축적된데이터활용미비 과학적인초동수사방안필요 데이터마이닝기법을활용하여범죄수사지원 범죄정보시스템 범죄분석업무의과학적인접근 수행영역 시계열분석을이용한죄종별미래발생건수예측모델개발 판별분석을이용한피의자특징추정모델개발 연관성분석을이용한범죄유사패턴분석모델개발 수행기간 2007 년 4 월 ~ 10 월 (7 개월 ) 대상 : 사건정보, 발생원표, 검거원표, 피의자원표, 수법데이터 79
1. 공공분야 - 경찰청범죄정보분석시스템 (2/3) IV. 사례소개 수행내용 발생건수예측피의자특징추정범죄유사패턴분석 1 ARIMA모델적용 죄종별발생건수예측 1 로지스틱회귀분석모델적용 새로운사건에대한피의자추정 1 연관성모델적용 범죄별패턴추출 실측 예측 피의자특징추정 예시 ) 살인범죄의경우 - 범행일기가맑음이고, 발생장소가주택이고, 공범이있다면피의자는 20 대일확률이 55% 임. 2 피의자추정에대한영향력분석 80
1. 공공분야 - 경찰청범죄정보분석시스템 (3/3) IV. 사례소개 구축효과 범죄수사업무의효율화 피의자추정을통한빠른용의자색출 -2008 년 2 월숭례문방화용의자체포범죄정보시 스템수훈 1) 범죄패턴분석을통한수사력제고 1) 디지털타임즈 2008 년 2 월 15 일기사 ( 이홍석기자 ) 범죄수사의업무효율화 범죄사전예방 범죄사건의패턴을파악하여우범지대예상 예상되는우범지역의사전대책강구 - 경찰인력배치의효율화 향후계획 시스템해외진출 인도네시아경철청프로젝트수행예정 - 구축효과및필요성에의한프로젝트수행 81
1. 공공분야 관세청위험관리정보시스템 (1/3) IV. 사례소개 배경및목적 급증하는수입물품에비해검사인력의부족 검사지연으로인한물류비용증가 조사대상선정의객관성, 투명성요구 데이터마이닝기법을활용한통관업무지원 위험관리정보시스템 (UNI-PASS) 우범도가높은신고에대한집중관리 수행영역 수입물품신고서검사대상위험평가모델개발및적용 UNI-PASS 의핵심인위험관리시스템을모듈화하여과학적검사시스템요구가높은수출국가적용 ( 과테말라, 에콰도르, 네팔 ) 수행기간 2008 년 8 월 ~ 11 월 (4 개월 ) 대상 : 수입 C/S(Cargo Selectivity) 대상데이터 82
1. 공공분야 관세청위험관리정보시스템 (2/3) IV. 사례소개 수행내용 데이터준비 마이닝알고리즘 1 모델별스코어카드생성 (4 개 ) 외환거래 업체정보 모델개발 업무이해타켓정의 현황분석데이터탐색 범칙정보 이상치처리결측치처리최종데이터셋구성 Score 생성 Daily Batch 3 검사대상선정 선정된대상에대한상세분석 2 모델별등급산출및평가 (4 개 ) 검사대상선별 검사대상비적용 83
1. 공공분야 관세청위험관리정보시스템 (3/3) IV. 사례소개 구축효과 관세업무의효율화 Uni-Pass 수출 우범도가높은신고서선정을통한빠른분석 혐의신고서선정에대한정확성향상 - 과학적인기법을통한객관화, 지식화 - 상세분석기능을활용한검사업무의효율화 과테말라국세청시스템구축 (2010 년 2 월 ~11 월 ) 에콰도르관세청프로젝트수행중 (2011 년 2 월 ~ 진행중 ) 불법통관저지 향후계획 Uni-Pass 수출예정 네팔관세청프로젝트수행예정 과테말라국세청 - 구축효과및필요성에의한프로젝트수행 에콰도르관세청 84
2. 금융 / 통신 / 서비스 KT 3G 기지국과부하예보시스템 (1/3) IV. 사례소개 배경및목적 스마트폰활성화로데이터트래픽급증 고객의통화품질요구 / 고객클레임방지 투자계획수립을위한신뢰성있는자료필요 과부하에대한 사전징후 모델개발 3G 기지국과부하예보시스템 이동통신망의안정운용확보 수행영역 ECMinerIMS 를커스터마이징한모니터링시스템구축 컨설팅수행 - 운용가이드라인제시 - 모니터링 / 예측모델개발및적용 수행기간 2011 년 5 월 ~ 2011 년 9 월 (5 개월 ) 대상 : 수도권과부하발생 3G 기지국 < 3G 망 > 85
2. 금융 / 통신 / 서비스 KT 3G 기지국과부하예보시스템 (2/3) IV. 사례소개 수행내용 운용가이드제시 1 과부하정의 과부하의특성도출 2 원인인자간관계파악 가이드라인선정 3 과부하와품질간의관계를통한운용가이드제시 시스템개발 1 2 기지국별소통율모니터링 과거시점소통율추이파악 과부하발생이력및로그 이력및로그파일출력 3 기지국별과부하예보 주의 / 경보단계별알람 86
2. 금융 / 통신 / 서비스 KT 3G 기지국과부하예보시스템 (3/3) IV. 사례소개 구축효과 트래픽측정방안마련 과부하지표개발 - 현황파악을위한기준마련 - 투자 ( 분석 / 설계 / 증설등 ) 계획수립을위한가이드제시 이상감지대응체계구축 트래픽과부하에대한사전징후포착 - 알람을통해과부하발생전사전대응가능 - 사전대응을통한소통율향상 이동통신망의안정적운용 기지국별소통율모니터링 - 이동통신망의안정성확보 과부하이력관리 - 특정과부하발생시점에따른심도있는 분석및대응체계마련가능 87
2. 금융 / 통신 / 서비스 외환은행카드고객 LTV 산정 {CRM} (1/3) IV. 사례소개 배경및목적 고객에대한가치평가모델필요 기존마케팅모델의고도화 마케팅활동의성과평가 마케팅자원의효율적배분을위한판단기준개발 고객별 CLTV 산정 고객가치에대한명확한파악및 Insight 제공 수행영역 CLTV (Customer lifetime value) 모델개발 CV(Current Value)/FV(Future Value) 기반고객그룹화 수행기간 2009 년 7 월 ~ 9 월 (2.5 개월 ) 대상 : KEB 카드개인정보및거래데이터 <Lifetime value 와 CRM> 88
2. 금융 / 통신 / 서비스 외환은행카드고객 LTV 산정 {CRM} (2/3) IV. 사례소개 수행내용 CLTV 모델개발및그룹화 1 2 연령기준고객군별, 특정기간의 Long-term Value 산정 현재가치 (CV) 와미래가치 (FV) 기준으로고객세분화 3 CV/FV 기준, 그룹별전략방향성수립 14,000 12,000 10,000 8,000 6,000 Current Value Future Value 적극적 Cultivation 전략 Future Value LH Group HH Group Loyalty 증대전략 4,000 2,000 25~34 35~44 45~54 55~64 65~74 75~84 85~ 수익성개선전략 LL Group HL Group Retention 전략 < 고객연령대별 CV/FV 비교막대그래프 > Current Value < 산점도 현재가치 vs 미래가치 > 89
2. 금융 / 통신 / 서비스 외환은행카드고객 LTV 산정 {CRM} (3/3) IV. 사례소개 구축효과 고객이해도증대 수익및비용관점고객이해도증대 고객별특성그룹을나누는기준으로활용 - 그룹별안정성확보 고객관리효율화제고 CLTV 기반고객세분화 - 최적의고객 Portfolio 도출 고객가치에대한마케팅자원의 효율적분배 CRM 활동고도화기반마련 기존고객세분화기준과의연계 - 목표고객선정작업고도화 90
2. 금융 / 통신 / 서비스 SKT 차세대서비스 (ISF) 구축 {CRM} (1/3) IV. 사례소개 배경및목적 일 9 억건데이터수집, 월 170 억건요약 ISF 1) 시스템개발에필요한정보제공요구 기존분석 S/W 의데이터처리한계 빅데이터 처리능력과 다양한분석기법 ISF 1) 인프라구축 마케팅 / 영업 / 서비스업무의효율성증대 수행영역 User Profile, Preference, Relationship 등의마이닝 / 추론모델링수행및 ISF 에입력되는정보를생성 마이닝 / 추론생성로직을 ECMiner TM 에적용및자동화구성 수행기간 1 차 : 2007 년 4 월 ~ 5 월 (ECMiner TM 도입 ) 2 차 : 2008 년 1 월 ~ 12 월 대상 : 고객서비스이용이력, 위치 / 선호데이터 1) ISF (Intelligent Service Framwork) 고객중심의다양한데이터를수집및분석하여, 이를경영지원화하고이를통하여기존사업강화및새로운사업영역개척을가능케하는인프라구축을목적으로함. 이번프로젝트에서는이시스템에필요한정보를생성하는데있음. 91
2. 금융 / 통신 / 서비스 SKT 차세대서비스 (ISF) 구축 {CRM} (2/3) IV. 사례소개 수행내용 고객의서비스이용이럭과위치에대한데이터를요약 / 분석하여 User Profile, Relationship, Location, Preference 의관점에서고객중심의다양하고깊이있는정보를생성하고축적 Source Data 기초요약정보마이닝 / 추론정보 User Profile 각분야별통계 예 ) 고객성별추정모델 서비스정보 고객정보 선호정보 사용자별통화통계 통화상대방별통화통계 위치에따른통화집중도 서비스선호도 Social Relationship 예 ) 고객과상대방간의친밀도추정모델 Location & Mobility 위치정보 ** 총 17 개의모델적용 예 ) 고객직장위치추정모델 통화정보기록 Preference 예 ) 주요컨텐츠연관도분석모델 92
2. 금융 / 통신 / 서비스 SKT 차세대서비스 (ISF) 구축 {CRM} (3/3) IV. 사례소개 구축효과 분석업무의효율화 분석업무의자동화로인한효율성증대 빅데이터에대한빠른처리로비용및시간절감 - 2 억건, 100 여개의변수를처리하는데 54 분소요 비용및시간절감 마케팅 / 영업 / 서비스활동지원 기존명의고객이아닌실사용고객의정보를파악 - 예측력높은고객정보제공 - 실사용고객중심의고객 View 확보 다양한고객정보및통화패턴정보를제공 마케팅 / 영업 / 서비스활동지원 Infra 측면 ISF (Intelligent Service Framework) 에필요한정보제공 - 고객중심의다양하고깊이있는정보를생성하고축적 다양한정보를통한기존사업강화및새로운사업영역개척 93
이씨마이너 감사합니다. 서울시강남구도곡로 151, 상준빌딩 3 층대표전화 02-552-5266 팩시밀리 02-566-0768 URL - http://www.ecminer.com E-mail - webmaster@ecminer.com 본문서는 이씨마이너의기밀정보및영업비밀을포함하고있으므로, 제공된목적외에무단으로복제되거나배포될수없습니다. 94