한국투자증권 DW 신시스템 구축사례발표 2011.6.16 최찬기팀장, 신시스템추진부, 한국투자증권 1
목 차 1. 한국투자증권소개 2. Ki-Wi project 소개 3. 기존 DW시스템환경 4. 신 DW 시스템구축방향 5. Architecture 6. Why IBM? 7. DW구축관련 IBM 제품도입현황 2
1. 한국투자증권소개 Business Area Securities, Investment Banking, Asset Management, Principle Investment Financial Performance 매출 : 약 2조원, 회사설립 1974년한국최초의투자신탁회사로출범. 2005년동원증권과합병조직 본사, 지점 125개, 해외법인 : 4개, 해외사무소 : 1개소, 콜센터 : 1개 IT조직 : 1본부, 5개부서, 3개 Data Center( 서초, 목동, 안양 ), 정규직원 : 127명 Vision 2020 2020년아시아대표금융기관 시장가치 20조원, 자기자본이익율 (ROE) : 20 % 3
2. Ki-Wi Project Ki-Wi (Korea Investment Wish Icon) 프로젝트는 2020 Vision 달성을위해 2009 년 5 월부터 1 단계사업을시작하였으며, 현재금년 Open 을목표로통합테스트를진행하고있습니다. Smarter Services for Customer Vision 2020 Go! Go! <Customer> 재무적성장의동반자역할을 수행하기위한맞춤환경구축 <Employee> 효율적이고, 전문화된업무 운영을위한혁신기반마련 <Manager> 신속한의사결정을지원하는 선진경영환경마련 4
2. Ki-Wi Project - 기대효과 Ki-Wi (Korea Investment Wish Icon) 구축을통해정보관리를위한최적의인프라를구축하고, 이를통해비즈니스확장에대한유연한 IT 환경이제공됩니다. 비즈니스측면의기대효과 IT 측면의기대효과 분석업무지원강화 다양한분석패턴별 Workload 관리를통해사용자가원하는정보를원하는시간에제공 통합분석정보제공을통해분석정보에대한활용성제고 단순한구성개방형아키텍처기반의유연성 전사실적정보의표준화 분석정보의 Hub 로서전사실적데이터의표준화를통한데이터정합성확보 사용자의데이터신뢰도증가및연계시스템의데이터가공 ( 집계 ) 비용감소 최적화된성능 운영관리효율성제고 일원화된통합 DW 관리를통해개발생산성및운영유지보수성향상 Ki Wi Korea Investment Wish Icon 유연한시스템확장및가용성보장 5
3. 기존 DW 시스템환경 시스템별사용목적이명확하여, 데이터에대한중복이많이발생하였으며, 분석용 DW 의활용관점이특정영역에제한되어사용되고, 정합성관리에많은어려움이있습니다. 기존 DW 시스템의 Data Flow( 매우복잡 ) 계정계시스템 증권 CRM 알리미 증권계정계 User Log 수익증권계정계 User Log 1 차지연처리 실시간복제영역 User Log 22 차지연처리수익증권 실시간집계정보 Event처리 3 4 분석용 DW 원천정보복제영역 정보복제와, 실시간목적정보생성을위한구조를별도의목적프로그램에의존하여처리하고있음 (Nexsys) 실시간복제영역 User Log 금융상품실시간집계내역 OLAP 분석가 분석정보영역 6
4. 신 DW 시스템구축방향 증권, 수익증권등증권사의기본업무를계정계,, ADW 로나누고, 역할과서비스기준을명확히함으로써정보의중복을최소화하며, 정보이동에따른작업시간을최대한줄일수있는구조로 Architecture 를구성합니다. To Be DW 시스템의데이터흐름도 ( 일관성, 단순 Path 유도 ) 계정계 ADW Audit 처리 계정계 ( 증권 + 수익증권 ) 1 차 CDC 실시간복제영역 목적처리 Log CRM 알리미 Event처리 2 통합영역 (I) 요약영역 (S) 분석영역 (A) 개별영역 (P) DB Redo Log BCV FADI 실시간집계정보 3 최소한의정보만역 Feeding 함 1. 계정계 2. 3. ADW Non User Log 실현계정계 Application 독립성확보 CDC 를활용한실시간복제영역정합성확보실시간목적정보생성과, 알림서비스구조일원화목적처리 Log 분석과, 업무처리규칙제공 ODS 역할수행 D-1 기준의정보제공 ( 가공 + 조회 ) 실시간분석정보와, D-1 Batch 가공정보의조화 Batch 가공정보중일부만 에전달 ( 전일평가액 ) 7
4. 신 DW 시스템구축방향 NON User Log 실시간정보제공 (1) CDC를활용하여실시간 를구축하고, 계정계의프로그램의존적이던 Log 처리방식을완전독립적인 Log처리방식으로구축됩니다 AS-IS TO-BE 계정계 계정계 계정계업무처리프로그램 (Online) 계정계업무처리프로그램 (Online) 계정계 실시간복제 Nexlog(App) 업무Tab 업무Tab 통합계정계 CDC 실시간복제 업무 Tab ㅂ User Log User Log 실시간목적정보 업무 Tab CDCLog 실시간목적정보 실시간처리 P G 실시간처리 P G -. 계정계업무처리프로그램이복잡해지는문제 -. 수많은 Application 마다서로다른 Log Format 을정의하고프로그램적으로코딩이되어야함 > 누락시 데이터정합성이깨짐 -. 계정계프로그램의수정 / 보완시지속적인협업이필요함 -. 계정계는자신의업무처리 Logic 만구현함 -. CDC 를통해목적정보생성에필요한 LOG 를생성하며실시간처리 PG 이 요건에데이터를해석하여집계함 8
4. 신 DW 시스템구축방향 Data 중복최소화 (2) 일반적으로는실시간집계와연동을고려하고, DW 를분석시스템의용도로만사용하는경우가많으며그러한경우는업무처리및집계는 가수행하고 ADW 에는관련정보를복제한후분석함에따라중복이많이발생합니다 AS-IS TO-BE ADW ADW 실시간복제정보 ( 계정계복제정보 ) 계정계복제정보 실시간복제정보 ( 계정계복제정보 ) 야간 Batch 실시간처리 PG 실시간집계정보 야간 Batch ㅂ야간 Batch 집계정보 야간 Batch 복제정보 실시간집계정보 분석 Mart 실시간처리 PG 실시간집계정보 ( 제한적정보관리 ) 통합영역 (I) 요약영역 (S) 분석영역 (A) 개별영역 (P) 분석전용으로 DW 활용 일반업무용단말에서 ADW 직접참조 (WLM 기능을활용함 ) 업무처리단말 OLAP 분석가 업무처리단말 OLAP 분석가 9
4. 신 DW 시스템구축방향 작업시간최소화를위한작업방법개선 (3) 기존의업무처리용 Batch 프로그램은 Pro-C 등을활용하는순차적데이터처리방식을활용한프로그래밍이주로였으나, 작업시간최소화를위해 ADW 데이터생성은모두 ETL 로업무처리프로그램을구현합니다 AS-IS TO-BE 고객별종목별잔고평가 Batch 프로그램 고객별종목별잔고평가 Batch 프로그램 채권기본정보 종목별잔고 M 고객별평가내역 순차적프로그램접근방법 데이터가공시간이길다 오류시재작업시간과다 Bulk Loading 데이터 Flow 처리를이용함 ADW 관련한모든 Batch 를 ETL 로개발함 보다빠르고, 편리한 Batch 환경제공 ETL 추출 채권기본정보 채권단가정보 종목별잔고 M 고객별평가내역 10
4. 신 DW 시스템구축방향 사용자접근편의성강화 (4) 기존의 OLAP 위주의접근에서, OLAP, OLAP Embeded, 통합단말, Group Ware 등다양한접근경로를사용자에게제공함으로써편의성이증대됩니다. AS-IS TO-BE ADW ADW AP서버 IBM Unix Oracle Client Framework CICS OLAP 서버 NT Tera DBMS MSTR MSTR Server Online서비스연동 AP서버 OLAP 서버 IBM Unix IBM Unix Oracle DB2 Client DB2 Client Framework MSTR Websphere WAS MSTR Web Serv Embeded화면 통합 UI 화면 OLAP EKP 업무처리단말 OLAP 분석가 기존의 ADW 는자원을효율적으로관리하지못해업무처리용 Online 사용자를위한서비스를동시에제공하지못함 통합단말을통해 ADW 의정보를직접 Online 조회구조구현 -.DB2 만이갖는최대장점인사용자별자원할당관리 (WLM) 를통해 Online, OLAP 등 Batch 성처리를동시에제공함 11
4. 신 DW 시스템구축방향 EUC(5) 현업의직접적인 Reporting 요구에부합하기위한정보가공 Tool 의제공과, 보다직관적인정보해석을위한 Business Meta 정보관리및지원을통해사용자중심의 EUC 을제공합니다 OLAP Tool 활용개선 활용효과 분석을위하여선택할수있는관점과값을선택하여분석을수행할수있으며, 마우스커서를이동하여관점과값을나타내는정보에대한정의를확인할수있게되어, 본인이원하는정보가어떤의미를갖고있으며, 이러한정보들을조합하여다양한분석을수행할수있게됨 12
5. Architecture 정보계 DW Architecture 는정보흐름의일관성유지와, 중복최소화에초점이맞추어져있습니다. 변경사항을반영한 DW 아키텍처논리구조 Legacy 통합고객정보및상품서비스 통합고객정보 위탁매매정보 투자금융정보 위탁자산관리정보 자산관리정보 경영관리고객관계관리정보및지원 경영지원정보 경영관리정보 Batch 전용 BCV Data Extract CDC InfoSphere CDC Changed Data real time extract ETL DataStage D-1 Data Extract/Transfor m/load Staging area staging ADW staging Data Store EDW (Real-Time DW) Oracle ADW (Analytical DW) InfoSphere Warehouse integratio n Summary & quick report summar y analyze 공통요약 / 현황속보공통관점요약 / 분석정보 Dash-board Query & Reporting OLAP Ad-Hoc In-house Coding Analysis & User Micro Strategy 분석업무어플리케이션 영업실적 고객분석 Risk 감사 마켓정보분석 BI Portal Biz-Meta : Business Glossary, Business Glossary Anywhere, Metadata Workbench 13
6. Why IBM? DW 관련 Solution Line-Up CDC, ETL, OLAP, Business Glossary, DW DB 등 DW 시스템의구축과활용을위한완벽한제품의 Line-Up 이갖추어져있음 제품의우수한성능 BMT 를통해경쟁제품과의성능, 기능등에서비교우위확인 -DW DB 의강력한 Performance - 분석과 Online Service 를동시지원이가능토록하는 WLM 체계 사용자관점의제품사용편의성 제품간호환성, 연계활용성 문제해결능력 제품의문제해결을위한국내외, 지원조직 14
7. DW 구축관련 IBM 제품도입현황 (1) 정보계 DW Architecture 를실시간으로구성하기위해 5 가지의구성요소중 IBM 제품은 4 개제품을선정했으며. DW DBMS 의 WLM 기능은당사가 DW DB 를가장효율적으로사용할수있도록기술환경을제공합니다 ETL:InfoSphere Datastage High Throughput, ease of use DW DBMS:InfoSphere Warehouse High Performance DW Architecture, Open Architecture, Flexible scalability and Availability IBM InfoSphere Warehouse CDC:InfoSphere CDC High Throughput, Low latency, Effective system utilization, Data Integrity Biz-Meta:Business Glossary Glossary Anywhere, Metadata Workbench Define relationship between business definitions and IT assets, Impact Analysis & Lineage 15
7. DW 구축관련 IBM 제품도입현황 (2) 1 호기시스템구성정보 ADW1 Power7 750 서버명용도 MEM adm1 Admin module External Disk Physical External Disk Usable Platform Dm1 dm2 Datamodule1 Datamodule2 32 [GB] /1 Node 당 9.6 [TB] /1 Node 당 4.3 [TB] /1 Node 당 Unix dm3 Datamodule3 dm4 Datamodule4 Total 160 [GB] 48 [TB] 22 [TB] RAID-1 구성 2 호기시스템구성정보 ADW2 Power7 750 서버명용도 MEM External Disk Physical External Disk Usable Platform stby Standby 서버 32 [GB].0 [TB].0 [TB] Unix Total 32 [GB] 0 [TB] 0 [TB] 16
17