RTE 기업을구현하기위한실시간데이터통합기술소개 Information Platform & Solutions Team 최석재차장 2008 IBM Corporation
Business value 증대를위한데이터통합의요건 급변하는업무환경과고객요구에적절히대응하기위해 IT 조직은양질의데이터를, 적절한시점에, 필요한시스템으로전달할수있어야합니다. Business Value 데이터분석을통한의미있는정보생산에소요되는시간과 Business value 는반비례 Business event 이상적인데이터통합의요건 Value lost Data ready for analysis Information delivered Action taken Right Data Right Time Right System Action time or Action distance Time Value of Data Source: Richard D. Hackathorn, Bolder Technology, Inc. Time 2 2008 IBM Corporation
데이터통합기술발전경향 3 가지방향 Real-time Integrated Platform Service Oriented Source: Gartner, 2007 3 2008 IBM Corporation
Real-time 데이터통합요구사항의증가 기업내의다양한시스템 /DB 간데이터통합은갈수록실시간성격을많이요구받고있습니다. Drivers Requirements Benefits Action-based ROI Inhibitors Gathering Transformation Aggregation Analysis Data cleansing Movement Cost Source: Gartner, 2007 4 2008 IBM Corporation
Real-time 데이터통합의확대필요성 데이터통합인프라는배치성격과실시간성격의적절한조화를통하여기업의 Real-time 요건을만족시켜야합니다. 다양한시스템간 Data Latency 의최소화 Real-time 성격주기적 Batch Real-time 성격 주기적 Batch 기업에서운영하는다양한시스템 Real-time 비중의증대 5 2008 IBM Corporation
CDC : 시스템간 Data Latency 최소화를위한핵심기술 Front-end 시스템에서발생하는트랜잭션데이터를다양한분석시스템으로실시간으로변환및전달하기위해서 Real-time CDC 를통한변경데이터추출이기술적으로중요합니다. CDC : Changed Data Capture 다양한 CDC 방법 ODBC/JDBC Adapters SQL Query ( 추출할레코드구분을위해 Timestamp 활용 ) Database Triggers 변환데이터로깅을위한유저테이블 File Comparison ( 최종 CDC 시점의전체데이터와비교 ) DB 로그에서직접추출 6 2008 IBM Corporation
CDC : Real-time 데이터통합의기반기술 DB2 DB2 log CDC 와 ETL 기술의결합 Oracle Oracle Redo log Real-Time CDC DB2 ETL Feeds Data Warehouse I5/DB2 OS/400 Journal Corporate ETL Server 7 2008 IBM Corporation
IBM Information Server 의데이터통합패턴 Federation Consolidation Analytical & Reporting Tools Web Applications Federation Consolidation Analytical & Reporting Tools Web Applications Product Performance Real-time Inventory Level Region 1 Product Performance Region 2 Product Performance Replication Change Data Capture Headquarters Replication Stores Database Consolidation 을위한핵심기술 Primary Data Center Backup Data Center Capture and Change PublishData Capture Replication ebusiness Application Information Server Message Queue Target app /DB 8 2008 IBM Corporation
InfoSphere CDC 제품의활용 Dynamic Warehousing & Business Intelligence and Reporting Near-real time 성격의데이터를통한분석및리포팅 생산시스템과 e-business 어플리케이션간의데이터통합 e-business 를위한실시간데이터제공 Real-time Event Detection 특정한이벤트에대한실시간모니터링 HA 구성및장애복구 효율적인방식의데이터복제를통한 HA 구현 9 2008 IBM Corporation
InfoSphere CDC 제품의활용 Use case Real-Time Integration Data Warehouse 에최신의정보제공 운영시스템 DW/Mart 전자상거래 (ecommerce) 어플리케이션에최신의정보제공 Downtown Store Midtown Store Inventory Uptown Store 10 2008 IBM Corporation
InfoSphere CDC 제품의활용 Use case Replication Operational System 을대상으로한 Reporting 작업이필요하지만, 소스시스템에부하를주고싶지않은경우 1 개이상의시스템과데이터를동기화 Less expensive DBs 소스시스템부하최소화 Migration, consolidation, upgrade 작업동안에도비즈니스를지속시킬필요가있는경우 11 2008 IBM Corporation
InfoSphere CDC 제품 개요 InfoSphere CDC 는다양한 DBMS 에서발생하는데이터변경내용을실시간으로 Capture 하여, 해당데이터가필요한시스템으로데이터를변환및복제해주는데이터통합도구입니다. Monitoring and Configuration 1. DBMS 로그에서데이터 Capture 3. 변경데이터적용 Database TCP/IP Message Queue DB2, Oracle, SQL Server, etc Database Logs Source Engine Target Engine Flat files 2. 변경데이터전송 운영시스템부하최소화를위한 Push 방식의데이터복제 12 2008 IBM Corporation
InfoSphere CDC 제품 CDC 기능 InfoSphere CDC는변경데이터추출을위해 DBMS 로그직접읽는방식을활용합니다. 로그기반의데이터추출은트리거나 DBMS API를이용하는데이터추출방식이나 Timestamp를이용한배치기반의데이터추출에비해소스시스템부하를최소화하고, 성능을극대화하는장점을가지고있습니다. 운용시스템의성능에최소한의영향 DBMS와연동 ( 트리거, API 등 ) 하지않는로그방식의데이터추출기법 로그 (LOG) 중심의데이터복제기술을적용하여운영시스템의성능에대한영향을최소화 변화가발생한트랜젹션 ( 데이터 ) 을목표시스템으로전송함으로지연시간을최소화 운영시스템의구조에영향이없음 트랜잭션발생시간을위한 Timestamp 필드의추가가필요없음 변경데이터추출을위해사용중인어플리케이션또는테이블스키마의변경이필요없음 운용중인 IT환경에영향이없음 Peer-to-peer 아키텍처로추가적인하드웨어가필요하지않음 단지변화된데이터의복제기술을적용하므로네트워크부담을최소화 13 2008 IBM Corporation
InfoSphere CDC 제품 다양한플랫폼 /DBMS 지원 InfoSphere CDC 는동일 DBMS 의복제뿐만아니라이기종 DBMS 나플랫폼을지원합니다. DATABASES Source & Target DATABASES Target Only MESSAGE QUEUE Support OPERATING SYSTEMS HARDWARE PLATFORMS NETWORK PROTOCOLS DB2 / UDB Teradata JMS OS/400 IBM System i TCP/IP Oracle Netezza MQ Series OS/390 IBM System z Sybase ASE Greenplum TIBCO AIX IBM System p MS SQL Server Informix WebMethods HP-UX HP-9000 PointBase MySQL BEA Solaris Intel PostgreSQL MS Windows HP Alpha Linux Sun Itanium 14 2008 IBM Corporation
InfoSphere CDC 제품 Zero programming 기존프로그램과 H/W 구성의변경없이관리도구를통한설정만으로데이터복제를구현합니다. 복제 Wizard 제공 데이터변환설정 15 2008 IBM Corporation
InfoSphere CDC 제품 모니터링, 관리툴 자바기반의 GUI 제공 환경설정, 관리, 모니터링에활용 통합스크린에데이터통합프로세스를관리 자동매핑및 drag & drop 방식의데이터변환 Event 로그, 경고, 통계리포팅제공 Easy to use Data volume, operation 별실시간조회 16 2008 IBM Corporation
CDC(InfoSphere CDC) 와 ETL(DataStage) 과의통합 CDC 툴인 InfoSphere CDC 와 ETL 툴인 DataStage 가완벽하게연동되어구성의유연성을증대시킵니다. 1. Direct Connect 2. File Based 2 database User Exit 3 1 InfoSphere CDC Stage in DataStage 4 DS/QS job 5 database 1 database 2 Files 3 DS/QS job 4 database 3. Staging DB 4. MQ 연동 2 staging area 3 DS/QS job 2 MQ 3 DS/QS job 1 4 1 4 database database database database 17 2008 IBM Corporation
Operation BI 데이터통합시나리오 IBM 의 CDC 툴인 InfoSphere CDC 와 ETL 툴인 DataStage 를통하여 DW 데이터통합아키텍쳐를구성할수있습니다. 소스시스템 타겟시스템 Other ERP CRM DBMS 로그를통한변경데이터 Capture InfoSphere CDC 속보성데이터처리 ( 테이블복제 ) ODS SCM Direct ETL Feed 속보성데이터처리 (InfoSphere CDC + ETL 을통한업무로직구현 ) DW RDBMS Mart ETL (DataStage) Legacy Data 직접데이터추출 배치 ETL 작업 ( 일 / 시간주기 ) BI 18 2008 IBM Corporation
완벽한 Real-time 데이터통합솔루션 Real-time CDC 솔루션인 InfoSphere CDC와 IBM IOD 솔루션의결합은기업에서필요한데이터를 righttime에통합할수있는완벽한솔루션을제공합니다. Loading into ODS in real-time Shrinking Batch windows Operational BI Event Detection Audit & Internal controls Event Driven SOA Synchronous ebusiness Up-to-Date Web Portals Workload balancing 엔터프라이즈아키텍처지원 데이터통합의 Value 증대 19 2008 IBM Corporation
InfoSphere CDC 고객사 * 현재국내에 10 개의고객사들이 InfoSphere CDC 제품을사용하고있으며, 올해에만현재까지 5 개의신규고객을유치하였음. 20 2008 IBM Corporation
구축사례 미국의통신사 변경데이터의 ESB (Enterprise Service Bus) integration Billing 시스템인 AMDOCS의 Real-time event 발생감지를위한변경데이터전송 데이터유형에따라필요한시스템으로 routing Oracle Redo Log Transaction 1 Transaction 2 Transaction 3 Customer Address XML Document Transaction 1 Transaction 8 Queue 1 Other Application Transaction 4 XML Document Transaction 5 Transaction 6 Transaction 7 Transaction 8 Transaction 9 Transaction 10 Billing Transaction 1 Transaction 2 Transaction 3 Transaction 4 XML Document Transaction 1 Transaction 7 Queue 2 Other Application Customer, Address, Memo, Service, Billing etc Transaction 10 Queue 3 db size = 11 terabytes Oracle 9.2.05 40 million trans/day 1GB redo log generated per minute Seibel CRM Oracle 9i.2.05 21 2008 IBM Corporation
구축사례 미국의 Cable 제공사 14개지역Billing 시스템의변경데이터가실시간으로마케팅 DW로적재 트랜잭션유형및변경시점의 timestamp가핸드코딩없이 ETL 서버로전송 I5/DB2 OS/400 Journal Regional Billing Application I5/DB2 OS/400 Journal Real-Time CDC ETL Feeds Data Warehouse Regional Billing Application Corporate ETL Server Customer Value Creation Marketing System I5/DB2 OS/400 Journal Real-time CDC 와 ETL 솔루션의결합 22 2008 IBM Corporation
InfoSphere CDC 의핵심제품 이기종 DB 간실시간데이터통합을위한 DB 로그기반의 CDC - LiveAudit, Event Server 등의추가옵션 데이터감사및 Transaction History 복제 Event-driven 데이터통합솔루션 MQ 및 JMS 로의데이터전송 Oracle 솔루션 HA 구축을위한데이터복제 * 제품명변경 DataMirror Transformation Server IBM InfoSphere CDC DataMirror LiveAudit IBM InfoSphere CDC DataMirror Transformation Server/Event Server IBM InfoSphere CDC DataMirror ireflect IBM InfoSphere CDC for Oracle Replication 23 2008 IBM Corporation
로드맵 기존고객에대한보호뿐만아니라 IBM IOD 솔루션과의통합을위한로드맵을가지고있습니다. Product Mission Protect Customer Investment Integrate offerings Extend/Optimize solutions Extend Leadership Leverage capture agents Unified UI for management 2009 Integrate offerings Release DM v6.5 with global translations Tighter integration between DM TS, Rep/EP & DataStage 2008 2007 Expand Capabilities Release IBM branded InfoSphere CDC v.6.2 technology systems/standards First phase product integration (DM TS with DataStage) Release DB2 Rep/EP v9.5 & Classic Rep/EP v9.5 24 2008 IBM Corporation
InfoSphere CDC 의가치 지연시간 (LATENCY) 1. 거의 0 에가까운지연시간 2. ETL 를사용하여낮은지연시간을달성할수있지만, 운영시스템이나중요한업무시스템에엄청나게큰영향을미침. 영향도 (IMPACT ) 1. 운영시스템에영향감소 2. 어플리케이션이나 DataBase에변경사항이없음. 3. Native DB logs의사용. 추가적인오버헤드는약 2-5%. 4. Trigger의사용이필요없음 5. 기존 IT운영에손쉽게통합할수있는관리기능 6. 관리비용의절감 Low Impact Low Latency Continuous Consistent Data Delivery 데이터전달의연속성 (Continuous) 1. Business Operation은유지하면서지속적으로소스로부터변경분을수집해 Target으로전달해줌. 2. 트랜잭션일관성유지 (Unit of Work, RI) 3. 전체트랜잭션단위로변경된 Before/After Image를가져옴 4. 데이터이벤트를감지하여특정비즈니스프로세스를 Triggering 하는데사용가능 5. 장애복구, 마지막적용된트랜잭션이후부터진행 25 2008 IBM Corporation
Thank You 26 2008 IBM Corporation