차세대전자정부구축을위한 Tibero Stack 전략및구축동향 TmaxSoft IS 컨설팅실남홍우수석
Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Tibero Stack - 개요 Tibero Stack - DBMS 제품군 Tibero Stack - Data Framework 제품군차세대전자정부구축을위한 Tibero Stack 구축사례분석
Ⅰ. Tibero Stack - 개요 데이터처리기술에대한새로운 Needs Tibero Stack의필요성 Tibero Stack의제품군 Tibero Stack의구조및활용범위
데이터처리기술에대한새로운 Needs 폭발적인정보량의증가, 각종차세대사업의수행, SOA 등새로운기술이기업에게적용됨에따라, 1 고성능데이터처리 2 실시간데이터처리 3 데이터통합관리 4 운영및관리의용이성을제공할수있는새로운데이터처리기술에대한 Needs 가발생하고있습니다. 이 Needs 를만족시키기위한다양한 Stack 제품군이필요하게되었습니다. IT 기술변화에따른데이터기술에대한요구사항 IT 기술변화에따른데이터기술에대한요구사항 고성능데이터처리 실시간데이터처리 데이터통합 데이터관리편의성 정보증가및인터넷환경과맞물려, 대량사용자와극한 Transaction 을처리할고성능데이터처리기술 기관및기업의내부뿐만아니라현장에서도실시간으로데이터를처리할수있는 Ubiquitous 와연계된데이터기술 개별적으로구현되었던복잡한데이터를유연하고도단일화시킬수있는데이터통합기술 다양하고복잡하게얽힌데이터를손쉽게관리, 운영할수있는편리한데이터관리기술 New Needs for Data Technology DBMS Technology Data Framework Technology RDBMS MMDBMS NDB, HiDB Embedded DB DataBus MDM Sync Sort, ERD 2008 TmaxSoft Co., Ltd. All Rights Reserved. 3
Tibero Stack 의필요성 (1/2) 기존의데이터처리구조로는복잡해지고대형화되는데이터처리의성능향상, 운영및관리의편의성, 장애대응에대한신속성을제공하기어려우며, 이를해결하기위해서는다양한용도의 DBMS 와효율적인데이터처리가가능한 SW Stack 이필요하게되었습니다. 기존의데이터처리구조의문제점 - 각업무의필요에따른스파게티구조의 DB 환경구축 - 동일데이터의일시적임시적복사본산재 - 중복데이터의정합성유지위한동기화포기 - 최신데이터유지어려워데이터분석의민첩성저하 진보된데이터처리기술의필요성 - 일원화된 access point 제공통한운영편의성제공 - 일원화된관리로최신데이터의자동유지 - 정합성유지를위한중복데이터의자동동기화 - 민첩한분석으로시기적절한최신정보제공 기존 DB 시스템 Master Tables Master 기존 Tables DB 시스템 기존 DB 시스템 Local Master Tables 기존 DB 시스템 Local Master Tables 기존 DB 시스템 Master Tables 신 DB 시스템 EDW/ 분석계 기존 DB 시스템 Local Master Tables Integrated Master Data 신 DB 시스템 EDW/ 분석계 2008 TmaxSoft Co., Ltd. All Rights Reserved. 4
Tibero Stack 의필요성 (2/2) 기존의데이터처리구조로는복잡해지고대형화되는데이터처리의성능향상, 운영및관리의편의성, 장애대응에대한신속성을제공하기어려우며, 이를해결하기위해서는다양한용도의 DBMS 와효율적인데이터처리가가능한 SW Stack 이필요하게되었습니다. 기존데이터처리구조의문제점 - 각업무별 DB 구축으로데이터통합에어려움발생 - 여러유사 SW 의중복구매및중복설치 - 여러벤더의툴사용으로, 장애대응의신속성저하 - 여러툴의 UI 사용으로운영및관리의복잡성증가 진보된데이터처리기술의필요성 - 유연한구조의통합 DataBus 사용해간편한데이터통합 - 하나의 SW 로통합관리해유지보수비용및 TCO 절감 - 통합모니터링으로장애발생시신속한대응가능 - 단일화된 UI 사용해운영관리의단순화통한편의성제공 CDC SCHDLROLTP ETL SCHDLR SCHDLR EDW 분석계 NAS Storage Shell Shell Shell DM1 ETL SCHDLR DM2 SCHDLR 레포팅 마케팅 ETL SCHDLR OLTP EDW 분석계 DataBus 통합모니터링 UI 통합기능통합 CDC + ETL + SCHDLR DM1 DM2 레포팅마케팅 2008 TmaxSoft Co., Ltd. All Rights Reserved. 5
Tibero Stack 의제품군 Tibero Stack SW 는 DBMS Layer 와 Data Framework(FW) Layer 제품군으로구성됩니다. DBMS 제품군은다양한환경과목적에따라선택활용이가능하며, Data FW 제품군은손쉽고도유연하게다양한전사데이터의처리및관리에효율성및편의성을제공합니다. Business Application SW ERP Groupware CRM MES Application Layer X-Internet Web UI FW EP Framework Layer Framework UI ESB BPM/EAI MCI Middleware Interface Business App. FW Product Factory BRE Replication DataBus MDM Data TPM Web Server WAS Rehosting Middleware Layer System Infrastructure SW APM RDBMS OS Security MMDBMS JVM Infrastructure Layer 2008 TmaxSoft Co., Ltd. All Rights Reserved. 6
Tibero Stack 의구조 Tibero Stack 의시스템내구조입니다. 1 다양한제품으로구성된 DBMS Layer, 2 API 및개발편의성을제공하는 DB Interface Layer, 3 다양한 DBMS 간의동기화를제공하는 Data Synchronization Layer 로구성됩니다. 4 마스터데이터에대한일관된정보를제공하는 ProDataHub 는 DBMS, Data FW, Business FW 을종합적으로활용합니다. 2008 TmaxSoft Co., Ltd. All Rights Reserved. 7
Tibero Stack 의활용범위 DBMS 제품군은 Disk 기반의대용량데이터처리, Memory 기반의실시간데이터처리, 소형 Mobile Device 의데이터처리등에사용될수있습니다. Data FW 제품군은데이터동기화및복제기능, 일관된마스터데이터의관리에활용될수있습니다. Tibero Stack 은이처럼데이터처리및관리의모든영역에걸쳐안정적으로활용되면서시너지효과를창출합니다. Tibero RDBMS Tibero MMDBMS Tibero Lite Tibero Grid 대용량데이터처리 계정계운영 정보계운영 실시간데이터처리 고객인증 주식시세 통신사 Billing 파일데이터의 SQL 처리 Mobile Device Navigator FileDB ( 텍스트 / 파일의 SQL 처리 ) Fault-Tolerance 실시간 / 고가용성처리시스템 Tibero NDB/HiDB 메인프레임리호스팅 ProSync ProSort ProDataBus ProDataHub 계정계 - 정보계연동 백업시스템의구축 데이터복제및동기화 Log 기반데이터추출및변환 (CDC) 파일의정렬 / 분할 / 병합 대량데이터의 파일처리 계정계 - 정보계연동 백업시스템의구축 데이터복제및동기화의통합솔루션 CDC+ETL+ 스케줄링 + 통합모니터링 마스터데이터의일원화된동기화및검색서비스제공 대량데이터의추출, 가공및분석에일원화된최적화서비스제공 2008 TmaxSoft Co., Ltd. All Rights Reserved. 8
Ⅱ. Tibero Stack - DBMS 제품군 Tibero RDBMS Tibero MMDBMS Tibero Lite Tibero Grid 리호스팅 DBMS Tibero RDBMS 구축사례
Tibero RDBMS - 제품개요 (1/9) Tibero RDBMS 는초기설계부터디스크기반의대용량데이터처리에최적화된 DBMS 를목표로하여보다안정적이고효율적인아키텍처를채택하였으며, 표준및호환성에중점을둔유연하고편리한개발및운영관리환경을제공하는대표적인관계형데이터베이스관리시스템 (RDBMS) 입니다. Multi-Thread 기반의고급 Architecture 채택및다양한최신기법의적용을통한효율적자원관리로증가하는다중사용자처리의성능극대화 Cost Based Optimizer 의적용을통한질의최적화및 Optimization Hint 의제공을통한 Query 처리성능극대화 ANSI SQL 표준준수및 Data Access 표준의지원을통해호환성있는개발환경제공, 기존 DBMS 접근을위한 DB Link 제공 저장프로시저, Embedded SQL, Trigger, Package 지원및 DB 구조변경, 백업 / 복구기능등편리하고안정성있는운영관리환경제공 기존 RDBMS 에대한편리한자동 Migration 툴제공 2008 TmaxSoft Co., Ltd. All Rights Reserved. 10
Tibero RDBMS - 제품구성도 (2/9) Tibero RDBMS 는기존 RDBMS 의단점을보완하기위해 TTA(Tibero Thread Architecture) 를채택하여구현함으로써적정한서버프로세스로 CPU 및 Memory 등의시스템리소스를효율적으로사용합니다. 또한, 사용자및개발자에게다양한표준개발인터페이스 (JDBC 등 ) 를제공하여타 RDBMS 와의호환이쉽게가능하도록하였습니다. 구성도 ODBC JDBC CLI Database Buffer Writer Redo Log Buffer Writer Monitor Process Checkpoint Sequence Writer Seq Log Archiver Background process Data File 테이블스페이스 Log File 리두아카이브로그파일로그파일 OLE DB Listener clients ESQL Control Thread Working Thread Working Process Client 의빠른접속시간 세션증가에도부하최소화 프로세스생성 / 소멸을없앰 시스템리소스최소사용 안정적시스템부하관리 2008 TmaxSoft Co., Ltd. All Rights Reserved. 11
Tibero RDBMS - 제품특장점 (3/9) Tibero RDBMS 는대용량데이터처리를목표로고성능및안정성을제공하기위한아키텍처를채택하였으며, GUI 환경에기반하여개발및사용측면의편의성과운영및관리측면의편의성을제공하는다양한툴및유틸리티를제공합니다. 멀티쓰래드, 멀티프로세스구조 비용기반질의처리최적화 (CBO) 다중사용자접속의성능최적화 (MVCC) Lock Escalation 회피 Partition Table 이중화및 Fail- Over (High Availability) 온라인백업및복구 로그파일의 mirroring 표준 SQL 및표준개발인터페이스지원계층적질의및분석함수제공자동화된 Migration 툴제공 Memory Auto Tuner 기능테이블스페이스자동관리기능편리한운영관리툴제공다양한유틸리티제공 2008 TmaxSoft Co., Ltd. All Rights Reserved. 12
Tibero RDBMS DBLink, HA (4/9) Tibero RDBMS 는디스크기반의대용량데이터처리에최적화된대표적인 RDBMS 입니다. 주요고급기능으로서 DB Link 를지원하여자유로운원격 DB 접근이가능하며, 다양한형태의이중화및 Clustering 기능을제공하여 DBMS 의가용성과확장성을극대화합니다. Select Insert Update Delete Local DB Tibero Active Active Active Failure Active Active DB Link DB Link Tibero Active Cluster 장애발생시 장애발생 Tibero Active Cluster Remote DB Remote DB Oracle Tibero DB (Shared Disk) DB (Shared Disk) Tibero DB Link 하나의프로그램에서여러서버에분산되어있는업무 DB 접근지원 Remote DB 의테이블에대해 SQL 처리 멀티노드사이의 DB Link 기능지원 Oracle 과 Tibero 간상호 DB Link 가가능하도록하여, 기존 Oracle DB 의 Migration 이용이함 Tibero Active Cluster 모든서버는 Active 하게동작 단일 DB, Multi Instance 구조 Active 서버에서무중단서비스제공 Failure 서버의 Client 는 Active 서버로재접속하여서비스수행가능 시스템의용량의증설은노드의증설로가능 2008 TmaxSoft Co., Ltd. All Rights Reserved. 13
Tibero RDBMS Partition Table/Index (5/9) Tibero RDBMS 는대용량데이터의효율적인저장이가능하고데이터의조회및처리에대한성능을향상시킬수있도록데이터를물리적으로분할하는파티션테이블을지원합니다. 다른 Partition 을검색하지않고 Partition3 를직접접근하여데이터조회성능이향상 SQL 실행 YEARS_SALES 파티션테이블 (2 억건, 8GB) SELECT * FROM YEARS_SALES PARTITION ( Partition3 ) WHERE SOLD_DATE BETWEEN TO_DATE( 01-05-2006 DD-MM- YYYY ) AND TO_DATE( 30-05-2006 DD-MM- YYYY ) Date 2004.1.1~2004.12.31 (Partition1 데이터파일 ) Date 2005.1.1~2005.12.31 (Partition2 데이터파일 ) Date 2006.1.1~2006.12.31 (Partition3 데이터파일 ) Date 2007.1.1~2007.12.31 (Partition4 데이터파일 ) 전체테이블이아닌대상파티션의접근만으로 SQL 결과가도출되어 Query 성능향상 각파티션영역으로관리되어데이터훼손가능성감소및 I/O 성능향상 각파티션영역별독립적인데이터관리기능향상 2008 TmaxSoft Co., Ltd. All Rights Reserved. 14
Tibero RDBMS 운영관리툴및유틸리티 (6/9) Tibero RDBMS 는개발자및 DBA 를위한 GUI 및커맨드라인형태의편리하고다양한개발및운영관리툴을제공합니다. 또한, 기존 DBMS 를 Tibero RDBMS 로 Migration 하기위한자동화된툴을제공합니다. Tibero 관리툴 Tibero Migration 툴대화형 SQL 처리툴 tbadmin Administration 인스턴스관리기능 세션관리기능 락관리기능 파라미터관리기능 Development SQL Editor Schema Browser Network Configuration Tool Backup & Recovery Online backup & recovery Partial backup & recovery Incomplete recovery tbmigrator Schema 단위 migration 모든 schema object 변환 고속병렬처리 Data 검증을통한정합성검사 tbloader Table 단위 migration 지원 Data type 변환불필요 tbimport/tbexport Tibero DB 간데이터이관 Character set 자동변환 tbsql 대화형커맨드라인 SQL 처리기능 오라클의 SQL*PLUS와유사 SQL,PSM(PL/SQL) 처리 다양한커맨드지원 2008 TmaxSoft Co., Ltd. All Rights Reserved. 15
Tibero RDBMS 주요기능 (7/9) Tibero RDBMS 는안정성과고성능을겸비한 Enterprise DBMS 로서다양한고급기능을모두포함하여 Mission Critical 업무에최적의 DBMS 로써순수국산기술로개발된관계형 DBMS 입니다. 주요기능 BackUp 및 Recovery DB Link ( 원격 DB 접근 ) High Availability ( 가용성 ) Partitioning ( 대용량처리성능향상 ) Performance ( 성능최적화 ) 내용 온라인백업 (DB운영중 Hot Backup) Archive Log를통한 Incremental 백업 장애발생시점또는특정시점까지복구가능 Homogeneous DB Link Heterogeneous DB Link 지원 Replication 방법에의한 Tibero Standby Shared Disk 기반의 Tibero Active Cluster Partition Table Local Index, Global Index CBO 기반의질의처리최적화 Dynamic Sampling 지원 ( 사용자개입없이질의최적화 ) MVCC 기반의최적화된다중사용자제어 ( 높은응답시간제공 ) 2008 TmaxSoft Co., Ltd. All Rights Reserved. 16
Tibero RDBMS 주요기능 (8/9) Tibero RDBMS 는안정성과고성능을겸비한 Enterprise DBMS 로서다양한고급기능을모두포함하여 Mission Critical 업무에최적의 DBMS 로써순수국산기술로개발된관계형 DBMS 입니다. 주요기능 XA 프로토콜지원 (2PC 지원 ) 표준준수및 호환성있는개발환경 (Migration 용이 ) 운영관리도구 ( 편의성, 효율성 ) 다양한모니터링기능 (DB Resources) 내용 다중 DB 간데이터정합성보장위한 DTP 표준지원 업무개발을통한다중 DB 간 2PC 보장으로데이터정합성유지 표준및호환성있는 SQL 지원 호환성있는 Data Type 지원 Embedded SQL, Stored Procedure 등의개발환경제공 표준개발인터페이스제공 (JDBC, ODBC, OLEDB, PHP 등 ) Migration 도구제공 (tbmigrator) 개발, 운영및관리도구제공 (tbadmin) Logical Backup/Recovery 도구제공 (tbexport/tbimport) 파일로딩도구제공 (tbloader) 성능, 세션, 메모리, lock, 기타자원관련정보등을제공하는 Dynamic View 및 Dictionary View 제공 APM/NMS/SMS 등의연동에사용 2008 TmaxSoft Co., Ltd. All Rights Reserved. 17
Why Tibero RDBMS? (9/9) Tibero RDBMS 는최신 DBMS 기술을적용하여안정성과고성능을겸비한대표적인 RDBMS 입니다. 표준및호환성에중점을두어개발및운영관리가용이합니다. 타상용 DBMS 대비성능이우수하며, TCO 측면에서 60% 의절감효과가있습니다. 특히, 소스및원천기술과우수연구원을보유하고있어민감한지원요구에대해신속한대응이가능합니다. 자원효율화및증가하는다중사용자처리의성능향상을위해 Multi-Thread 구조, 최적화된 Locking 기법, 최신의질의최적화기법적용 이중화, 온라인백업및복구, 로그 Mirroring 지원으로안정성향상 표준준수및호환성있는개발및운영관리환경의 GUI 기반제공으로기존개발자및관리자의기술재활용 기존 DBMS 의 Application 및 DB 의 Migration 용의성 Tibero RDBMS 에대한실시간모니터링툴 (SysMaster) 제공 (MAXGAUGE 와유사한형태 ) 국내 1 위 SW 기업 ( 국내최대기술지원및 R&D 인력보유 ) Tibero RDBMS 및 Middleware 레벨의고급인프라기술력보유 365 일 24 시간전담하는전문가조직에의한기술지원체계 2008 년은 Tibero DBMS 확산을위한전사적이고전략적인지원의해 TCO 측면에서대표적상용 DBMS 대비 5 년간 60% 의절감효과 500 명이상의연구원중 50 명이상의 DBMS 개발전담연구원 2008 TmaxSoft Co., Ltd. All Rights Reserved. 18
Tibero MMDBMS Tibero MMDBMS 는주기억장치상주형 DBMS 로써실시간트랜잭션성능이요구되는업무에적당한 MMDBMS 입니다. 고성능뿐만아니라범용 RDBMS 수준의신뢰성이보장되며, 복잡한질의처리에도탁월한성능을발휘합니다. Tibero MMDBMS 주요기능 신뢰성 내용 범용 RDBMS 수준의신뢰성확보 Schema Object Schema Object Schema Object Schema Object 질의처리성능 단순한질의및복잡한질의처리성능도확보 (TPC-C, TPC-H) MMDBMS 의제한적인업무영역에서벗어나서일반기업업무에까지적용영역확대 복제 Distributed lock 을이용하여노드간 Sync 를맞춤 편의성 Tibero RDBMS 와동일한 SQL 제공 고급질의기능제공 ( 분석함수, 계층적질의등 ) 2008 TmaxSoft Co., Ltd. All Rights Reserved. 19
Tibero Lite Tibero Lite 는 Embedded/Mobile Device 등에적합한 DBMS 로써내장 SQL 처리엔진이탑재된가볍고빠른 Embedded DBMS 입니다. Application 에 Library 형태로 Embedded 되기때문에 Application 과 DB 서버간통신오버헤드제거로빠른성능을제공합니다. 특징 Zero Administration (DBA 필요없음 ) Application에 library로 Embedded Easy to install, Configure & Use Small Footprint (2~3M) High-Performance No network overheads 적합한분야 Embedded devices Small to medium website Application File Format 처리 Application 내장 SQL처리엔진 2008 TmaxSoft Co., Ltd. All Rights Reserved. 20
Tibero Grid Tibero Grid 는 Disk Access 없이복수개의노드의메모리에데이터를공유함으로써, 초고성능과무중단 / 데이터무결성시스템을운영하는 Grid Computing 솔루션입니다. 하나의노드가다운되더라도나머지노드에서 Data Access 할수있는기능을제공합니다. Global In-Memory View In-Memory Storage WRITE READ In-Memory Storage (Shared Mem) FT CE In-Memory Storage (Shared Mem) CE FT WRITE READ 공유메모리기반의 Dynamic Data Storage 프로세스 Direct Access 방식 프로세스간이벤트메커니즘제공 Virtualization & Grid WRITE READ FT CE In-Memory Storage (Shared Mem) Clustering Network (Multicast/UDP) CE FT In-Memory Storage (Shared Mem) WRITE READ Multicast Reliable Clustering Network 고성능데이터백업및분산처리 / 고가용성보장 Fault-Tolerance 실시간장애감지 (Heartbeat) 효율적인데이터복구지원 프로세스모니터링 FT Fault-Tolerance Engine CE Clustering Engine 2008 TmaxSoft Co., Ltd. All Rights Reserved. 21
리호스팅 DBMS 티맥스소프트는메인프레임의다운사이징프로젝트를국내외에서다수진행하고있습니다. 리호스팅 DBMS 솔루션은메인프레임에서사용되는 DBMS 를오픈환경에서도사용할수있도록개발한솔루션으로티맥스소프트만의특화된 DBMS 기술입니다. 리호스팅과 OpenFrame 란? 리호스팅이란기존메인프레임환경에서운영되어온업무서비스를재개발작업없이유닉스플랫폼에서도사용할수있도록해주는것을의미합니다. OpenFrame 은이런리호스팅을수행하기위해서티맥스소프트에서개발한세계최고의성능을보유한리호스팅솔루션으로써국내는물론해외에서도각광을받고있습니다. T, HiDB, NDB 란? T(Tmaxsoft Storage Access Method) 은메인프레임의 V 등과유사한기능을수행하는솔루션입니다. HiDB 는계층적데이터베이스 (Hierarchical Database) 관리시스템으로써, 계층모델을기반으로하여데이터를구조적으로저장, 액세스및관리합니다. NDB 는네트워크데이터베이스 (Network Database) 관리시스템으로써, 네트워크모델을기반으로하여데이터를구조적으로저장, 액세스및관리합니다. 2008 TmaxSoft Co., Ltd. All Rights Reserved. 22
Tibero RDBMS 구축사례 공공 (1/2) Tibero RDBMS 는대형공공기관, 금융사, 통신사및제조사등의수십여사이트에구축되어안정적으로운영되고있습니다. 사용처구축업무및운영기능요약 행정자치부행정정보공유구축대용량문서관리시스템 산업자원부국회업무시스템자료업로드서비스 산업자원부 산업자원정보포탈시스템 ( 뉴스포털시스템 ) 1 회원관리업무 2 포털시스템뉴스정보공유 해양경찰청 주전산기리호스팅및재개발 리호스팅시스템 한국교직원공제회 대외계시스템개편 대외계시스템 국민연금관리공단 경영정보시스템 APM 시스템 건설교통부 통합보안관제대응센터구축 EMS 시스템 한국환경기술진흥원 APEC EF 홈페이지 오라클윈백 야마기와전기 메인프레임리호스팅 리호스팅업무 광주시청 홈페이지 홈페이지, CMS 등 2008 TmaxSoft Co., Ltd. All Rights Reserved. 23
Tibero RDBMS 구축사례 금융, 통신및제조 (2/2) Tibero RDBMS 는대형공공기관, 금융사, 통신사및제조사등의수십여사이트에구축되어안정적으로운영되고있습니다. 사용처구축업무및운영기능요약 대신투자신탁운용홈페이지재구축오라클윈백 SK 텔레콤 ( 주 ) AP 배포관리시스템구축배포관리시스템 교원나라자동차보험 APM 시스템 APM 시스템 노무라증권메인프레임리호스팅리호스팅시스템 생명보험연합회 APM 시스템 APM 시스템 손해보험연합회대외계연계시스템대외계시스템 미즈호코퍼레이트은행 KORAS-Light 구축 ( 대외계 ) 구축대외계시스템 현대하이카다이렉트자동차보험 ( 주 ) APM 시스템구축 APM 시스템 SC 제일은행펌뱅킹일괄처리시스템구축 APM 시스템 LIG 손해보험메인프레임리호스팅리호스팅업무 LIG 생명보험방카슈랑스구축대외계시스템 비즈셀프대외계연계시스템대외계시스템 인스밸리메일 (N-mail) 시스템구축대용량메일스토리지 STX 3 사 EAI 시스템구축 EAI 시스템 2008 TmaxSoft Co., Ltd. All Rights Reserved. 24
Ⅲ. Tibero Stack - Data Framework 제품군 ProSync ProDataBus ProSort ProDataHub Tibero Stack 의전사활용 Architecture 의예 Data FW(Framework) 구축사례
ProSync 제품개요 (1/7) ProSync 는데이터베이스간, 예를들어, 정보계 (OLTP) 와계정계 (DW) DB 간실시간데이터복제및동기화솔루션입니다. Source DB 에서데이터의변경이발생할때, 변경분만을자동으로추출하여 Target DB 에전송및반영하여주는 CDC(Changed Data Capture) 솔루션입니다. Source DBMS 의 Log 를사용하여 Source DBMS 의성능부하를최소화합니다. ProSync 란? 산재된다양한 DB 시스템의데이터를통합하기위한 Data Backbone 솔루션 DBMS Log 기반의실시간변경데이터추출, 전송, 로드 (CDC) GUI 기반툴의제공통한편리한설정및상황모니터링 타 CDC 제품과의차별성 Filtering 지원 (App, Table) 데이터변환지원 커스터마이징요건수용 2008 TmaxSoft Co., Ltd. All Rights Reserved. 26
ProSync 아키텍처및처리절차 (2/7) ProSync 는다중프로세스구조에기반한효율적인아키텍처를채택했습니다. ProSync 는독립된연계툴 (CDC) 서버에서운영하는것을권장하는데, 대용량트랜잭션처리환경에서소스 / 타겟 DB 서버에부가적인성능오버헤드를최소화할수있기때문입니다. 그러나, 구축비용등의이유로꼭필요하다면, 소스 DB 서버나타겟 DB 서버에서도운영은가능합니다. DB 서버 1 DB 서버 2 DBMS Instance No 1 Redo Log Archive Log 1 Log mnr RAC Source DB Rule 관리 추출대상 Table Owner DBMS Instance No 2 Redo Log Archive Log 2 Log mnr 추출대상 Column Formatting 정보 Rule 관리 추출 Capture Filtering Info. File Formatter ProSync Manager ProSync Assemble Rule Info. ProSync Repository EJB 엔진 1 File Writer Template Info. Merge Manage Info. File Sender 전송 변경데이터추출절차 1 2 3 4 5 Capture CDC 서버 차수 ( 시간범위 ) 에포함된레코드중에서 Commit 된레코드만추출 대상테이블에한해서추출 Filtering 세션필터링기능 Assemble Transaction ID 를통하여동일트랜잭션에의하여변경된레코드를결합 Merge 테이블별, 시간별로 Sorting 하여테이블별로병합 파일생성 Transfer 타겟시스템으로 파일전송 2008 TmaxSoft Co., Ltd. All Rights Reserved. 27
ProSync 제품의특장점 (3/7) ProSync 는 GUI 환경기반으로동기화및복제관련설정이가능하여운영관리편의성을제공합니다. 또한, 고성능, 안정성, 안정성, 효율성을제공하며, 소스및타겟시스템의부하최소화, 다양한맵핑룰을통한유연한변환, app 관점에서세션에의한 filtering 이가능합니다. 특장점고성능안정성효율성유연성및관리용이성 상세설명 Multi-Process 기반의 Multi-Session 운용을통해빠른데이터복제지원 ProSync 기동시에맵핑룰을모두메모리에로드시켜운영중 DB 접속을최소화하는구조 Log 가공유되지않는 RAC 환경에서도최상의성능발휘 장애복구후추출작업시작시에, DB Log 에대한최신의기록을관리하여동기화작업의연속성유지 연결세션자동복구기능 다양한장애의복구시에도데이터정합성유지 소스시스템및타겟시스템의부가적인부하발생을최소화하는구조 ProSync 는독립서버형태의운영을권장하나, 부하정도에따라소스혹은타겟시스템에서운영가능 타겟시스템으로의다양한전송방법지원 (FTP 등 ) 파일에의한복제지원 맵핑룰을통한유연한변환가능 소스 DB 의 DDL 작업시수동작업부분의최소화 기존의 EAI 솔루션등을이용한데이터복제시스템에비해관리포인트의일원화 2008 TmaxSoft Co., Ltd. All Rights Reserved. 28
ProSync 변경데이터추출및 Filtering (4/7) ProSync 에서는지정된추출대상테이블에대해서만변경데이터를추출합니다. 이를위해관리자가지정한추출대상테이블에대한메타정보를 ProSync Repository 에관리합니다. 또한, application 관점에서 session 기준 (app name) 의 filtering 기능도제공합니다. 업무유입 업무유입 DB 서버 1 Oracle Instance No 1 Redo Log DB 서버 2 Redo Log Archive Log 1 Log mnr RAC Oracle Instance No 2 Archive Log 2 Log mnr 세션필터링기능제공 AP1 AP2 AP3 AP4 AP5 AP3 와 AP5 가필터링대상으로설정되어있는경우, ProSync 처리과정에서 AP3 와 AP5 Session 을통해유입된 Transaction 정보에대해 Filtering 을통해걸러낼수있는기능을제공 대용량 Batch 작업혹은온라인 Transaction 에대해테이블및컬럼설정만으로필터링하는것보다업무영역인 AP 를통해필터링하는것이유리한경우, 적용가능 File Formatter Archive 별추출파일 ProSync Capture Assemble Merge Filtering Info. Rule Info. File Writer. 추출파일별테이블파일 Template Info. Manage Info. File Sender 추출단계분류단계병합단계 테이블별 파일 2008 TmaxSoft Co., Ltd. All Rights Reserved. 29
ProSync 장애복구시데이터정합성유지 (5/7) 소스 DBMS 의장애복구후의재추출작업시에, 데이터정합성을유지합니다. CDC 서버혹은 ProSync 자체의장애복구후의작업시에도기존에완료된작업을활용하여최대한의시스템가용성을제공하면서데이터정합성을유지합니다. DB 서버 1 DB 서버 2 ProSync Manager DBMS Instance No 1 Redo Log Archive Log 1 Log mnr RAC Source DB DBMS Instance No 2 Redo Log Archive Log 2 Log mnr DB 관련장애 Capture Filtering Info. File Formatter CDC 서버 ProSync Assemble Rule Info. File Writer Template Info. Merge Manage Info. File Sender CDC 장애 전송 전송장애 장애분류관련모듈대처방안 DB 추출장애 Log Miner 특정 Archive Log 에대해 Log Miner 의오류로인해추출작업이진행이안되는경우, 해당 Archive Log 에대해 SCN 구간을분할하여수동추출후잔여작업을진행 RAC 설정에의해 Archive Log 파일이다른 Node 에생성된경우, ftp 로해당 Node 로복사하여진행 DB 연결장애전모듈 DB 접속장애가발생하면모든모듈의수행중이던작업을중지하고, 최초작업시작상태로돌아가서, DB 접속이복구되기를기다린다. CDC 서버장애 Capture Assemble Merge 전송장애 File Sender 이어보내기기능지원 추출중이던 Archive Log 는복구와동시에처음부터다시추출을진행합니다. 전송조립중이던작업은복구와동시에처음부터다시진행합니다. Merge 중이던작업은복구와동시에처음부터다시진행합니다. 2008 TmaxSoft Co., Ltd. All Rights Reserved. 30
ProSync 동작상태모니터링위한 GUI 제공 (6/7) ProSync 의동작상태모니터링, 운영관리및파라메터설정등을위하여관리자용 GUI 툴을제공합니다. GUI 툴을통하여전체시스템의동작상태를매우용이하게관리할수있습니다. GUI 로제공되는주요기능 추출, skip, 차수진행상태를모니터링 해당차수의 파일용량 Record 건수전송상태확인 파일디스크사이즈모니터링 각단계별 (Capture, Skip, Assemble) 시간 2008 TmaxSoft Co., Ltd. All Rights Reserved. 31
ProSync 제품비교 (7/7) 타솔루션대비우수한기능을제공합니다. 타겟시스템으로 UpLoading 할레코드에대해서다양한변환및 Filtering 이가능하며, 변경데이터에대해 파일의생성및전달이가능합니다. 커스트마이징및신속한기술지원을통해, 고객요구사항에민첩하게대응이가능합니다. 외산제품은커스터마이징이나즉각적인대응에어려움이있을수있습니다. 회사 제품 ProSync SharePlex Attunity Stream ER TmaxSoft (www.tmax.co.kr) Quest (www.quest.com) Attunity (www.attunity.com) GoldenGate (www.goldengate.com) 동기방식 Real-time Real-Time Real-Time Real-Time Capture 방식 Log Based Log Based Log Based Log Based 지원 Source DB Oracle, DB2, Sybase, SQL Server Oracle, SQL Server, DB2, MySQL Oracle, SQL Server, DB2 Oracle, SQL Server, DB2 타겟유형, Custom format DB DB DB 기능 Filtering Replication 변환 X X X Session Filtering X X X Customizing 여부가능불가불가불가 기술지원국내국외국외국외 2008 TmaxSoft Co., Ltd. All Rights Reserved. 32
ProDataBus ProDataBus 솔루션은기존데이터통합시스템의복잡성및고비용을개선하기위하여데이터버스 (DataBus) 형태로구성하여통합의유연성을극대화했습니다. ProSync 기능에추가적으로 ETL 기능과스케쥴링기능및통합모니터링기능을통합적으로제공합니다. ProDataBus 란? 산재된다양한 DB 시스템의데이터를통합하기위한 Data Backbone 솔루션 CDC + ETL + Scheduling + Monitoring의통합기능및통합 GUI 제공 다양한데이터추출adapter의제공을통한자동복제및동기화 (GUI 형태의설정 ) 타 ETL 제품과의차별성 분산데이터의중앙집중관리 운영및관리의편의성제공 신속한장애대응 다양한 DBMS의유연한연계 연계 DBMS 및데이터시스템의독립성제공 2008 TmaxSoft Co., Ltd. All Rights Reserved. 33
ProSort ProSort 는대용량데이터파일의분할, 정렬, 병합, 변환, 연산에대한작업을지원하며이러한작업실행시시스템자원및작업부하를감소시켜시스템효율성을향상시킵니다. 데이터 Unload Database 병합 Output 작업결과파일 자료파일 Input 분할연산 Output 작업결과파일 정렬 Database 데이터적재 Data Warehouse 2008 TmaxSoft Co., Ltd. All Rights Reserved. 34
ProDataHub MDM Hub (1/2) ProDataHub-MDMHub 는 Master Data 관리 Hub 로서 Data Governance, Data Quality, Meta Data, Rule, Workflow 등의관리기능으로구성됩니다. TmaxSoft 가제공하는인프라제품군을종합사용하여 Seamless 한연동이가능하며 Customization 이용이합니다. Reference Model Data Integration Service Data Integration Interface Master Data Data Quality Management Process Management Data Governance Metadata Security Rules Data Delivery Interface Data Delivery Service Synchronization Reconciliation Workflow 2008 TmaxSoft Co., Ltd. All Rights Reserved. 35
ProDataHub OLAP Hub (2/2) ProDataHub-OLAPHub 는 Data source 와이용자 ( 또는어플리케이션 ) 간에일원화된데이터검색및분석인터페이스를제공하여, 다양한 DB 로부터의대량데이터의추출, 가공및분석에대한최적화된효율성및편의성을제공합니다. N x N DataHub Oracle MSSQL Business Intelligence Oracle MSSQL Query Executor Optimizer Hub Manager SQL 생성엔진 Business Intelligence DB2 Application Portal DB2 G/W Execution Engine 통합 DD ( 메타정보 ) SQL 처리 HUB 사용자정보모듈 Application Portal FILE FILE History Repository 작업예약모듈 Etc. Admin Etc. 메타정리관리모듈 관리자모듈 2008 TmaxSoft Co., Ltd. All Rights Reserved. 36
Tibero Stack 의전사활용 Architecture 의예 Tibero Stack 의활용을통하여기업내복잡다양한 DB 간데이터통합및분석에편리한환경을제공합니다. GUI 형태의편리한설정을통한효율적데이터복제및동기화, 마스터데이터또는분석데이터의일원화된관리및정합성확보, SOA 사상에기반한업무구현이가능합니다. CRM SCM ERP Reporting OLAP 2008 TmaxSoft Co., Ltd. All Rights Reserved. 37
Data FW 제품구축사례 - ProSync, ProSort ProSync 및 ProSort 는대형금융사, 통신사및보험사에구축되어안정적으로운영되고있습니다. 고객의 customization 요구를최대한수용하여최대한의편의성을제공합니다. ProSync 사례 사용처구축업무및운영기능요약 SK 텔레콤농협현대스위스저축은행 ProSort 사례 NGM 시스템에서 UKEY 업무와 DW 연동신용신시스템구축에서계정계와정보계연동인터넷뱅킹업무에서계정계와정보계연동 변경데이터복제및동기화 - 로그기반의변경데이터추출 - 테이블 / 컬럼 /App Filtering 변경데이터복제및동기화 - 로그기반의변경데이터추출 - 테이블 / 컬럼 /App Filtering -Transaction 별 파일생성요구의수용 변경데이터복제및동기화 -Load 기능의커스터마이징요구수용 사용처구축업무및운영기능요약 메리츠화재 리호스팅화재업무 ( 배치성업무 ) 대량데이터포함한 파일의 Sort/Split/Merge 2008 TmaxSoft Co., Ltd. All Rights Reserved. 38
Ⅳ. 차세대전자정부구축을위한 Tibero Stack 전자정부기술참조모형 ProSync 통한시군구자료취합 공간자료관리시스템의복제및동기화 차세대전자정부구축아키텍쳐제언 데이터처리기술을통한고객가치실현 Tibero Stack의지향점
전자정부기술참조모형 전자정부 IT 구축에필요한기술참조모형입니다. Tibero Stack 은이참조모형에서필요로하는 DBMS 및통합데이터처리에필요한제반제품을제공합니다. Tibero 제품군으로시스템을구축하여사용하면최상의통합및연동효과를발휘할수있습니다. 2008 TmaxSoft Co., Ltd. All Rights Reserved. 40
ProSync 통한시군구자료취합 변경데이터의상위시스템으로의복제및동기화240 여시군구의 DB 로부터변경된데이터만을추출하여 16 여시도의 DB 에수집하고, 다시 16 여시도의 DB 로부터의변경분데이터를중앙청의 DB 에수집하여정보분석및성향파악이필요한전자정부업무환경에서 DB 간데이터복제및동기화에 ProSync ( 또는 ProDataBus) 가최적의솔루션이됩니다. 중앙청 시도 시군구 2008 TmaxSoft Co., Ltd. All Rights Reserved. 41
공간자료관리시스템의복제및동기화 공간 DB 를포함하는지리정보시스템의자료동기화에도사용될수있습니다. 전자정부에꼭필요한 customization 요구도수용합니다. Monitor 변경자료추출 / 전송 전송 자료수신 추출 ArcSDE Oracle 추출 변경감지 Zeus 속성자료적재 적재 ArcSDE Oracle 적재 공간자료변환 공간자료적재 적재 Zeus 2008 TmaxSoft Co., Ltd. All Rights Reserved. 42
차세대전자정부구축아키텍처제언 ProSync 및 Tibero RDBMS 를이용하여 OLTP 업무에서변경된데이터를자동으로추출하여배치데이터베이스, EDW 데이터베이스및 DR 데이터베이스에자동으로복제하고동기화하기위한최적의아키텍처를용이하게구성할수있으며실시간으로데이터의처리가가능합니다. 특히, TCO 를대폭절감하고최적의신속한유지보수및기술지원을얻게됩니다. OLTP CDC PC EDW 전송 적재 Log 모니터링 EDW ProSync Manager Data Mart Log 추출 Batch DR Log 전송 전송 적재 배치 DR Log 2008 TmaxSoft Co., Ltd. All Rights Reserved. 43
Data Technology 를통한고객가치실현 급변하는정보사회에서데이터처리기술은고객꿈을실현하는핵심기술임을확신합니다. 티맥스소프트는데이터처리기술을통하여, 고객가치를실현해나갈것을약속드립니다. Tibero Stack Road Map Next Data Technology 를활용한고객가치실현 Total Solution For Enterprise Data Management 데이터처리를위한 Total 솔루션제공으로관리의일원화및 TCO 절감효과기대 다양한 DBMS 제품군을제공하여, 필요한곳에취사선택하여사용 다양한 Data Framework 제품군을제공하여통합적인데이터운영및관리의편의성제공 각 Layer 에적절한 Tibero Stack 제품군을선택 / 활용하도록하여, 위치투명성, 개발편의성, 성능, 무결성, 관리및운영편의성, 복제및동기화등의장점제공 2008 TmaxSoft Co., Ltd. All Rights Reserved. 44
Tibero Stack 의미래 기존벤더의제품을뛰어넘는국내및세계제일의 DBMS 제품군생산 공공기관및기업의복잡다양한데이터처리요구를전부수용할수있는 Total Solution 제공 고객에게효율적이며편리하고일원화된운영및관리기능제공 DBMS Technology Data Frame work Technology 2008 TmaxSoft Co., Ltd. All Rights Reserved. 45
Ⅴ. 구축사례분석 Tibero RBDMS 구축사례분석 ( 정부기관 ) ProSync 구축사례분석 (S 통신사 )
Tibero RDBMS 구축사례분석 ( 정부기관 ) 정부기관프로젝트로수행되었으며기존 DBMS 를윈백한사례입니다. 기존 DBMS 를사용하던솔루션에서 SQL 에대한수정없이적용가능한것을보여주는대표사례입니다. 뉴스포털 적용업무 산업자원뉴스웹사이트 Contents Management System 한글메일호스트 시스템구성 표준애플리케이션개발환경지원 - JDBC 표준지원 - JAVA/JSP 지원 안정적미들웨어연동 - WAS : JEUS 다양한데이터타입지원 - VARCHAR, NUMBER, DATE 등 - 컨텐츠데이터타입 : LOB 지원 분석 기존 DBMS 와동등이상의성능보장 기존소스의수정이최소화 중요데이터이므로온라인백업 / 복구지원및백업솔루션연동 2008 TmaxSoft Co., Ltd. All Rights Reserved. 47
ProSync 구축사례분석 (S 통신사 ) 국내통신사차세대시스템의기간계와 DW 시스템간의연계를위하여구축되었으며최대의용량과성능이요구되는시스템환경에서도안정적인운영으로신뢰성을확보한사례입니다. 기간계 CDC PC 시스템구성 DBMS - 기간계 : Oracle 10g RAC Archive Log -DW : Sybase IQ 모니터링 ProSync Manager 용량및성능 -5 분마다생성되는 5GB 정도의로그분석필요 Oracle 10g (RAC) Archive Log Archive Log 추출 DW 전송 DW Data Mart 분석 약 3 억건의일최대처리량에도안정적으로수행 기간계와 DW 사이의데이터의정합성보장 기간계시스템에추가된 CPU 부하가약 5% 미만으로기간계의부하최소화 Archive Log 2008 TmaxSoft Co., Ltd. All Rights Reserved. 48
감사합니다 IT DNA Designer, TmaxSoft