Product Overview MAEK-Diff CONFIDENCE in Data Moving / Comparing MAEK-Diff Makes it Easy www.maekgarden.com
AGENDA Who We Are What is MAEK-Diff? Key Benefits What You Can Do Product Details Before You Start
WHO WE ARE
WHAT IS MAEK-DIFF? MAEK: 사람혈관의 맥, 중심 을뜻하는한국어의영어표현입니다. DIFF: DIFFerence 이기종데이터베이스간의테이블데이터를비교하여불일치요소를검증할수 있고, 테이블데이터를쉽게이동시킬수있는 GUI 툴입니다. - - 예 > 소스 : 오라클, 타겟 : SAP HANA 데이터베이스별오브젝트구성현황상세분석가능 MAEK Garden 만이보유하고있는기술로데이터베이스와의연계정보를융합하여 더욱쉽게데이터비교 / 이동작업을도와드립니다. 복제솔루션과데이터베이스의핵심을연구하는과정에서발췌된 [ 맥 ] 을이용하여보다가치있는솔루션을만들어가고있습니다. 이러한, 융합엔진을통해, 사용자는더욱쉽고효율적인데이터비교 작업을수행할수있으며, 확장력이강한데이터비교 / 이동프레임웍을 기대할수있습니다.
CORE MESSAGE 쉽게데이터를이동한다 모든엔지니어와고객들은데이터이동작업을처리할수있는기술을보유하고있습니다. 프로젝트별로상황에맞게스크립트를작성하여, 개별스크립트를수행하고모든결과를육안으로확인하여처리합니다. 단순하지만, 반복적인작업으로인하여예기치못한오류를범할수있고, 오류발생시근본원인을찾아내는데에많은시간을필요로합니다. 대상테이블이많을수록, 이를자동화하여처리하는체계를수립함으로써, 예측가능한 [ 데이터이동 ] 작업을기대할수있습니다. MAEK-Diff 은대상테이블을선택하고, 이동작업종류를선택하는것만이, 사용자에게주어진범주입니다. 이후, 모니터링작업을통해, 예외적인이슈가발생된테이블에대해서예외적인기술을적용할수있습니다. 여러분이매일수행하고있는 [ 데이터이동 ] 작업이쉽게느껴질수있도록, MAEK-Diff 은진화할것입니다. 이동된데이터의정합성에대해확신을갖는다 대부분의 [ 데이터이동 ] 프로젝트는데이터이동작업이종료되고, 관련 Application 을간단하게수행해봄과동시에종료되는것이현실입니다. 하지만, 적용된데이터이동기술및기존데이터의비정합성등, 여러가지이유로인해, 이동완료된데이터의정합성이미흡한결과로판명되는경우가많은것도사실입니다. 기존데이터베이스와신규구축된데이터베이스의객체구조에대한비교작업이이뤄져야하며, 이동된테이블데이터의실제건수도서로비교해보는작업도 필수적인절차에포함되어야합니다. 뿐만아니라, Garbage 데이터가포함되어있는지, 그리고이동된데이터와기존데이터의실제값이동일한지에대한비교작업도이뤄져야합니다. MAEK-Diff 은이러한작업을쉽게처리하며, 일목요연한결과정보를표현해줍니다. 추가적인데이터이동이간편하다간혹데이터이행후여러가지문제로인하여몇몇데이터가들어가지못한경우가발생할수있습니다. 이렇게데이터가안들어갔을경우일반적으로 TABLE 단위로다시이행을진행하게됩니다. 하지만맥디프를사용하게된다면그렇게할필요가없습니다. 맥디프는 COMPARE 기능, SQLGEN, REPARI 기능을통하여간편하게이행이가능합니다. COMPARE 기능은맥디프의특화된알고리즘을사용하여칼럼레벨단위까지데이터를비교할수있는기능입니다. SQLGEN 기능은 COMPARE 기능을통해추가이행이필요한 TABLE 에대해서 INSERT 할수있는스크립트를만들어주는기능입니다. REPAIR 기능의경우 COMPARE 진행후자동으로차이분에대해서인서트하는기능입니다. 이러한맥디프의다양한기능을통해빠진데이터를간편하게이행가능합니다.
KEY BENEFITS 데이터비교 / 이동시, 필수적으로관리되어야할작업들을쉽고효율적으로처리할수있습니다. OBJECT ANALYSIS 오브젝트구성현황상세분석테이블데이터총건수 Easy check 데이터베이스 Overview DATA MOVING 소스서버스토리지미사용빠른데이터로딩지정작업재사용편의성 (TASK) DATA/TABLE COMPARE 유연한비교대상선정 (Single/Multi/Schema) 고성능비교작업수행 ( 에이전트서버상주 ) 개별작업 (JOB) 병렬처리지정작업재사용편의성 (TASK) PRODUCT OVERVIEW 8
WHAT YOU CAN DO 데이터비교 / 이동작업에필요한모든요소를손쉽게경험하실수있습니다. Compare Objects Sync 01 OBJECT ANALYSIS Deep dive into Object Configuration 데이터베이스 overview 및 workload 추이제시 오브젝트별상세정보제시 오브젝트타입별전체건수및세그먼트크기확인 Big type 오브젝트발췌 인덱스미보유테이블분석 테이블전체건수실시간확인 테이블데이터뷰어 (100 rows) 특정컬럼보유테이블현황정보제시 PRODUCT OVERVIEW 9
DATA COMPARE Data should be in sync 02 이기종데이터베이스테이블비교작업수행 편리한대상테이블선정 ( 개별테이블 / 다중테이블 / 스키마단위가능 ) 데이터비교작업병렬처리 선정된테이블목록재사용가능 (TASK) JOB 실시간모니터링 JOB 상세결과제시및엑셀내보내기가능 불일치데이터 SQL 문장생성가능 테이블부분범위처리가능 소스 / 타겟테이블데이터확인및컬럼비교가능 PRODUCT OVERVIEW 10
03 DATA MOVING Easy Data Migration 이기종데이터베이스테이블간의데이터이동 편리한대상테이블선정 소스 DB 서버의소토리지공간미사용 (Direct Extraction) 고성능데이터로딩 JOB 실시간상세모니터링 소스 / 타겟테이블데이터확인및컬럼비교가능 Oracle DataPump/CTAS 지원 PRODUCT OVERVIEW 11
04 VERIFICATION Stable Data Migration JOB 결과상세분석기능을통해데이터이동정합성검증. 테이블구조 ( 타입 / 컬럼 ) 비교 / 분석 소스 / 타겟테이블실제건수비교 PRODUCT OVERVIEW 12
VIEW YOUR JOB JOB Dashboard 05 한화면에서 JOB 수행이력및수행현황파악 스키마단위 JOB 수행진척현황제시 TOP #10 OOS(Out Of Sync) 테이블제시 테이블별 OOS 상세현황 리모트에이전트서버 CPU 사용현황 PRODUCT OVERVIEW 13
적용가능분야 복제솔루션초기데이터이동 (INITIAL SYNC) 복제솔루션의동기화작업이전에, 반드시 SOURCE 데이터를타겟으로옮기는작업이필요합니다. 스토리지솔루션을사용하여쉽게처리하는고객도있으나, 대부분 DB 엔지니어의수작업으로처리됩니다 (DataPump/CTAS/DINS). GO TO CLOUD 중요도가상대적으로적은 DB 들을클라우드환경으로이동시키고있습니다. 이기종 DB 환경의스키마및데이터이동작업이필요하게되며, DBA 들의수작업으로처리되고있습니다. GO TO OPEN SOURCE DATABASE 비용절감을위해오픈소스 DBMS 를도입하는고객이빠른속도로증가하고있으며, 이기종 DBMS 환경에서스키마와데이터를이동시켜야하는요건이많이발생하고있습니다. SAP ARCHIVING 후단편화제거작업 SAP 아카이빙프로젝트를진행한후, 발생된단편화현상을제거하기위해테이블단위의리오그 (Reorganization) 작업이후행됩니다. 대부분 DBA 의수작업으로처리됩니다. MIGRATION 프로젝트에참가한엔지니어의역량에성패가좌우되며, 매번비슷한데이터이동관련스크립트를생성해내고모든모니터링을육안으로처리합니다. 반복되는작업에엔지니어들의피로도가극대화되어예기치못한오류가많이발생됩니다. 데이터검증작업에대한시간은극히짧게설정됩니다. ORACLE TDE PROJECT 신규정의된테이블스페이스로특정테이블들을이동시키는단순한작업이필요합니다. 모든작업이스크립트에의해이뤄지지만, 모든스크립트들의결과를육안으로확인해야하는노동을필요로합니다. DBA DAILY JOB 관리데이터베이스간의데이터이동이활발합니다. 또한, 단편화제거작업이수시로이뤄지며, 모든작업이담당 DBA 들의수작업에의존되고있습니다.
PRODUCT DETAILS
ASSESSMENT EXECUTION VERIFICATION MENU MAEK-Diff SRC OBJECT TGT OBJECT SCHEMA RUN VIEW VERIFY SEGMENTS ASSESSMENT EXECUTION VERIFICATION PRODUCT OVERVIEW 15
ASSESSMENT EXECUTION VERIFICATION ABOUT OBJECTS DATABASE OVERVIEW 소스 / 타겟데이터베이스구성의주요지표를한눈에파악합니다. 30 일동안발생된 DML( 아카이빙 ) 을확인해봄으로써, DBMS 가처리했던그리고처리할 Workload 를예측합니다. PRODUCT OVERVIEW 16
ABOUT OBJECTS ASSESSMENT EXECUTION VERIFICATION OBJECT TYPE ANALYSIS 소스 / 타겟데이터베이스오브젝트의상세정보를확인합니다. 오브젝트타입별오브젝트전체수정보를쉽게파악하고, 특이오브젝트타입및인덱스미보유오브젝트를분석할수있습니다 PRODUCT OVERVIEW 17
ASSESSMENT EXECUTION VERIFICATION ABOUT OBJECTS OBJECT DETAILS 소스 / 타겟데이터베이스오브젝트의상세정보를확인합니다. 오브젝트타입별로, 필수적인정보를확인합니다. FUNCTION INDEX PRODUCT OVERVIEW 18
ASSESSMENT EXECUTION VERIFICATION EASY TABLE SELECTION TABLE SELECTION FOR COMPARE OR DATA MOVING 컴페어 /Sync 대상이되는테이블을 One-Click 으로처리할수있습니다. 다중테이블을하나의 JOB 으로함께처리할수있으며, 스키마에속한모든테이블에대한 JOB 을병렬로수행할수있습니다. 반복적으로수행되는 JOB 을 TASK 로지정하여원하는시점에재사용가능합니다. SOURCE TARGET 마우스를드래그하여다중테이블을선택한다음, 오른쪽 BULK 버튼을클릭하면테이블목록에등록됨. PRODUCT OVERVIEW 19
ASSESSMENT EXECUTION VERIFICATION RUN JOB & FIND RESULT FIND JOB STATUS & RESULT FOR COMPARE OR DATA MOVING 수행되고있는 JOB 현황을쉽게확인합니다. 시작된 JOB 을중단할수있고, 기록된상세로그정보를한화면에서확인할수있습니다. 컴페어결과에대한 overview 데이터와 JOB 현황이함께표현됩니다. PRODUCT OVERVIEW 20
ASSESSMENT EXECUTION VERIFICATION FIND RESULT DETAILS FIND JOB STATUS & RESULT FOR COMPARE OR DATA MOVING 컴페어 JOB 에대한상세결과화면입니다. 소스 / 타겟테이블의어떤컬럼 / 로우값이불일치하는지쉽게확인가능하며, 키값을이용하여검색해볼수도있습니다. 상세결과는엑셀로내보내기하여쉽게공유가능합니다. PRODUCT OVERVIEW 21
ASSESSMENT EXECUTION VERIFICATION ONE CLICK DATAPUMP ONE CLICK DATAPUMP! 소스서버에 DataPump 파일을생성하지않습니다. 결과적으로덥프파일 TGT 서버이동불필요. 다양한옵션 (Remap/Flashback-SCN) 사용가능. 단, 한번의클릭으로 Object 및데이터이동가능. 작업상세결과 PRODUCT OVERVIEW 22
ASSESSMENT EXECUTION VERIFICATION DETAILS ON ONE SCREEN JOB DASHBOARD JOB 이력및수행현황정보에대한대시보드입니다. 현재몇개의 JOB 이수행되고있는지, 또는에러가발생된 JOB 유무를실시간으로쉽게파악합니다. 빈번하게데이터불일치가발생되는테이블을제시하며, 테이블별불일치이력정보를확인할수있습니다. PRODUCT OVERVIEW 23
ASSESSMENT EXECUTION VERIFICATION FIND & MODIFY OBJECT STRUCTURE DDL SCRIPT TABLE DDL 스크립트를실시간으로생성가능하며, TGT DBMS 에호환되는스크립트로변환 (Conversion) 가능합니다. 또한, 변환된스크립트를 TGT DBMS 에직접적용할수있습니다. PRODUCT OVERVIEW 24
ASSESSMENT EXECUTION VERIFICATION DEPENDENT OBJECTS FIND DEPENDENT OBJECTS 선택된 TABLE 과관련된의존객체들을쉽게확인합니다. 관련객체가존재할경우, [ 녹색 ] 밑줄이표현되기때문에, 손쉽게해당정보만확인가능합니다. PRODUCT OVERVIEW 25
ASSESSMENT EXECUTION VERIFICATION ANALYZE JOB RESULTS JOB DASHBOARD 수행된모든 JOB 의결과를한화면에서확인하여, 데이터불일치유무를파악합니다. PRODUCT OVERVIEW 26
ASSESSMENT EXECUTION VERIFICATION STRUCTURE DIFFERENCE DATA TYPE OR COLUMN DIFFERENCE Source/Target 테이블상호간의컬럼수또는데이터타입의차이가존재할경우, 해당정보를제시합니다. 물리적구성요소 (INI_TRANS/LOGGIC) 들의차이점도확인가능합니다. SRC/TGT(Oracle/Oracle) 환경에서활용가능. PRODUCT OVERVIEW 27
ASSESSMENT EXECUTION VERIFICATION TABLE ROWS DIFFERENCE DATA DIFFERENCE Source/Target 테이블을대상으로실제적인 COUNT Query 룰수행하여, 해당결과를 SRC/TGT 영역에표현해줍니다. 테이블전체건수가동일하지않은경우, 상세내용을별도로재확인해볼수있습니다 (FIND GAP). PRODUCT OVERVIEW 28
BEFORE YOU START MAEK-Diff 을설치 / 운영하기전요구되는시스템환경에대해알아봅니다.
RUNNING ENVIRONMENT Running Platforms(MAIN GUI) Running Platforms(Remote Agent) Database Support Database Connection 항목 Windows Unix/Linux Oracle/PostgreSQL/SAP HANA/ SQL Server/Cubrid JDBC 비고 Windows Desktop Application - 이기종 DBMS 호환 - Internal Repository Disk Capacity Network PostgreSQL 700MB SSH(22, 변경가능 ) Initial Installation space - On Agent server PRODUCT OVERVIEW 30
ARCHITECTURE DB connection(jdbc) SOURCE SSH Helper Helper TARGET DATA SSH FILE SYSTEM Agent Agent MAEK-Diff DB connection(jdbc) MAEK-Diff Client PRODUCT OVERVIEW 31
DEMO RESULT
PERFORMANCE SOURCE TARGET SRCCNT TGTCNT SIZE_M COMPARE INITIALSYNC RUN ORACLE PostgreSQL 1,000,000 999,999 360 45s (Local:67s) ORACLE SAPHANA 100,000 100,000 36 0.2s (Local) ORACLE SAPHANA 100,000 100,000 36 0.4s (Local) ORACLE SAPHANA 100,000 100,000 36 0.4s (Local) ORACLE SAPHANA 100,000 100,000 36 0.4s (Local) 61s - - - - SINGLE MULTI Agent server environment - CPU 1ea: Intel(R) Core(TM) i7-4770hq CPU @ 2.20GHz - Memory: 1.9G - Disk: Vmware SCSI(Direct-Access) PRODUCT OVERVIEW 33
SUPPORTED DATABASE PAIR JOB SOURCE TARGET COMMENTS ORACLE ORACLE ORACLE PostgreSQL ORACLE MS-SQLServer ORACLE SAPHANA ORACLE Cubrid COMPARE ORACLE Tibero Bothsidescompatible ORACLE ORACLE ONEWay ORACLE PostgreSQL ONEWay ORACLE MS-SQLServer TBD(Developing) ORACLE SAPHANA TBD(Developing) ORACLE Cubrid ONEWay INITIALSYNC ORACLE Tibero ONEWay DATAPUMP ORACLE ORACLE SRC->TGT PRODUCT OVERVIEW 34
WE KNOW SUPPORT IS EVERYTHING
WE ARE HERE TO HELP YOU 어려움발생시, 항상함께하겠습니다. 문제발생및전파온라인서포트 ( 로그 / 스크린캡쳐 ) 개발자직접지원 파트너협력지원 개발 패치적용및공개 연구 추가기능적용타당성분석 추가기능접수 PRODUCT OVERVIEW 36
THANKS FOR WATCHING! We love your feedback. Contact us: 서울시영등포구은행로 11 일신빌딩 3 층유니원아이앤씨 / 02-780-0039 권성진대리 / sjkwon@unioneinc.co.kr Doc Version: 8.0