SUNDB TM High Performance Computing 을위한 In-Memory 기술의집합체 2016 Document Ver. : 2.2.2
1. SUNDB 소개 SUNDB TM 2. 구축사례 Appendix : SUNDB Cluster 소개 - 2 -
1. SUNDB 소개 1. SUNDB TM 소개 - 3 -
SUNDB TM 아키텍처 1. SUNDB 소개 어플리케이션의오류를전체데이터베이스의오류로확산되지않도록 Multi-process 구조로되어있습니다 OLTP 와 OLAP 환경을동시에지원 s Persistency (Disk Logging) Architecture Application Hosts User Application User Application ODBC D/A Lib libsundba.a SUNDB Instance Memory Direct Access boot-up log flush aging SUNDB Master (Daemon Process) ODBC C/S Lib libsundbas.so glsnr User Application ODBC C/S Lib libsundbc.a User Application JDBC Lib sundb6.jar C/C++ 과 Java, PHP를위한 Client용라이브러리지원 O/S : Linux / Power Linux / AIX) Unix(HP, Solaris, TCP/IP Network Access through Network Tcp Listener gserver for client gserver for client gserver for client SUNDB Processes for Backup and Recovery Shared Memory File System - 4 -
SUNDB TM 특장점 1. SUNDB 소개 Shared Memory 를저장매체로이용함으로 Low Latency 를구현하고고품질에데이터서비스를제공합니다 초고속대용량데이터처리 고품질의데이터서비스제공 고수준의병렬화기술 Parallel Loading 기술 Parallel Index Building 기술 저장메모리고속접근 In-memory 저장구조관리 Shared memory attaching 으로통신부하제거 SSD / PCI-E, DIMM-E SSD 에최적화 초고속성능 (Low Latency) 대용량데이터 (Big ) Tens of terabytes 의대용량데이터가공및처리 디스크사용량최소화 Check Point, Logging TABLESPACE 별로메모리관리 Incremental Backup & Recovery 지원 효율적인메모리공간관리 가변길이 NUMERIC 타입제공 In-Place DDL 제공 Long-run 운영중안정적 Service 보장 효율적인시스템자원관리 자체 Memory 관리자 Circular Redo Log file 구조화된저장방식 file/page/tablespace/segment 저장공간의효율적활용 고품질 (High Quality Of Service) 신뢰성 (Reliability) Stability 안정적인 Durability 제공 백업기능제공 (Hot / Cold, 증분백업 ) High availability LogMirror 솔루션을이용한 H/A 지원 DR 및데이터연계 CDC(CYCLONE) 솔루션을이용한데이터복제 - 5 -
SUNDB TM 특장점 - DA(Direct Access) 모드 1. SUNDB 소개 SUNDB 는 Network I/O 아키텍처혁신으로응용프로그램과 DBMS 성능의극대화방안을제공합니다. DA (Direct Access)mode : No network overhead + Optimized Query Processing DA mode Performance : Over 10Times Throughput Than Standard ODBC Interface 사용자는표준 ODBC Interface 사용법과동일하게사용 Application Disk DBMS Buffer Application Memory DBMS IMDB Select 성능비교 TPS( 단위 : 1,000) 8,849,876 DB 성능차이 (No Disk I/O Overhead ) Application N/W API Driver SQL 질의처리 Buffer Manager 성능차이 (No Network Overhead) Application SQL 질의처리 309,648 DB SUNDB 테스트장비 : Intel Xeon E5 2697v3 2.6GHz 14C * 2EA / 128GB Memory 데이터건수 : 3,200,000 건, 레코드크기 : 200 Byte/ 건 - 6 -
SUNDB TM 특장점 데이터베이스이중화솔루션 1. SUNDB 소개 원격지백업및데이터베이스의이중화를위해 CDC 기반데이터복제솔루션인 CYCLONE 을제공합니다. 안전한데이터처리및관리환경제공 실시간트랜잭션단위의백업 Active (Primary DATABASE) Active / Standby (Secondary DATABASE) SUNDB #1 Shared Memory SUNDB #2 Shared Memory SUNDB CYCLONE 전송 TCP/IP Network SUNDB CYCLONE 수신 Redo Log Buffer Redo Log Buffer Redo log data Redo log data Redo log files (Circular) CYCLONE 을이용한데이터복제 Redo log file 을기반으로하는데이터복제솔루션은 SUNDB 프로세스와는별도로동작함으로써운영중인 DATABASE 의성능에영향을주지않음 Replication 장애발생시처리단순 Any DBMS Any DBMS 로의데이터복제 CYCLONE 은 SUNDB 가아닌다른종류의데이터베이스로의복제가능 - 7 -
SUNDB TM 특장점 - 성능 1. SUNDB 소개 멀티프로세스와다수의사용자환경하에서선형적인성능향상을장점으로제공합니다. Multi-Process, Multi thread Architecture 로설계 Cost 와 Rule 기반의 Optimizer 및 N/W API 최적화제공 테스트장비 : Intel Xeon E5 2697v3 2.6GHz 14C * 2EA / 128GB Mem. TPS 10,000,000 9,000,000 8,000,000 7,000,000 6,000,000 5,000,000 4,000,000 3,000,000 2,000,000 1,000,000 0 DA mode 성능 Clients 1 2 4 8 16 28 INSERT 156,014 232,006 373,161 680,653 827,574 811,681 SELECT 380,077 760,720 1,514,106 2,867,417 5,850,305 8,849,876 UPDATE 149,628 240,289 415,374 787,920 757,872 769,854 DELETE 138,752 218,109 384,449 707,559 865,840 875,770 TPS C/S mode 성능 350,000 300,000 250,000 200,000 150,000 100,000 50,000 0 Clients 1 2 4 8 16 28 INSERT 22,605 40,146 69,728 126,619 197,882 274,723 SELECT 25,663 47,852 87,171 151,796 228,818 309,648 UPDATE 22,533 40,257 69,429 126,901 201,690 277,439 DELETE 22,048 39,064 70,517 120,232 196,861 273,500-8 -
SUNDB TM 특장점 - 메모리사용량비교 1. SUNDB 소개 효율적인메모리공간관리를통해데이터저장및처리시메모리사용량을최적화시켰습니다. 가변길이 Numeric, Char 타입제공 In-Place DDL 제공 증권 (KOSPI) 시세데이터 100 만건저장시메모리사용량비교 메모리공간사용량비교 테스트환경 목적 In-Memory DBMS 에데이터저장시물리적인메모리사용량비교 900 851 Test suite 증권 (KOSPI) 시세데이터 100 만건저장 800 700 600 500 400 300 200 100 0 ( 단위 : MByte) 372 SUNDB 744 A 사 B 사 스키마구조 ( 컬럼개수 77 개 ) CREATE TABLE STOCK_JONG_CHE ( F_16013 VARCHAR(12) NOT NULL F_99990 VARCHAR(3) NOT NULL F_99991 NUMBER(20) NOT NULL F_12506 VARCHAR(8) NOT NULL F_14501 NUMBER(11) NULL F_14511 NUMBER(11) NULL F_14531 NUMBER(11) NULL F_14541 NUMBER(11) NULL F_14561 NUMBER(11) NULL F_14563 NUMBER(11) NULL F_14565 NUMBER(11) NULL F_14566 NUMBER(10) NULL F_14567 NUMBER(11) NULL F_14568 NUMBER(10) NULL F_14569 NUMBER(10) NULL F_14853 VARCHAR(8) NULL F_14854 NUMBER(12,2) NULL F_14855 NUMBER(12,2) NULL F_15001 NUMBER(11) NULL F_15004 NUMBER(12,2) NULL F_15006 NUMBER(4) NULL F_15007 NUMBER(11) NULL... F_30615 NUMBER(10) NULL F_30616 NUMBER(12,2) NULL F_30617 NUMBER(11) NULL F_30618 NUMBER(10) NULL F_30626 NUMBER(4) NULL F_30628 NUMBER(20) NULL F_30629 NUMBER(20) NULL F_30691 NUMBER(13,2) NULL CONSTRAINT STOCK_JONG_CHE_PK PRIMARY KEY( F_16013,F_99990,F_99991,F_12506 DESC ) ); - 9 -
편리한 DB 관리및개발툴지원 (Toad Point) 1. SUNDB 소개 Toad DP(Toad Point) 연계로편리한 DB 개발환경지원, DB 관리및운영환경최적화가가능합니다. Self-service data access, integration and Preparation tool ER Diagrammer and data browsers, SQL editor Toad Point 데이터연계조회 마우스클릭 SQL 자동작성 데이터베이스오브젝트관리 데이터변환및정제 테이블간데이터비교및동기화 대량데이터분석및시각화 - 10 -
Lower cost than the competitor s DBMS 1. SUNDB 소개 SUNDB 는경쟁사대비솔루션도입과운영비용은물론전체인프라까지 TCO 절감효과를제공합니다. DBMS S/W 비용은물론 H/W 및주요 Utility 비용까지절감 IT 인프라영역의비용 ( 고정비 ) 절감효과는기업의생산성에직접영향 TPC-C Performance Results Vendor System CPU Performance (tpmc) OS 3 Year TCO ( 원 ) Remark Oracle 11g SUNDB Intel Xeon E5 2697 Intel Xeon E5 2697 2P / 28 Core 78,450 Centos 6.7 641,700,000 2P / 28 Core 680,300 Centos 6.7 222,200,000 3 Year TCO - HW+SW+MA - MA : H/W 12%,S/W 22% 3 Year TCO - HW+SW+MA - MA : H/W 12%,S/W 15% 3 Year TCO 비교 Total System Cost (3 Year) 641,700,000 Oracle 222,200,000 SUNDB 65% Oracle: 641,700,000 - H/W + MA : 19,200,000 - S/W : 375,000,000 - S/W MA : 247,500,000 SUNDB : 222,200,000 - H/W + MA : 19,200,000 - S/W : 140,000,000 - S/W MA : 63,000,000-11 -
메모리기술발전 1. SUNDB 소개 빅데이터시대를준비하는조직의 63% 가데이터저장장치로인메모리기술을고려하고있습니다 성능과비용측면에서비약적인도약과성과 시스템기반아키텍처의변화와혁신을주도 향후 5 년안에데이터저장장치의주류로부상할것이다 메모리용량증가 메모리가격하락 저장장치속도변화 2002 년 256 MB/DIMM GB 급 2002 년 USD 2,000/GB DISK 5 ms 2012 년 16 GB/DIMM TB 급 2012 년 USD 200/GB DDR3 100 ns 수십 2015년 128 GB/DIMM 2015년 USD 10/GB DDR4 20 ns TB급 용량증가 : 500 배서버당 : 최대 24TB 가격변화 : 1/200 배 속도변화 : 250,000 배 - 12 -
2. SUNDB 구축사례 2. 구축사례 - 13 -
구축사례 한국거래소차세대매매체결시스템 (1/2) 2. SUNDB 구축사례 고효율, 저비용, 초고성능, 고품질트레이딩시스템구축을목표로선진금융시스템을벤치마킹하여금융기술과국내최고의 S/W 기술을융합하여글로벌거래소수준대비최상위시스템을구축하였음 최신 IT 인프라, 초고속 H/W, S/W 기반기술적용, 선진기술에기반한아키텍처수립 선재소프트개발구축범위 기술구분 EXTURE EXTURE + 거래처리 프레임워크 동기식 멀티프로세싱 비동기식 멀티쓰레딩 非동기기술구조기반의거래처리 거래소 회원사, 가동 예비시스템, 가동 DR 센터등비동기기술구조기반의거래처리로 Throughput 개선 데이터저장장치 Oracle 메모리 DBMS μs (1/100 만 ) 성능의기반기술개발 메시지미들웨어개발언어 Disk Queue방식 C RDMA,LDMA 방식 C, C++ 메모리호가집계장,RDMA 기반주문 / 체결메시지통신, 멀티쓰레딩기반프레임워크등초고속기반기술개발로 Latency Time 획기적개선 Millisecond Microsecond 로처리속도진입 시스템이중화 디스크공유방식 메시지공유방식 최신인프라도입및적용 OS/ 하드웨어네트워크 UNIX/UNIX서버 1 GbE LINUX/x86 서버 10 GbE, Infiniband x86 기반리눅스서버, 초고속네트워크 (10GbE, Infiniband 등 ) 기반의최신기술의인프라구축 EXTURE 보다비용대비성능이획기적으로개선된저비용 / 고효율의 IT 인프라로전환 < 출처 : 오픈플랫폼기반의차세대증권거래시스템. 한국거래소, 2015, 이창진 > - 14 -
구축사례 한국거래소차세대매매체결시스템 (2/2) 2. SUNDB 구축사례 차세대프로젝트를통하여글로벌수준을뛰어넘는초고성능시스템을구축할수있었으며증권. 금융업계의변화. 혁신을주도한선도적사례가되었습니다. 글로벌거래소가운데최상위시스템구축 고품질. 고성능시스템으로대외수출경쟁력확보 구분 EXTURE EXTURE + 비고 Throughput ( 단일종목처리 ) 250 TPS 20,000 TPS ( 글로벌수준 : 10,000TPS) 기존대비 80 배향상 Latency Time 20,000 μs 70 μs ( 글로벌수준 : 100-150 μs ) 기존대비 285 배향상 전체처리용량 4,000 만건 최초 20,000 만건 ( 시장상황에따라확장 ) 기존대비 285 배향상 KRX 20,000 μs TSE 5,000 μs HKEx 1,400 μs NYSE 400 μs NASDAQ 143 μs SGX 90 μs KRX 70 μs 글로벌선도수준 < 출처 : 오픈플랫폼기반의차세대증권거래시스템. 한국거래소, 2015, 이창진 > - 15 -
구축사례 한국거래소시장감시시스템 2. SUNDB 구축사례 신속한시장감시업무를위해대용량메모리를이용하여거래소매매체결시스템에서체결및호가정보를실시간으로받아, 실시간가공및적출을통해시장감시시스템을구축하였습니다. 국내최초 2.8Tbyte 대용량 IMDB 적용 시장감시시스템 1 실시간가공 매매체결시스템 실시간가공 2 SUNDB 이상매매적출 2 호가 / 체결미결제파일처리 가공후저장 매매 시장정보 3 호가 / 체결, 계좌별집계, 미결제집계가공및결과저장 호가 / 체결 1 TR 서비스 4 3 이상매매적출 미결제 5 가공데이터및적출 Rule 을이용하여적출처리 Connection Manager Screen Manager Controls 4 적출결과저장 이상매매감시클라이언트 이상매매징후로적출된결과를저장 성능개선사항 업무 Oracle 사용 SUNDB 사용 실시간가공처리 처리프로세스 : 60 개프로세스당 18 건 / 초처리전체처리량 : 1,080 건 / 초 처리프로세스 : 60 개프로세스당 1,060 건 / 초처리전체처리량 : 63,600 건 / 초 적출 지연 지연없음 시장감시결과 수분 ~ 수일 수초 ~ 수분 운영환경 - H/W : HP Server (10core/1cpu) * - 8CPU, Mem TOTAL 3.2TB - OS : Linux (RHEL 6.4) - DBMS : SUNDB - DISK : PCI-e SSD (Fusion-IO) 5 이상매매감시 이상매매시장감시및서비스수행 - 16 -
구축사례 S 증권주문시스템 A-A 프로젝트 (1/2) 2. SUNDB 구축사례 기존메인프레임의원장시스템에서주문과체결관련업무를분리하여 Trade Book 과 Position 정보를국내최초로 IMDB 로구성하여고속주문시스템을구축하였습니다. 원장데이터부문에국내최초 IMDB 적용사례 초고속주문시스템구축 As-Is 시스템 To-Be 시스템 KRX KRX FEP FEP FEP FEP FEP FEP 원장서버 ( 메인프레임 ) DB2 주문체결 주문관리 주문유효성관리 위험관리 증거금관리 계좌정보관리 각종조회성업무 원장서버분리 ( 메인프레임 +Linux) 주문전용단순조회 SUNDB 동기화 DB2 BP BP BP BP BP BP - 17 -
구축사례 S 증권주문시스템 A-A 프로젝트 (2/2) 2. SUNDB 구축사례 주문업무의비즈니스연속성을보장하고재해복구시스템에상시가용성을구현하였습니다. 증권업계최초로원거리 Active-to-Active 주문시스템체계구축 지역및원격간통신은 LLM(Low Latency Messaging Middleware) 을통한 Guarantied Messaging 구현 Active ( 여의도데이터센터 ) SUNDB to Solace(Active) SUNDB to Solace(Standby) Solace to Solace Active ( 수원데이터센터 ) APPs Solace Queue(Solace 장비내위치 ) APPs LAN 구간 SUNDB Cyclone( 이중화솔루션 ) LAN 구간 SUNDB #1 (Active) Solace (Active) Solace (Active) SUNDB #3 (Active) WAN APPs 메시지전송 : Transaction 단위 APPs SUNDB #2 (Standby) Solace (Standby) DB2 초당 Transaction : 2,000 TPS (DB Operation 기준 : 12,000TPS) Latency : 1ms(MCA Solace FEP) H/W 구성 ( 운영 4 대, 개발 / 테스트 2 대 ) - CPU : Xeon E5 2.6GHz * 24 Core - Memory : 448 GB, - Disk : SSD 1TB Solace (Standby) SUNDB #4 (Standby) - 18 -
구축사례 스포츠 TOTO 2. SUNDB 구축사례 체육진흥투표권사업의불법적인행위를규제하기위하여판매점관리시스템을구축하였습니다. (1) 판매점의불법행위를감시하고통제 (2) 판매점의부정행위를사전에차단 (3) 투표권사업의발매건전성 판매점관리시스템 강화 투표권시스템 판매점 멀티채널통합시스템 발권도메인 Agent Agent E1 Agent E2 Agent E3 Agent E4 Agent Agent I1 Agent I2 Agent 판매점관리 발권 #1 배팅파일발권DB 발권 #2 배팅파일발권DB 발권 #n 영업 판매점관리시스템 배팅파일 발권 DB G a t e W a y 모바일 검증된인력 최적의 UI/UX 사용 통합모바일플랫폼 모바일보안강화 운영자관리 영업담당자활동정보 매출경보동일조합 매출경보발매 / 취소 SUNDB 영업활동 발매차단이력 기준정보 매출경보승무패 Agent 감시 배팅파일 판매점정보 통합 DB 차단 / 차단조합정보 라우팅정보 - 19 -
구축사례 China Unicom 차세대 cbss 사업 (1/2) 2. SUNDB 구축사례 全중국 31 개행정구역 (22 개성, 4 대직할시,5 개자치구 ) 대상으로실시간정산, 과금을구현하였습니다. 총 8 개권역 (Area1~Area8) 으로권역당 2-5 개도시정산, 과금 ( 권역별가입자수 3 천만 ~5 천만명 ) 권역별 Active-Standby-Redundancy 구성으로안정성및고가용성확보 (2016.06 최종오픈완료 ) 권역별구성 권역당시스템구성및환경 APPs SUNDB #2 (Standby) Area 1 2 3 4 북경, 강소성복건성, 운남성 Area Area Area 상해시, 천진시절강성, 감숙성흑룡강성 광동성, 사천성광서자치구서장자치구 요녕성, 호남성강서성신강자치구 SUNDB #1 (Active) SUNDB #3 (Redundancy) 5 Area 6 Area 7 Area 8 Area 하남성, 귀주성내몽고자치구녕하회족자치구 산동성청해성 하북성, 호북성중경시 산서성, 길림성섬서성, 안휘성해남성 H/W 사양 (3 대구성 ) - CPU : IBM Power Linux P8 3.4GHz * 10 CPU - Memory : 512GB - Disk : SSD 2.2TB N/W - 10GbE - 20 -
구축사례 China Unicom 차세대 cbss 사업 (2/2) 2. SUNDB 구축사례 Active DB 서버 1 대기준으로평균 5-10% 범위의안정적인 CPU 사용률을보이고있으며, 향후 3 배이상의데이터증가도수용할수있는모델입니다. 시스템성능 Area 구분 DB Operation 초당 DB 처리량 (TPS) 초당트랜잭션처리량평균 CPU 사용률 Area6 Area3 Area4 SELECT 39,304 INSERT INTO 12,356 트랜잭션당평균 UPDATE 14,434 DB Operation : 6개 5% DELETE FROM 4,862 합계 70,955 11,826 SELECT 73,990 INSERT INTO 15,074 트랜잭션당평균 UPDATE 30,360 DB Operation : 6개 10% DELETE FROM 3,199 합계 122,623 20,437 SELECT 60,461 INSERT INTO 11,868 트랜잭션당평균 UPDATE 24,550 DB Operation : 6개 8% DELETE FROM 2,702 합계 99,581 16,597-21 -
SUNDB Cluster 소개 Appendix : SUNDB Cluster 소개 - 22 -
SUNDB Cluster 제품개발배경 SUNDB Cluster 소개 IT 서비스환경의변화와사용자요구에부응하는고성능 Scale Out 데이터베이스플랫폼을개발함 실시간고속트랜잭션처리및분석처리에최적화 데이터베이스시스템운영환경의혁신 (No Back-Up, Active-to-Active DR) IT 패러다임의변화 비즈니스인프라 : 클라우드, 빅데이터, IoT, 모바일서비스에적합한인프라요구 차세대 Scale Out Cluster DBMS 데이터제공 : 공급자중심 사용자참여중심저비용, 고성능, 무중단서비스요구 차세대 DB 아키텍처고민 고성능. 고효율 Scale Out 아키텍처를지원하는가? 폭증하는데이터에대한처리? 24*365 서비스위한가용성확보방안? 표준 SQL 지원으로개발의편리성. 생산성을보장? 안정적인운영환경을지원하는가? 데이터와트랜잭션의폭증에순응할수있는 Scale Out 아키텍처채택 비즈니스연속성을보장하는고가용기술및무정지서비스환경제공 SQL 지원및완벽한 ACID 보장등기존 DBMS 기능지원 - 23 -
기존기술과의차별성 / 혁신성 SUNDB Cluster 소개 Legacy SQL 및 Transaction 을지원하면서동시에유연한 Scale Out Cluster 구조로설계되었습니다. 노드추가에따른선형적인성능배가와확장 무중단데이터서비스제공 Key Idea Shared Disk Cluster 스토리지공유방식 Shared Nothing Cluster 수평적확장개념 Shared Nothing / Scale Out Cluster 수평적확장개념완벽한 SQL, Transaction 지원 Strength 정합성유연성 (SQL 지원 ) 제한없는확장성 선형확장, SQL 지원, 정합성 ACID, 고속트랜잭션 Weak Point Examples 고비용구조백업, DR 부대비용제한적인확장성 Oracle RAC, Tibero TAC 낮은정합성 (No ACID, Poor Transaction) SQL 호환성낮음 (Key/Value) VoltDB, Redis MySQL Shard, MongoDB 등 NoSQL 제품 구현기술난이도높음 SUNDB Cluster 플랫폼 Node 1 Node 2 Member 1 Shared Storage Member 2 Member 3 Group 1 Group 2 Group 3-24 -
SUNDB Cluster 아키텍처 SUNDB Cluster 소개 새로운 IT 환경에부응하기위해고성능인메모리기반의 Scale Out 방식클러스터데이터베이스를최적화된 Engineered 아키텍처로개발하였습니다. Clients SQL gloader Web UI ODBC JDBC TCP/IP Network In Memory Scale-Out Cluster DBMS Cluster Node Heartbeat Sensor Cluster Processors Ager Session Balancer Dispatcher Cluster Node(2) Cluster Node(3) Cluster Node(N) receiver X86 기반의고효율 Commodity 서버 Listener Cleanup IO Slaves sender 융합기술을이용한 HW 와 SW 최적화 Plan Optimizer Storage Manager Plan Executer Catalog Manager Remote Access Manager Job Queue Cluster Node 통합관리 - 25 -
SUNDB Cluster 특장점 SUNDB Cluster 소개 Shared Nothing Cluster Shared Nothing Cluster base - No Leading Vendor - Oracle : Shared Disk Cluster (Scale Out 제한적 ) 현재시장기술수준 - Poor Performance - Lots of Limitations Scale Up High Performance +High Scalability. Scale Out Cluster Core Technology High Throughput - Sharding 을통한데이터분산 - 서버추가에따른 total throughput 향상 High Availability - 데이터다중화를통한고가용성확보 - No Single-Point Failure Online Scale Out - Server 추가및제거시서비스중단없는 Scale Out 주요관련기능 High Throughput - Sharding strategy - Inter-Node Parallel DML High Availability - Active-Active Replication - Auto Re-balancing Online Scale Out - Online Add/Remove Nodes Scale Out Node Failure - No Single-Point Failure - Connection fail-over - DML fail-over - 26 -
SUNDB Cluster 특장점 SUNDB Cluster 소개 Global Transaction 준수 Global Transactional in Cluster base - 2Phase Commits Processing - Multi-Node Transaction Support Client Cluster Scale Out DBMS 의 Core Technology - ACID Compliant With MVCC Transaction Manager Transaction Manager Transaction Manager 현재시장수준 - Not /Poor Support Global Transaction DB DB DB Core Technology Stand-Alone 과동일한 ACID - Atomicity - Consistency - Isolation - Durability 분산환경의특성 - Network deadlock - Node Failure 주요관련기능 ACID in Shared Nothing Cluster - 2-phase commit protocol - Global statement level consistency - Global View SCN Networked DML - Inter-Node Parallel DML - 27 -
SUNDB Cluster 특장점 SUNDB Cluster 소개 Legacy SQL in Scale Out Cluster Less Legacy SQL function in Shared Nothing Cluster base - Application Modify needs 현재시장수준 - Complex SQL not Support Core Technology 주요기능 Legacy DBMS 의 SQL Power - Transparent SQL in shared nothing cluster - Better Performance than Stand-Alone DBMS - Obstacle in shared-nothing cluster prototypes Query - No Limitation of Join, Grouping, Aggregation etc DML - Transparent DML w/ sharding strategy - Less Performance Down with many replica SQL-Object - User, Schema, Tablespace - Table, Index, View, Sequence, Constraint SQL Shipping - Generated SQL - Query decomposition - Node selection - Inter-Node parallelism Join Power - shard condition X shard condition - non-shard condition X shard condition - non-shard condition X non-shard condition DML - Inter-Node Parallel DML - Non-deterministic DML Dictionary Synchronization - 28 -
SUNDB Cluster 핵심기술 Sharding Strategy SUNDB Cluster 소개 대용량데이터처리와부하분산, 병렬처리를위하여다양한 Sharding Strategy를구현할수있습니다 수평분할방식으로데이터를분산저장 Sharding DB간에데이터의 Join, Global Transaction처리가능 데이터의재분배기능으로서비스중지없이 Scale Up과 Scale Out가능 create table t1 ( id integer, name char(10) ) sharding by hash at cluster wide; group #1 1 A Replica 1 A 3 C 3 C id name 1 A 2 B 3 C 4 D group #2 member #1 member #2 sharded by hash 2 B 4 D 2 B 4 D member #1 member #2-29 -
SUNDB Cluster 핵심기술 Online Scale Out SUNDB Cluster 소개 비즈니스업무서비스의중단없이 DB서버에용량과성능을확장할수있습니다. ADD Group, Member Node, Delete Group, Member Auto/Manual Rebalancing 적정시스템용량산정으로비용절감효과극대화 Clients SQL Member Add Group gloader ODBC Member Scale Out (Shard) JDBC Member #1 Replica Group #2 Member Web UI Member #2 Add Member Group #1 Member Member Cluster Node 통합관리 Member Group #3-30 -
SUNDB Cluster 핵심기술 SQL Shipping SUNDB Cluster 소개 분산환경에서데이터변경및데이터조회시노드간데이터이동을최소화하여네트워크비용을절감하기위해 SQL Shipping 기술을사용합니다. 멀티노드간에 I/O Overhead 최적화 SQL Shipping 을통하여병렬처리가능 멀티노드간에 Join 처리가능 group #1 select * from t1 where id = 2; 1 A 3 C 1 A 3 C Application member #1 member #2 update t1 set name = E where id = 2; select * from t1@mygroup where id = 2; Generated SQL 2 B 4 D update t1@mygroup set name = E where id = 2; 2 B 4 D group #2 member #1 member #2-31 -
SUNDB Cluster 핵심기술 High Availability SUNDB Cluster 소개 데이터처리중인노드에장애가발생하면자동으로해당세션들을동일그룹내다른멤버노드로이관하여실패없이해당요청을처리합니다. 장애노드의물리적인복구완료후에 Auto/Manual Rebalancing 작업수행으로정상복구 group #1 Auto Fail over 장애 Application 1 A 3 C 1 A 3 C member #1 member #2 Application Application 2 B 4 D 2 B 4 D Application group #2 member #1 member #2-32 -
SUNDB Cluster 핵심기술 그룹내데이터정합성 SUNDB Cluster 소개 특정데이터노드장애시에도지속적인서비스가가능하도록 Replica 구성을통해데이터다중복제를함으로써데이터와서비스의연속성을보장합니다 데이터 Layer 에서 Replication 으로부하최소화 SQL Shipping 을통한 N/W 부하최소화 AP #1 Group 1 Member #1 (Master) 10 3 6 Dispatcher 9 4 4 8 7 3 Member #2 (Slave) Dispatcher 5 8 7 2 1 AP #2 10 데이터다중화구성 - 동일그룹내멤버간데이터복제 - 최상의성능보장을위해그룹내모든멤버가 Active 상태로동작 - 데이터충돌방지를위해모든변경완료는마스터노드완료후다른멤버노드완료 - 각멤버는 All Master, All Active 구조 마스터노드변경요청처리 (AP -> Local Session-> 마스터노드 ) 변경에대한작업은로컬노드에서먼저후원격노드들의작업완료 처리 DBMS Engine 2 5 DBMS Engine 6 9 슬레이브노드변경요청처리 (AP -> Local Session-> 슬레이브노드 ) 변경작업은원격마스터노드에서먼저처리후로컬노드에서작업완료 - 33 -
SUNDB Cluster 핵심기술 - Performance Scalability SUNDB Cluster 소개 성능시험결과클러스터노드의증가에따라선형적으로성능향상을보였습니다. All Master, All Active Node s Architecture I/O Overhead 최적화, 비동기처리 AP AP 성능시험 #2 AP DBMS Engine AP DBMS Engine 성능시험 #3 AP #1 DBMS Engine AP #32 성능시험 #1 DBMS Engine DBMS Engine AP DBMS Engine AP DBMS Engine DBMS Engine AP DBMS Engine AP DBMS Engine AP AP DBMS Engine DBMS Engine G1 TOTAL INSERT 102,786 102,786 G1 G2 TOTAL INSERT 99,148 103,468 202,616 G1 G2 G3 TOTAL INSERT 103,657 99,301 95,239 298,197 SELECT 5,379,634 5,379,634 SELECT 4,877,380 4,499,501 9,376,880 UPDATE 111,447 111,447 UPDATE 112,372 109,609 221,981 DELETE 114,330 114,330 DELETE 114,751 109,997 224,748 350% 300% 250% 노드구성 200% 1X2 150% 2X2 100% 3X2 50% 0% INSERT SELECT UPDATE DELETE SELECT 4,431,167 4,380,761 4,499,843 13,311,771 UPDATE 114,738 107,908 107,741 330,387 DELETE 114,492 109,170 103,388 327,050 성능시험환경 H/W 노드장비 : Intel Xeon E5 2697v3 2.6GHz 14C * 2EA / 128G mem 데이터 : 3,600,000 건, 200Byte/ 건, Clients : 32, 64, 96 개파티션정책 : Range Partition/Sharding - 34 -
데이텍주식회사 ( 파트너사 ) 서울시강남구테헤란로 20 길 15 메이플라워멤버스빌 202 호 Tel 02-6259-1500 Fax 02-2082-2509 박시형전무 (010-9340-3417 / shpark@datec.kr) - 35 -