Oracle Exadata & Database Machine 전준희 (junhui.chun@oracle.com) Technology Solution Consulting Oracle Korea
Agenda IT 환경의추세와전망 전통적인데이터베이스의한계와해결방안 Sun Oracle Exadata Storage Server Sun Oracle Database Machine 구축및도입사례 결론 <Insert Picture Here>
IT 환경의추세와전망 <Insert Picture Here>
최근데이터베이스분야의이슈 노후화된시스템의교체및업그레이드 분석및정보계시스템의확장 (GDW) 실시간처리를위한기술요소 지능형 Storage 기술의소개 설비 (Appliance) 를통한비용절감 4
실시간처리를위한데이터베이스 (Mixed Workload & General Purpose) [ 기존DW업무 ] -데이터적재 -정형/ 비정형질의 -주기적인배치작업 데이터분석 정형 / 비정형질의 온라인업무 전략적질의 OLTP 성전략적질의 [ 실시간데이터처리요건 ] -실시간 + 지속적데이터갱신 -대량사용자 + 동시작업 -OLAP + OLTP 업무동시수행 복잡한비정형질의 배치작업 데이터갱신 복잡한정형질의 배치작업 일괄변경 지속적인변경작업 데이터적재 비정형질의 배치작업 대량데이터적재 정형질의 배치작업 대량적재작업질의수행속도 주기적인배치작업 Operational Data Store 메타데이터관리 Row level Locking Trickle Feeds ( 지속적데이터반영 ) 부하분산관리 24 * 365 지원 5
통합된뷰요구 Single View 데이터통합이전제 고객영역 ( 기간업무, 홈페이지 ) 분석영역 (EDW,DM ) 고객정보관계고객관계정보연락처계약접촉정보 ( 기간업무 ) 포인트고객 Account 거래내역 고객정보관계정보고객구분고객분석 분석정보 채널경우수고발신자번고객등지움찾기직원여로객호계약건급개인수고객구분고객구부고객만주민 / 사업자고객명족도고객분석분개인고객법인고객번호세대정보가망고객고객의소리고객의소리e-서비스팩스발송팩스발송메일발송접촉고객사채널경로연락처우수고객항발신자번호주소고객등급소재지포인트 휴대폰자택주계약건수직원여부자택전 Fax 지움찾기소직장전화 Fax 직장주고객만족도고객구분개인주민 / 사업자번호전자우화수신거고객명소계약사항편부캠페인계약캠페인 고객사항 개인고객 법인고객 세대정보 가망고객 고객의소리 e-서비스 팩스발송 메일발송 접촉이력 지원 / 상담내역 연락처 주소 접촉이력휴대폰 자택주소 서비스 자택전화 Fax 직장전화 Fax 직장주소 전자우편 수신거부 고객통계정보고객분석정보분석정보캠페인관리시스템소재지고객반응정보캠페인 계약 / 계좌 계약사항 실시간 + 배치 캠페인 실시간 + 배치 캠페인 접촉이력 ( 콜센터, 홈페이지 ) 영업지원시스템접촉이력지원 / 상담내역통합된고객데이터고객영업서비스접촉이력서비스접촉이력상담내역서비스요청고객 + 계좌 ( 상품 ) + 분석 + 접촉 + 상담 + 서비스 데이터통합 => Data Integration? Consolidation? Federation? 6
전통적인데이터베이스의한계및해결방안 <Insert Picture Here>
쿼리프로세싱 : 전통적인스토리지 어제의판매량은? Oracle Database Grid Storage Array Select sum(sales) where Date= 23-Sept 전체판매테이블추출 SUM 8
데이터의초대용량화에따른성능저하 처리할데이터크기가커질수록, 성능은훨씬느려지는현상 10 Hours Table Scan Time 5 Hours Typical NAS Typical Mid-Range Array Typical High-End Array 1 Hour 1TB 10 TB 100TB Table Size 9
해결을위한지금까지의접근방법 Brainy Software 접근방법 H/W에대한요구를최소화하는지능화된데이터베이스 S/W의활용 OLAP, Bitmap Indexing, Join indexing, Materialized Views, Result Caches, Range Partitioning, 등. Brawny Hardware 접근방법 광대역스캔과조인을수행하는강력한 H/W 의사용 데이터의읽기비율이데이터크기와비례할경우에만적합 10
현 H/W의병목현상과문제점스토리지데이터대역폭 (Bandwidth) 오늘날데이터베이스성능은 Storage 에의해제한되는상황 Storage ->DBMS Server로데이터전송대역폭을제한하는 Storage 시스템 Storage Array 내부와 SAN 환경의병목현상 물리적 Disk 속도때문에발생하는 Random I/O 병목현상 데이터전송대역폭은데이터웨어하우스의성능을제한시키는 Key Random I/O 병목현상은 OLTP 애플리케이션의성능을제한 11
데이터대역폭병목현상의결과 데이터웨어하우스가클수록성능은현저히저하 10 Hour Table Scan Time 5 Hour 1 Hour 1TB 10 TB 100TB Table Size 12
Exadata 새로운아키텍쳐 Brawny Hardware - 대역폭병목현상을제거 Exadata는보다적은양의데이터를파이프를통해수송 - Process data in storage 쿼리프로세싱이스토리지로옮겨와서서버로보내는데이터양을획기적으로줄임 Exadata는보다많은파이프들을보유 - Massively parallel architecture 스토리지구성단위 cell 빌딩블럭들이초대용량병렬그리드구성 대역폭과용량이같이확장 Exadata 는더큰파이프를보유 - 5X faster than conventional storage 인피니밴드인터컨넥트는화이버 (Fibre) 채널보다 5 배이상더빠른이동속도를제공 Exadata 는적은데이터를신속하게전송 13
제품군 Exadata Storage Server 와 Database Machine Exadata 스토리지서버 오라클데이터베이스에최적화된스토리지제품군 Extreme I/O and SQL Processing performance 혁신적인 I/O와 SQL처리성능 하드웨어와소프트웨어의조합 Exadata 스토리지서버소프트웨어 Sun Oracle Database Machine 최고의성능을위한사전구성 최고의성능을위한균형잡힌구성 충분한사전테스트을통한검증된솔루션 Exadata 스토리지서버소프트웨어 Oracle Database 11gR2 14
Sun Oracle Exadata Storage Server <Insert Picture Here>
Exadata 지능형 Storage 데이터대역폭의한계와 Random I/O 병목을해소 Oracle 은아래와같은세가지의데이터전송대역폭의병목을해결 고성능 Exadata Storage Server를통한초대용량병렬 Storage Grid(Massively parallel storage grid) InfiniBand 기반의고성능네트워크환경 데이터대역폭이데이터볼륨에따라증가 Exadata storage 상에서데이터집중처리실행 (Data Intensive Processing). Storage 서버에서 Query 처리가실행되기때문에데이터베이스서버 CPU 작업의부하감소 컬럼압축은데이터볼륨을최대 10 배까지감소 Hybrid 컬럼압축은 10배이상의비용을낮추고, 성능을 10배이상증가시킴. Oracle Oace 은 Exadata Smart Flash Cache 를이용하여 Random I/O 병목문제를해결 Random I/O의성능을약 20배이상향상 Exadata Storage Cells 16
Sun Exadata Storage Server Hardware Sun Exadata Storage Server Hardware Hardware by 초대용량병렬 Exadata Storage Grid 최대셀당 1.5 GB/sec raw data bandwidth 최대 Flash 를가진 75,000 IOPS Sun Fire X4275 Server 2 Quad-Core Intel Xeon E5540 Processors 24GB RAM Dual-port 4X QDR (40Gb/s) InfiniBand 카드 Disk 사양 12 x 600 GB SAS disks (7.2 TB total) 12 x 2TB SATA disks (24 TB total) 4 x 96 GB Sun Flash PCIe 카드 (384 GB total) 사전설치된 S/W Oracle Exadata Storage Server Software Oracle Enterprise Linux Drivers, Utilities O l 로부터기술지원의접점 3 year, 24 x 7, 4 Hr 온사이트응답 Software by Oracle로부터기술지원의접점 17
Sun Exadata Storage Server Hardware 듀얼-이중화된 Power Supplies 24 GB DRAM ILOM Disk Controller HBA with 512M battery backed cache 12 x 3.5 Disk Drives 2 Quad-Core Intel Xeon Processors InfiniBand QDR (40Gb/s) dual port card 4 x 96GB Sun Flash PCIe Cards 사전설치된 S/W: Oracle Exadata Storage Server Software Oracle Enterprise Linux Drivers es 18
Exadata 성능확장성 10 Hour Table Scan Time Exadata 는 Oracle 의 Brainy S/W 에사용되는 Brawny H/W 를제공 5 Hour Typical Warehouse 데이터크기에따라성능확장 결과 업무통찰력의제공 더나은의사결정 향상된경쟁력제공 1 Hour Exadata 1TB 10 TB 100TB Table Size 19
Scan Offload Exadata 셀은데이터베이스에의해처리되는데필요한데이터를현저히감소시키는 Scan Offload 를제공함. 스캔작업시에적절한레코드와컬럼들만을데이터베이스에반환함. Predicate 평가를수행. Join 필터링. 점진적백업 (Incremental Backup) 필터링 10 배이상의감소효과가일반적임. 완전한투명성제공. 질의시에셀또는디스크장애가발생하더라도적용됨. 20
Smart Scan의 질의 처리 방식 Optimize가 대상 Partition과 인덱스를 선택 Exadata Storage Grid Oracle D t b G id Database Grid Partition/인덱스에 서 압축된 블록을 Scan Select S l t sum(sales) ( l ) From 판매테이블 Where Date= 24-Sept SUM Sept 24에 대한 데이터를 검색 해당 컬럼인 Sales에 대한 데이터만을 서버로 셀당 1.5 GB//sec 로 전송 21
Smart Scan 투명성 애플리케이션에대한투명성제공 애플리케이션또는 SQL 의변경필요없음. 반환되는데이터는완전하게일관되며, 트랜잭션을보장함. 장애발생시장애그룹의 Mirror를통한Failover. Smart Scan 은아래와같은복잡한경우도정확하게처리함. 커밋되지않은데이터와락이걸린 Row Chained Row 압축된테이블 자연어처리 Date 연산 Regular expression 검색 파티션테이블 22
Query Plan 예제 : 약 270 억건 23
Exadata 스토리지인덱스오버헤드없이최소의 I/O 사용 Table A B C D 1 3 5 5 8 3 Index Min B = 1 Max B =5 Exadata 스토리지인덱스는메모리에서테이블데이터에대한요약정보를유지함 컬럼의최소와최대값저장 일반적으로 Disk 의 MB 당한개의 index 유지 만약최소와최대값이조건절의값과일치하지않으면 Disk I/Os을제거 불필요한 Disk I/O의제거를통한성능향상 Min B = 3 Max B =8 완전자동적이고 (automatic) 이고, 투명함 (transparent) Select * from Table where B<2 - Only first set of rows can match 24
Disk Random I/O 병목현상 11gR2 300 I/O per Sec Disk drives 는대량의데이터의보관유지 초당 300 I/Os 의한계또는제약 Flash 기술은 Disk 에비해작지만, 초당 75,000 I/Os 의대역폭을제공 Disk 에비해약20 이상의 Random I/O 성능향상 75,000 I/O s per Second 해결방안 Flash 에 Hot 데이터을투명하게전달 Flash Card 를사용함으로 Disk Controller limitations 문제해결 Exadata Storage 내에 Flash Card 탑재 높은대역폭, 최소의대기시간유지 LRU 알고리즘보다진화된지능형캐시제공 4 x 96 GB Flash Cards 25
Exadata Hybrid Columnar Compression 데이터는컬럼기준으로저장된후압축됨. DW 을위한 Query Mode 성능과속도에최적화 기존대비 10배이상의압축율 자주사용하지않는데이터을위한 Archival Mode 저장공간의최소화을위해최적화 기존대비 15 배의이상의압축율 일부데이터는 50배이상의압출율 이상 11gR2 50X 26
Hybrid Columnar Compression Compression Unit Logical Compression Unit BLOCK HEADER BLOCK HEADER BLOCK HEADER BLOCK HEADER CU HEADER C1 C2 C3 C4 C5 C5 C6 C7 C8 여러데이터베이스블록에걸친새로운논리적구조 통상 4 개의 8 K 블록 = 총 32 K 의논리적압축유닛 데이터적재시데이터가컬럼으로편성 각컬럼은독립적으로압축 Row 집합에대한모든컬럼은압축유닛 (CU) 에저장 질의에사용되는컬럼들에대해서만 PGA에서 Decompress 압축된데이터는버퍼캐시상에존재 27
Use Case 10TB 사용자데이터는 10TB 의 I/O 를요구 압축적용후 1TB, I/O 스캔대상범위감소 (Hybrid Columnar Compression) 파티션적용으로 I/O 스캔대상데이터 100GB 로감소 (partition pruning) Exadata 스토리지인덱스사용으로 I/O 스캔대상범위 20GB 로감소 (Exadata Storage Indexes) Exadata의 Smart Scan으로결과값에관련된데이터 5GB 로감소 (Smart Scans) ( g ) ( ) 수초내처리 On Exadata Database Machine 데이터는 10 배적게, 조회는 2000 배빠르게게수행
Sun Oracle Database Machine <Insert Picture Here>
Exadata 시스템아키텍쳐 데이터베이스는 Disk 를공유하는 Shared Disk Storage Server 는서로간에독립적으로 Master Node 가없기때문에병목현상이없음. Oracle DBMS Server Shared Disk Sun Oracle Exadata Storage Server Shared Nothing 30
Sun Oracle Database Machine Grid 는미래의아키텍쳐 최상의성능, 저비용, 이중화, 점진적확장 Sun Oracle Database Machine 는모든데이터관리의요구사항에대한완전한 Grid 아키텍쳐를제공 RAC Database Server Grid 8 대의고성능경량 DBMS 서버 각 2 Intel quad-core Xeons InfiniBand Network 40 Gb/sec의장애극복통합된서버와스토리지네트워크제공 Exadata Storage Server Grid 14 대의고성능경량 Storage 서버 100 TB raw SAS disk storage 또는 336 TB raw SATA disk storage 5TB+ flash storage! 31
Database Server X4170 Compute 2x Intel Nehalem-EP Intel Xeon E5540 2.53GHz 18x DDR3-1333 RDIMMs 72 GB with 4 GB DIMMs I/O 최대 8 개의 Database 서버 Oracle Enterprise Linux Oracle Real Application Clusters 최대안정성, 가용성과서비스 적용과관리의용이성 4x 146GB 10Krpm 2.5 SAS HDDs SAS RAID PCIe 8 port HBA in PCIE-0 Sun QDR InfiniBand PCIe Low Profile HCA in PCIE-2 Availability Hot-swap disks RAID 0,1,5,6,10,50,60 (w/ HBA) Hot-swap redundant Fans/PSUs Management Integrated LOM Service Processor 32
인피니밴드처리량 단일연결처리량 Exadata v.2 MB/sec 2x slower 24x slower 6x slower Exadata v.1 위의그래프는실제환경에서달성된처리량에대한예를보여주고있음 전형적인호스트시스템에서인피니밴드는 PCIe 1.0 x8 로수행 33
소규모로시작해서증설 Quarter Rack *. 2 Node RAC *. 3 Storage Server Half Rack *. 4 Node RAC *. 7 Storage Server Full Rack *. 8 Node RAC *. 14 Storage Server 34
모델별사양 Quarter Rack Half Rack Full Rack DBMS Server 2 대 (RAC) 4 대 (RAC) 8 대 (RAC) Exadata Storage Server 3 대 7 대 14 대 Infiniband Switch 2 대 2 대 3 대 SAS Raw Disk 1 21 TB 50 TB 100 TB SATA 72 TB 168 TB 336 TB Raw Flash 1 1.1 TB 2.6 TB 5.3 TB User Data 2 (assuming no compression) SAS 6 TB 14 TB 28 TB SATA 21 TB 50 TB 100 TB 35
결론 <Insert Picture Here>
DBMS 와 Storage 그리드환경 DBMS Server 그리드 Business Data Protection ASM 스토리지풀 (Pool) Exadata Database 지능형스토리지 Storage 그리드 37
IT 자원의통합을위한최고의 Machine ERP CRM ERP CRM HR Warehouse Warehouse Data Mart Data Mart HR IT 비용절감에직면한어려움 Database Machine으로통합 각업무별특화된다양한시스템 모든애플리케이션에최고의성능 모든애플리케이션에최고의 TCO 제공 예측가능한최고의시스템응답속도보장 완전한데이터관리를위한효율적인관리와운영환경제공 완전하고, 개방된통합 IT 환경 38
Oracle Exadata & Database Machine 데이터베이스전용설비제품 데이터베이스서버와스토리지의일체형 H/W 환경 성능극대화를위한지능형 Storage 기능포함 Oracle에서운영체제로부터 DBMS 까지모든 S/W 제공 Best for Data Warehousing Best for OLTP Best for Consolidation 일체형구조로 H/W 가격의최소화 사전구성을통한설치기간의최소화 데이터베이스성능최적화로구성 기존 Oracle 환경과의호환성 Oracle 이모든기술지원의제공 39
Questions
41