슬라이드 1

Size: px

Start display at page:

Download "슬라이드 1"

윤조 묘
5 years ago
Views:

1 Contents 성능과운영의혁신 ORACLE EXADATA DATABASE MACHINE Oracle Korea 박형도수석컨설턴트 /37

2 Contents Ⅰ Overview Ⅱ Extreme Performance Extreme Performance Ⅲ Consolidation, Cost Reduction Consolidation, Cost Reduction Ⅳ Customer Case Customer Case Ⅴ Conclusion 2/37

3 Ⅰ Overview 3/37

Business Expectation for IT 업무개선, 비용절감, 효율성 ( 전제조건 ) Improving business processes Reducing enterprise costs Improving enterprise workforce effectiveness 정보자원의비즈니스활용극대화 : Intelligence Attracting and

4 Business Expectation for IT 업무개선, 비용절감, 효율성 ( 전제조건 ) Improving business processes Reducing enterprise costs Improving enterprise workforce effectiveness 정보자원의비즈니스활용극대화 : Intelligence Attracting and retaining New customers Increasing the use of information/analytics Creating new products or services (innovation) Targeting customers and markets more effectively Managing change initiatives Expanding current customer relationships Expanding into new markets or geographies Consolidation business operations Supporting regulation, reporting and compliance Creating new sources of competitive advantage 출처 : Meeting the Challenge, The 2009 CIO Agenda, Gartner /37

5 IT Challenges Explosive Data Growth 성능저하관리작업의부하증가서비스레벨불만족 Your IT System Is Ready For This? 매 2 년마다 3 배씩사이즈증가 사이즈증가에따른병목현상심화 5/37

IT Challenges Real Time Enterprise & Continuous Availability 고가용성은실시간서비스를위한필수전제조건 약 70 % 의기업은실시간성의데이터를제공하지못함 기업경쟁력약화 Q. 귀사는의사결정을위해실시간데이터를제공하고있습니까?

6 IT Challenges Real Time Enterprise & Continuous Availability 고가용성은실시간서비스를위한필수전제조건 약 70 % 의기업은실시간성의데이터를제공하지못함 기업경쟁력약화 Q. 귀사는의사결정을위해실시간데이터를제공하고있습니까? 실시간데이터를제공함 비동기적으로실시간에가까운데이터를제공함 1 년내에지원계획이있음 실시간데이터를제공하고있지않고계획도없음 출처 : IDC and DM Review Business Intelligence Survey, 2008 ( 총 121 개기업대상설문 ) 6/37

7 IT Challenges Consolidation & Virtualization 업무 A 업무 B 업무 C 업무 D 업무 E 개별업무부하 평균 Utilization < 20% Server A Server B Server C Server D Server E 전체업무부하 (A, B, C, D, E ) Mixed Workload 형태 (OLTP + BATCH) 평균 Utilization 70% 자원효율화를위해가상화기술적용필요 Server A Server B Server C Server D Server E Data Center 비용절감부분 ( 공간, 전력등 ) 7/37

Conventional Approaches 데이터증가및속도저하에대한기존의접근방식에대한변화 Brainy

Indexing, Join Indexing, Materialized Views, Result Caches,

8 Conventional Approaches 데이터증가및속도저하에대한기존의접근방식에대한변화 Brainy Software H/W에대한요구를최소화하는지능화된 DB S/W의활용예 ) OLAP, Bitmap Indexing, Join Indexing, Materialized Views, Result Caches, Range Partitioning 등 Brawny Hardware 광대역스캔과조인을수행하는강력한 H/W의사용예 ) Teradata, Netezza, Greenplum 현재의비즈니스요구사항을만족하기에는한계가있음? 새로운접근방법이필요대용량데이터처리성능을획기적으로개선 Consolidation 플랫폼으로서의역할비용절감을위해보다직접적이고강력한기능 8/37

9 Oracle Exadata Database Machine 현재의비즈니스요구사항을모두해결하기위해하드웨어와소프트웨어일체형으로설계하여최적화된솔루션 이상적인데이터베이스플랫폼최고의 Data Warehousing 운영서버최고의 OLTP 운영서버최고의데이터베이스 Consolidation 환경 오라클만의고유한설계 최저비용, 최고속도실현 9/37

10 ⅠⅡ Extreme Performance Extreme Performance 를위한 Exadata 기술요소 10/37

11 Ideology Storage 와 DB 서버간의데이터대역폭병목현상의해결 Storage 의지능화, Hardware 성능의보강 병목현상발생 파이프증설 파이프크기확장 대용량데이터베이스 ( 혹은 DW ) 의경우엄청난양의데이터 I/O 결과가전송되어야함 파이프를통한보다적은양의데이터이동 Smart Scan Storage Index Hybrid Columnar Compression Flash Cache 11/37

시스템 H/W 상세 Exadata Quarter Rack 2 Sun Fire X4170 DB servers 24 Cores, 192GB RAM 3

Switch 36 Managed QDR (40Gb/s) switch Single Point of Support from Oracle Exadata Half

5TB, Physical 50TB Storage 3 Sun Datacenter InfiniBand Switch 36 Managed QDR (40Gb/s)

96 Cores, 768GB RAM 14 Exadata Storage Servers Usable 35TB, Physical 100TB Storage 3 Sun

12 시스템 H/W 상세 Exadata Quarter Rack 2 Sun Fire X4170 DB servers 24 Cores, 192GB RAM 3 Exadata Storage Servers Usable 6TB, Physical 21TB Storage 2 Sun Datacenter InfiniBand Switch 36 Managed QDR (40Gb/s) switch Single Point of Support from Oracle Exadata Half Rack 4 Sun Fire X4170 DB servers 48 Cores, 384GB RAM 7 Exadata Storage Servers Usable 17.5TB, Physical 50TB Storage 3 Sun Datacenter InfiniBand Switch 36 Managed QDR (40Gb/s) switch Single Point of Support from Oracle Exadata Full Rack 8 Sun Fire X4170 DB servers 96 Cores, 768GB RAM 14 Exadata Storage Servers Usable 35TB, Physical 100TB Storage 3 Sun Datacenter InfiniBand Switch 36 Managed QDR (40Gb/s) switch Single Point of Support from Oracle 12/37

13 시스템 S/W 상세및무정지증설 DB 서버 (2~8 Node RAC) DB Server DB Server DB Server DB Server DB Server DB Server DB Server DB Server EM Agent EM Agent EM Agent EM Agent EM Agent EM Agent EM Agent EM Agent RAC RAC RAC RAC RAC RAC RAC RAC Oracle 11g Oracle 11g Oracle 11g Oracle 11g Oracle 11g Oracle 11g Oracle 11g Oracle 11g ASM ASM ASM ASM ASM ASM ASM ASM Clusterware Clusterware Clusterware Clusterware Clusterware Clusterware Clusterware Clusterware OS OS OS OS OS OS OS OS InfiniBand Switch / Network Exadata Storage S/W Exadata Storage S/W Exadata Storage S/W Exadata Storage S/W Exadata Storage S/W Exadata Storage S/W Exadata Storage S/W OS OS OS OS OS OS OS Exadata Cell Exadata Cell Exadata Cell Exadata Cell Exadata Cell Exadata Cell Exadata Cell 12 Disks 12 Disks 12 Disks 12 Disks 12 Disks 12 Disks 12 Disks Oracle Exadata Storage Server * 3,7,14 13/37

14 Exadata 특장점 Exadata 스마트스캔 ( 지능형스토리지 ) - 스토리지서버에서데이터베이스서버에보내는데이터양이 10 배이상줄어듦 - 불필요한디스크 I/Os 제거 Exadata Storage Indexes - 불필요한디스크 I/Os 제거 Hybrid Columnar Compression - 효율적인데이터압축을통해스토리지용량의효율성을높이며, - 데이터조회대역폭을 10 배이상높임 Smart Flash Cache - Hybrid Columnar Compression 과함께데이터검색속도의 20 배이상향상 14/37

15 Smart Scan Offload Processing Exadata Storage Cell 은데이터베이스서버에서처리되는필요한데이터량을획기적으로감소시켜주는스마트스캔 (Smart Scan) 기능을제공합니다. 일반적으로 10 배이상의데이터량감소효과가있으며, Query 실행시 Cell 또는 Disk 장애가발생하더라도완전한투명성을제공합니다. SELECT customer_name FROM calls WHERE amount > ; 결과반환 Exadata 의스마트스캔 (Smart Scan) 기능은다음과같은처리절차를통해기존처리방식에비해불필요한데이터이동으로인해발생되는 I/O 양을획기적으로줄여주어최고수준의처리성능을제공합니다. Where 조건절의 Predicate 평가를 Exadata Storage Server 가실행 (Offload) 조건에부합하는행 (Row) 과열만을 DBMS Server 에반환 Join 에참가하는대상로우 (Row) 만을필터링 점진적백업 (Incremental Backup) 필터링 Smart Scan 기능이활성화되어 Cells 에전송 Smart Scan 이요청에부합하는로우와컬럼만을인식 모든셀로부터전달되어진결과집합을하나로통합 2MB 의데이터만을 DBMS Server 에반환 15/37

16 기존처리방식과의비교 16/37

17 Storage Index Oracle Exadata Storage Server 에서제공되는 Exadata Storage 인덱스는 Memory 내에테이블데이터에대한요약정보를관리하는데, 컬럼들의최소 (Min) 과최대 (Max) 값을저장합니다. 전형적으로 Disk 의 1 M 에대한하나의 Index 엔트리를관리하며, 최소값과최대값이 Query 의 Where 조건에부합하지않는경우 Disk I/O 자체를수행하지않기때문에 Scan 성능이대폭적으로향상됩니다. 이러한 Exadata Storage Index 는자동으로관리되며, Application 과 Database 에투명하게제공되고, 관리를위한비용이발생하지않습니다. SELECT * FROM Table WHERE B<2 최소값이 3 인집합에는조건에부합하는 Row 가없기때문에 Scan 작업을수행하지않음. 17/37

18 Hybrid Columnar Compression 데이터를컬럼단위로배열하고압축 - 행단위압축에비해비약적인압축성능제공 Data Warehouse 를위한속도최적화질의모드 - 통상 10 배압축률제공 - Exadata 분산처리로인해비압축에비해오히려성능이향상됨 간헐적으로사용되는데이터를위한공간최적화아카이브모드 - 통상 15배 ~ 50배압축률제공 백업, DR, 캐싱, Reorg, 복제시 - 성능및공간절약효과배가됨 18/37

19 Hybrid Columnar Compression 실세계압축률 - Oracle E-Business Suite (ERP) Tables 기준 Size Reduction Factor by Table OLTP Compression (avg=3.3) Query Compression (avg=14.6) Archive Compression (avg=22.6) Hybrid Columnar Compression 압축률 Query Mode => 14.6X Archive Mode => 22.6X Application과Table의성격에따라변동가능 19/37

20 Flash Cache Exadata Rack 당 5 TB 의플래시장착 - 56 Flash PCI 카드로디스크컨트롤러병목현상제거 지능적인플래시관리 - Smart Flash Cache 에자주사용되는데이터유지 - 대량스캔에의한캐시삭제예방 - 디스크가격으로플래시성능제공 1000 디스크엔터프라이즈스토리지어레이보다 5 배 I/O 수행 Exadata 플래시캐시성능 : -SQL(8k) 사용시백만IOPS 이상의성능 -밀리초이하의응답시간 20/37

21 Flash Cache Read/Write Architecture Write Operation Read Operation on previously cached data Read Operation on uncached data 1 DB DB DB Acknowledgement cellsrv 2 4 Read Request cellsrv 2 3 Read Request cellsrv Exadata Smart Flash Cache 21/37

22 스토리지구성의가용성과안정성 (1) Oracle Exadata Storage 의물리적디스크는셀 (Cell) 디스크에매핑되고, 셀 (Cell) 디스크는여러개의 Grid 디스크로분할하여관리할수있으며, Oracle ASM(Automatic Storage Management) 을통해스토리지로인식됩니다. Exadata 는 Grid Disk 로분할되어관리되는 Disk 의자원 (Pool) 을 ASM 이라는스토리지볼륨관리자를통해 Disk Group 을통해관리하게되는데, ASM 은 Oracle Database 를위한전용볼륨관리자로서모든데이터를스트라이핑과미러링하기때문에성능과안정성을보장합니다. ASM 스트라이핑 (Stripping) 은전체 Disk Group 에걸쳐 I/O 를균등하게분산 ASM 미러링 (Mirroring) 은 Disk 의장애 (failure) 를방지하는데사용 ASM 장애그룹 (Failure Group) 은셀 (Cell) 의장애를방지하는데사용 Oracle DBMS Server ASM 디스크그룹 Exadata Cell Exadata Cell ASM 장애그룹 Cell Disk{ Hot Cold Hot Cold Hot Cold Hot Cold Hot Cold Hot Cold } Grid Disk 22/37

23 스토리지구성의가용성과안정성 (2) ASM 은 Exadata Grid Disk 들로부터안전한스토리지풀생성및관리 통합된클러스터볼륨매니저 유연한데이터분산 (Stripping) & Mirroring 자동화된데이터재분배 (Re-balancing) & Fault-Tolerance 지원 DB File #1 ASM DB File #2 New Cell DB File #1 ASM DB File #2 데이터재분배 온라인할당정책 (Provisioning) 과용량 (Capacity) 관리 H/W 장애로부터의보호 셀과디스크의장애를극복하도록설계됨. 23/37

24 Extreme Performance 최대 2000 배의성능개선효과 ( 최소 10 배이상의결과가나타남 ) X 10 배 X 10 배 X 5 배 10TB 사용자데이터는 10TB 의 I/O 를요구 압축적용후 1TB, I/O 스캔대상범위감소 (Hybrid Columnar Compression) X 4 배 파티션적용으로 I/O 스캔대상데이터 100GB 로감소 (partition pruning) Exadata 스토리지인덱스사용으로 I/O 스캔대상범위 20GB 로감소 (Exadata Storage Indexes) Exadata 의 Smart Scan 으로결과값에관련된데이터 5GB 로감소 (Smart Scans) 수초내처리 On Exadata Database Machine 24/37

25 ⅠⅢ Consolidation, Cost Reduction Click to sub Title 25/37

EDW Consolidation Source CDC/ETL Enterprise Data Warehouse Business Intelligence 카드채권승인 인사재무 콜센터단말 업무계 경영계 영업점 Unstructured Data 실시간처리

Temporary loading structures Parallel Processing Operational Data Store Partitioning Indexing Oracle DBMS 11g Foundation Layer (DW)

Result Cache Datamarts, 캠페인수익성분석경영정보 DW+OLTP 다중사용자처리 BI Applications Data Dashboard OLAP Reporting Alerts Web Services Application

26 EDW Consolidation Source CDC/ETL Enterprise Data Warehouse Business Intelligence 카드채권승인 인사재무 콜센터단말 업무계 경영계 영업점 Unstructured Data 실시간처리 CDC Real Time Data Log Based CDC Replication Data Verification Batch 처리 ETL 추출 변환 적재 Staging Layer (ODS) Real Application Cluster Temporary loading structures Parallel Processing Operational Data Store Partitioning Indexing Oracle DBMS 11g Foundation Layer (DW) Process neutral 3NF model & Multi- dimentional dimensional Data Model 상품 고객 Oracle Exadata Access & Performance Layer (DM) Compression Result Cache Datamarts, 캠페인수익성분석경영정보 DW+OLTP 다중사용자처리 BI Applications Data Dashboard OLAP Reporting Alerts Web Services Application Advanced Analysis Tools Mining Portal SSO Master Data 관리 MDM 데이터생명주기관리 DBMS Monitoring 성능진단 Enterprise Management EDW 관리 자동튜닝성능진단보고서 Event Monitoring 26/37

Mixed Workload Consolidation Consolidation = Mixed Workload ( OLTP + DW ) Server Resource 의동적할당 Exadata 에기본적으로포함되어있는 Real Application Clusters (RAC) 의 서비스

27 Mixed Workload Consolidation Consolidation = Mixed Workload ( OLTP + DW ) Server Resource 의동적할당 Exadata 에기본적으로포함되어있는 Real Application Clusters (RAC) 의 서비스 기능을통해가능 ERP Exadata Database Machine X2-2 Full Rack 기준 8 대의 RAC 노드 CRM ERP CRM ODS DW HR ODS DW HR * RAC 는국내수백개의중요사이트에이미사용중인검증된 클러스터기술로데이터베이스클라우드구현의핵심요소임 27/37

28 Cost Reduction with Exadata Consolidation 에따른물리적인서버수의절감 EDW 시스템통합 (ODS, D/W, Data Mart 시스템을 Exadata 로통합가능 ) Server A Server D # of Servers Server B Server F Server E Server C Mixed Workload 시스템통합 (Exadata 는 OLTP 와 D/W 를동시에처리가능 ) * EDW = Enterprise Data Warehouse, ODS = Operational Data Store 28/37

29 Cost Reduction with Exadata 제품도입시소비되는 Delivery 비용요소의절감 절감된부분은모두상당한수준의 M/M 의인력투입이필요한영역 29/37

30 Cost Reduction with Exadata Single Vendor 의기술지원을통한운영효율성 it s fully supported so you won t have to worry about the finger-pointing between vendors that might occur if you build your own solution. Carl Olofson, Research Vice President of IDC, from Profit Magazine, February 2009 vs. Database Cluster S/W Operating System D 사 C 사 B 사 Oracle 단일접점을통한문제해결 Storage A 사 30/37

31 ⅠⅣ Customer Case Click to sub Title 31/37

32 Case Study - 통신 과금오류분석시스템에 Exadata 적용 Pain Points 데이터사이즈문제로인해과금정보에대한오류추출및분석을위한효과적인방안의부재 무선인터넷서비스확대와초단위과금으로인한데이터증가에대비가필요 - Data Size : 20TB (compressed) - 1 일 1 억 3 천만건 (70 일보관 ) - 최대 100TB (usable) 까지확장필요 Results Exadata 를통한과금오류추출및분석작업으로그동안과금대상에서누락되었던부분을찾아냄 (Exadata 도입예산의 3 배수준 빠른 ROI 회수 ) 이익증대혹은신규창출 과금대상발굴 민첩성증대 Benefits 초기에 Half Rack 사이즈로도입한뒤에데이터증가에따라손쉽게증설 ( 초기과다투자집행을피함 ) 용량증가에대비하기위해최초 Half Rack 에서 Full Rack 으로증설 32/37

33 Case Study - 유통 온라인배치작업의성능향상을위해 Exadata 적용 Pain Points 주문데이터에대한온라인배치작업이점차느려져최대 15 분까지소요됨 실제배송지연현상이발생되는심각한상황 Results 15 분이소요되는배치업무는 17 초로단축 ( 약 53 배성능개선 ) 전체업무프로세스도구장비에서 57 분이소요되었으나 58 초로획기적단축 Quarter Rack 도입 ( 타시스템도교체검토 ) 시장선점 Benefits 빠른배송이가능해져배송시간이생명인유통회사간경쟁에서유리한고지선점 업무프로세스개선 배송을위한대기시간이단축되어전체업무프로세스의효율성도상당히개선 33/37

34 Case Study - 온라인쇼핑몰 BI/DW 시스템고도화및성능개선 Pain Points 기존운영중인 BI/DW 시스템의성능저하로불만증가 (10 ~ 30 분수행되는 Query 가다수 ) 시장의변화를신속히반영하지못함 Results 10 ~ 30 분까지수행되는 Query 들이평균 30 초에완료 ( 약 20 ~ 60 배성능개선 ) 실제운영중에스토리지일부에서장애가발생했으나발견될때까지일주일동안그상태에서서비스중단없이정상적으로동작함 ( 스토리지이중화로인해 Fault-tolerant 하게운영 ) Quarter Rack 도입 Benefits 시장점유율확대 매출기여도가높은상품을분석하여전진배치할수있게됨 고객이탈방지 구매패턴분석에따라시장트렌드를신속히반영해고객만족도를높임 위험부담감소 스토리지장애상황에서도 Exadata 의안정성이검증됨 34/37

35 ⅠⅤ Conclusion Click to sub Title 35/37

질의성능의혁신적인개선 1 Bigger Pipe - 고성능 Infiniband 네트워크연결로 전통적인 DW 시스템 기존의 Fiber 채널에비해 5 배이상 Storage Array 와 DB 서버간의좁은네트워크대역폭은 I/O 집중적인 DW 시스템에서고질적인병목구역임 I/O 병목구역제거 2 3 의네트워크대역폭제공 More Pipe - 다수의디스크에서병렬로 I/O

36 질의성능의혁신적인개선 1 Bigger Pipe - 고성능 Infiniband 네트워크연결로 전통적인 DW 시스템 기존의 Fiber 채널에비해 5 배이상 Storage Array 와 DB 서버간의좁은네트워크대역폭은 I/O 집중적인 DW 시스템에서고질적인병목구역임 I/O 병목구역제거 2 3 의네트워크대역폭제공 More Pipe - 다수의디스크에서병렬로 I/O 수행 Smart Scan - SQL 문의 where 절조건에맞는행 5 가지방법으로 I/O 병목구역을제거하여실시간 OLTP 및대량의데이터를고속으로처리 들을스토리지단에서필터링 - 각각의스토리지단에서필터링한내 1 2 Bigger Pipe More Pipes 3 스토리지단에서불필요한데이터필터링 SELECT customer_name FROM calls WHERE amount > ; 1. Smart Scan 기능이활성화되어 Cells 에전송 2. Smart Scan 이요청에부합하는로우와컬럼만을인식 3. 해당데이터만을 DBMS Server 에반환 4. 모든셀로부터전달되어진결과집합을하나로통합 5. 결과반환 4 5 Exadata Smart Flash cache Compression 4 5 용들을취합하여결과값반환 Smart Flash Cache - 실시간 ETL Interface 에탁월한성 능 - 대량의 OLTP Random I/O 에대한 고속처리 - Rack 당 5TB 의 Flash Cache 를통한 Hot 데이터의효율적인처리 Compression - 강력한압축기능을통해데이터를압 축하여저장 - 디스크자원의효율적인사용측면뿐 아니라 I/O 의양을줄임으로써성능 향상 36/37

표준및개방성지향에의한통합환경 Complete 서버, 스토리지, 네트워크를포함한하나의서비스머신 또한 DBMS, 스토리지엔진, OS 가탑재된완전한제품 Pre-configured 각 Component 별구성이아닌하나의 Procedure 를통한일관된설치 / 재설치 / 구성변경 사전에완제품을설치함으로, 제품구성및설치, Deploy 에이르기까지의일관된서비스전략시행

37 표준및개방성지향에의한통합환경 Complete 서버, 스토리지, 네트워크를포함한하나의서비스머신 또한 DBMS, 스토리지엔진, OS 가탑재된완전한제품 Pre-configured 각 Component 별구성이아닌하나의 Procedure 를통한일관된설치 / 재설치 / 구성변경 사전에완제품을설치함으로, 제품구성및설치, Deploy 에이르기까지의일관된서비스전략시행 Extreme Performance 업계최고의성능을자랑하는 Oracle RAC 솔루션탑재 각 Port 별 40Gbps Infiniband 대역폭 스토리지소프트웨어를통한 Smart Scan Hybrid Columnar Compression Flash Cache Storage Index Network Server Oracle One Database Machine One Time Service Storage DBMS Tested, Ready to Deploy 타제품과달리 Full-Componetn 를 Test 한후업무에적용 Plug in Power=>Connect to Network=>Ready to Run Database H/W, S/W 및일관된서비스정책을하나의벤더에서제공받음으로한번의요청으로완전한서비스를받을수있음 37/37

38 Q & A 38/37

39 Thank you! 39/37

Oracle Database 10g: Self-Managing Database DB TSC

Oracle Database 10g: Self-Managing Database DB TSC Agenda Overview System Resource Application & SQL Storage Space Backup & Recovery ½ Cost ? 6% 12 % 6% 6% 55% : IOUG 2001 DBA Survey ? 6% & 12 % 6% 6%