Microsoft PowerPoint - 1.EDW_혁명을_위한_Oracle_솔루션_-_ [호환 모드]

Size: px

Start display at page:

Download "Microsoft PowerPoint - 1.EDW_혁명을_위한_Oracle_솔루션_-_ [호환 모드]"

혜원 왕
5 years ago
Views:

1 <Insert Picture Here> EDW 혁명을위한 Oracle 솔루션 김용한팀장 (Senior Manager) 인텔리젼스 / 웨어하우스기술컨설팅본부 2008 Oracle Corporation

2 목차 업계현황및시장분석 Oracle Exadata 개요 Oracle Exadata 구현방식 결론 Appendix Customer Experiences 2008 Oracle Corporation 2

3 업계현황및시장분석 2008 Oracle Corporation 3

4 오늘날 IT 와업무의도전과제 Market Challenge IT Costs 의감소 복잡성의감소 위험의감소 변화율 (Rate of Change) 을증가 더많은데이터의관리 서비스품질의향상 2008 Oracle Corporation 4

5 최근 IT 컴퓨팅환경경량급서버와 Disk 의 Grid 및가상화기반의클라우드 그리드컴퓨팅 Application Servers 클라우드컴퓨팅 Application Servers Database Servers Database Servers Storage Storage 2008 Oracle Corporation 5

6 시대별정보시스템구축 History ~ 2009 정보계구축 ---> Data Warehouse 구축 DW 리모델링 / 고도화 / 재구축 현업에서의활용성보다, 통합 CRM 구축 DW구축하기위한프로차젝트에집중분석 / 운영 CRM 연계세콜센터구축체계화된데이터구조를데이터축적 EDW 실대기반으로, 현업의활용성을영업지원시스템구축극대화한체계를기개발된고객접점갖추기위한재구축채널을통합하고, 이를분석CRM과시연동하는데초점 ecrm 구축각고객접점채널별, 최적화된채널구축에 R 집중고객분석모델개발 T 분석위주 인프라 고객세그멘테이션 간 E 고객 LTV 모델개발 2008 Oracle Corporation 6

7 실시간기업환경 an enterprise that competes by using up-to-date information to progressively remove delays to the management and execution of its critical business processes Real Time Enterprise - Gartner, Definition of Real Time Enterprise 기업환경의변화속도에대응하는기업경쟁력강화를위한새로운전략의필요성 중요업무프로세스의관리와실행간의지연최소화가가장중요한요소 ( Remove delays ) 가장최신 ( Up-to-date ) 정보를제공하고활용하는경쟁력있는기업 Real Time Enterprise를위한추세 업무프로세스혁신- Process Innovation, 6 Sigma IT 측면 DW의확장, SEM 2008 Oracle Corporation 7

8 최근데이터웨어하우스구축동향 Real-Time Data Warehouse [ 기존DW업무 ] -데이터적재 -정형 / 비정형질의 -주기적인배치작업 데이터적재 대량데이터적재 전략적질의 정형 / 비정형질의 OLTP성전략적질의노후화된시스템의교체및업그레이드복잡한비정형질의배치작업 데이터웨어하우스의확장일괄변경 (GDW) 복잡한정형질의 정형질의 대량적재작업질의수행속도 주기적인배치작업 비정형질의 배치작업 배치작업 실시간처리를위한기술요소 배치작업 지능형 Storage 기술의소개 Operational Data Store DW Appliance 를통한비용절감 메타데이터관리 데이터갱신 지속적인변경작업 Row level Locking Trickle Feeds ( 지속적데이터반영 ) 부하분산관리 24 * 365 지원 [ 실시간데이터처리요건 ] -실시간 + 지속적데이터갱신 -대량사용자 + 동시작업 -OLAP + OLTP 업무동시수행 OLAP+OLTP 서버및데이터의물리적구성방안은? 2008 Oracle Corporation 8

9 최근 DW 의방향 경쟁력극대화를위한 Global 통합 Information-Driven Enterprise 데이터표준화확립 데이터품질확보 Global 통합정보인프라 Information in One Place 데이터일관성및정합성유지 사용의편의성증진 경영혁신의기반확립저비용의고효율체제 IT Infra 고도화 ERP Legacy 기타해외 2008 Oracle Corporation 9

10 해외시장현황 Source: Winter TopTen Survey, Winter Corporation, Waltham MA, USD $1.8B Total Market = USD $4.4B, 12.4% growth YoY Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares 2008 Oracle Corporation 10

11 국내 DBMS 시장현황 Oracle은 2007년도대비 2008년도에한국 DBMS 시장점유율이약 6% 상승하는시장의강자임을다시한번확인하는실적을보였습니다.( Source : IDC Korea 제공 ) Total Market = USD $4.4B, 12.4% growth YoY Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares 2008 Oracle Corporation 11

12 국내시장현황 ( 08) 2008년 BI 시장규모 ( 순수 S/W License Only) : 973억원 (2007년보다 12% 성장 ) 2008년 BI 시장규모 (HW, S/W, 인력비등 ) : 4,000억원 Application : BSC/CPM/Planning& Budgeting 산업별크기 : 금융 (30%), 공공 (20%), 제조 (20%), 기타 (30%) 구분 DW DI&DQ Application ETT/ETL OLAP/Mining Reporting Tool 점유율 37.8% 10.7% 11.0% 3.8% 16.2% 20.5% DW 한국시장규모 : 4000 억 * = 1512 억 CY09 성장율 4.2 % : * = 1520 억 2008 Oracle Corporation 12

13 DW Appliance 정의 S/W와 H/W의패키지화된솔루션으로기획부터구축, 운영까지의총 TCO를낮추기위한솔루션 전통방식 vs. DW Appliance 전통방식 DW Appliance 최대수십억원 초기비용 수억 ~ 십억대내외 필수사항 성능튜닝 최소혹은필요없음 논리모델과성능향상을위한요약 데이터모델링 논리모델을기반으로성능향상을위한 테이블과같은물리모델의최적화병행 물리모델최소화 6개월에서 1년이상 구축기간 기존방식의 4/1~1/3 DBMS, OS, 서버, 스토리지등별도 업그레이드 주로유지보수계약으로한번에해결 업그레이드 / 추가비용발생 고객의 IT 운영환경의표준에부응하는환경구축가능 폭발적인데이터증가량을수용하는데있어서성능저하 DBMS, OS, 서버, 스토리지등별도관리인력필요 장단점 관리 / 인력 데이터양의증가량에따른확장성의유연성제공 IT 운영환경의유연성부족 관리인력최소화 2008 Oracle Corporation 13

14 DW Appliance 비교 Key Feature Oracle Exadata Netezza Teradata B-tree Indexing - - Bitmap Indexing - - Business Intelligence - - Data Mining - Data Quality / ETL - - HW Architecture Open Proprietary Proprietary Join Indexing - OLAP Cubes - - Partitioning - Random Placement* Query Results Cache -? TPC-H Benchmark Leader - - Note: While Oracle has true range and value partitioning, Teradata s partitioning is merely a hashing procedure to randomly distribute data across storage. -14-

15 Oracle Exadata 개요 2008 Oracle Corporation 15

16 대용량데이터웨어하우스의급격한사이즈증가로인한초대용량화 매 2 년마다세배의사이즈증가 Data Warehouse Size (TB) Actual Projected Source: Winter TopTen Survey, Winter Corporation, Waltham MA, 2008.

17 Oracle 의지속적인혁신기술제공 Oracle 6 Oracle 5 Oracle 2 Oracle 8i Oracle 8 Oracle 7 Data Warehousing Optimizations Parallel Operations Distributed SQL & Transaction Support Cluster and MPP Support Multi-version Read Consistency Client/Server Support Platform Portability Commercial lsql Implementation ti XML Database Oracle Data Guard Real Application Clusters Flashback Query Virtual Private Database Built in Java VM Partitioning Support Built in Messaging Object Relational Support Multimedia Support Oracle 11g Exadata Storage Real Application Testing Advanced Compression Automatic Storage Management Transparent Data Encryption Self Managing Database Oracle 9i Oracle 10g 2008 Oracle Corporation 17

18 해결책을위한접근 지능형소프트웨어 (Brainy Software) 접근방식 똑똑한데이터베이스소프트웨어사용으로하드웨어요구량최소화 OLAP, Bitmap Indexing, Join indexing, Materialized Views, Result Caches, Range Partitioning, etc. 강력한하드웨어 (Brawny Hardware) 접근방식 강력한하드웨어사용으로하드웨어파워에의존하여데이터스캔과조인수행 강력한하드웨어식접근방식은단지일정수준의데이터사이즈와일정비율의데이터스캐닝을할때에제대로먹힐수있는일시적인해결책 18

19 Brawny Hardware 도전과제스토리지데이터대역폭 (Bandwidth) 전통적데이터웨어하우의한계 스토리지 Array의프로세서와 Fiber 채널 Loop 간의내재된병목현상 서버들사이에서제한된 Fiber Channel Host Bus Adapter 구성되고복잡한 SAN 스토리지환경의사용

20 데이터대역폭병목현상에대한해법 파이프를통한보다적은양의데이터이동 더많은파이프증설 파이프의크기확장 파이프의처리용량확장 2008 Oracle Corporation 20

21 Exadata 새로운아키텍쳐제시데이터대역폭병목현상제거 Exadata는보다적은양의데이터를파이프롤통해수송 Cell Offloading 쿼리프로세싱의일부가스토리지계층에서수행 서버로보내는데이터양이현저히감소 서버 CPU 사용부하를최소화 Exadata는보다많은파이프들을보유 스토리지구성단위 cell 빌딩블록들이초대용량병렬그리드구성 독립된스토리지서버들간의간섭이없기때문에확장성제공 Exadata 는더큰파이프를보유 인피니밴드인터컨넥트는화이버 (Fibre) 채널보다 5 배이상더빠른이동속도를제공 Exadata Moves a Lot Less Data a Lot Faster 2008 Oracle Corporation 21

22 Smart Scan 스토리지층에서데이터베이스가처리해야하는양을경감시키는효과. 쿼리에필요한레코드와컬럼들만을데이터베이스에반환 WHERE 조건, Join 조건및점진적백업 (Incremental Backup) 의최적화 스토리지와 DBMS 서버간의현저한데이터전송감소효과를제공 완전한투명성 애플리케이션의수정필요없음. 질의시에셀또는디스크장애가발생하더라도적용됨.

23 쿼리프로세싱 : Exadata 스토리지서버 어제의판매량은? Oracle Database Grid Exadata Storage Grid Select sum(sales) where Date= 23-Sept 9 월 23 일판매량만추출 SUM

셀 (Cell) - 스토리지서버빌딩블록 Hardware by HP Software by Oracle HP Oracle Exadata Storage Server 산업표준구성요소 모든 Oracle 데이터베이스서버와동작 2 Intel processors 예정 12 SAS 또는 SATA 디스크 현재는 Linux x86 최대 12 TB RAW 스토리지

24 셀 (Cell) - 스토리지서버빌딩블록 Hardware by HP Software by Oracle HP Oracle Exadata Storage Server 산업표준구성요소 모든 Oracle 데이터베이스서버와동작 2 Intel processors 예정 12 SAS 또는 SATA 디스크 현재는 Linux x86 최대 12 TB RAW 스토리지 다른운영체제는출시예정 InfiniBand connectivity 스토리지내에서직접데이터집중처리기능 (Data Intensive Processing) 를구현 대용량병렬스토리지그리드 질의부합하지않는데이터에대한여과를통해테이블과인덱스스캔작업실행 전형적으로 10 배이상의데이터감소효과 빌딩블록 최대데이터대역폭 1 GB/Sec 2008 Oracle Corporation 24

25 인피니밴드처리량 단일연결처리량 MB/sec x slower 3x slower Gigabit Ethernet 4Gb Fibre 20Gb Infiniband 위의그래프는실제환경에서달성된처리량에대한예를보여주고있음 전형적인호스트시스템에서인피니밴드는 PCIe 1.0 x8 로수행 2008 Oracle Corporation 25

26 Oracle Exadata 구현방식 -26-

27 Oracle DB Machine Full Rack 실제사진

28 H/W Configuration HP Oracle Database Machine Full Rack 8 Node RAC 와 12 Cell Storage HP Oracle Database Machine Half Rack 4 Node RAC 와 7 Cell Storage Custom Configurations 구성요소의개별구매를통해자체패키지 -28-

Oracle Database Machine Full Rack 고성능데이터웨어하우징을위한사전구성 Database Server Grid 8

Infinibad Host Channel Adapter (HCA) 사전구성항목 Oracle Enterprise Linux Oracle

Partitioning (*) 4 개의 Infiniband 스위치 각각은 24 포트보유 (*) = 오라클에의해최적화되고, 검증되어설치및지원.

개의인텔쿼드코어프로세서 8GB RAM 12개의 300GB SAS or 1TB SATA disks 이중포트의 Infiniband Host

29 Oracle Database Machine Full Rack 고성능데이터웨어하우징을위한사전구성 Database Server Grid 8 대서버각각의구성목록 : 하나의 HP DL 360-G5 2개의인텔쿼드코어프로세서 32 GB RAM 4개의 146GB SAS 디스크 이중포트의 Infinibad Host Channel Adapter (HCA) 사전구성항목 Oracle Enterprise Linux Oracle Database 11g Enterprise Edition (*) Real Application Clusters (*) Partitioning (*) 4 개의 Infiniband 스위치 각각은 24 포트보유 (*) = 오라클에의해최적화되고, 검증되어설치및지원. 라이센스는별도임 Exadata Storage Server Grid 14 개서버, 각각의구성목록 : 하나의 HP DL180-G5 2 개의인텔쿼드코어프로세서 8GB RAM 12개의 300GB SAS or 1TB SATA disks 이중포트의 Infiniband Host Channel Adapter (HCA) 사전구성항목 Oracle Enterprise Linux Oracle Exadata Storage Server Software (*)

30 Oracle Database Machine Half Rack 사전구성된고성능데이터웨어하우스 Full Rack 과유사한구성요소 4 Oracle Database servers 32 Core Intel processor cores Oracle Enterprise Linux 7 Exadata Storage Servers (All SAS or All SATA) 최대 168 TB RAW 스토리지 2 InfiniBand switches 2 개의 Master Switch 1 Admin Ethernet switch Keyboard, Video, Mouse (KVM) hardware PDUs Can connect up to two Half Racks

31 Custom Configurations 소규모데이터웨어하우스 / 데이터마트구축 개발환경및백업환경 전통적인구성과유사 InfiniBand 로네트워크구성 Oracle Exadata Storage Server 로구성 Database Servers InfiniBand Storage

성능과용량의증설 비즈니스요구사항에따른확장 HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing

Exadata Storage Server 추가적인랙의추가를통한확장 Data Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle

Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive

Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Unlimite ed Scal lability

Data Intensive Processing HP Oracle Exadata Storage Server 초대용량병렬스토리지그리드

32 성능과용량의증설 비즈니스요구사항에따른확장 HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server 추가적인랙의추가를통한확장 Data Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Database Server Compute Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Data Intensive Processing HP Oracle Exadata Storage Server Unlimite ed Scal lability 인피니밴드네트워크가모든데이터베이스서버와스토리지서버에전체대역폭제공 대역폭과용량의동시증가 HP Oracle Database Server Compute Intensive Processing Data Intensive Processing Data Intensive Processing HP Oracle Exadata Storage Server 초대용량병렬스토리지그리드

33 결론 -33-

34 DBMS 와 Storage 그리드환경 DBMS Server 그리드 Business Data Protection ASM 스토리지풀 (Pool) Exadata Database 지능형스토리지 Storage 그리드 2008 Oracle Corporation 34

35 HP Oracle Exadata Database Machine 준비된데이터웨어하우스솔루션 ( 어플라이언스 ) 데이터베이스서버그리드 스토리지서버그리드 사전인스톨및구성된소프트웨어 최고수준의성능 전통적인방식의 DW 시스템에비해 10 배에서 100 배에까지빠른성능제공 Exadata 스토리지에의해제공 무한의확장성 랙추가를통한더많은데이터와성능보장 준비된엔터프라이즈사용환경 완벽한데이터웨어하우스기능 전사수준의가용성과보안및안정성 전사수준의소프트웨어및하드웨어지원 -35-

36 Appendix -36-

37 Exadata 스토리지서버개발 3 년간의개발프로젝트 대규모의병렬아키텍쳐상에서수행된수십년의긴연구의성과 고객테스트프로그램은 2007 년 10 월에시작됨. -37-

38 Simeon Dimitrov Enterprise Resources Manager, M-Tel European Telecommunications Provider 우리의현재시스템과비교하여 Exadata 에서는모든질의가빨라졌다. 가장작은성능향상이 10배빨라진것이었고, 가장큰성능향상은놀랍게도 72 배의성능향상이있었다. -38-

39 M-Tel 테스트결과 45TB 4.5TB 콜데이터레코드 (CDR) 기존시스템 Database Machine 테스트구성 2 IBM P570s EMC CX3-40 Storage 28 배평균 성능향상 -39-

40 M-Tel Exadata 속도향상 10 배에서 72 배 28 배 Tablespace Creation Index Creation 평균 속도향상 Handset to Customer Mapping Report CRM Customer Discount Report CRM Service Order Repport Warehouse Inventory Report CDR Full Table Scan

41 Grant Salmon CEO, LGR Telecommunications Telecomms Business Intelligence Solutions 콜데이터레코드관련질의는이전에는 30분이상걸렸으나, 현재는모두 1 분이내에완료된다. 이것이바로최고수준의성능 (extreme performance) 이다. -41-

42 LGR Telecommunications 테스트결과 220TB 콜데이터레코드 (CDR) 기존시스템 Database Machine 테스트구성 64 Socket 1024 Disk Drive High-End 훨씬적은용량의 SMP Array 하드웨어로 30 배이상의성능향상 -42-

43 Walt Litzenberger Director Enterprise Database Systems, CME Group World s Largest Futures Exchange Oracle Exadata는우리가전에테스트했던어떤것들보다 10배에서 15배까지능가하는성능을보였다. 경악을금치못할 (flat-out screams) 최고의제품이다. -43-

44 Giant Eagle 테스트결과 5TB 유통판매데이터 기존시스템 Database Machine 테스트구성 13 IBM EMC CLARiiON and 16 배의평균 P570 CPUs DMX Storage Array 성능향상 -44-

45 Giant Eagle Exadata 속도향상 3 배에서 50 배 Merchandising Level 1 Detail: Period Ago Merchandising Level 1 Detail: Current - 52 weeks Supply Chain Vendor - Year - Item Movement Merchandising Level 1 Detail by Week Materialized Views Rebuild Date to Date Movement Comparison - 53 weeks Prompt04 Clone for ACL audit Sales and Customer Counts Gift Card Activations 16 배 평균속도향상 Recall Query

46 Exadata 성능향상 Oracle 의주회계데이터웨어하우스 NetApp 사의 Storage Array Exadata Storage Server Grid 시간당 10.7 질의 시간당 337 질의 Exadata 30 배평균속도향상 -46-

47 Exadata 성능향상 Oracle 의주회계데이터웨어하우스 배 Times Faster 평균속도향상 TPC-H 9 11 Queries TPC-H Query -47-

48 Exadata 스마트스토리지서버와비교될수없는기존의 Disk Array 각각의디스크블록을보내줌. 낮은데이터대역폭 질의결과를보내줌. 높은데이터대역폭. Vs. Disk Array < 3 GB/sec 3 Exadata Servers > 3 GB/sec -48-

49 Exadata 스토리지서버의선형적인확장성각서버는저장용량, 대역폭및처리능력이함께증가됨 10 Hours Table Scan Time 5 Hours Typical NAS Typical Mid-Range Array Typical High-End Array 1 Hour Oracle Exadata Storage Grid 1TB 10 TB 100TB Table Size -49-

50 참고원문 Oracle.com: com/exadata Oracle Exadata Technology Portal on OTN: Oracle Exadata white papers: ata-technical-whitepaper.pdf ation-to-exadadata.pdf -50-

Microsoft PowerPoint - [100401] Exadata 및 DB Machine 세미나(v2)부산 [호환 모드]

Microsoft PowerPoint - [100401] Exadata 및 DB Machine 세미나(v2)부산 [호환 모드] Oracle Exadata & Database Machine 전준희 (junhui.chun@oracle.com) Technology Solution Consulting Oracle Korea Agenda IT 환경의추세와전망 전통적인데이터베이스의한계와해결방안 Sun Oracle Exadata Storage Server Sun Oracle Database Machine