빅데이터시대 Self-BI 전략 이혁재이사 비아이씨엔에스

Size: px

Start display at page:

Download "빅데이터시대 Self-BI 전략 이혁재이사 비아이씨엔에스"

진서 경
5 years ago
Views:

2 빅데이터시대 Self-BI 전략 이혁재이사 비아이씨엔에스

3 Agenda 1 Oracle In-Memory 소개 2 BI 시스템구성도 3 BI on In-Memory 테스트 4 In-Memory 활용한 BI

4 오라클인메모리목표 규모분석에대한속도향상 빠른속도 : 혼합워크로드업무 간편함 : 어플리케이션투명성및쉬운배치 저렴함 : 일부필요데이터만인메모리에존재가능 2

5 메모리운용방식 Existing Buffer Cache Oracle memory 영역 SGA (System Global Area) Buffer Cache Shared Pool In-Memory New In-Memory Format 기타 Log Buffer Row Format In- Memory Area Column Format Compress SALES OLTP Oracle Database With In-Memory Option Analytics 3

6 BI 구성도 원천시스템 DW OLAP 기간계시스템 공통 고객 CDC ETL ODS 영역 ODS DW 영역 DW BI CEO/Director 판매 회계 DM 영역 상품 제품 고객 회계 Power User 정보시스템 판매 상품 제품 경영관리 경영정보???? Reporting Conmon User 4

7 테스트목표 Oracle 12c In-Memory 옵션을적용한성능확인 3 rd Party BI 솔루션을적용한성능확인 In-Memory area 의압축저장용량확인 협력 DB 서비스사업부 BI 사업부 5

테스트환경구성 Oracle Database Server 2x Server Node CPU Memory DISK OS Ver Oracle Ver 2x E5-2697 v2 12-core 2.7 Ghz 256GB(16x 16GB) 2x 2.5 10K 600GB SASs Oracle Linux Server release 5.11 12.1.0.2.4 EE (64bit) 1x Storage Node Oracle Database Appliance X4-2 성능측정 Disk 4x 2.

8 테스트환경구성 Oracle Database Server 2x Server Node CPU Memory DISK OS Ver Oracle Ver 2x E v2 12-core 2.7 Ghz 256GB(16x 16GB) 2x K 600GB SASs Oracle Linux Server release EE (64bit) 1x Storage Node Oracle Database Appliance X4-2 성능측정 Disk 4x GB SSDs 20x K 900GB SAS HDDs TPC-H script 로성능테스트 Tableau BI 솔루션으로성능테스트 두가지상황에따른압축률비교 TPC : Transaction Processing Performance Council 6

9 TPCH 수행시나리오 Memory Memory 2 3 Customer Row Format Custome r 1 Customer Column Format 절차내용 TPC-H 에서제공하는테이블 (8 개 ) 및인덱스생성 데이터 (100GB) 를 Oracle DB 에적재 TPC-H 에서제공하는 22 개쿼리를전통적인방식으로 Select 시간측정 TPC-H 에서제공하는 22 개쿼리를 In-Memory 방식으로 Select 시간측정 7

10 TPCH 수행결과 ( 자동병렬 ) Auto DOP(Degree of Parallelism) 환경 평균 : 22.3 배최대 : 배 구분 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Oracle 12c c In-Memory Opti on 비율

11 TPCH 수행결과 (24 병렬 ) Parallel 24 환경 평균 : 19.5 배최대 : 배 구분 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Oracle 12c c In-Memory Opti on 비율

12 BI 솔루션시나리오 Data Source BI 솔루션 End-User 2 Row Format BI 솔루션 Repository BI 솔루션 Desktop (Windows, Mac) 1 Live Column Format BI 솔루션 Server (Windows) 분석사용자 Web Browser 3 BI 솔루션 Data Extract 4 BI 솔루션 Extract Storage Database 일반사용자 절차내용 테이블및인덱스생성후데이터 (100GB) 를 Oracle DB에적재쿼리를전통적인방식으로 BI 솔루션화면조회속도측정쿼리를 In-Memory option 방식으로 BI 솔루션화면조회속도측정데이터를 BI Extract를수행후 BI 솔루션화면조회속도측정 10

13 BI 솔루션 Extract BI 솔루션연결방식의이해 - Live Connection 대상 DBMS 에직접연결하여바로조회 Fast DBMS Small DATA 장점 : 실시간데이터반영 단점 : 대용량데이터조회속도저하 - Extract Slow DBMS Large DATA 대상 DBMS 에서데이터를미리추출생성 장점 : 빠른조회속도 단점 : 추출시간소요, 실시간조회어려움 11

14 BI 수행결과 ( 시계열분석화면조회 ) 시나리오 1 : 전체 1.6 억건데이터를대상으로월별, STORE_NM 별 3 개의 FACT 의시계열분석화면조회 Test 결과 방식 시간 ( 초 ) Disc 60 In-Memory 31 의견 << 화면 >> 대용량데이터에대해필터없이집계하는경우 In-Memory 방식이 2 배효과적임 12

15 BI 수행결과 ( 연령 / 상품별구매금액조회 ) 시나리오 2 : 1 개의계산된차원과 2 개의차원및 1 개의측정값으로화면조회 Test 결과 방식 시간 ( 초 ) Disc 64 In-Memory 10 의견 << 화면 >> 2 개월에대해필터링된데이터에서는 6 배이상의속도개선을보임. 13

16 BI 수행결과 ( 대시보드조회 ) 시나리오 3 : 3 개의화면으로대시보드를구성한후월필터로 2 개월치데이터를조회 (3 개의쿼리동시실행 ) Test 결과 방식시간 ( 초 ) Disc 152 In-Memory 17 의견 << 화면 >> 대시보드화면에서는 3 개의쿼리가동시에실행되고 In- Memory 방식이 9 배가량성능향상을보임. 14

17 In-Memory 압축률 (TPC) 최대 2.6 배 TABLE 데이터건수 Disk Size (GB) For Query Low In-Memory Size(GB) 압축률 ( 배 ) In-Memory Size(GB) For Query High 압축률 ( 배 ) CUSTOMER 15,000, LINEITEM 414,319, NATION ORDERS 150,000, PART 20,000, PARTSUPP 80,000, REGION SUPPLIER 1,000,

18 In-Memory 압축률 (BI) 최대 15 배 TABLE 데이터건수 Disk Size (GB) For Query Low In-Memory Size(GB) 압축률 ( 배 ) In-Memory Size(GB) For Query High 압축률 ( 배 ) SALES_PART 169,545, CUSTOMER 9,615, PRODUCT 14,

19 Oracle In-Memory 활용 Oracle In-Memory 활용 Low Database에 In-Memory option 추가구성 Big Data 사용시 In-Memory option 추가구성 BI Extract 성능개선시 In-Memory option 추가구성 실시간비정형분석 BI 솔루션 Desktop DW 실시간쿼리 일배치추출 BI 솔루션 Extract 실시간정형리포트웹브라우저 BI 솔루션 Extract In-memory query BI 솔루션 Server 빠른정형리포트웹브라우저 17

20 BI 와 Oracle In-Memory 연계 방대해지는기업데이터 BI 솔루션의복잡한조건에 의한성능문제 Oracle In- Memory BI Solution 성능개선을위한고가의비용 BI 의전처리시간의증가 18

21 Tableau ASFU 승인예정 Tableau BI 솔루션에특화하여 Oracle 12c 를사용할수있는 ASFU 승인예정 ASFU : Application Specific Full Use License 차세대 BI Solution 선두주자 19

22 Tableau 김용진부장 비아이씨엔에스

23 Oracle 12c for Analytics

24 In-Memory DB 의효용성 Oracle 12c In-Memory Option 은 BI 시스템으로사용될때최고의효용성이있습니다. BI 시스템의요구사항 대용량의 Data 집계 Query 수행 빈번한 Query 에대한 조회속도보장 Real Time or near Real Time 조회가능 Disk DB의한계 대용량조회시속도저하 사전집계테이블관리 Resource Real time 조회불가 결론은 Oracle 12c In-Memory Option 사전집계테이블없 이대용량집계수행 Real Time 데이터처리 Real Time 데이터조회 Appliance 장비대비 저렴

25 BI Trends 최신의 BI Trend 는속도뿐만아니라 Data Visualization, Big Data, 통계 ( 예측 ) 분석까지그영역이확대되고있습니다. Phase 1 Phase 2 Phase 3 데이터수집 Data Cleaning Data Warehouse 데이터사용 데이터공유및 협업 Data 시각화 Big Data 분석 통계분석

26 What is Tableau? - User-Driven Enterprise BI - Data Visualization - Work with a variety of Data - Interactive Dashboard Design - Big Data Analytics - Agile Project Management

27 Tableau Demo

28 감사합니다.

Oracle Database 10g: Self-Managing Database DB TSC

Oracle Database 10g: Self-Managing Database DB TSC Agenda Overview System Resource Application & SQL Storage Space Backup & Recovery ½ Cost ? 6% 12 % 6% 6% 55% : IOUG 2001 DBA Survey ? 6% & 12 % 6% 6%