빅데이터시대 Self-BI 전략 이혁재이사 비아이씨엔에스

빅데이터시대 Self-BI 전략 이혁재이사 비아이씨엔에스

Agenda 1 Oracle In-Memory 소개 2 BI 시스템구성도 3 BI on In-Memory 테스트 4 In-Memory 활용한 BI

오라클인메모리목표 규모분석에대한속도향상 빠른속도 : 혼합워크로드업무 간편함 : 어플리케이션투명성및쉬운배치 저렴함 : 일부필요데이터만인메모리에존재가능 2

메모리운용방식 Existing Buffer Cache Oracle memory 영역 SGA (System Global Area) Buffer Cache Shared Pool In-Memory New In-Memory Format 기타 Log Buffer Row Format In- Memory Area Column Format Compress SALES OLTP Oracle Database With In-Memory Option Analytics 3

BI 구성도 원천시스템 DW OLAP 기간계시스템 공통 고객 CDC ETL ODS 영역 ODS DW 영역 DW BI CEO/Director 판매 회계 DM 영역 상품 제품 고객 회계 Power User 정보시스템 판매 상품 제품 경영관리 경영정보???? Reporting Conmon User 4

테스트목표 Oracle 12c In-Memory 옵션을적용한성능확인 3 rd Party BI 솔루션을적용한성능확인 In-Memory area 의압축저장용량확인 협력 DB 서비스사업부 BI 사업부 5

테스트환경구성 Oracle Database Server 2x Server Node CPU Memory DISK OS Ver Oracle Ver 2x E5-2697 v2 12-core 2.7 Ghz 256GB(16x 16GB) 2x 2.5 10K 600GB SASs Oracle Linux Server release 5.11 12.1.0.2.4 EE (64bit) 1x Storage Node Oracle Database Appliance X4-2 성능측정 Disk 4x 2.5 200GB SSDs 20x 2.5 10K 900GB SAS HDDs TPC-H script 로성능테스트 Tableau BI 솔루션으로성능테스트 두가지상황에따른압축률비교 TPC : Transaction Processing Performance Council 6

TPCH 수행시나리오 Memory Memory 2 3 Customer Row Format Custome r 1 Customer Column Format 절차내용 1 2 3 TPC-H 에서제공하는테이블 (8 개 ) 및인덱스생성 데이터 (100GB) 를 Oracle DB 에적재 TPC-H 에서제공하는 22 개쿼리를전통적인방식으로 Select 시간측정 TPC-H 에서제공하는 22 개쿼리를 In-Memory 방식으로 Select 시간측정 7

TPCH 수행결과 ( 자동병렬 ) Auto DOP(Degree of Parallelism) 환경 평균 : 22.3 배최대 : 191.1 배 구분 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Oracle 12c 27.93 15.61 57.36 37.49 38.39 28.76 39.75 41.01 51.41 0.01 8.04 39.09 11.51 29.55 31.89 4.61 29.30 4.03 29.72 38.39 8.38 12.36 12c In-Memory Opti on 9.43 9.02 19.81 3.32 4.47 0.15 4.50 2.18 9.19 0.01 0.79 2.83 7.06 0.67 0.79 2.10 0.72 10.95 0.50 2.34 7.26 1.94 비율 3.0 1.7 2.9 11.3 8.6 191.7 8.8 18.8 5.6 1.0 10.2 13.8 1.6 44.4 40.6 2.2 41.0 0.4 59.4 16.4 1.2 6.4 8

TPCH 수행결과 (24 병렬 ) Parallel 24 환경 평균 : 19.5 배최대 : 142.3 배 구분 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Oracle 12c 37.03 10.74 64.71 50.09 50.33 33.09 51.17 53.75 63.00 52.64 8.67 49.14 19.14 38.51 36.44 5.13 38.69 44.02 40.32 42.51 22.63 16.14 12c In-Memory Opti on 17.64 8.99 21.20 4.10 7.99 0.23 4.58 2.65 12.65 5.75 0.63 3.55 17.27 0.96 1.19 2.85 1.04 19.99 0.79 2.46 11.12 3.39 비율 2.1 1.2 3.1 12.2 6.3 142.3 11.2 20.3 5.0 9.2 13.8 13.9 1.1 40.2 30.7 1.8 37.2 2.2 51.2 17.3 2.0 4.8 9

BI 솔루션시나리오 Data Source BI 솔루션 End-User 2 Row Format BI 솔루션 Repository BI 솔루션 Desktop (Windows, Mac) 1 Live Column Format BI 솔루션 Server (Windows) 분석사용자 Web Browser 3 BI 솔루션 Data Extract 4 BI 솔루션 Extract Storage Database 일반사용자 절차내용 1 2 3 4 테이블및인덱스생성후데이터 (100GB) 를 Oracle DB에적재쿼리를전통적인방식으로 BI 솔루션화면조회속도측정쿼리를 In-Memory option 방식으로 BI 솔루션화면조회속도측정데이터를 BI Extract를수행후 BI 솔루션화면조회속도측정 10

BI 솔루션 Extract BI 솔루션연결방식의이해 - Live Connection 대상 DBMS 에직접연결하여바로조회 Fast DBMS Small DATA 장점 : 실시간데이터반영 단점 : 대용량데이터조회속도저하 - Extract Slow DBMS Large DATA 대상 DBMS 에서데이터를미리추출생성 장점 : 빠른조회속도 단점 : 추출시간소요, 실시간조회어려움 11

BI 수행결과 ( 시계열분석화면조회 ) 시나리오 1 : 전체 1.6 억건데이터를대상으로월별, STORE_NM 별 3 개의 FACT 의시계열분석화면조회 Test 결과 방식 시간 ( 초 ) Disc 60 In-Memory 31 의견 << 화면 >> 대용량데이터에대해필터없이집계하는경우 In-Memory 방식이 2 배효과적임 12

BI 수행결과 ( 연령 / 상품별구매금액조회 ) 시나리오 2 : 1 개의계산된차원과 2 개의차원및 1 개의측정값으로화면조회 Test 결과 방식 시간 ( 초 ) Disc 64 In-Memory 10 의견 << 화면 >> 2 개월에대해필터링된데이터에서는 6 배이상의속도개선을보임. 13

BI 수행결과 ( 대시보드조회 ) 시나리오 3 : 3 개의화면으로대시보드를구성한후월필터로 2 개월치데이터를조회 (3 개의쿼리동시실행 ) Test 결과 방식시간 ( 초 ) Disc 152 In-Memory 17 의견 << 화면 >> 대시보드화면에서는 3 개의쿼리가동시에실행되고 In- Memory 방식이 9 배가량성능향상을보임. 14

In-Memory 압축률 (TPC) 최대 2.6 배 TABLE 데이터건수 Disk Size (GB) For Query Low In-Memory Size(GB) 압축률 ( 배 ) In-Memory Size(GB) For Query High 압축률 ( 배 ) CUSTOMER 15,000,000 58.62 29.37 2.0 22.73 2.6 LINEITEM 414,319,773 18.72 14.05 1.3 11.00 1.7 NATION 25 12.76 11.68 1.1 11.26 1.1 ORDERS 150,000,000 2.94 1.35 2.2 1.17 2.5 PART 20,000,000 2.69 2.42 1.1 2.09 1.3 PARTSUPP 80,000,000 0.16 0.16 1.1 0.13 1.2 REGION 5 0.00 0.00 0.1 0.00 0.1 SUPPLIER 1,000,000 0.00 0.00 0.1 0.00 0.1 15

In-Memory 압축률 (BI) 최대 15 배 TABLE 데이터건수 Disk Size (GB) For Query Low In-Memory Size(GB) 압축률 ( 배 ) In-Memory Size(GB) For Query High 압축률 ( 배 ) SALES_PART 169,545,583 116.30 10.34 11.3 7.80 14.9 CUSTOMER 9,615,996 0.78 0.14 5.4 0.14 5.4 PRODUCT 14,837 0.00 0.00 2.7 0.00 2.7 16

Oracle In-Memory 활용 Oracle In-Memory 활용 Low Database에 In-Memory option 추가구성 Big Data 사용시 In-Memory option 추가구성 BI Extract 성능개선시 In-Memory option 추가구성 실시간비정형분석 BI 솔루션 Desktop DW 실시간쿼리 일배치추출 BI 솔루션 Extract 실시간정형리포트웹브라우저 BI 솔루션 Extract In-memory query BI 솔루션 Server 빠른정형리포트웹브라우저 17

BI 와 Oracle In-Memory 연계 방대해지는기업데이터 BI 솔루션의복잡한조건에 의한성능문제 Oracle In- Memory BI Solution 성능개선을위한고가의비용 BI 의전처리시간의증가 18

Tableau ASFU 승인예정 Tableau BI 솔루션에특화하여 Oracle 12c 를사용할수있는 ASFU 승인예정 ASFU : Application Specific Full Use License 차세대 BI Solution 선두주자 19

Tableau 김용진부장 비아이씨엔에스

Oracle 12c for Analytics

In-Memory DB 의효용성 Oracle 12c In-Memory Option 은 BI 시스템으로사용될때최고의효용성이있습니다. BI 시스템의요구사항 대용량의 Data 집계 Query 수행 빈번한 Query 에대한 조회속도보장 Real Time or near Real Time 조회가능 Disk DB의한계 대용량조회시속도저하 사전집계테이블관리 Resource Real time 조회불가 결론은 Oracle 12c In-Memory Option 사전집계테이블없 이대용량집계수행 Real Time 데이터처리 Real Time 데이터조회 Appliance 장비대비 저렴

BI Trends 최신의 BI Trend 는속도뿐만아니라 Data Visualization, Big Data, 통계 ( 예측 ) 분석까지그영역이확대되고있습니다. Phase 1 Phase 2 Phase 3 데이터수집 Data Cleaning Data Warehouse 데이터사용 데이터공유및 협업 Data 시각화 Big Data 분석 통계분석

What is Tableau? - User-Driven Enterprise BI - Data Visualization - Work with a variety of Data - Interactive Dashboard Design - Big Data Analytics - Agile Project Management

Tableau Demo

감사합니다.