Embedding(Repository) DBMS부터대용량데이터검색및분석처리까지최선의선택 PetaSQL Column-Stored DBMS R1 Http://
OLTP vs. OLAP Old technology? No Column-Store DBMS (Disk, In-Memory) : Online Analytic Hybrid(Row + Column)-Store DBMS (Disk, In-Memory) Row-Store DBMS (Disk, In-Memory) : Online Transaction Image Source : www.imagingnotes.com
Gartner Hype Cycle for Big Data NoSQL Database Management Systems Column-Store DBMS 빅데이터마켓에서 Column-Store DBMS 의시장주도 Louis Columbus at Forbes.com surveys key big data forecasts and market size estimates, including Gartner s recent Hype Cycle for Big Data. The winning technologies in the immediate future? Column-Store DBMS, Cloud Computing, In-Memory Database Management Systems will be the three most transformational technologies in the next five years. Image Source : Gartner
Big Data NoSQL Database Market Big Data SQL Database Market NoSQL vs. SQL 시장예측 Database Security and Management Of WAREVALLEY Big Data SQL Database Market Big Data NoSQL Database Market Image Source : Wikibon
Only 5%?
모니터링이나보안솔루션에탑재되는 Embedding(Repository) DBMS 에대한개발자생각 1. Data Size: 작은공간차지했으면.. 2. Data 생성및검색속도 : 데이터검색속도가더욱빨라야.. 리포트가빨리나와야하는데.. 3. OLTP 인가 OLAP 인가 : 빠른데이터처리및검색이지원되면아무거나.. 4. 보안무결성 : 정책이나로그데이터가임의로변조되거나공격당하면곤란한데.. 5. SQL 품질 : 튜닝이나컨설팅받지않고 SQL 품질에상관없이데이터검색이빠르면.. 6. 손쉬운사용 : 쉽게설치하고, 백업받고, 복구할수있으면.. 7. 비용 : 싸고좋은것..
대표적인글로벌 OLAP DBMS 의비교 (MPP Data Warehouse Platform 구조부문비교 ) Source : David Portnoy and Datalytx, Inc.
대표적인글로벌 OLAP DBMS 의비교 (MPP Data Warehouse Platform 비용부문비교 ) Source : David Portnoy and Datalytx, Inc.
Embedding(Repository) DBMS 부터대용량데이터검색및분석처리까지최선의선택 ( 편의성, 보안성, TCO 절감 ) PetaSQL Column-Stored DBMS R1 Http://
1. 제품종류 : RDBMS (Relational Database Management System) Software 2. 제품사용목적 : 소규모부터대용량의데이터가저장관리되는소프트웨어 3. 제품명칭의의미 Peta(Peta Byte, 페타바이트 ) + SQL ( 데이터관리및검색표준언어 ) 데이터검색속도가빠르고, 데이터분석능력에우수 4. 제품사용용도 : 범용적인 DBMS 혹은특정솔루션에 Embedding 되는형태 5. 참고 : 보안솔루션, 모니터링솔루션, 데이터분석솔루션의경우, 자체데이터저장및관리를위해 Oracle, Mysql, MariaDB 등일반적인 Row 저장기반인 OLTP RDBMS 를사용하는경우, 데이터가적재량이많아지면서데이터파일 Size 에대한관리부담및검색속도의지연현상이자주발생하여이를해결하기위한최적의 RDBMS 솔루션임.
1. 표준 SQL 언어지원 : SQL 2003 이상지원 (DDL, DML, DCL, Query) 2. 프로그래밍 SQL 지원 : Procedure, Function, Trigger, Variables, Flow of Control 3. Application 인터페이스 : JDBC / ODBC / PHP / Perl / Phython / C / C++ 4. 데이터기본구조 : Schema-Table-View-Column-Index 5. 지원데이터타입 : CHAR, VARCHAR, TEXT, INT, BLOB, CLOB, URL 등기본데이터타입부터사용자정의데이터타입까지지원 6. 트랜잭션관리 : Lock, Start Transaction, Commit, Rollback, Auto-Commit, Bulk In-Out 7. 런타임처리 : Explain, Trace, Debug, Prepare 8. 설치가능플랫폼 64-bit (X86_64) Windows (Server 2003, 2008, Vista, Windows 7, 8) FreeBSD Platform / Linux / UNIX
1. 병렬처리 : Multi-Processor, Multi-Core 의자원활용을극대화 2. 실시간복제지원 : Master 노드와 Slave 노드간의실시간데이터 Replication 3. 백업및복구 : 임시가용공간이필요없는압축및암호화백업및복구 4. 운영관리 : Text 기반의 PetaSQL Client Tool 및 Orange for PetaSQL(Q3Y14 예정 ) 5. 데이터위. 변조방지 : 권한없는사용자에게 Read-Only Table 속성부여 ( 진행중 ) 6. PetaSQL 접근인증및제어 : 기본적인계정관리를포함하여인증된프로세스만접근을허용, 데이터접근및입출력행위기록및통제 ( 진행중 ) 7. 데이터마스킹및암호화기능 : 기밀정보설정및비인가사용자에게특정칼럼데이터를 Masking(***) 혹은암호화하여전송 ( 진행중 ) 보안솔루션혹은모니터링솔루션의정책및로그기록용 DB 로서최적의기능제공
Column Store 방식은디스크에서추출하는데이터양을줄임으로써디스크입출력을최소화하고병목현상을방지하여검색속도를대폭향상 항목 방식 Row Store 방식 Column Store 방식 장점데이터추가 변경용이데이터검색용이 단점 데이터검색시불필요한데이터조회 데이터추가 변경느림 압축률낮음 (60% 이하 ) 높음 (90% 이상 ) 검색속도 주요사용처 대표 DBMS 느림 OLTP(OnLine Transaction Processing) 분야에주로사용하며, 트랜잭션지향의업무처리에활용 Oracle, MS SQL, Mysql, Altibase, Tibero, Cubrid 빠름 OLAP(OnLine Analytical Processing) 분야에주로사용하며, 데이터를빠르게검색 분석하는업무처리에활용 Oracle Exadata, Netezza, Sybase IQ, PetaSQL
OLTP (Row 저장기반 ) vs. OLAP (Column 저장기반 ) 실시간데이터저장, 변경, 삭제 vs. 실시간데이터저장, 검색, 분석 Oracle, MS SQL, Mysql vs. Oracle Exadata, Sybase IQ, Netezza, SAP HANA Altibase, Tibero, Cubrid, Cairos vs. PetaSQL In-Memory ( 혹은 Hybrid) vs. DISK 기반 NoSQL 기반 vs. SQL 기반 Appliance 방식 vs. Software 방식
Column 저장방식을통해, 효율적압축을제공, 스토리지사용량최소화 DB 보안감사로그저장시, Mysql 대비약 1/10 수준의저장공간사용 DB 보안솔루션의 DBMS 사용예 Chakra V3.1(Mysql 을사용 ) Chakra MAX V2.0 (PetaSQL 을사용 ) 50만건 1,00만건 500만건 1,000만건 5,000만건 비고 Chakra V3.1 (Mysql) 402 804 4,096 8,192 40,960 Max V2.0 (PetaSQL) 54 104 491 1,135 4,616 고객사 A 디스크사용량 Chakra V3.1 (Mysql) 385 797 3,890 7,716 38,619 Max V2.0 (PetaSQL) 52 74 388 844 4,338 고객사 B 디스크사용량
Column 저장방식의데이터입출력속도단점을극복 Mysql 대비데이터생성 (Insert) 속도평균 300% 우월 16.9 16.1 16.1 15.5 15.6 12.4 13.2 13.5 13.9 12.1 MySQL PetaSQL 4.8 4.6 4.7 3.9 4.0 4.1 4.1 4.2 4.5 4.9 단위 : 초 180 byte 길이, 20 만개레코드생성시최저, 최고값제외후 10 회에대한평균값산출
Column 저장방식을통해, 탁월한데이터검색속도실현 Mysql 대비데이터검색 (Select) 속도평균 15 배 ~160 배우월 ( 단위 - 초 ) 500,000 건 1,000,000 건 5,000,000 건 10,000,000 건 50,000,000 건 Chakra Max v1.3 (Mysql 사용 ) 19.2 47.2 379 1,758 N/A 약 20,880 Chakra Max v2.0 (PetaSQL 사용 ) 1.3 2.8 12.8 24.0 130 20 만 ~5 천만개로그검색시최저, 최고값제외후 10 회에대한평균값산출
적용사례 : 게임사 A 온라인, 스마트폰용게임 30 여가지게임을서비스하는업체로 1 일 SQL 전송량이 20 억건에육박총 43 개 DB 운영중이며 PetaSQL 이탑재된 Chakra Max 를이용해모든 43 개 DB 작업내용기록, 한달평균 6TB 기록 18 16 16 16 15 15 2.3 2.3 2.2 2.2 2.1 2.1 17 억 SQL/Day 2.5 억Session/Day 2.4 Quadcore, 8GM Linux 64bit 환경에서평균 CPU Usage 5~10% 에서안정적으로운영중 Day1 Day2 Day3 Day4 Day5 Day6 Day7 SQL 로그량 16 억 16 억 15 억 15 억 15 억 18 억 17 억 Disk사용량 233 GB 240 GB 223 GB 223 GB 260 GB 266 GB 281 GB Session SESS=2~3만 SESS=2~3만 SES<2만 SESS<2만 SESS<2만 SESS<2만 SESS<2만 packet(/ 분 ) 2억3천 2억3천 2.2 억 2.2 억 2.1 억 2.1 억 2.5 억
적용사례 : 화장품기업 A 국내최대화장품, 뷰티업계로화장품, 뷰티, 생활용품, 건강보조식품등다양한제품라인업을보유 10 여개계열브랜드 ERP, POS 등을관리하는 50 여개 DBMS 를 PetaSQL 이탑재된 Chakra Max 를이용하여 1 일최대 3.2 억개 SQL 작업로그기록 2 3.2 2.9 3.6 3.5 2.9 3 억 SQL/Day 2.4 Quadcore, 16GM Linux 64bit 환경에서평균 CPU Usage 5~10% 에서안정적으로운영중 Day1 Day2 Day3 Day4 Day5 Day6 Day7 SQL량 2 억 3.2 억 2.9 억 3.6 억 3.5 억 2.9 억 3 억 Disk사용량 Na na Na na Na Na Na Session Na Na Na Na Na Na Na packet(/ 분 ) na Na na Na na na na
성능검증 : TPC-H 벤치마크 ( OLAP 용 Sybase IQ DBMS 와성능비교 응답시간 ) 테스트환경 CPU RAM OS Database size Intel core i5-3570 @ 3.4GHz 8Gbyte Windows 7 64bit 10Gbyte 측정시간단위 Second( 초 ) DB version Sybase IQ 15 PetaSQL R1 sybase IQ 15.2 11.17.17 성능검증 : TPC-H 벤치마크 ( OLTP 용 Oracle DBMS 와성능비교 - 응답시간 ) 테스트환경 CPU RAM OS Database size Intel core i5-3570 @ 3.4GHz 8Gbyte Windows 7 64bit 10Gbyte 측정시간단위 Second( 초 ) DB version Oracle PetaSQL R1 Oracle 12C 11.17.17
성능검증 : TPC-H 벤치마크 ( PetaSQL, Sybase IQ, Oracle 응답시간 )
성능검증 (TPC-H) : 오픈소스 DBMS 와의성능비교 (1 억건의데이터검색에대한응답시간 (sec)) 쿼리타입 Maria Infini Toku PetaSQL Monet GP(Qlz) GP(zlib) MySQL S(01) 123.92 0.01 66.54 0.00 0.00 12.21 6.21 0.01 S(02) 109.28 134.33 58.76 0.66 3.65 55.13 46.42 159.04 S(03) 38.51 75.41 59.64 1.00 6.02 55.40 42.95 72.43 S(04) 69.03 91.40 58.33 2.70 7.75 17.00 14.07 111.79 S(05) 29.73 22.46 58.92 0.90 5.90 11.40 17.64 24.14 S(06) 99.62 39.91 57.90 1.20 6.22 54.93 43.37 42.32 S(07) 75.80 45.95 57.97 4.40 10.40 6484.42 1203.10 47.47 S(08) 71.98 42.84 59.19 8.50 13.58 18.24 14.27 163.05 S(09) 57.96 100.80 58.88 5.10 10.19 71.01 86.26 74.54 S(10) 88.53 26.36 59.42 0.17 3.16 13.39 10.46 28.13 S(11) 68.90 26.10 59.30 0.04 2.04 13.90 10.60 27.93 S(12) 34.24 23.68 57.70 0.09 1.99 10.45 12.45 48.11 S(13) 32.87 25.55 60.75 0.44 2.44 7.31 6.16 103.30 S(14) 32.12 25.12 59.94 6.60 11.62 12.79 10.47 26.90 S(15) 28.41 95.32 59.38 3.80 8.87 3.52 3.54 24.41 S(16) 51.97 39.11 59.74 4.00 9.02 34.82 37.90 24.09 CPU Intel Core i7-3820 3.5GH (4 core-> hyper threading 8 core) Memory 16 Gb Disk SATA2 1TB OS CentOS 5.7
적용사례 : DB 접근제어솔루션 Chakra MAX 가트너리포트에등재된전세계 7 대 DB 보안솔루션중의하나인 Chakra MAX 에탑재된사례로, 정책및보안규칙저장, 대용량로그저장및검색, 다양한통계리포트작성에필요한데이터를 PetaSQL 으로실시간으로처리
적용사례 : CCTV 영상보안솔루션 Contents SafOO for CCTV 국내최대시장점유율을확보한 Content SAFOO for CCTV 솔루션은 CCTV 통합관제센터영상정보의외부반출시개인정보보호를위한최적의 CCTV 영상보안솔루션으로콘텐츠를암호화하여보관, 배포함으로써콘텐츠를안전하게보관및유출방지를구현. 각종 CCTV 영상등록및반출정보, 보안규칙, 이력등을 PetaSQL 로관리
Contact us. Seoul Office : 6F, Nuritkum Square R&D Tower, 1605 Sangam-dong, Mapo-gu, Seoul, Korea 121-795 Tel + 82.2.2132.5590 Japan Office : Shinkasumigaseki Bldg 18F., 3-3-2, Kasumigaseki, Chiyoda-ku, Tokyo 100-0013 Tel +81.3.5532.8801 Online Contact : Sales@WareValley.com http://www.warevalley.com WAREVALLEY PetaSQL Http://www.petasql.com Http://