Data Freedom 을위한 Database 최적화전략 AWS 플랫폼서비스와사례중심 2017. 10. 18 구태훈 Database & Big Data Business Development robinkoo@amazon.com
목차 I. Why 왜엔터프라이즈기업을위한클라우드데이터베이스가필요한가? II. What 아마존웹서비스에서검증된사례는무엇이있는가? III. How 어떻게데이터마이그레이션의시작을도와드릴까요? 2
Why Data Freedom? 왜엔터프라이즈기업을위한클라우드데이터베이스가필요한가? 3
기존데이터베이스특징 AUDIT Very Expensive Proprietary Lock-In Punitive Licensing You ve Got Mail! 4
Why Data Freedom? - #1 상용데이터베이스의비용과위험에서독립 지속적으로증가하는독점적인상용데이터베이스의비용과감사에대한위험으로부터독립할수있는방안을제시하고성공적인클라우드환경의적합한대안제시필요 비용 위험 기존독점적인데이터베이스는비용이높고, AWS 에서오픈소스로전환하면비용을 90 % 이상줄일수있음 기존독점적인데이터베이스는위험하고, AWS 에서제공하는데이터베이스로전환은위험을줄일수있음 5
Why Data Freedom? - #2 클라우드환경에적합한데이터베이스선택 클라우드환경의마이크로서비스및서버리스아키텍처에적합한데이터베이스및관련서비스에대한구체적인대안인필요 기존모놀리식아키텍처 마이크로서비스아키텍처 Search Feed Applications API Tracking Data Store Stat Updater Spam 6
Why Data Freedom? - #3 기존데이터관리의문제해결 대부분데이터는자산으로평가받지못하고소모되고있음 7
Why Data Freedom? - #4 신속한빅데이터활용결과생성방안 대부분의기업이빅데이터를저장하고있지만비즈니스결과를생산할수있는활용부족 70% of data generated by customers 80% of data stored 4% of companies use analytics effectively (2) 80% of CEOs thinking data mining and analysis are strategically important (1) 3% prepared for analysis 0.5% being analyzed (1) 2015 PWC CEO Survey; (2) 2013 Bain and Company - The Value of Big Data <0.5% being operationalized 8
Why Data Freedom? - #5 새로운비즈니스과제수행방안 최근 4 차산업혁명의중요한화두인 AI & Machine Learning 기반의다양한새로운비즈니스과제수행을위한클라우드데이터플랫폼필요 이미지패턴분석 음성인식및자연어처리 자율주행자동차 9
고객애플리케이션 개발자도구 보안 & 자격증명및규정준수 CodeCommit OpsWorks Cloud Formation Code Deploy Code Pipeline CloudWatch Config Cloud Trail IAM Directory KMS Amazon Inspector AWS WAF Shield 애플리케이션 모바일 인공지능 API Gateway SQS SWF App Stream Elastic Transcoder SES Cloud Search SNS Mobile Hub Mobile Analytics Cognito Device Farm Machine Learning 데이터베이스 분석 비즈니스생산성 RekognitionPolly RDS DynamoDB ElastiCache RedShift Database Migration Service EMR Kinesis Elastic search QuickSight Data Pipeline WorkSpaces WorkMail WorkDocs Lex 네트워크 컴퓨팅 스토리지및콘텐츠전송 VPC Direct Connect Route 53 EC2 ELB Beanstalk ECS Lambda EBS S3 Glacier Cloud Front Storage Gateway 16 Regions 42 Availability Zones 76 Edge Locations AWS 글로벌인프라 10
AWS 활용 = Building Block 조립
AWS 클라우드아키텍처 사용자요청 도메인 애플리케이션 데이터 Availability Zone 도메인네임 Amazon Route 53 IP 주소 Elastic IP 부하분산 Elastic Load Balancing 글로벌분산 Amazon CloudFront 웹서버 EC2 instance DB 서버 RDS Instance 정적파일 Amazon S3 서비스관리및배포 AWS Elastic Beanstalk 12
AWS 데이터베이스서비스 AWS 는필요워크로드에적합한다양한데이터베이스서비스를제공 Databases to Elevate your Apps Relational Non- Relational & In- Memory Analytics to Engage your Data Inline Data Warehousing Reporting Data Lake Redshift Spectrum RDS Open Source RDS Aurora Commercial DynamoDB & DAX Database Migration Schema Conversion Migration for DB Freedom ElastiCache EMR Elasticsearch Amazon Service Redshift Lex Polly Rekognition Machine Learning Glue Athena QuickSight Deep Learning, MXNet Amazon AI to Drive the Future 13
AWS 데이터베이스서비스 AWS 는최고의데이터베이스서비스를제공함 DB as a Service AWS not only has the largest adoption of DBaaS, it also offers the widest range of offerings to support analytical, operational, and transactional workloads. AWS s key strengths lay in its dynamic scale, automated administration, flexibility of database offerings, strong security, and high-availability capabilities, which make it a preferred choice for customers 14
AWS 데이터베이스서비스 AWS 는데이터베이스서비스와관련 RDB, Big Data, Analytics, NoSQL 등포괄적인서비스를제공하고있으며다양한관리형데이터베이스서비스를제공함 RDS Aurora Database Migration Service Amazon Redshift EMR Data Pipeline Athena QuickSight Elasticsearch Amazon ML DynamoDB ElastiCache Relational Databases Big Data Big Data Analytics NoSQL & In-Memory 15
AWS 데이터베이스서비스 Commercial Open source Amazon Aurora 16
Data Freedom 의효과 All the advantages of the AWS Cloud No software audits Pay-as-you-go pricing Managed data services AWS Security High availability 17
Data Freedom 의효과 18
What s AWS best practice? 아마존웹서비스에서검증된사례는무엇이있는가? 19
산업별로다수의데이터베이스이전사례 20
#1. FINRA 21
#1. FINRA 가장먼저, 빅데이터어플라이언스에서클라우드기반스텍으로빅데이터애플리케이션을이관함 EMR & S3 를이용한데이터추출, 처리, 저장으로 Data Lake 구성 AWS 의 Hbase OATS 처리및주식시장주문흐름재구성지원 Herd 오픈소스통합데이터카탈로그로모든것을추적 (https://github.com/finraos/herd) Splunk 를기반으로모니터링처리및과금 데이터센터의나머지 RDBMS 지원어플리케이션에대해서 RDS PostgreSQL 로마이그레이션수행 Materialized View 를활용하여어플리케이션간데이터세트를공유하는데이터허브를구축 재작업을최소화하면서업스트림 / 다운스트림클라우드마이그레이션수행 독립적으로어플리케이션마이그레이션수행 22
#1. FINRA 데이터센터의 RDBMS 지원응용프로그램을 Amazon RDS PostgreSQL 로마이그레이션을수행했고, 총 2500 개의대상을마이그레이션을성공적으로수행해서 125 TB 의전체크기로수행함 23
#1. FINRA 허브가다중 AZ 로구성됩니다. KMS 에서나머지암호화지원 SSL 연결 읽기트래픽을오프로드하기위해복제본읽기 24
#2. Trimble Fleet Logistics SaaS 제공업체는데이터웨어하우스및보고를위한비용절감및유연성이필요했음시스템은 1M 차량을추적함 1,000,000 대가넘는운송물류추적하는시스템대상 전체 Oracle, Informatica, Microstrategy 기반데이터인프라를 AWS RDS PostgreSQL 로이관 6 주간 $55,000 금액규모로신속한마이그레이션프로젝트수행완료 AWS Snowball 을이용 2TB 데이터전송, 70 개의마이그레이션인스턴스실행 오라클라이센스관련 6 개월만에 ROI 투자회수달성, 연간 $160 K 비용절감 25
#2. Trimble - Oracle to RDS for PostgreSQL Fleet Logistics SaaS 제공업체는데이터웨어하우스및보고를위한비용절감및유연성이필요했음시스템은 1M 차량을추적함 Before: On Premises Microstrategy BI 전제 Informatica ETL 과 Oracle DW Onvehicle IoT app Fleet Mg mt App Oracle OLTP Informatica ETL Oracle DW 고객은영국과미국의 2 개지역으로나뉩니다. Oracle 라이센스비용을줄이고재해복구를요구함 26
#2. Trimble - Oracle to RDS for PostgreSQL PostgreSQL 은기존 Microstrategy 보고용대시보드와뛰어난호환성을제공했고, On-premise 의 PostgreSQL 으로데이터및절차를변환한다음 PostgreSQL 용 RDS 에데이터를적재함 Migration: BI Regr ess Tool On Premises Oracle OLTP Oracle_fdw PG 9.5 Microstrategy BI Informatica Informatica PG ODBC Export (COPY to file) Oracle DW Postgres_fdw (cut over sync) Snowball export / import Microstra tegy On EC2 PostgreSQL RDS Import (COPY) AWS UK RDS DB instance standby (multi-az) Pre-Migration Temporary Migration Post Migration 제한된네트워크대역폭 - 대량전송을위해 AWS Snowball 사용 최종동기화를위한온라인데이터연결 영국위치먼저 27
#2. Trimble - Oracle to RDS for PostgreSQL Oracle 라이센스절감으로 6 개월만에 ROI 달성 Results: On Premises Oracle OLTP Informatica ETL AWS UK Microstrategy On EC2 영국위치에대해 6 주, $ 55K DB 마이그레이션 다운타임최소화및일관된 UI 로최종사용자의영향최소화 PostgreSQL RDS RDS DB instance standby (multi-az) 2017 에미국으로확산계획 여러개의추가 Oracle DB 마이그레이션계획 28
#3. LogicBay 임대및관리관련솔루션을 Mercedes-Benz Trucking 및 Caterpillar 와같은산업용차량제조업체의 SaaS 제공하는서비스업체 Co-location Hosting Before: Java Web App Java Web App Java Web App Java Web App 이기종데이터베이스사용 - 오라클의대규모고객, MySQL 의소규모고객 Oracle Oracle MySQ L MySQ L 이기종 DB 의관리비용증가및오라클비용문제를해결하지못함 29
#3. LogicBay Phase 1: Replace Oracle and MySQL with PostgreSQL Co-location Hosting Phase 1: Java Web App Java Web App Java Web App Java Web App 단일 DB 플랫폼인 PostgreSQL 로전체마이그레이션수행 Postgre SQL Postgre SQL Postgre SQL Postgre SQL 제품복잡성및비용절감과오라클비용절감 1 년이내에 ROI 회수 30
#3. LogicBay Phase 2: Move to AWS RDS for PostgreSQL Java on EC2 RDS for PostgreS QL RDS Instance Standby AWS US Phase 2: AWS 로 SaaS 플랫폼이전 데이터베이스가 RDS PostgreSQL 로마이그레이션수행 DBA 비용절감, 가동시간향상 손쉬운복제, 페일오버 31
아마존닷컴사례 - 주요 AWS Services Analytics Amazon Redshift, Amazon Machine Learning. Application Services Amazon API Gateway, CloudSearch, Data Pipeline, Elastic Transcoder, SES, SNS, SQS, SWF. Compute EC2, Auto Scaling, EBS, EMR, Lambda. Database DynamoDB, ElastiCache, Kinesis, Kinesis Firehose, RDS. Management Tools CloudTrail, CloudWatch, Trusted Advisor. Mobile Mobile Analytics. Networking Direct Connect, Directory Service, Virtual Private Cloud, Route 53. Security & Identity CloudHSM, IAM, KMS. Storage & Content Delivery CloudFront, S3, Amazon Glacier. 32
국내적용사례 성능개선 게임사사례, Aurora vs. RDS MySQL r3.4xl Aurora 3X faster on r3.4xlarge 33
국내적용사례 마이크로서비스기반모바일서비스마이그레이션 (2016) 마이크로서비스아키텍처로방송서비스진화 (2016) 34
How to Start? 어떻게데이터마이그레이션의시작을도와드릴까요? 35
데이터전략워크샵으로시작 데이터전략워크샵은 AWS 에서어떤데이터플랫폼서비스를통해서클라우드환경에서성공적으로비즈니스가치를실현할수있는지검증할수있는방법을제공함 Data Strategy Workshop Data Freedom Workshop Data Lake Workshop 신규및기존데이터워크로드에대한현황을수집하고진단해서 AWS 의다양한데이터베이스서비스중에최적대안을도출하고이를검증할수있는계획수립 빅데이터를저장, 처리, 분석, 활용할수있는 AWS Data Lake 를기반으로도출할비즈니스결과를조사하고이에필요데이터와서비스대안을도출해서타당성검증을위한계획수립 36
Data Freedom Workshop 신규및기존데이터워크로드에대한현황을수집하고진단해서 AWS 의다양한데이터베이스서비스중에최적대안을도출하고이를검증할수있는계획수립 Data Freedom Workshop PoC 현황진단계획 DF2.0 DF1.0 데이터워크로드진단및분석 DF4.0 데이터워크로드현황조사 DF3.0 POC 계획수립 POC 수행및결과검증 AWS 대안도출 37
38
Data Freedom Workshop AWS 데이터베이스서비스대안선택을위한기준제시 39
Data Freedom Workshop AWS 아키텍처안제시 CloudFront Geo Routing US East User Amazon Route 53 Auto Scaling Amazon S3 ElastiCache Memcached Amazon EC2 Amazon EC2 DynamoDB ElastiCache (Redis Master) Redis Slave RDS DB instance read replica Amazon Redshift Amazon CloudWatch RDS DB Instance Active (Multi-AZ) Availability Zone #1 RDS DB Instance Standby (Multi- AZ) Availability Zone #2 40
Questions Answers 41