2014 데이터그랜드컨퍼런스 ( 개인및거래정보데이터아카이브솔루션 ) 2014. 9. 30 박희선대표 ( 주 ) 데이터웍스
주요내용 데이터거버넌스 & 컴플라이언스 RainStor 솔루션소개 RainStor 적용사례 요약 / 결론 DEMO - 부스
데이터거버넌스 & 컴플라이언스 국내개인및거래정보보관관련규정 전통적인아카이브접근방식
데이터거버넌스 & 컴플라이언스 데이터거버넌스 데이터거버넌스 (Data governance) 는기업의전사데이터의일관성및보안성그리고 데이터품질유지를위한사람, 프로세스그리고기술을포함하는정책또는전략의통칭 필요성 데이터보안성강화 데이터 / 정보의품질강화 중복및불필요한데이터최소화 데이터관련불필요한재작업최소화 정보생산성향상을위한프로세스정립 출처 : www.ovum.com
데이터거버넌스 & 컴플라이언스 컴플라이언스 컴플라이언스 (Compliance) 는법규및규정에대한준수 / 준법감시 / 내부통제등의 의미로지역별 ( 국가별 ), 산업별그리고형태별로다양한규정이존재함 다양한컴플라이언스타입존재 산업별 (By Industry Sector) 지역별 (By Geography) 데이터 / 정보타입별 (By Data/Information Type) 용도별 (By Usage) 시대별 (Timeframe) 출처 : www.ovum.com
컴플라이언스사일로서버존재 다양한이해당사자 / 외부관계자들에의한복수의컴플라이언스사일로가만들어짐 * 사일로 (silo): 격리된단위데이터저장소를의미함 최고경영층 사업본부경영층 CIO IT부서 법무부서 재무부서 데이터거버넌스 리스크관리자 Sybase MSSQL Oracle MySQL File DB2 통합컴플라이언스아카이브시스템 한국 : 금융거래법 22 조및금융거래시행령신용정보의이용및보호에관한법률개인정보보호법 미국 : Securities & Exchange Commission (SEC) Commodity Futures Trading Commission (CFTC)[157] Federal Reserve System ( Fed ) Federal Deposit Insurance Corporation (FDIC) Financial Industry Regulation Authority (FINRA) 영국 : Financial Conduct Authority (FCA) [154] Prudential Regulation Authority (PRA) [155] Panel on Takeovers and Merges (PANNAL) [156] 대부분의국가에서컴플라이언스규정준수요구는계속엄격하게강화되고있음 출처 : www.ovum.com
컴플라이언스데이터라이프사이클 데이터는거버넌스와컴플라이언스의중심 대상소스데이터 데이터수집 (000 s 소스 ) 정합성 Integrity 데이터유지 Retain 보안 Secure 변형금지 Immutable 진화 Evolve 쿼리 Query 파기 Dispose Compliance Data Life Cycle Management(DLM) 출처 : www.ovum.com
국내개인및거래정보보관관련규정 개인정보보유와관련된법령 금융거래정보보관연한 개인정보보호법 신용정보의이용및보호에관한법률식별정보 5 년후파기예외규정 전자금융거래법제 22 조 / 시행령전자금융거래정보 5 년 자본시장과금융투자업에관한법률및시행령금융투자매매자료 10 년 제 24 조고유식별정보의처리제한고유식별정보가분실. 도난. 유출. 변조또는훼손방지를위하여암호화등안전성확보에필요한조치를하여야한다. 제 29 조안전조치의무개인정보가분실. 도난. 유출. 변조또는훼손되지아니하도록내부관리계획수립. 접속기록보관등안전성조치를위하여기술적. 관리적및물리적조치를취해야한다. 개인정보파기및보관관련금융권공통기준 ( 안 ) 1 단계보안조치 2 단계보안조치 삭제 별도 Table 관리 영업조직접근제한 외부영업목적사용제한 법령이행, 고객보호등을위해불가피한정보만보관 외부차단별도 DB 로보관 제한된담당자만접근 모든정보를암호화 거래종료 3개월예외적인경우 5년경과출처 : 금융위원회
전통적인 DB 기반의컴플라이언스문제 전통적인 DB 에의한접근방식에의한컴플라이언스아카이브는충분하지않다. Relational Database Management Systems (e.g. Oracle) Not Scalable. No Compliance (Retention / Disposition) Data Warehouse Analytical Systems (e.g. Teradata, Netezza, SybaseIQ) Costly to Scale. No Compliance. Offline Tape Drivers (e.g. In-house 또는 Outsourced) Legacy / MainFrame Systems (Legacy file formats) Cannot Query. Very Slow. Error-prone. Costly. Difficult to integrate. Non-standard
RainStor 소개 RainStor 기능 RainStor 특성 RainStor 와 Hadoop ecosystem RainStor 적용사례
RainStor Proven Solution RainStor 는통합온라인컴플라이언스데이터아카이브의업계선두기업입니다.
RainStor 가트너매직쿼드런트 구조화된데이터아카이브및어플리케이션리타이어먼트부분 Gartner Magic Quadrant " 데이터통합은기업정보인프라의핵심이 다. 원활한데이터공유를추구하는기업들은빠른 ROI 요구, 통합패턴, 비용및모델의최적화, 데이터관리프로그램을통한시너지효과창출등의측면에서유연한기술력을가진툴을선호하기시작했다. Gartner RainStor는업계최고의데이터압축스토리지플랫폼으로서데이터웨어하우스및하둡의통합그리고대용량컴플라이언스데이터아카이브환경에특히적합하다. Gartner
RainStor Product Milestones RainStor 4 (Compliance) Cloud Enabled RainStor 4.5 Machine Data / Big Data RainStor 5 Native HDFS (SQL) RainStor 5.5 Security & Search RainStor 6.0 Hadoop 2.0 Support Complex Query 1 st GA 2002 2002 2008 2009 2010 2011 2012 2013 2014
RainStor Solutions Big Data 와 Active Archive 구축필요성은동시에제기되었다. Network APPs EDW Tape 통합데이터아카이브 RainStor 통합컴플라이언스솔루션은시계열성또는빅데이터에서비즈니스가치를찾아내고컴플라이언스규정의준수를가능하게한다.
RainStor Solutions Source App DB/EDW Source App DB/EDW SEC 17a-4 Dodd Frank WORM Storage Active Archive 비즈니스및컴플라이언스담당자들의요구사항에부합 데이터오프로드 : File/DB/EDW 또는 Tape 보안 : 빌트 - 인기능 (LDAP / Kerberos / Encryption / Masking) 거버넌스 : 원본데이터유지기능 / Immutable / Audit Trail 고성능쿼리 : 상용쿼리툴, SQL, Hadoop 분석지원
거버넌스 & 컴플라이언스데이터보유정책 거버넌스 : 위. 변조방지 접근기록관리 레코드단위삭제 룰 (rule) 기반의데이터파기기능 컴플라이언스법규및규정지원 데이터보호 (Hadoop, DAS, NAS) 지금부터 6 개월간해당데이터를보유하다가자동으로파기하시오. 컴플라이언스 : EMC WORM 스토리지 / SEC 규정준수 룰 (rule) 기반의데이터보유정책기능 데이터값에의한데이터보유기간설정 SELECT FROM RainStor 는모두만족 data(month, 6 transaction_ts) rs_retention_date transactions; 트랜잭션이처리된날짜를기준으로해당레코드를 6 개월간만보유했다가파기하시오.
RainStor 기능소개 RainStor 는 Data 수집부터거버넌스까지전체라이프사이클을관리한다. DB/DW Source Teradata, Sybase IQ, Oracle, Netezza
RainStor 특징 Data Load Network Data EDW / RDBMS WAP Log Files Offline Tape 통합데이터아카이브 병렬로드 (core, node) 가기본 파일타입 : CSV, BCP, XML 기존툴적용 : ESB, ETL, Utilities 데이터타입 : Machine data/log & DW 로드방식 : Bulk, continuous, landing (auto data) area 국내 SQL Canvas ILM과연동 자동화가능
RainStor 특징 Data Compress 압축레벨 1. Field(Value) 2. Pattern 3. Algorithmic 4. Byte Source: Ratio vs. Raw RainStor Benchmarks using customer data(2012)
RainStor 특징 Data Compress Value & Pattern De-Duplication 기술 압축레벨 1. Field(Value) 2. Pattern 3. Algorithmic 4. Byte RainStor 월드특허
RainStor 특징 Data Store 메타데이터기반의액세스 Encapsulated 고성능압축오브젝트 스키마와독립적 다중구조화된데이터지원 RainStor 월드특허 파티션형태로저장
RainStor 특징 Query Speed Query Test: 하루평균 15 억건이거래되는 symbol 데이터로테스트진행 ( 미국의주요금융서비스데이터, 2011)
RainStor 특징 Query Speed
RainStor 특징 Data Visualization 고성능 Text 검색지원 ANSI SQL-92, 2003 표준 ODBC,JDBC 지원 상용 BI Tool 연동지원 하둡 PIG 및 HIVE 쿼리지원 Cross-Schema Query Point-In-time hist. view Ad-Hoc Query BI Analytics Document Query Hadoop Tools
RainStor 특징 쿼리및관리툴 RainStor Archive App HUE 기반의쿼리및관리 / 모니터링툴 *HUE(Hadoop User Experience) : Hadoop Data 분석을위한 Web 인터페이스
RainStor 특징 Security Perfect 불변성데이터보관 (WORM) Immutable 스토리지에사용이가능한유일한 DB 데이터변경이력관리 접근내역관리 Adapt 크로스스키마지원 데이터임포트시점별쿼리지원 스키마독립적 RainStor 월드특허 Retain 정책기반의데이터유지및파기 ( 파티션또는레코드단위 ) 컴플라이언스룰 (rule) 기반의데이터유지및분석 레코드별 Legal-hold 부여 Encryption 및 Column Masking 지원 User 및 Role 관리
RainStor 특징 Security Data Encryption Data Masking Views Tamper-proofing Audit Trail Record-level Delete Data Disposition Kerberos Authentication Authorization LDAP/Active Directory Linux PAM Support WORM Storage Support
RainStor 특징 - 운영모델 RDR RDA
RainStor + Hadoop ecosystem Hadoop2 YARN Hcatalog Ambari Archive App
RainStor 기능 ( 요약 ) 구분 Load Query Scale Store Security Admin RainStor 기능 고성능병렬 bcp, xml 데이터적재 (load) 및추출 (export) 자동적인데이터적재를위한랜딩 (Landing area) 기능 상용 ETL 도구또는유사한솔루션적용가능 TERADATA 와 native 연동지원 (RainStor FastConnect, FastForward) 국산데이터이관솔루션인 SQL Canvas(Oracle, Sybase, DB2) 와연동지원 ODBC/JDBC 와같은표준인터페이스방식지원 상용클라이언트 BI/ 쿼리툴및 RainStor 자체쿼리도구사용 CPU/core 간, node 간고성능병렬쿼리지원 ANSI-SQL 92, Oracle, MSSQL 쿼리및 SQL 온하둡 : Pig, Hive 분석제공 Schema Evolution(Cross Schema) 및 Point-in-time 쿼리지원 단일 node 에서클러스터또는하둡기반의대규모 node 까지유연한확장지원 대용량데이터증가 / 보유시에도동일한쿼리및로드성능유지 상용서버또는저가형일반모든서버및 OS 에서운용가능 다양한하둡빅데이터에코솔루션 (Apache, Cloudera 등 ) 들과유연한연동지원 최고의압축저장알고리즘탑재 ( 데이터유형별 40 배까지압축 ) 저가형디스크및일반범용서버에서운영지원 다양한저장방식지원 ( 예, NFS, SAN, DAS, CAS, NAS, Hadoop HDFS) 하둡 HDFS 적용시데이터리플리카특성에의한데이터폭발방지 상용 DBMS 정도수준의 User 및 Role 관리기능 Data Encryption( 암호화 ) 및민감한칼럼에대한 Masking 기능 모든액세스및접근기록유지기능 변경이불가능한 CAS(Content Addressable Storage) 을지원하는유일한 DBMS 데이터수정이원천적으로불가능 ( 예, Update 미지원 ) 간단한환경설정및자동화된운용환경 (1 주일이내업무적용가능 ) 데이터레코드별보유기간사전정의및자동폐기등관리비용절약 대용량데이터에대한 full/ 인크리멘탈방식의백업지원 클러스터및하둡 HDFS 인프라적용으로자동 Fail Over 구성 데이터압축및고성능쿼리지원으로하둡구성시 H/W node 수감축가능
Case Study 월스트리트투자은행 EMC WORM Storage 온라인트랜잭션시계열성데이터데이터폭발 Hadoop 사용 ~60TB 시계열성데이터로드 40x 압축고성능쿼리 Hadoop 인프라운용 10,000 사용자 10 여년운용경험 Good ROI Hadoop 클러스터 (Cloudera )/Dell 서버사용 키아카이브기능에대한비즈니스부서에서검증 (Sales, Legal, Finance, Marketing, Customer Server) 정책기반의데이터아카이브 온라인으로데이터보유 쿼리가능 Hadoop 을실비즈니스에사용 고성능, 예측가능한확장성, 저비용
Case Study 저비용 EDW 운용 Enterprise DW TERADATA Cloudrera FastConnect FastForward 60TB+ 고객애플리케이션 Oracle DB IBM DW s 40+ 개 APPs 에서 ~2TB/1 일데이터를 Archive 로로드 최적의압축고성능쿼리 WORM 40+ 다양한어플리케이션시스템 보안이필요한민감한데이터의보유 고성능병렬로드 효율적인 Archive 시스템관리를위하여 GUI 기반의모니터링및관리툴제작 SEC 컴플라이언스 벌금및과징금제외 EMC WORM 스토리지사용 SQL 쿼리지원자동 Data Load Connector 지원 고성능응답시간 (DW 에필적한만큼 ) 고성능압축및저비용
Case Study - 통합로그관리 Real Time Monitoring Big Data Analysis DB 연동 ESM RDBMS TMS Data Integration Big Data Storage - ODBC - JDBC Near Real Time Application System Agent 연동 Log Data Log Repository Big Data Online Archiving RainStor (Big Data ILM) - Data Retention - 40X Compress - Encryption - Data Masking - ODBC/JDBC Query - Audit Trail Network Log Data Remote BCP FTP Application Log Data
컴플라이언스아카이브구축전략 ( 결론 ) 통합된컴플라이언스아카이브 DB 구축 전사적으로유사한시스템을통합하여관리효율및보안성강화 장기적으로통합된컴플라이언스기반인프라준비필요 컴플라이언스아카이브에특화된솔루션도입 보안성강화및비용 (H/W, S/W, 인건비등 ) 절감을위한전략필요 룰 (rule) 기반의데이터보유및파기기능등 관리의유연성제공 태생적접속기록 (Audit Trail) 유지필요 WORM 스토리지적용가능등, 불변의데이터보유강화 감독기관에서요구하는규정준수노력 컴플라이언스규정을준수하려는노력 ( 투자 ) 이모두보존됨 최근정보유출판례에서물리적실투자에관한노력이인정됨 신기술기반의솔루션도입검토 하둡등, 빅데이터기반의인프라활용필요 비용절감 저비용의일반서버, OS 그리고디스크시스템적용가능 전통적인 DBMS는요구사항이다른다양한업무를지원하기어려움
Q/A & Demo( 전시부스 ) 감사합니다.