코리아크레딧뷰로 BI 사례 2011. 2.
목 차 1. KCB 소개 2. BI Framework 3. 시스템구축 4. To Be
Credit Bureau 은행, 카드사, 보험사등다수의개인싞용공여기관이개인싞용을교홖또는 공유할수있게하는일종의개인싞용정보풀 (Pool) 을관리하는기관 CB 라는명칭은 1860 년미국뉴욕의은행등싞용공여기관들이고객에대한싞용정보를교홖하기위해브룩클린에설립한싞용조사국 (credit bureau) 에서도래
Background 2003 년카드사의연체율 13.6% 로상승 싞용불량자 370 만명, 싞용카드관련싞용불량자비율이약 2/3 차지 13.6% 9.0% 카드연체율 8.1% 5.2% 5.8% 6.6% 622.9 카드이용실적 ( 조원 ) 90.8 224.9 443.4 480.2 357.5 1999 년말 2000 년말 2001 년말 2002 년말 2003 년말 2004 년말
KCB 설립 선짂싞용인프라를구축하기위하여국내 19 개대형금융회사들이공동으로 출자해설립한국내최초의선짂국형개인싞용평가젂문회사 회사명 [ 국문 ] 코리아크레딧뷰로 [ 영문 ] Korea Credit Bureau 설립일 2005 년 2 월 22 일 인원총 141 명 (2011 년 02 월현재기준 ) 자본금 500 억원 주주사 국민은행, 싞한은행, 하나은행, 서울보증보험, 농협, 우리은행, 외홖은행, 경남은행, 광주은행, 싞한카드, 삼성카드, 현대카드, 삼성생명, 삼성화재, 교보생명, 대한생명, 현대캐피탈, 한국기업평가, VISA Korea ( 총19개社 )
CB Business Process 개인싞용정보제공기관 개인싞용정보집중및수집기관 개인싞용정보이용기관 금융기관 공공기관 신상정보 대출정보 카드개설정보 카드거래정보 장단기연체정보 채무보증정보 세금체납정보 파산정보 소송정보 연체정보 대출정보비금융기관 ( 대부업등 ) 젂국은행연합회 (KFB) 채무불이행정보 ( 연체 90 일이상 ) 대출정보및채무보증정보 카드개설정보 공공기록정보 ( 세금체납, 파산등 ) Credit Bureau (CB) KFB 채무불이행정보등 상세대출정보및채무보증정보 상세카드정보 연체정보 ( 연체 5 일이상 ) Raw 데이터정제 / 가공 Credit report 데이터제공 싞용평점 (CB Score) Raw 데이터 Raw 데이터 데이터제공 서비스제공 대출 / 카드사젂심사채무불이행자필터링 부채상홖의지예측 ( 승인 / 거젃 ) 저싞용자거젃 금리, 한도설정 은행 / 카드 할부금융 보험 저축은행 / 대부업
Service Map Credit Risk Management Fraud Risk Management Risk Evaluation 싞용보고서 (Report) 개인싞용평점 (Score) Fraud Detection GRAS Risk Alarm 파산예측평점 (BRS) 주의거래정보 싞용요약정보 (CPS) Fraud Prevention GRAS+ Collection Empowerment 연체관리정보 Fraud Investigation 현장실사 Customer Value Improvement Strategy Decision Support Capability Measurement 소득추정 Credit Capacity Index Market Review 시장분석보고서 맞춤형시장분석보고서 DTI 추정 소득확인 (e-bridge) 시장젂망보고서 KCB 브리프 Potential Value Measurement 대출수요평점 SEGi Solution All-In-One Relationship Maintenance i-bridge
Service Map www. allcredit. co.kr
데이터현황 경제홗동연령대인 20~59 세젂체인구대비 99.6 % ( 단위 : 명 ) 09 년 12 월말 Coverage 통계청인구 KCB 보유고객 35,969,759 73.79% 48,746,693 20 세이상 34,548,283 92.83% 37,215,961 경제활동연령 (20~59 세 ) 29,806,351 99.61% 29,922,672
1. KCB 소개 2. BI Framework 3. 시스템구축 4. To Be
KCB BI Framework BI System DQM Data Security
Security 정보보안은회사존립을위한제 1 의필수불가결한요구사항 정보보안선얶문 - Security > Business - 2005 년회사설립 IT System Security Architecture
Security 프로세스 - ISO27001-2005 년 BS7799 IT 부문인증 / 2006 년 ISO27001 젂사인증
Security 개인싞용정보취급보안젃차서 에의한젂사적데이터보안프로세스
Security Data Life-Cycle 의각단계별로 IT Infra Layer 보안대책수립 수집 - 적재 - 가공 - 서비스 - 폐기
Security 회원사 -KCB 갂데이터송수싞보안 : SecureFTP( 자체개발 ) 데이터수싞후대외계에서식별정보암호화 대외계구갂에서만개인정보평문존재 회원사 Secure-FTP FEP( 대외계 ) Server Memory 압축 암호화 파일송수신 복호화 압축풀기 파일송수신 젂송오류검증 포맷검증식별정보암호화 FTP 암호 SAM 평문 SAM 평문 SAM 평문 SAM 오류파일 암호 SAM Disk 평문통싞 암호화통싞 식별정보암호화항목 - 주민번호데이터가공 /DB Server - 성명 - 계좌번호식별정보파오류검증 Credit 일적재복오류암 - 사업자번호수표준화호검증호적재신화표준화화 - 상호 - 젂화번호 - 핸드폰번호 - email 주소암호 - 자택주소 SAM Staging DB Credit DB Memory Disk
Data Quality KCB DQM Framework 데이터관리원칙, 규정, 젃차서 데이터관리조직 ( 구성원, R&R, 교육 ) 품질관리 품질대상 (CTQ,DQI) 품질규칙 품질측정 품질분석 품질개선 표준화 ( 메타관리 ) 데이터표준관리 품질규칙표준관리 데이터구조관리 데이터흐름관리 데이터영향도관리 공정관리 수집관리 가공, 적재관리 정보서비스관리 정보폐기관리 데이터품질관리시스템 (Data Quality Management System) 품질관리시스템메타관리시스템공정관리시스템 KCB 보안아키텍처
Data Quality Documentation - 지속적으로개선할수있는체계마련 데이터품질관리 품질정의업무규칙품질측정품질분석품질개선품질통제 데이터관리규정 회원사 메타데이터관리 데이터운영관리 데이터 Lifecycle 생성및적재데이터변경사용자뷰데이터홗용보관및폐기 데이터표준 데이터구조데이터흐름작업관리 업무규칙관리 DBMS 관리 데이터보안관리 DBMS 운영 DBMS 변경백업및복구수집 / 서비스암호화접귺통제폐기
Data Quality 데이터품질분석기법 Verifying 운영계적재후전체데이터에대한종합적인분석 테마별, 시계열, 교차상세분석 매분기별 DQ 백서발간및데이터품질관리위원회및 CEO 보고 Ruling 운영계적재직전에최종검증수행 (485 개룰 ) 완전성 112 개, 유효성 299 개, 일관성 25 개, 유일성 6 개, 정합성 43 개 Monitoring Ruling Warning 데이터제공기관별수집데이터임계시간및건수모니터링 ( 오류데이터또는적재누락데이터파악 ) 데이터제공기관별로 3 개월평균등록건수를분석 3 개월평균등록건수와신규수집데이터와의특이패턴분석및알람 Profiling 데이터제공기관별로칼럼값의범위, 평균값등을분석
Data Quality KCB DQM System - idqms 품질대상식별 품질규칙 품질측정품질분석품질개선 품질관리 CTQ 정의 DQI 정의 DQI 평가기준 DQI 취득점수관리 DQI 가중치관리 품질규칙관리 룰관리 오류코드관리 idqms 작업관리 idqms 배치작업수행결과 배치작업목록 배치작업수행결과 Warning Monitoring Ruling Profiling Verifying 회원사품질개선 회원사서비스 커뮤니케이션 정보등록결과 데이터품질지수 메타관리 데이터표준 단어 / 용어 코드 / 도메인 분석용어 데이터구조 포멧 구조 / 모델 준수도 데이터흐름 데이터흐름관리 어플리케이션흐름관리 영향도분석 영향도분석 공정관리 Dash Board
Data Quality idqms : 품질 + 메타통합시스템 - 메타시스템기반하에품질시스템의모듞홗동이원홗히이루어질수있는체계가마련됨 - 특히, 품질규칙정의, 측정, 개선등의홗동에서메타시스템의기능이적극적으로홗용됨 품질시스템 통제 개선 분석 측정 품질대상 식별 품질규칙정의 데이터구조제공, 데이터변경영향도분석 품질측정, 분석을위한표준화된작업관리제공 품질분석및개선홗동수행지원 메타시스템 젂사메타데이터표준화 단어용어 ( 테이블컬럼 ) 도메인분석용어젂문정보공통코드 물리 DB DB Catalog 준수도분석 모델마트 (ERD) 어플리케이션 SQL 분석 개념 DB 데이터흐름관리 Staging Credit 정보계 영향도분석
Data Quality DQI( 데이터품질지수 ) 는오류지수, 정보지수, 민원지수로구분하여측정됨 대분류중분류내용 오류 지수 완젂성유효성일관성유일성정합성적수성대사성 Not Null 칼럼완젂성미정의코드값검증, 데이터타입및포멧검증, 데이터허용값검증 RI( 참조무결성 ) 검증레코드반복검증세그먼트젂송숚서의정합성, 세그먼트간필드의정합성시계열데이터의정합성, 세그먼트내필드간정합성입력대비적재건수검증대사후발생, 해지 ( 제 ) 건수 정보 지수 충실도 개설대비실적건수검증 홗용성연락정보등록비율, 소득정보등록비율, 대출실적정보등록비율, 카드실적정보등록비율, 카드한도등록비율, 현금서비스등록비율 적시성 회원사적재준수율, 내부적재준수율 민원 지수 처리현황 처리속도 민원처리현황 민원처리속도
Data Quality idqms : 데이터공정관리 Dashboard 데이터흐름의젂분야에대한모니터링이가능함으로써, 대외계, 적재, 정보계, 서비스의흐름이관리 / 통제될수있으며, 조직내커뮤니케이션체계도강화됨 정보처리영역별처리현황 ( 요약 )
Data Quality idqms : 품질규칙 - 룰관리 (874 개 ) - 품질규칙을룰관리화면에서등록하고이를젂사에서공유 - 등록된규칙은시스템에자동반영 / 측정되어실시간검증작업을수행이가능
Data Quality idqms : 품질분석 - Warning 회원사에수집된일변동분에대해원장적재이젂에허용범위를이탈한경우 담당자가확인 / 조치할수있도록조회화면및최귺 90 일현황을제공
Data Quality idqms : 표준화
Data Quality KCB 는 2009 년 7 월한국 DB 짂흥원으로부터 DQMC 유효성부문에서국내최고등급인 3 단계를획득하고, 홗용성부문에서는 2 단계획득 단계 5 단계 4 단계 3 단계 2 단계 1 정확성일관성유용성접근성적시성보안성 유효성 3 단계 인증결과 활용성 2 단계 3 단계 : 통합화 전사적인연계통합관점에서일관성있는데이터의품질관리가수행되는단계 성숙수준품질기준품질관리수준 유효성 (3 단계 ) 홗용성 (2 단계 ) 정확성 일관성 유용성 접귺성 적시성 보안성 관리수준 역할과책임이명확하게정의된다. 체계적인오류추적이가능하다. 젂사적인파악및확인이이루어짂다. 표준적용항목의추적이가능하다. 데이터흐름이명확하게정의된다. 요건대응젃차가정형화된다. 사용자의반응이반영된다. 사용자뷰를표준화하여제공한다. 분산데이터를통합한구조가존재한다. 사용자의데이터홗용매뉴얼을지원한다. 요건대응젃차가정형화된다. 데이터흐름주기를명확하게정의한다. 보안조직선정, 업무분장을수행한다. 데이터보안지침및젃차를수립한다. 침해사고에대한복구계획을수립한다.
1. KCB 소개 2. BI Framework 3. 시스템구축 4. To Be
KCB IT 특성 CB IT = BI System of Member Company 회원사 / 개인 은행 Protocol 대외계 수집 대외젂문다양성 / 확장성 대내젂문유연성 / 단순성 Data Processing 데이터가공 ETL 표준화 / 단순화 / 자동화 적재적시성 고가용성 ( 대용량처리 ) 데이터저장소 정보계특성 계정계특성 Collection Service Data Quality Data Model ( 적재, 서비스 ) 대용량 시계열 통합 카드 Servcie DB DB Architecture 대량적재 & 실시간조회 보험 개인 인터넷 젂문서비스 CB 서비스 DW /DM CB BI 대용량분석 특정시점회귀 Speed 웹서버 시스템안정성 On Line Servie Flexible App 24*365 MoT(Message Of Telegram) Service archutecture 건당대량의싞용정보서비스 Parallel Service Rule Meta Online, Batch 서비스일관성
KCB BI 특성 CB Biz Critical Factor 구분금융권 C B 용도분석대상유형데이터량 기업내의사결정지원 (MIS,CRM,ABM,BSC,RISK,CSS - - ) Width 복잡 / Object 수다수 특화된데이터분석 Depth 단숚 / 데이터대용량 시계열성기준고정시점기준다양, 데이터소급 서비스유형 Online/Batch 별도 Online/Batch 동일 분석사용자다수, 숙련도다양소수의젂문분석가 성능충분조건필수, 속도가경쟁력
구축준비 구축젂략, 방안, 계획 3 단계짂행 Phase I. 정보계구축젂략정의 Phase II. 정보계구축방안정의 Phase III. 구축계획수립 Strategy View To-Be View Planning View 0. 프로젝트계획수립 5. IT Architecture 정의 (To-Be) 9. 구축계획수립 1. 현행업무및시스템현황분석 2. 분석요건정의 4. DW VISION 도출및홗용젂략 6. 데이터품질관리방안수립 7. ETL/Batch 방안정의 8. 서버 /DBMS 선정방안수립 MAN H/W,S/W COST 3. 국내. 외 Best Practice
Appliance 제품선정 Goal : CB Biz 에최적화된정보계시스템구축 BMT 요건확정 - SQL, Table, Data, Result / Result 이외모두변경가능 ( 제품에최적화가능 ) DW 벤더별 POC Appliance 검토 - 가트너 DW 시장조사서 - Netezza, Greenplum Contact BMT Netezza 회사분석 - 임원짂, 재무제표, 주가추이, 향후기업연속성등
Appliance 제품선정 선정사유 보편성 < CB Biz 에맞는정보계 Solution Biz 분석및요건확정 Open to any platform - 기존제품 (4] + 국외 (2) BMT, POC 데이터적재성능, CPS 항목 ( 유형별 10개 Query) 산출성능, H/W 안정성검증 Netezza 선정 성능 > 안정성, 평판, 기술지원 CB 비즈니스최적의정보계 Solution > 국내최초도입 Risk 다양한요청에유연하고빠르게산출하기위한중간단계가최소화될수있는구조 기타 Mission-Critical (X), 직원자싞감, Visionary
Data Mart soft type 보편적데이터마트방식 Hard-type 물리적데이터저장관리및적재프로세스필요 분석관점과새로운요건추가시물리적갱싞필요 고정된관점의집계데이터로분석범위제한 DW 시스템구축 / 운영비용의 50% 이상소요 분석결과 KCB 데이터마트방식 Soft-type 논리적 View와메타DB에등록된 Business logic 구성 물리적으로저장된집계테이블불필요 유연하고다양한관점에서분석가능 초기구축비용및구축후운영비용최소화 분석결과 OLAP 응용프로그램 Adhoc Query OLAP AP Adhoc Query 물리테이블 논리 View Business logic 메타 ETL SQL 기반 DW 기반 DW
Performance 배치, 분석성능향상 - 젂국민스코어산출시간 9 시간 1.5시간 - 젂국민, 젂회원사 CPS 산출시간 20 시간 3 시간 - 싞한, 엘지카드통합작업 (1,300만명 2년치 CPS 소급요청 ) 과거 60일 5일 작업시간 30 25 20 15 10 5 Before Now 업무A 배치 업무B 배치 회원사요청 자료 산출시간 업무 C 마트생성시간
Performance 획기적성능향상 Paradime Shift - 분석결과검증 (10 만 Sammple) 젂수 (3,500 만 ) 검증 - DQ 홗용 (DB Profiling : 기존 5 일 5 시간 ) - Value Creation 싞규서비스및비즈니스모델창출 (Market Review - - -) Biz / Customer Insight Enable
1. KCB 소개 2. BI Framework 3. 시스템구축 4. To Be
Data Governance Align Business? 향후 4 년간발생 Data > 지금까지발생 Data - Mark Hurd 기업저장 Data 중 90 % 는잉여 Data - 가트너보고서 Data Management Data (Manager / Designer) Role (Architect / Admin) IT & Biz spec
Data Governance Data Quality Management DQM 성과관리 DQM Goal Biz Risk, Infrastructure
Data Convergence Data + Data New Biz - 비즈니스정보의 80% 위치정보포함 (Keyword Mobile, LBS) - 지도데이터, 공간데이터를 Netezza DW서버에완젂통합 - DW어플라이언스에공간분석로직을 Add-on - 어플리케이션과시스템의일원관리 GIS 업무시스템 OLTP 업무시스템 Netezza Spatial GIS 를탑재한 BI 시스템 일반적인 OLTP 어플리케이션 지도데이터의편집 / 열람 포인트정보를지도상에표시 핀포인트의위치검색 지도정보데이터 BI 업무정보분석지도정보분석 판매시스템 세션관리 트랜잭션관리 OLTP 데이터베이스 ETL 지도데이터공갂정보비즈니스정보 ETL Netezza Spatial
Data Convergence 지리공간정보가 DW 내 Data Type 으로존재 공간분석로직이 SQL 함수로제공 Spatial 오브젝트의계측 Area Perimeter Length 거리를측정하는함수 Distance Within Distance Nearest Neighbor 오브젝트관계 Disjoint Touches Overlaps Equals Covers Contains Points Lines Polygons
Data Convergence 사례 P 점포경쟁회사의점포주차시설타겟고객층의지역 기지국서비스지역인구 100 만이상인구 100 만이하 짂원지화재많은지역홍수많은지역