사용자체험에기반한서비스품질향상방안 박혜미 TSC, Oracle Korea
수시로발생하는서비스장애 국민건강보험공단의공식홈페이지가오늘오전 10 시부터지금까지접속장애를일으켜이용자들이불편을겪고있습니다. 공단은지난주부터홈페이지를통해연말정산에참고할진료비지급내역등을제공하고있는데오늘접속자가평소보다대거몰리면서접속장애를일으켰다고설명했습니다. 제공 : YTN 제 3 호태풍에위니아가 10 일한반도를관통할것으로예상되는가운데오전 9 시쯤부터기상청홈페이지가접속장애를겪고있다. 초기화면조차열리지않기도하고접속이이뤄져도수시로장애가발생하는등사실상다운된상태다... 제공 : 국민일보
저품질애플리케이션이비즈니스에미치는악영향 D 보험사는지난해말수천여명의고객에게약정된보험료보다더많은돈을청구했다. 이회사금융전산망에실린소프트웨어 (SW) 가말썽을부려빚어진일이다. D 사는이사실을감춘채 30 여억원을들여일주일동안전산시스템을샅샅이조사했다. 그러나 SW 에러를끝내찾지못했다. 이회사한직원은 " 회사이미지가떨어질까봐선의의피해자에게몰래보상해입막음을했지만언제든지이런일이재발될가능성이있다 " 고말했다. S 정보기기는부실 SW 의후폭풍으로경영난을겪고있다. 이회사는지금까지휴대용정보기기를 800 억원어치팔았지만제품에쓰인 SW 가제대로작동하지않아팔린제품대부분이반품됐다. 우리나라경제현장곳곳에 ' 부실 SW' 비상이걸렸다. 부실 SW 들이정보기기뿐아니라자동차. 항공우주. 금융. 유통등전산업에쓰이고있어이로인해국가경쟁력이한순간에무너질수도있다는우려를낳고있다. 중앙일보커버스토리 - IT 한국 발목잡는부실 SW (09.03.28)
애플리케이션품질관리현황 40% 이상의 SW 애플리케이션이 10 여개의결정적인오류를가진채로출시됩니다. [Software Is Deployed, Bugs and All, SD Times.] SW 의오류를찾아내고해결하는데개발비용의 80% 가소모되고있습니다. [IBM: The business value of software quality.] 운영 / 출시이후에러가발견되면, 개발단계에서에러를수정하는경우보다최대 100 배의비용이듭니다. National Institute of Standards & Technology, 02] 재현이불가능한케이스에대한테스트나 ad-hoc 테스트는대부분의미가없습니다. [Source: Pullam & Doyle, 1998] [Source: W.R. Blischke, D.N.P. Murthy. "Reliability", Section 9.5.1, pp. 311.] 비즈니스민첩성을향상시키고, 비용과위험성을낮추어서비스레벨을달성하기위해애플리케이션품질관리는필수적입니다.
애플리케이션품질향상을위한오라클솔루션 Application Testing Suite Functional testing automation End-user synthetic load testing Comprehensive test script management Enables rapid, low cost application deployment Real User Experience Insight Real user experience Monitoring Business transaction analysis Application performance diagnostics Enables rapid, low cost application monitoring 웹애플리케이션테스트자동화 테스트 / 운영중사용자체감성능모니터링
Application Testing Suite
Customer Satisfaction 테스트의중요성 더많은테스트를수행한고객들은제품유효성에더많이만족함 9.0 8.5 8.0 7.5 7.0 6.5 Product Effectiveness Software Reliability Speed of Product Scalability of Product 6.0 No test Informal test/formal test based on written plan/other Formal test using automated tools 1 Results from Q1 03 Customer Satisfaction Survey. 2 Product Effectiveness is the average satisfaction ratings of the nine (9) product functionality items.
Oracle Application Testing Suite 애플리케이션품질, 성능및안정성을보장하기위한강력한통합테스트솔루션 Oracle Functional Testing 자동화된기능및회귀테스트 Open Script 스크립트작성자동화 Oracle Test Manager 테스트프로세스관리, 테스트케이스별요구사항및문제추적기능 Oracle Load Testing 자동화된부하및성능테스트
Oracle Open Script 통합스트립팅플랫폼 스크립팅자동화를통한테스트기간단축 Java 및 Eclipse 등업계표준지원 스크립트코드트리뷰 직관적인비쥬얼스크립팅인터페이스 Java IDE 제공을통해강력한확장성제공
Oracle Functional Testing 자동화된기능및회귀테스트 패치및버전업그레이드후애플리케이션기능검증자동화 테스트결과확인 실패한테스트의상세내역비교
Oracle Load Testing 자동화된부하및성능테스트 수천명의동시사용자까지확장하여실제운영환경피크시간대의부하시뮬레이션 웹콘솔제공으로원격접근및여러사용자간협업가능
Oracle Load Testing 자동화된부하및성능테스트 테스트결과에대한실시간그래프및리포트제공 - Performance vs. Users - Performance vs. Time - Throughput vs. Users - Throughput vs. Time
Oracle Test Manager 테스트공정관리 직관적인중앙웹콘솔을통하여모든테스트공정을관리 테스트요구사항및테스트케이스에서결함에이르기까지포괄적인추적관리 사용자의테스트공정에적합하도록맞춤가능한항목및보고서의제공 구축및관리가용이
Oracle E-Business Suite 테스트테스트액셀러레이터제공 Web Actions Forms Actions
Siebel 테스트테스트액셀러레이터제공 Siebel SI/Web Actions Siebel HI Actions
Application Testing Suite - Load Testing 사례
08:01 08:03 08:05 08:07 08:09 08:11 08:13 08:15 08:17 08:19 08:21 08:23 08:25 08:27 08:29 08:31 08:33 08:35 08:37 08:39 08:41 08:43 08:45 08:47 부하테스트시나리오 테스트목적 테스트시나리오 SSO / Portal 시스템을신규장비로이전시, 포탈로그인이과부하상태에서도정상적으로서비스되는지확인 과부하상태에서문제의소지가있는서비스식별 App 접속 로그인 포탈페이지접속 로그아웃 과정 접속자 100 90 80 70 60 50 40 30 10 0 시스템로그인수추이 (09.10.09 07:00 ~ 09:30) 7877 73 73 74 768082 71 56 57 57 62 61 66 67 59 51 48 5050 44 44 38 86 62 90 51 62 83 6775757681 73 69 71 67 5857 6266 5453 53 47 평상시 Peak Time 에 90 ~ 1 정도의사용자가로그인 성능테스트의기준은 Peak Time 의 2 배수정도가되는 VU 를기준으로과부하조건을설정
테스트환경구성도 Agent 1 ATS Controller L4 switch Web page Apps. server Database Agent 2 부하발생은 Oracle ATS 를통해수행함. ATS Controller : 테스트시나리오수행및부하테스트시에 SSO, Portal, DB 등의성능 metric 을측정. 테스트종료후보고서생성. ATS Agent : VU 증가, 부하발생. 현운영서버에대한테스트및이관대상서버에대한테스트를수행하여각결과를비교함.
테스트리포트 응답시간 시사점 1 180 240 25 15 10 5 0 25 15 10 5 0 25 15 10 5 0 25 15 10 5 0 Avg Performance Avg Performance (sec) Avg Performance Avg Performance (sec) 평상시 4.46 초의응답속도를보이며, 과부하상태에는 10 ~ 초정도의응답속도를보임. 240 VU 의경우중간에 spike 를보이므로, 과도한부하시에, 어딘가에병목현상이존재함을시사함.
테스트리포트 SSO CPU 사용량 시사점 1 180 240 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 SSO 의경우, 평상시평균 34% 정도의사용률을보이며, 과부하시에도평균 60% 이상으로높아지지않음. 즉, 과부하시 Rate Determining Step 은 SSO 이외의영역으로볼수있음.
테스트리포트 Portal CPU 사용량 시사점 1 180 240 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 Portal 의경우평상시약 21% 정도의사용률을보이며, 1VU 이상에서평균 70% 이상, 최빈값 100% 를보이므로, 과부하상태임을알수있음. 1VU, 180VU, 240VU 간에 CPU 사용량에있어서거의차이가없이과부하상태임을보이므로, 향후유저수증가에따른시스템증설대상은 Portal 이어야함
테스트리포트 DB CPU 사용량 시사점 1 180 240 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 100 80 60 40 0 DB 의 CPU 사용량은평소 25% 정도이며, VU 증가에따라평균약 60% 정도부하가걸림. 과부하상태에서사용률이 100% 인경우가자주있으므로, SQL 튜닝등의여지가있음.
구운영서버대비결과 Response Time (Sec) 이관전 이관후 25 Response Time 4.46 4.05 VU TPS 3.254 3.43 Max Login 유저수 234 257 15 10 5 이관전 이관후 1 VU Response Time 10.1 8.7 TPS 9.465 10.48 0 VU 1VU 180VU 240VU Max Login 유저수 685 731 TPS Response Time 15.91 13.18 16 180 VU TPS 9.061 13.43 14 12 240 VU Max Login 유저수 651 759 Response Time.874 16.95 TPS 9.463 11.26 10 8 6 4 2 이관전 이관후 Max Login 유저수 694 799 0 VU 1VU 180VU 240VU
Real Experience Monitoring
기존모니터링방식의현실 어플리케이션성능이최종사용자의기대에미치고있지못하나 운영자들은제대로감지조차하지못하고있습니다. Slow response times Received error messages Application was down or unavailable 52% 60% 85% Calls from customers/ endusers System Management alers 25% 50% 50% 71% 72% 80% Application was difficult to navigate Were unable to proceed to new page 24% 23% Service Level Management alers 17% 24% 36% Were kicked off page 28% Calls from Senior Management 16% 22% 32% Data was lost Other 6% 14% Other 10% 4% 5% 시스템사용중엔드 - 유저가경험하는문제유형 운영자들의어플리케이션문제발생감지유형 조사 : Performance Under Pressure: 09 OAUG ResearchLine Survey 25
기존모니터링솔루션의한계 사용자관점에서의감시방법이부재 사용자 인터넷망 방화벽 (F/W) IPS WEB 서버군 AP 서버군 DB 서버군 라우터 로드발란서 기존의감시항목예 감시시스템 SNMP나에이전트를이용한로그 CPU나 HDD, 메모리등의자원소비량서비스포트사활감시세션수등
Server Response Time Network Response Time Oracle Real User Experience Insight 동작원리 수집된데이타 : Client-ip, Server-ip, Gateway-ip Requested URL (Page,Object) Cookie/Session-id Referrer GET & POST requests User client (browser type) Page request Internet Firewall RUEI는패시브모니터링솔루션으로서시스템에영향을주지않음 Oracle RUEI Switch 진정한사용자체감성능모니터링솔루션 Response? Server error, web site error, Hit OK Content of page (i.e order details, functional errors) Web server Web server Web server Delivered? Aborted? Network timeout? DB DB
Using RUEI
Real User Experience Insight For: 사용자정의대쉬보드
Real User Experience Insight For: 사용자체험분석 / 에러재현 Error Reporting User Tracking & Session Replay Error Replay
Real User Experience Insight For: IT 운영분석 KPI configuration, monitoring & trending Function performance analysis
Real User Experience Insight For: IT 운영분석 Integrated diagnostics and discovery for performance bottle-necks Function performance analysis
Real User Experience Insight For: 비즈니스연계성분석 지역별세션정보분석 비즈니스트랜잭션분석
사례분석
TomTom 사례 : 연휴기간사용자증가로인한성능문제발생 애플리케이션의전반적인성능저하 페이지오픈에러 페이지로드타임아웃 페이지뷰성능 Green = 정상 Orange = 조금느림 Blue = 매우느림 문제원인분석 Update 페이지 Latest 페이지 페이지로드타임 = 4.5 37.1 sec 사용자중도중단페이지 = 2.6 28.4%
TomTom 사례 : 일판매량 27% 감소 연휴기간이틀간의트랜잭션완료율비교 트랜잭션성공률이 955 에서 689 로저하됨. 27% 판매감소!
TomTom 사례 : 불편을겪은고객검출및빠른대응 불만족한고객들에게 E-mail 을통해쿠폰발행 고객만족실현 37
요약
애플리케이션품질향상을위한오라클솔루션 Application Testing Suite 기능 / 부하테스트를위한통합플랫폼 스크립팅자동화를통한테스트기간단축 애플리케이션검증을통한안정적인애플리케이션배포 Real User Experience Insight 사용자경험을토대로최적화된애플리케이션유지 프로액티브한모니터링및분석 비즈니스퍼포먼스증대 웹애플리케이션테스트자동화 테스트 / 운영중사용자체감성능모니터링
40