효과적인 SW 테스팅프로세스구축및개선전략 2008 년 8 월 28 일 ( 목 )
목차 1. 테스트프로세스정의 / 필요성 / V 모델 2. 테스트프로세스의진단의정의및진단모델 3. TMMI 기반의테스트프로세스진단사례 4. 주요개선과제 5. 개선절차및추진전략 6. 맺음말 별첨 : ROI 측정사례 2
1. 테스트프로세스의정의및필요성 테스팅의품질 의향상을위해테스팅전반에걸쳐짜임새있는 Tool / 절차 필요성 조직이좋은습관 ( 테스트프로세스 ) 이체화되면!! 맨땅에헤딩하지않으려면!! 용어의통일, 조직의커뮤니케이션활성화!! 조직이지속적테스팅에자신감을갖기위해서는!! 3
1. 테스팅프로세스의필요성 II 뭔가만들었는데제대로만들어졌는지검증하는것이필요하지않은가? 고객 요구사항 설계 요구사항검증? 리스크? 리스크분석? 리뷰? 테스트전략? 테스트는개발이끝나고시작!! 테스트설계? 인수테스팅? 테스트계획? 상세설계 테스트설계기법? 테스트레벨? 구현 기술 4 시간
1. 테스팅프로세스의필요성 I SW 품질 프로세스품질 소프트웨어제품의최종품질에영향을줄수있는소프트웨어개발과정에서수행되는작업 ( 프로세스 ) 의품질 품질향상을위한심화활동 CMMI, SPICE,TMMI 등을통해확인 + 제품품질 사용자가 SW 제품을사용하는데있어직접적인영향을미치는 SW 제품자체가가지고있는품질 품질향상을위한기본적인활동 높은테스팅프로세스성숙도 테스팅의품질을높이기위한핵심 5
1. 테스팅프로세스의구성과 V- 모델 조직차원의테스트정책과전략 반영 프로젝트테스트매니지먼트 (PTP 작성및업데이트, 테스트레벨을감시하고제어, 테스트프로젝트종료보고 ) 요구사항 요구사항명세 계획 설계마감 실행 설계 반영, 제어, 리포팅 설계 계획 설계마감 실행 인수테스트 설계 논리적설게명세 계획 마감 실행 설계 설계 계획 마감 실행 시스템테스트 상세설계 물리적설계명세 계획 마감 실행 계획 마감 실행 통합테스트 설계 코드 구현 계획 마감 실행 단위테스트 6
2. 테스팅프로세스진단의정의 특정조직의현재의테스팅프로세스가최선의테스팅프로세스 (Best Practice) 에비해어느정도의수준또는성숙도에있는지에대한현상을평가하는활동 (As-is) 현재의테스팅프로세스성숙도를파악하여향후어떻게테스팅프로세스를개선할것인지방향을설정하기위해수행함 (To-be) 여러가지모델중대표적인것이 TMMI, TPI 모델임핵심 ( 프로세스 ) 영역이있고영역별여러단계의성숙도레벨이존재설문, 인터뷰, 문헌검토등을절차에따라진행하고테스팅조직의성숙도레벨결정 (Baseline) 7
2. SW 테스팅프로세스진단 / 개선모델의종류 분류 종류 프로세스 ( 진단 ) 참조모델 (Process Reference Model) 내용 ( 개선 ) 참조모델 (Content Reference Model) TMMI (Test Maturity Model) TPI (Test Process Improvement) TOM (Test Organization Maturity) TIM (Test Improvement Model) SQR (Software Quality Rank) CTP (Critical Testing Process) STA (Software Testing Assessment) 대분류 중분류 소분류 접근법 배포 독립성을고려한테스팅조직의운영 테스팅조직확대계획및인력충원계획 / 방법의적절성 테스트조직정비 - 테스트조직의역할및 KPI 정의, WBS 확 조직차원의테스팅공통 테스팅교육훈렦강화또는지원 사항 피플웨어 ( 테스트조직원의동기부여및짂로제시 ) 테스트아웃소싱또는파견조직활용의적절성 조직차원의테스팅 조직차원의테스팅표준확립 이인지되고적용되 조직차원의테스트프로세스평가및개선활동 고있는가? 조직차원의테스팅정책이문서화되어있는가? 절차에따라조직차원의테스팅정책이수립되고, 배포되고, 테스팅정책 효과적으로활용되고있는가? 테스팅정책이반영된조직차원의테스팅전략이문서화되 어있는가? 절차에따라조직차원의테스팅전략이수립되고, 배포되고, 조직차원의테스팅전략 효과적으로활용되고있는가? 프로젝트차원의테스트프로세스평가및개선활동 프로젝트차원의테스팅공 테스팅표준준수 (ISO/IEC29119, IEEE829, IEEE1008, 통사항 BS7925-1,2 등 ) 조직차원의테스팅전략을반영하여프로젝트테스트전략을 수립 / 배포 / 활용하고있는가? 프로젝트테스팅전략과프 프로젝트테스트전략을반영한프로젝트테스트계획 프로젝트차원의테 로젝트테스트계획 (Project Test Plan) 이수립 / 배포 / 활용되고있는가? 스팅이관리되고있 프로젝트차원의테스트계획템플릿이존재하고활용되는 는가? 가? 테스트레벨별테스팅활동이업데이트및제어되고있는가? 프로젝트차원의테스팅상태가리포팅되고있는가? 테스트레벨제어및프로 개발테스트 ( 단위 / 통합테스트 ) 지원및제어 젝트테스팅리포팅 프로젝트차원의테스트리포팅을위한템플릿이존재하고 활용되는가? TM 실행및 M레결과벨 L3 L3 L3 L3 L3 L3 L3 L5 L2 L2 L2 L2 L3 L3 L2 L2 L2 L3 L3 L3 L3 8
2. TMMI 과 TPI 비교 ( 커버하는 ) 테스트레벨성숙도평가접근법 TMMI 하위레벨과상위레벨테스팅을유사한수준으로다룸조직차원에서의성숙도평가 ( 다섯가지레벨로평가 ) TPI 상위레벨테스팅에보다집중각개별프로세스의성숙도평가를위해조직의성숙도평가 (2~4 레벨로프로세스별차별적평가 ) 테스트핵심영역간의존성핵심영역간의존성을정의하지않음여부 핵심영역간의의존성정의 모델의태생 (Origin) 학계에서개발하여업계에서발전시킴 시스템테스팅전문업체에서개발하여확산 공개정도 Level 2 내용은공개되어있고나머지도공개되고있는대부분공개되어있음추세 공식레벨 부여여부 TMMI Foundation에서 2008 ~ 2009년내에부여예정 심사원자격부여및관리예정 심사결과관리 부여하지않음 프로세스 ( 진단 ) 참조모델 (Process Reference 참조모델 (Reference Model) Model) 분류 Reference Model) 내용 ( 개선 ) 참조모델 (Content Reference Model) 프로세스 ( 진단 ) 참조 모델 (Process 9
2. TMMI (Test Maturity Model Integration) L5 : 최적화 (Optimization) 지속적개선 결함예방테스트프로세스최적화품질제어 측정 L4 : 관리 & 측정 (Management&Measurement) 테스트측정소프트웨어품질평가발전된동료검토 품질제어테스팅 조직화 L3 : 정의 (Defined) 테스트조직테스트교육 / 훈련프로그램테스트수명주기와통합비기능테스팅동료검토 품질측정테스팅 내재화 Level 1: 초기 (Initial) L2 : 관리 (Managed) 테스트정책과전략테스트계획테스트모니터링및제어테스트설계및수행테스트환경 요구사항검증테스팅 기존 CMM의심사모델인 CBA-IPI (CMM Based Appraisal Internal Process Improvement) 모델을이용 10
SW 테스팅발전단계와프로세스성숙도 Gelperin and Hetzel's Evolutionary Testing Model -1 단계 (~1956) : The debugging-oriented period -2 단계 (1957~1978) : The demonstration-oriented period -3 단계 (1979~1982) : The destruction-oriented period 1979 년 Glendford J. Myers Testing is the process of executing a program or system with the intent of finding errors. 심리적으로자기의작품을쉽게파괴하지못하기때문에, 전문적인테스팅조직이필요 (Destruction) -4 단계 (1983~1987) : The evaluation-oriented period 테스팅라이프사이클개념 V&V (Verification & Validation) 개념. 다음단계로의전이최대한방지 -5 단계 (1988~) : The Prevention-oriented Period 테스팅의목적이결함을예방하는차원 개발초기부터발생가능한결함 (potential errors) 을사전에방지 + Current industrial testing practices, Beizer's Progressive Phases of a Testers' Mental Model 11
2. TPI (Test Process Improvement) Model 핵심영역 레벨 테스트성숙도메트릭스 체크포인트 개선제안 출처 : Tim Koomen, Test Process Improvement, 1999 12
2. TPI Model 설명 KA 1 ~ KA 20 핵심영역 (Key areas) - 과목 0, A ~ D 0, 1 ~ 13 레벨 (Levels) 성적기준 성숙도증가 테스트성숙도매트릭스 (Test Maturity Matrix) - 성적표 체크포인트 & 의존성 (Checkpoints & Dependency) - 시험 개선제안 (Improvement suggestions) - 훈련, 교육, 과외 13
2. TPI Key Areas 테스트마감활동 핵심영역 테스트프로세스개선시고려해야할사항 테스트실행에직접적으로관여하는영역 과 간접적으로관여하는영역 ( 조직및조직원간의의사소통, 사무환경등 ) 을모두포 함 체크포인트 1) 테스트전략, 2) 수명주기모델, 3) ( 라이프사이클에서테스트 ) 수행시점, 4) 산 정과계획, 5) 테스트명세기법, 6) 정적테스트, 7) 척도, 8) 테스트자동화, 9) 테스 트환경, 10) 사무실환경, 11) 참여와동기, 12) 테스트팀의역할과훈련, 13) 방법론의범위 ( 업무절차및문서 ), 14) 의사소통, 15) 보고, 16) 결함관리, 17) 테스트웨어관리, 18) 테스트프로세스관리, 19) ( 중간산출물 ) 평가 ( 리뷰, 인스펙션 등 ), 20) 저수준테스트 * Key Areas : Test strategy, Life-cycle model, Moment of Involvement, Estimating and planning, Test specification techniques, Static Test Techniques, Metrics, Test Automation, Test Environment, Office Environment, Commitment and Motivation, Test functions and training, Scope of Methodology, Communications, Reporting, Defect management, Testware management, Test process management, Evaluation, Low-level testing 레벨 테스트성숙도메트릭스 개선제안 14
2. Test maturity matrix example 노란색 : AS IS, 파란색 : TO BE 15 Reference : Tim Koomen, Stepwise Improvement of the Test Process Using TPI. 2005 ICS Test conference 21.TPI Automotive
3. 진단경과 진단목적 : 종합진단, 단기개선과제도출, 테스트공감대형성 진단개요수행장소 : 고객회의실평가위원 : 5명 ( 소프트웨어테스팅프로세스평가전문가 5명 ) 고객참여 : 평균 10명 ( 관련부서 ) 진단방법 : STA(Software Testing Assessment) 에의한인터뷰, 관련문서및산출물검토조직규모 : 300명이하중소업체대상 (2개사), QA 팀장포함 5명이하 진단경과 1 개월 테스팅 (TMMI 1 일 ( 화 ) 프로세스진단테스팅교육 (TMMI모델포함 ) ( 진단 / 집단지성토론 / 문서검토 ) 최종결과보고 /STA) 프로세스진단결과분석및개선제안준비 STA자체검토 (2회) 고객과공유 및검토 16
3. STA 테스팅프로세스개관 테스트레벨요약 아래의내용은부서마다다를수있음 단위테스트를경험적으로수행하고있으며, 통합테스트의수행이필요함 시스템테스트는경험적으로수행하고있으며, 인수테스트는체계적인계획과수행이필요함 체계적인테스트레벨프로세스의수립, 관리, 수행이요구됨 테스트레벨활동테스트베이시스테스트케이스선정기법테스팅조직테스팅환경 리뷰 개발팀 Daily 미팅에일부참여 요구사항 - 개발팀 NA 단위개발자테스트 - 경험적테스팅개발팀개발환경 통합 - - - - 개발환경 시스템 경험에의존한리스크기반의테스트 * 결함발견시리그레션테스팅수행 요구사항 테스팅항목 ( 개발팀에서전달 ) 기존프로젝트및지식바탕경험적작성 ( 내부적시험절차서 ) A 팀, B 팀 실제환경 (O/S) 인수 인수테스트필드테스트 요구사항체크리스트 Ad-hoc A 팀, B 팀 실제환경 17 ( 필드 )
3. 테스팅프로세스 TMMI 심사결과 (1/4) Level2: 결함을효과적 / 효율적으로발견하기위한구조적테스트단계 10 Outstanding 8 Qualified 6 Marginally Qualified 4 Fair 2 Week 0 Poor 시사점 KA1 KA2 KA3 KA4 KA5 KA6 [Level 2] KA 1 : 테스트정책과목표수립 KA 2 : 테스트계획및규모산정 KA 3 : 테스트 ( 설계 ) 기법및방법론의규정화 KA 4 : 테스트환경관리 Goal! KA 5 : 테스트웨어 / 도구 / 장비 / 대상품목의유지관리 KA 6 : 테스트보고 (Reporting) 핵심영역 (Key Area) 테스팅프로세스에서테스트정책과목표가경험에기반하여제시됨 10 Outstanding 8 Qualified 6 Marginally Qualified 핵심영역 (Key Area) 테스트계획, 분석과설계, 결함관리, 테스트리포팅등테스트레벨프로세스활동의체계적인수행, 18 관리가필요하며, 경험적인테스팅 ( 탐색적테스팅 ) 이추가적으로수행되어야함 4 Fair 2 Week 0 Poor 10 Outstanding 8 Qualified 6 Marginally Qualified 4 Fair 2 Week 0 Poor 10 Outstanding 8 Qualified 6 Marginally Qualified 4 Fair 2 Week 0 Poor 접근법 KA1 KA2 KA3 KA4 KA5 KA6 배포및실행 KA1 KA2 KA3 KA4 KA5 KA6 핵심영역 (Key Area) 결과 KA1 KA2 KA3 KA4 KA5 KA6 핵심영역 (Key Area)
3. 테스팅프로세스 TMMI 심사결과 (2/4) TMMi (Test Maturity Model Integrated) L5 : 최적화 지속적개선 결함예방 테스트프로세스최적화 테스트품질제어 측정 L4 : 운영과측정테스트운영제품품질측정발전된동료검토 품질제어 테스팅 조직화 L3 : (SW수명주기에) 정의테스트조직테스트교육 / 훈련프로그램테스트라이프사이클과개발과의통합비기능테스팅동료검토 품질측정 테스팅 L2 : ( 테스트수명주기 ) 관리 내재화 테스트정책과전략테스트계획테스트모니터링및제어테스트설계및실행테스트환경 Level 1: 초기 결함발견 테스팅 요구사항검증테스팅 19 참조 : TMMi Foundation (www.tmmifoundation.org)
3. 테스팅프로세스 TMMI 심사결과 (3/4) 전반적인강점 전반적인개선점 제품에대한 풍부한경험 풍부한도메인지식 열정 표준기반의체계적인 프로세스 리스크분석 전략수립 산출물 ( 문서 ) 관리 결함관리 교육 테스팅업무에대한 테스트업무집중도 동기부여 20
3. 테스팅프로세스 TMMI 심사결과 (4/4) 프로세스성숙도레벨이올라가면?? 실패비용감소 직원만족도향상 BEST 테스팅및품질향상으로고객만족도상승 유지보수테스트시간단축 프로세스의체화로테스트시간단축 커뮤니케이션오류및재작업최소화 Efficiency 결함발견율이높아짐 일관성있는 Best Practice 기반테스트 21 Effectiveness
4. 개선과제 조직테스트정책 / 전략프로세스개선 To-Be As-Is 목적 테스팅범위정의테스트원칙및규정수립조직정책및전략수립무엇을해야하는지에대한정의 경험적, 직관적으로테스트 기대 효과 조직테스트정책 / 전략은모든 프로젝트테스트에적용되고, 테스트프로세스에대한일관적효과 주요 개선 사항 테스트의정의테스팅의미션 ( 달성되야할품질레벨 ) 조직원의테스팅직무에대한전략적 ( 상위레벨 ) 관점 테스트프로세스개선 ( 목표, 실적, 척도등 ) 22
4. 개선과제 테스트레벨프로세스개선 To-Be As-Is 리스크기반 테스팅전략 ( 경험적 ) 수립 테스트케이스도출 테스트수행 일정, 리소스계획리스크분석및전략수립지원테스트추정 (Estimation) 테스트보고서설계테스트레벨계획 리스크분석및협의테스팅전략작성 테스트설계 테스트케이스작성을위한설계기법가이드 테스트케이스관리 Best Practice 리포팅제공 ( 그래프위주 ) 요구사항및리스크레벨과연계된리포팅제공 테스트 레벨 리포팅 결함관리 및추적 23 테스팅실행결과기록및진척도파악 결함등록및추적
4. 개선과제 결함관리개선 As-Is 게시판형태로결함을공유 개선기회 결함발생 - 수정정도를알수없음 변경이큰부분 (CD 배포 ) 의경우는필드에서발생, 등록되는결함건수가많음 결함정보공유가어렵고예전결함을검색하거나히스토리를볼수없음 결함을가공한귀중한리포트를만들지못함 테스트를통한제품의리스크감소수준파악이어려움 To-Be(Level 3 업체 ) 결함등록결함분배결함수정결함수정확인결함종료 발견한결함의수명주기에따른체계적인관리 결함관리를실시간으로지원하는결함관리시스템사용 결함관리시스템은테스트관리시스템과연계 결함관리는물롞테스팅전반을관리 테스트리포팅자동생성 리스크기반의수치화된리포팅을통해제품의품질수준파악지원 24
4. 개선과제 테스트리포팅 As-Is 문서상으로명확히보고되고있는테스트리포팅을발견할수없음 현재테스트진척도를알수없음리스크별결함관리정도를알수없음품질지수의정량적수치를측정하기힘듬 To-Be(Level 3 업체 ) 체계적인결함과리를통하여누적결함 S 커브, 장애검출율, 결함율, 결함유형, 결함심각도등을리포팅 제품품질에대한통찰력키우고이를통해제품출시에대한의사결정을지원 < 리스크레벨별누적결함 S- 커브 > < 심각도별결함수 > < 테스트진척도 > 25
4. 좋은테스트리포팅 좋은리포팅요건 ( 출처 : TPI) 내용 A. 발견된결함과미해결결함주기적으로발견된결함과미해결결함을리포팅 B. 결함우선순위 + 진척도 ( 테스트와 제품품질상태 ) 결함우선순위 + 계획된, 사용된, 필요한예산과시간관련정보 소요시간?, 어떤테스트가명세 (TC 화 ) 되었는가?, 어떤 TC 가수행되었는가?, 어떤부분이정확하게수행되었는가? 어떤 TC 가앞으로수행되어야하는가? C. 리스크 & 조언 ( 메트릭으로실증 ) 테스트전략과연계 예산, 시간, 품질 ( 또는결함 ) 등의메트릭경향분석 D. 테스팅조언이 SPI 적 특성을반영 테스팅이제품보다 SPI 에영향을미쳐결함예방차원의활동으로인식된다. 테스팅활동이상의조언 ( 예, 기능명세의어떤부분을추가적으로리뷰, SW 인도의적절한시기를프로젝트계획에반영등 ) 26
5. 테스트프로세스개선절차 인식공유 프로세스 개선대상및영역, 접근법선정 현수준평가 개선사항도출. 개선절차 실행계획수립 개선실행 개선사항평가 27 Reference : Tim Koomen, Stepwise Improvement of the Test Process Using TPI. 2005 ICS Test conference
5. 컨설팅을통한레벨 2 개선추진전략 N 프로젝트기간 N+1 프로젝트기간 컨설팅 1 단계 2 단계 3 단계 4 단계 5 단계 6 단계 테스트교육 테스트프로세스 진단및제안 시범적용 수평전개 TMMI Level 2 달성유지보수테스팅체계화컨설팅 OR 직접진행 유지보수테스팅에 시범적용 수평전개 테스트프로세스 보완 수평전개 28
5. 테스트프로세스구축 / 개선전략 TMMI 레벨 2 도달하기위한경험을기반으로우선적전략, 어떤기업이든쉽게 접근가능한방법으로정의 - 제도적, 경영적, 기술과, 관리적관점을통합 객관성을유지하면서조직적개선을유도하기위해서는컨설팅을활용지금당장해야한다면? - RISK BASE( 개선과제를중심으로우선적실행 고도화 ) 해외수출을위해서는국제표준을기반으로진행 - ISO29119활용, IEEE829, MISRA등 - 테스팅보장을위해서공식적설계기법도입 ( 자동차의경우 MC/DC 요구 ) 29
5. 테스트프로세스구축 / 개선전략 개인의기술과능력을팀으로능력수준으로확장, 팀의능력을조직전체의능력으로확대시키는전략이필요 - 특정인의의존도가높은벤처또는연구소의경우심각하게고려. 효율성 / 효과성을고려하여자동화도입및기존프로세스연계 -임베디드시스템의경우코드재사용비율이일반적으로 70% 로높음 -반복에따른효율성을고려하여자동화도입, 리그레이션테스팅강화자사특성에맞는프로세스구축 - 자사의경험기반 ( 강점 ) 을유지 + 공식적설계기법의적용 - 컨설턴트에게현재사실을그대로 - 개발프로세스와통합, Early Test Defect Prevention - 리뷰및인스펙션의고도화, 이해당사자 ( 테스터,QA) 참여 30
6. 맺음말 조금이라도견딜수있으면변하지않는다 진단은 1 개월개선은 10 년! 전문성이확보되지않으면, 성숙도는언제나레벨 -1 중국의만리장성 커뮤니케이션의고립을초래 MUST DO! 리더는누구나쉽게접근할수있는기반 ( 프로세스 ) 을만드는것 31
TMMI 진단참고자료 자가진단 : www.softwaretesting.co.kr TMMi Foundation : www.tmmifoundation.org 32
별첨 : 측정지표 ROI(Return On Investment) ROI ( 정량지표 ) 실제프로젝트내의테스팅활동들이투자대비얼마만큼의재정적인이익을보았는지검증. 경영층레벨에서가장익숙하고보고받기원하는 KPI 관련된지표로서 Pay Back Period 도있음. 산술식 : ( 투자액-이익 )/ 투자액 * 100 테스팅활동중 ROI 측정 테스팅조직 Set Up, 인력증원 테스트자동화도구도입 테스트외부컨설팅도입, 테스트아웃소싱 34
별첨 : 테스트컨설팅 ROI 측정사례 - A 사컨설팅 5,000 4,400 2,800 이익 EF 30 EF 10 1,000 500 IF 70 투자 기존 투자액 IF 90 컨설팅비용 기존 투자액 목표컨설팅전컨설팅후 컨설팅전, 테스팅의성과는 600 만원 컨설팅전, 실패비용 = 70*20 + 30*100 = 4,400 만원 컨설팅후, 실패비용 = 90*20 + 10*100 = 2,800 만원 컨설팅으로인한수익 = 4,400 2,800 = 1,600 만원 컨설팅의 ROI = (1,600 500) / 500 = 220% 용어정의 IF : Internal Failure EF : External Failure 35
별첨 : 테스트도입 ROI 측정사례 -V 사 이익 Repair Cost $2,089,720 투자 Repair Cost $630,000 사람, 인프라 투자액 $645,600 Add-hoc Testing Formal Testing 테스팅도입전, 실패비용 = $2,089,720 테스팅도입후, 실패비용 = $630,000 테스팅으로인한수익 = $2,089,720 $630,000 = $1,459,720 테스팅의 ROI = (1,459,720)/645,600 = 226% * by The ROI of Testing, STAREAST 2008 36
별첨 : 투자 로서의테스팅 품질비용개념 (Cost of (poor) quality by Juran) Cquality = Cconformance + Cnonconformance Conformance costs : 테스팅 ( 결함발견 ) 과 QA ( 결함예방 ) Nonconformance costs : 결함수정, 재시험 (retesting), 불만족고객응대, 회사이미지손상, 사업기회상실등 테스팅 ROI (Return On Investment) 계산 ( 가상사례 ) Conformance costs : 수동 / 자동 / 정적테스팅 ( 편의상보수적으로 QA 제외 ) Nonconformance costs : 결함수정 ( 편의상보수적으로수치화어려운것들제외 ) 매분기 1,000개의반드시수정해야할결함 결함수정비용이검토 (Review) 단계에서는 1,000원, 개발자테스팅단계에서는 10,000원, 제3자테스트팀에의한테스팅단계에서는 100,000원, 사용자가사용중 발견한경우는 1,000,000 원 37
투자 로서의테스팅 테스팅 ROI 단위 : 천원 테스팅없이 수동테스팅 수 / 자동테스팅 수 / 자동 / 정적 개발자발견결함수 : 250 250 250 250 테스터발견결함수 : - 350 500 650 고객발견결함수 : 750 400 250 100 테스팅투자비인건비 - 60,000 60,000 60,000 인프라 - 10,000 10,000 10,000 도구 - - 12,500 12,500 투자총계 - 70,000 82,500 82,500 개발비용 반드시수정할결함수 250 250 250 250 고정비 2,500 2,500 2,500 2,500 테스팅비용 반드시수정할결함수 - 350 500 650 고정비 - 35,000 50,000 50,150 고객지원 반드시수정할결함수 750 400 250 100 고정비 750,000 400,000 250,000 100,000 품질비용 Conformance - 70,000 82,500 82,500 Nonconformance 752,500 437,500 302,500 152,650 품질비용총계 752,500 507,500 385,000 235,150 ROI(Return On Investment) NA 350% 445% 627% 출처 : Rex Black, 소프트웨어테스팅교육자료, 2005 테스팅의가치창출 결함발견및수정 ( 때로는예방까지 ) 비즈니스리스크최소화 프로젝트를성공으로유도 ( 적시에정확하고신뢰성높은프로젝트추적정보제공을통해 ) 결함발견및미수정 ( 고객지원시간감소 + 유지보수용이 ) 개발자테스트구조화및개선으로 ROI 향상 초기수정비용낮음 + 전체적으로안정된시스템개발에기여 + 개발에자신감부여 38