무기체계 SW 신뢰성향상을위한방안 MDS 테크놀로지 우경일팀장
CONTENTS Ⅰ 무기체계 SW신뢰성시험방안 Ⅱ 무기체계 SW 개발현실과어려움 Ⅲ SW 개발환경개선방안 1~7 Ⅳ SW 신뢰성시험설정방안 Ⅴ 결론
무기체계 SW 신뢰성시험방안 A. 요구사항관리 H. 성능테스트 요구사항을저장 / 관리 / 추적 / 분석관리 신뢰성시험평가기준분석및설정 B. 설계 소스코드, 모델의분석 / 설계등시스템의아키텍처설계및관리 요구사항및시험평가기준정의 C. 방위사업청코딩룰 시스템아키텍처설계 소프트웨어설계 형상 / 변경통합관리시스템 소프트웨어모듈테스트 인수테스트 (Acceptance) 시스템통합테스트 F. 코드실행률테스트 인수테스트단계에서활용되며, 어플리케이션이나 DB, WAS 등의 Load 테스트와성능테스트수행 G. 기능테스트 요구사항기반으로 S/W 가개발되었는지를평가하는블랙박스테스트 C, C++ 언어로작성된코드의정적분석과메트릭을제공하여개발표준룰체크 소프트웨어개발 소프트웨어단위테스트 S/W 통합시험이나체계시험단계에서 S/W 전체커버리지를감지 D. 실행시간오류 E. 단위시험 SW 실행시발생할수있는 Buffer Overrun 이나 Memory 누수와같은오류를전문적으로탐지 단위시험단계에서코드및요구명세시험지원및모듈의커버리지를측정 3
현무기체계 SW 신뢰성확보를위한분류 방위사업청코딩규칙준수 (QAC/QAC++) 실행시간오류제거 (CodeSonar) 단위 / 통합 / 체계시험과이를통한코드실행률확보 (VectorCAST) 신뢰성기준설정 (Medini Analyze) 4
현무기체계 SW 신뢰성확보를위한세부내용 코딩규칙검증 실행시간오류검증 코드실행률검증 신뢰성기준설정 방위사업청코딩규칙검증 SW 실행시발생가능한결함검출 단위 / 통합시험수행및코드실행률목표치확보 무기체계위험도분석 (HARA) 및국방무결성등급정의 코딩규칙및품질 Metric 을검사하여 SW 의품질측정및개선 SW 실행시간오류를제거하여잠재적결함을최소화하고강건성을향상 요구사항에명시된기능 / 비기능에대한 SW 완성도를검사 신뢰성확보에위배되는위험원파악무기체계위험등급설정및시험평가기준을수립 5
현무기체계 SW 개발환경의현실 (1/2) 부족한프로젝트수행기간 전체프로젝트수행기간에서 1~2 개월이지난후개발요청 제한적인프로젝트비용 장비, 인력및프로젝트수행비용 ( 회식비및 License 등 ) 부족 혼선이야기되는여러개발도구들 (Complier 및 Testing Tool 등 ) 이론과다른현실 요구사항분석, 설계경험부족결함이많지만기능을 80% 구현한개발자 vs. 신뢰성을확보하며기능을 30% 구현한개발자 6
현무기체계 SW 개발환경의현실 (2/2) 부족한개발시간 개발시간 = 프로그래밍시간 + 부수적인업무를위한시간 ( 지속적인회의, 신뢰성시험수행및각종산출물작성등 ) 부족한개발시간으로인한야근및특근 7
8
해결방안 1 CI 환경구축 Requirement DB (DOORS or Polarion) IBM & Polarion (ALM) 형상항목 1. Coding Rule Check QAC 변경사항 commit SVN Repository 2. S/W Metrics 3. Unit Testing 4. S/W Integration 5. Code Coverage CodeSonar 개발자 & Tester Electric Commander Jenkins, ANTS, Maven, etc. Dash Board 6. Document VectorCAST Web E-mail Monitor & Manager < 분석결과화면 > 9
해결방안 2 ALM 환경구축 시스템엔지니어링영역별지원도구간통합, 문서자동화템플릿생성 / 출력기능, 업무환경 (ex. PLM 등 ) 과의연동을통해조직의시스템엔지니어링역량강화 SW 설계 요구사항추적 SW 신뢰성시험 QAC CodeSonar VectorCAST 테스트결과추적 테스트수행 Continuous Integration 요구사항간추적성관리 Source Code 빌드 / 배포관리 시스템요구사항과 SW 산출물간양방향추적 ALM HW, SW 간통합형상 / 변경관리 PLM 10
해결방안 2 ALM 환경구축 시스템엔지니어링영역별지원도구간통합, 문서자동화템플릿생성 / 출력기능, 업무환경 (ex. PLM 등 ) 과의연동을통해조직의시스템엔지니어링역량강화 DOORS 템플릿 (22 종 ) 요구사항문서 설계문서 시험문서 체계규격서 (SSS) 소프트웨어요구사항명세서 (SRS) 하드웨어요구사항명세서 (HRS) 주요품목개발규격서 (PIDS/CIDS) 인터페이스요구사항명세서 (IRS) 체계 / 부체계설계명세서 (SSDD) 소프트웨어개발계획서 (SDP) 소프트웨어설계명세서 (SDD) 데이터베이스설계명세서 (DBDD) 하드웨어설계명세서 (HDD) 인터페이스설계명세서 (IDD) 인터페이스통제문서 (ICD) 체계 / 부체계시험계획서 (STP) 통합시험절차서 체계 / 부체계성능시험절차서 (PQTP) 개발시험평가계획서 소프트웨어시험계획서 (STP) 소프트웨어시험절차서 (STD) 하드웨어시험절차서 (HTD) 소프트웨어시험결과보고서 (STR) 기술문서템플릿 (RPE & HWP RG) Import 표준템플릿자동입출력기능구현 Export 요구사항관리 (DOORS) 체계요구사양 1 요구사양 2 소프트웨어요구사양 1 요구사양 2 요구사양 3 시스템요구사항 구성품요구사항 시스템설계, 상호운용성 (System Architect) SW 설계 (Rhapsody) 아키텍처모델 (MND-AF 기반 ) 체계상호운용성요소분석 Source Generation SW Source 관리 (Synergy) 변경관리 PLM (Product Life Cycle) 요구분석설계구현통합시험 11
해결방안 3 신뢰성시험의영향요소파악 소스수정 테스트계획및전략수립 요구사항분석및테스트케이스작성 테스트수행 테스트결과분석및전달 테스트종료 방위사업청코딩규칙의준수여부 품질매트릭 - Cyclomatic Complexity ( 함수내부분기문의개수 ) - Deepest Level of Nesting (if 문의중첩도 ) 동적시험 정적시험 테스트엔지니어의숙련도 UI 가있는 SW(MFC 사용 ) 절차서의커버리지정도 절차서작성에많은시간소요 Coverage 의종류 (Statement, Branch, MC/DC) 12
해결방안 4 품질메트릭 (Metrics) 관리 품질메트릭 (Metrics) 소프트웨어의복잡도를측정하는지표 복잡도측정을통해 SW 현재상태파악 자주사용되는품질메트릭 Cyclomatic Complexity 함수내부분기문의개수계산 Number of Executable Lines 함수내부의실행코드라인수 Deepest Level of Nesting if 문의중첩도계산 품질메트릭사용이유 품질메트릭의결과값을통해검증한 SW 의복잡도측정 개발자에게 SW 수정방향을제시 13
해결방안 4 품질메트릭 (Metrics) 장점 품질메트릭 (Metrics) 장점 코드에대한정량적인품질측정 여러품질메트릭값을확인 다양한측면에서코드의품질측정 복잡도측정을통해수정방향제시 Cyclomatic Complexity, Deepest Level of Nesting, Number of Executable Lines 설정한최대값보다클경우 : 복잡도가높은코드 리펙토링이필요설정한최소값보다작을경우 : 복잡도낮은코드 모듈화로통합필요논리연산자와매개변수의개수메트릭테스트단계에서 Test Case 개수를감소 시간단축 ( 예시 ) 16 개의논리연산자와 7 개의매개변수가선언된함수의테스트케이스 371 개 7 개의논리연산자와 4 개의매개변수로줄여 64 개의테스트케이스로감소 16
해결방안 5 모듈화기반신뢰성시험영역구분 모듈화가잘되어있는경우 ( 요구사항과파일별, 클래스별 mapping 가능 ) 요구사항분석 임무 ( 기능 ) 중요도, 인명피해정도, 사용빈도고려각요구사항에상, 중, 하의레벨부여 Coverage 선택 개발된소스코드의모듈화정도 D Lv. : MC/DC + Statement C Lv. : Branch + Statement B Lv. : Statement 모듈화가잘되어있지않은경우 ( 요구사항과파일별, 클래스별 mapping 불가능 ) CSCI 단위로분석 임무 ( 기능 ) 중요도, 인명피해정도, 사용빈도를고려 각 CSCI 에상, 중, 하의레벨을부여 하부의 CSC, CSU 는상위 CSCI 의레벨에따라결정 17
해결방안 6 효과적인 Test Case 생성 Analysis of requirements 요구사항명세분석을통해테스트케이스를생성 Analysis of boundary values 테스트케이스생성방법 Generation and analysis of equivalence classes 여러가능한입력값에대해동일한결과를갖는값들을동치클래스로구분하고, 각클래스별로입력값을선택하여테스트케이스를생성 Error guessing 모듈의입력파라미터로극한값이나경계값을이용하여테스트케이스를생성 테스트엔지니어의경험을기반으로어떤입력에대해서발생할수있는오류를예측하여테스트케이스를생성 18
해결방안 7 효과적인테스팅도구의사용 비교항목 VectorCAST ( 테스팅도구 ) 디버깅 / 프로파일링도구 PC 기반시험 - 원본코드에테스트를위한프로젝트생성및코드삽입과정은유사 내장형시스템기반시험 분석가능코드실행률타입 요구사항과의추적성확보 삽입코드 소스코드실행률 - 파일시스템또는 Memory Dump 방식 - Serial Port 로실시간데이터전송 - Statement Coverage ( 구문실행률 ) - Branch Coverage ( 분기실행률 ) - MC/DC - Function Coverage ( 함수실행률 ) - Call Coverage ( 호출실행률 ) - Excel, DOORS, Polarion 등요구사항관리도구들과테스트케이스 / 테스트시나리오간추적성확보 - 전처리후코드삽입 ( 코드수정불필요 ) - 실행구문라인별코드삽입 - 원본소스에서총실행가능구문대비실행된구문비율로코드실행률측정 신뢰성 / 안전성관련국제표준준수 우주 / 항공 / 국방 / 철도 / 자동차 / 의료등사용 - 하드웨어장치연동 - Block Coverage ( 블록실행률, 국제기준에부적합 ) Statement Coverage Block Coverage 구문 (Statement) 의경우기본 Key word 를제외한구문에대해사용자가수동으로탐침코드삽입 - Branch Coverage - MC/DC 미지원 - 요구사항과의추적성확보기능부재 테스팅도구가아닌디버깅목적 - 전처리하지않고코드삽입되어 Define 매크로등추가적인코드수정 / 추가필요 코드실행률에대한결과보장 (Guarantee) 불가 - Entry Point 및실행 Path 시작 / 끝에코드삽입 - Test Point 구문의실행유무비율로코드실행률측정 수출기준, 국제표준에준수불가 개발자간참고용자료로만활용 ( 신뢰성 / 안전성분야코드실행률측정결과적용불가 ) 19
20
무기체계신뢰성기준설정 (2013 지침서 ) SW 신뢰성시험평가 * 시험평가항목 : 코드실행률 (Code Coverage) 소프트웨어동적시험계획수립절차 가. 연구개발주관기관은소프트웨어개발계획서에동적시험계획을포함하여작성 1) 시험대상항목및코드실행률목표값설정방법 (1) 관련국제기준, 규격및문헌을참고하여개발대상소프트웨어 (CSCI, CSC, CSU 등 ) 의장애발생가능성, 장애로인한영향도등을분석하고위험 (Risk) 요소도출 MIL-STD-882E, DO-178B, IEC 61508, ISO 26262 (2) 위험요소평가후, 일정수준이상의위험을가진소프트웨어항목을동적시험대상으로결정하고위험수준별로목표값설정 2) 동적시험을고려한소프트웨어설계, 구현및시험방안 ( 복잡성, 시험용이성 (Testability), 유지보수성등 ) 3) 동적시험시기및환경구축방안 ( 시험도구선정등 ) 나. 연구개발주관기관은소프트웨어시험계획서및소프트웨어시험절차서에소프트웨어동적시험계획및절차를작성한다. 코드실행률목표값설정을위한상세수행절차및기준을제시 현무기체계소프트웨어신뢰성시험평가기준의상세화및개선안소개 * 방위사업청, 무기체계내장형소프트웨어획득및관리실무지침서 2013 21
무기체계신뢰성기준설정방안 ( 案 ) 시스템신뢰성분석 FME(C)A 운용요구기술서 체계정의 초안아키텍처 운용기능정의 고장정의 System HW SW 재난위험분석및리스크평가 전투시나리오분석 고장정의 FTA 발생도 (E) 심각도 (S)/ 제어가능성 (C) 위험한사건정의 SW 신뢰성기준설정작업흐름 체계치명도등급도출 A B C D 시험적용방법 A B C D 1 정적시험 ++ ++ ++ ++ 2a Statement coverage + ++ ++ ++ 2b Branch coverage + + ++ ++ 2c MC/DC (Modified Condition & Decision Coverage) O + + ++ Copyright(c)2013 by Kyungil, Woo / MDS Technology. All contents cannot be copied without permission. Copyright(c)2013 이곳의모든저작권은 MDS 테크놀로지우경일에게있습니다. 승인없는무단배포를금합니다. 22
결론 SW 신뢰성을높이기위한방안 개발단계에서코딩규칙을준수하여개발정적시험비용과시간절약 검증된정적 / 동적시험도구및 ALM 을적용하여개발생산성향상 신뢰성시험수행을위한적합한도구사용 방사청코딩규칙준수 품질메트릭사용 Cyclomatic Complexity Number of Executable Lines Deepest Level of Nesting Model 과 Controller 는단위테스트, View 는기능테스트가능 재사용성, 유지보수성, Testability 상승 MVC 모델적용 코드실행률확보 Code 의옳고그름, Error 유 / 무확인 부정확한또는불충분한기능구현방지 Defect 의존재가능성을제거 Test 에대한충분성 27
Thank you MDS 테크놀로지 시스템엔지니어링솔루션 1 팀우경일팀장 031-627-3140 kyungil@mdstec.com www.mdstec.com 본사 463-400 경기도성남시분당구대왕판교로 644 번길 49 한컴타워 3 층 031-627-3000 연구소 463-400 경기도성남시분당구판교로 288 번길 15 판교 7 벤처밸리 2 단지 1 동 9 층 031-600-5000