Temb 방법 임베디드시스템이란? TEmb 방법의개요 TEmb 일반요소 메커니즘 1
0.000000095 의오차가앗아간 27 명의생명 1991 년 2 월 25 일저녁 8 시 40 분경. 사우디아리비아다란미공군기지 2
0.000000095 의오차가앗아간 27 명의생명 3
0.000000095 의오차가앗아간 27 명의생명 Scud B 형알후세인 패트리어트알파포대 4
0.000000095 의오차가앗아간 27 명의생명 1 시간운용 : 0.0034 초 /7m 오차 100 시간연속가동 : 687m (0.000000095 X 100h X 60m X 60s X10 = 0.34 초 ) 5
임베디드시스템이란? 임베디드시스템이란? 휴대전화기, 철도의신호시스템, 보청기시스템, 미사일추적시스템등을망라하는시스템의폭넓은범위를일컫는일반용어 실제물리적세계와상호작용하면서어떤특정하드웨어를제어 임베디드시스템의전형적인컴포넌트를나타내는일반도해 Plant 6
임베디드시스템이란? 임베디드시스템의사례 7
TEmb 방법의개요 개요 목적 : 특정임베디드시스템에적합한테스트접근법의생성을지원 구성요소 : 일반요소, 특정수단, 메커니즘 TEmb 일반요소 구조적테스트접근법을형성하는테스팅의일반적요소 - 테스트프로젝트기획 - 표준기법적용 - 테스트환경사용 - 테스트팀조직 - 공식보고서작성 메커니즘 L I T O 특정수단 관찰된임베디드시스템의시스템적특성과관련된적절한특정수단 리스크와시스템특성을기반으로분석 4 개토대 L: Life cycle I: Infrastructure T: Techniques O: Organization 전용의테스트접근법 8
TEmb 방법의개요 메커니즘의분석기반 리스크 낮은품질의제품과관련된비즈니스리스크를다루기위한수단으로선택 제7장리스크기반테스트전략참조 (p.91) 시스템특성 제품의 ( 기술적 ) 특성과관련된문제를다루기위한수단으로선택 예 : 기술적-과학적알고리즘, 혼합신호, 안전성우선등과같은상위레벨특성 9
TEmb 방법의개요 시스템특성분석 시스템특성분석에사용된임베디드시스템사례 10 가지 셋톱박스, 주행제어, 기상예측, 웨이퍼스테퍼, 심장박동조절장치, 핵자기공명 (NMR) 스캐너, 적외선온도계, 철도신호표시, 텔레콤스위치, 골기퍼 시스템에적용되는두가지상위레벨특성 안전성우선 : 시스템의장애는인간에대한물리적손해로귀착 기술적-과학적알고리즘 : 프로세싱은복잡한계산으로구성 ( 미분방정식, 미사일궤도계산 ) 위두가지특성이 10 개시스템모두에적용가능한가? NMR: Nuclear Magnetic Resonance( 핵자기공명 ) 10
TEmb 방법의개요 시스템특성분석 ( 계속 ) 10 개시스템을시스템특성을이용하여 4 개의그룹으로분류 안전성우선 아니오 예 기술적 - 과학적알고리즘 아니오 예 셋톱박스웨이퍼스테퍼텔레콤스위치 기상예측적외선온도계 철도신호표시심장박동조절장치 주행제어 NMR 스캐너골기퍼 특정수단집합을위한제안 같은그룹에속해있는시스템들은유사한방식으로처리할수있는유사한특성들을소유 시스템특성과특정수단사이에링크가제공되므로적합한테스트접근법생성이쉬움 11
TEmb 방법의개요 시스템특성분석 ( 계속 ) FMEA: Failure Mode & Effect Analysis FTA : Fault Tree Analysis 각시스템특성에대해제안된특정수단집합 (4 개토대와관련 ) 시스템특성수명주기기반구조기법조직 안전성 우선 마스터테스트계획, MOD-00-56 포함안전성테스트 ( 테스트레벨 ) 부하 / 스트레스테스트 커버리지분석기 FMEA/FTA 모델검사공식적입증희귀이벤트테스팅 안전성관리자 안전성공학자 기술적 - 과학적 알고리즘 알고리즘밸리데이션 커버리지분석기 위협탐지기 진화적알고리즘위협탐지 수학전문가 시스템특성에중심을두는이점은시스템의매우큰다양성커버에단지제한된 집합만요구되므로테스트접근법에서사용가능한해결책제시가가능하기때문 12
TEmb 일반요소 일반요소의 4 개토대 기법 (Technique) 표준방식정의 - 진척도추적 - 테스트결과평가 어떻게 T 어떤활동, 어떤순서 테스트환경 툴, 테스트자동화 사무실환경 기반구조 (Infrastructure) I 무엇에의해 L 무엇을언제 누구에의해 수명주기 (Life Cycle) 중심토대, 토대간접착제역할 O 조직 (Organization) 사람의역할 전문지식 4 개토대모두고려시 구조적테스팅프로세스 13
TEmb 일반요소 일반요소의 4 개토대 ( 계속 ) 수명주기 (Life Cycle) 어떤활동이수행되어야하고어떤순서를따르는지정의 테스터와관리자에게프로세스에대한적절한이해력제공 기법 (Techniques) 특정활동을수행하는표준방식을정의함으로써수행방식을지원 기반구조 (Infrastructure) 계획된활동을수행할수있도록테스트환경에필요한것을정의 조직 (Organization) 계획된활동을수행해는사람들의역할과요구되는전문지식, 타분야와의상호작용방식등을정의 14
TEmb 일반요소 수명주기 (Life Cycle) 5단계테스트활동 : 기획및제어, 준비, 명세, 실행, 마감 기본아이디어 : 프로젝트핵심경로로부터벗어나가능한많은활동들을가능한빨리수행하도록시도하는것 준비 명세 실행 테스트케이스실행 테스트케이스설계 P S E C 마감 P&C 실행결과검토 기획및제어 15
TEmb 일반요소 5 단계테스트프로세스와주요활동 ( 권원일 ) 테스트계획과제어 테스트분석과설계 테스트구현과실행 테스트완료조건의평가와리포팅 테스트마감활동 테스트베이시스검토 테스트상황 / 요구사항 / 데이터식별 테스트기법할당 테스트용이성평가 테스트환경구축 테스트케이스명세화, 우선순위선정, 데이터생성, 프로시저작성 선행테스트 ( 재 ) 테스트실행 ( 결과기록 ) 기대결과와비교 산출물확인, 테스트웨어보관 테스트프로세스평가 ( 심사 ) 테스트목적 / 목표설정및대상연구 테스트전략개발 - 리스크분석 - 전략수립 테스트완료조건 테스트추정 조직구성 테스트계획활동 테스트관리및제어 리포팅 ( 모니터링 ) - 리포팅계획 / 설계 - 진행리포팅 16
TEmb 일반요소 기법 (Techniques) 테스트프로세스진척도추적및테스트결과에대한평가 테스터에게보편적인작업방법을제공하여테스트프로세스지원 제공가능기법 전략개발 : 리스크평가를기반으로선택과타협안개발 품질, 시간, 돈, 자원간최적의균형을유지, 이해관계자간협의 테스트설계 : 테스트케이스설계 품질특성, 커버리지, 시스템명세에따라개발 안전성분석 : 시스템의안전성양상평가, 선택수단에대한의견공유 데이터주도테스트자동화 캡처와재생, 고급테스트스크립트의프로그래밍지원 체크리스트 : 간단하며효과적, 테스터의경험을이용 17
TEmb 일반요소 기반구조 (Infrastructure) 구조적테스팅에요구되는모든설비를포함 기반구조 테스트환경 툴, 테스트자동화 사무실환경 테스트실행에필요한설비 효율적테스트실행을지원하는설비 인력수용설비 18
TEmb 일반요소 기반구조 ( 계속 ) 테스트환경 하드웨어 / 소프트웨어 / 네트워크 테스트대상시스템은각개발단계마다서로다른물리적외양보유 예 : 모델, 프로토타입, 시뮬레이터에연결된독립된유닛및제품유형 테스트데이터베이스 대부분의테스트는반복가능하게설계되어재현이가능한테스트결과획득 특정테스트데이터는하나의방식이나또는다른방식으로저장 시뮬레이션과측정장비 테스트대상시스템 ( 또는컴포넌트 ) 이실제로동작하지못하고외부신호필요시시뮬레이터필요 시스템은탐지와분석을위해특정장비필요 19
TEmb 일반요소 기반구조 ( 계속 ) 툴과테스트자동화 툴은테스트활동을편하게만들며매우광범위 테스트툴은테스트프로세스단계에따라분류 기획과제어 : 기획과진척도제어, 결함관리, 형상관리 준비 : 요구사항관리, 복잡성분석 명세 : 테스트케이스생성기, 테스트데이터생성기 실행 : 캡처와재생, 비교기, 모니터, 커버리지분석기 사무실환경 테스트품질은테스터기술과동기에크게좌우 불필요한주의산만이나초초감은회피 테스트는기획부터마감까지적절한환경필요 20
TEmb 일반요소 조직 (Organization) 사람에관한것, 사람들이어떻게의사소통하는가와관련 테스트조직의구조 역할 테스트조직의내부및전체구조에서의테스트조직의위치 서로다른분야, 분야간책임과관계에대한계층적체계 각분야에대해수행되어야만하는작업 작업을잘수행하기위해요구되는기술및전문성 인력과교육훈련 필요인력의획득, 교육훈련및경력관리사항 관리와제어절차 테스트프로세스는변화를다룰수있는제어절차필요 제어절차종류 : 테스트프로세스, 테스트기반구조, 테스트제품 21
TEmb 일반요소 일반요소의 4 개토대 ( 사례 ) 테스트전략약속과동기수명주기모델방법론의범위참여시점테스트기능과훈련산정과계획의사소통테스트명세보고정적테스트결함관리매트릭스테스트웨어관리테스트자동화테스트프로세스관리테스트환경평가사무실환경저수준의테스트 <TPI 의 20 개핵심전략 > 어떻게 기법 (Technique) T L 정적테스트 테스트명세 수명주기 (Life Cycle) 테스트전략 수명주기모델 무엇을언제 기반구조 (Infrastructure) 테스트환경 I 무엇에의해 누구에의해 O 조직 (Organization) 테스트기능 / 훈련 보고 의사소통 결함관리 22
특정분야테스트접근법을생성하는메커니즘 각프로젝트는프로젝트의특정목적을성취하고임베디드시스템을테스팅하는특정문제를다루기위해구체적인특정수단을선택 TEmb 방법에서 특정분야의테스트접근법을생성하는메커니즘 이라부르며리스크와시스템특성기반으로테스트수단선택 리스크분석기반테스트수단선택 해야될것과하지말아야될것을협상하고테스트우선순위를할당하는프로세스 시스템특성기반테스트수단선택 견해보다사실을다루는객관적인프로세스 각시스템특성에적용가능한특정해결책에서 LITO-매트릭스제시 23
특정분야테스트접근법을생성하는메커니즘 시스템특성 TEmb 목적 : 임베디드시스템분류법을과학적으로성취하는것이아니라실용적이며테스터의관점으로부터나옴 TEmb 목표 : 다음질문에대해테스터관리자지원 시스템을특별하게만드는것이무엇인가? 테스트접근법에서시스템을다루기위해포함시켜야하는것이무엇인가? 시스템특성 10 가지사례 안전성우선시스템, 기술적 - 과학적알고리즘, 자율시스템, 유일시스템 : 단발 개발, 아날로그입력과출력, 하드웨어제약사항, 상태기반동작, 8 하드실시간동작, 9 제어시스템, 10 극도의환경조건 24
특정분야테스트접근법을생성하는메커니즘 시스템특성 안전성우선시스템 장애가건강에심각한손상의원인이되는시스템 리스크분석중요, 신뢰성분석및향상을위해엄격한기법적용 예 : 항공전자공학, 의학장비, 핵융합기, 강입자가속기 관리시스템은? 중항공전자공학전문가 35 명조기경보기 실험중전원사망 (2006. 6. 7) 핵융합연구장치 KSTAR 상량식 (2007.1.11) 25
특정분야테스트접근법을생성하는메커니즘 시스템특성 기술적 - 과학적알고리즘 임베디드시스템을현실화하기위해필요한복잡한제어알고리즘 화이트박스지향테스트레벨에중심 예 : 국제우주정거장, 인공위성, 자동차의정속-제어시스템 26
특정분야테스트접근법을생성하는메커니즘 시스템특성 기술적 - 과학적알고리즘 포드, 정속주행장치결함으로 360만대리콜 (2007. 8. 6) (1992-2004년생산차량 ) 27
특정분야테스트접근법을생성하는메커니즘 시스템특성 자율시스템 동작이시작되면인간의개입이나상호작용을필요로하지않고작업이자동적으로수행되는시스템 특정테스트툴을가진테스트환경에서테스트케이스실행및결과측정 / 분석 예 : 자동잔디깍기시스템, 일부무기시스템, 교통신호시스템, 28
특정분야테스트접근법을생성하는메커니즘 시스템특성 유일시스템 : 단발 개발 일단한번발사되면관리될수없는시스템 유지보수, 재사용, 리그레션테스팅등은새로운사고로접근필요 예 : 미사일, 위성 대중마켓제품은? 29
특정분야테스트접근법을생성하는메커니즘 시스템특성 아날로그입력및출력 ( 일반적으로혼합신호 ) 입력과출력이정확한값을갖기보다는허용가능한경계를정의하는특정오차범위를가짐 회색지역 : 테스트출력이허용가능한지아닌지직관적으로결정하기위해사용 예 : 아날로그오디오시스템, 아날로그통신시스템등 30
특정분야테스트접근법을생성하는메커니즘 시스템특성 하드웨어제약사항 메모리사용과전력소비등과관련된하드웨어자원들의제한 특수화와기술적특징에서테스팅노력필요 예 : 잠수함어뢰, 스마트센서, 스마트폰, 스마트워치등 30~50 노트, 10~40 마일 31
특정분야테스트접근법을생성하는메커니즘 시스템특성 상태 - 기반동작 특정상태로부터다른상태로의전이라는관점에서기술 특정이벤트에의해유발되고이전이벤트의이력에의존 똑같은입력이항상허용되지않거나, 허용된다면다른출력생산시나타남 예 : 전자레인지, 전기밥솥, 전기오븐등 32
특정분야테스트접근법을생성하는메커니즘 시스템특성 8 하드실시간동작 입력또는출력이발생해서시스템동작에영향을주는정확한순간 테스트케이스는입력과출력시간에대한세부정보를포함 테스트케이스결과는테스트케이스가실행되는순서에의존 예 : 브레이크시스템, 로보틱스, 산업제어시스템등 33
특정분야테스트접근법을생성하는메커니즘 시스템특성 9 제어시스템 제어시스템은연속적인피드백메커니즘을통해환경과상호작용 환경동작에대한정확한시뮬레이션필요 예 : 산업프로세스제어시스템, 항공기비행제어시스템 34
특정분야테스트접근법을생성하는메커니즘 시스템특성 10 극도의환경조건 혹서나혹한에서의노출, 기계적충격, 화학적또는방사열과같은극도의조건하에서운용의연속성요구 극도의조건들을만들어내는특수화된테스팅장비필요 실제환경에서의테스팅이위험시시뮬레이션장비가대신사용 35
특정분야테스트접근법을생성하는메커니즘 특정한측정수단 특별한임베디드시스템을테스팅하기위해여러특정한측정수단필요 하나의측정수단은하나의임베디드시스템을테스팅하는데필요하나다른임베디드시스템을테스팅하는데는불필요 특정한측정수단과시스템특성과의관계 ( 예 ) 특정테스트설계기법은시스템의상태-기반동작테스트에적용가능 몇몇개발환경에서모델화된시스템은시스템의실시간동작을테스팅 특정분야툴은위협탐지수행 ( 소프트웨어결함 ) 진화알고리즘은테스트케이스를더나은테스트케이스로진화하도록만드는최적화프로세스 시뮬레이터유지보수및관리를위해특정제어부서필요 ( 툴공유필요 ) 영국표준 MOD-00-56은안전성분석활동을위한특정수명주기정의 36
특정분야테스트접근법을생성하는메커니즘 LITO- 매트릭스 시스템특성과특정한측정수단간의관계 테스트접근법에포함되는시스템특성들의개요와적용가능수단제공 시스템특성수명주기기반구조기법조직 FMEA/FTA 안전성우선 마스터테스트계획부하 / 스트레스테스트 커버리지분석기 모델검사공식입증 안전성관리자 안전성공학자 희귀이벤트테스팅 기술적-과학적알고리즘 알고리즘밸리데이션 커버리지분석기위협탐지기 진화알고리즘위협탐지 수학전문가 자율시스템 루프내하드웨어루프내소프트웨어 측정탐색침 희귀이벤트테스팅 단발시스템 커버리지분석기 희귀이벤트테스팅커버리지분석 혼합신호 혼합신호분석기신호발생기 혼합신호출력분석분류-트리방법 특정분야툴을위한제어부서 37
특정분야테스트접근법을생성하는메커니즘 LITO- 매트릭스 ( 계속 ) 시스템특성수명주기기반구조기법조직 HW 제약사항 -전원 -메모리 호스트 / 타겟테스팅환경 알고리즘효율성분석 상태 - 기반동작 상태모델링과테스팅툴 상태전이테스팅통계적사용기반테스팅희귀이벤트테스팅 하드실시간 로직분석기시간측정탐색침 진화알고리즘 통계적사용기반 제어시스템 루프내하드웨어 루프내소프트웨어 피드백-시뮬레이션 테스팅희귀이벤트테스팅 제어공학 피드백제어테스트 극도의환경조건필드테스트환경시뮬레이터전자기간섭테스트 38