Special Theme 소프트웨어품질평가 Special Report 2 이영석 1. 머리말본고는 2013 년 IT 산업의발전과더불어관심이집중되고있는여러 IT 기술과테스팅기술이슈중테스팅자동화, 빅데이터 / 클라우드컴퓨팅, 애자일개발방법론이라는 3가지이슈를선정하여 IT 기술과테스팅에관해소개하고자한다. 2. 테스팅자동화 2013년 1월, 필자가방문한일본의 JaSST(Japan Symposium on Software Testing) 는 700 석이매진될만큼뜨거운열기로진행된테스팅심포지엄이었다. 국내와는달리 테스팅자동화도구 에관한일본테스팅엔지니어의높은관심을현장에서확인할수있었다. 10여개이상의소프트웨어자동화도구가전시됐으며, 2013 년 JaSST 의기조연설은테스팅자동화분야의대가인도로시그레이엄 (Dorothy Graham) 의 Challenges in Software Testing 이었다. 2.1 테스팅자동화에관한오해영국인인도로시그레이엄은벨연구소에서테스팅도구개발을시작으로 40년이상의테스팅경험을가진전문가이다. 현재는테스팅컨설턴트와강연가로활동중이며, 다수의테스팅분야도서를낸저자이기도하다. 이날그녀는 JaSST 의기조연설에서자동화도구의 인식의오해 를주제로강연하였다. 강연을통해그녀는테스팅자동화도구가절대테스팅엔지니어의프로젝트의투입공수를줄일수없음을역설했으며, 오히려테스팅도구의도입을통한테스팅자동화를위해자동화스크립트를준비하거나자동화결과를분석하는데더많은테스팅엔지니어가필요하게될것이라주장했다. 지금까지대다수의테스팅자동화도구의세일즈포인트는테스팅자동화도구를통한 인력감축 이었다. 도로시그레이엄은이러한세일즈전략이오해임을지적하였다. 현재국내테스팅자동화시장은침체를벗어나지못하고있는실정이다. 소프트웨어품질의중요성과테스팅필요성에대한인식이높아지고있는상황이나, 여 TTA Journal Vol.149 041
전히눈에띄는시장을형성하고있지는못한실정이다. 테스팅자동화가활성화되지못하는문제는여러가지가있겠지만, 그중테스트엔지니어의동작 (Test Operation) 을대신하기위한테스트스크립트작성 ( 또는확보 ) 이테스팅자동화를적용하고자할때현장에서느끼는가장큰어려움중하나이다. 를작성할때사람의동작을대신할수있는방법은크게두가지로나뉜다. X, Y 좌표값기준의이벤트입력 사용자인터페이스를구성하는컴포넌트에대한직접적인이벤트입력 Automation is more than execution edit tests (Maintenance) Set-up execute Manual testing Same tests automated More mature automaion Analyse failures [ 그림 1] 테스팅자동화와수행비용 2.2 테스팅자동화방안 (Method) 의어려움 Clear-up 테스팅자동화적용분야는다양하지만, 가장관심이 높은블랙박스 / 다이나믹테스팅분야를예를들면다 음과같은자동화과정을거친다. 먼저사용자인터페이스에서동작을레코딩하여그 동작을스크립트등자동으로수행가능한코드화작 업을한다. 이후테스팅을위한동작은사람이직접소 프트웨어를동작시키는것이아니라, 기작성해놓은스 크립트등을반복적으로수행하도록해사람의반복적 인동작을대신한다. 이과정에서가장어려운부분이사용자인터페이스 에사람의동작을레코딩하는방법이다. 사람은인지력 을갖고있기에사용자인터페이스를구성하는요소중 의미있게동작하는버튼, 입력창, 설정항목등을선별 하여동작을수행할수있지만, 자동화코드로이러한 구분을정의하는것은어려운일이다. 보통자동화코드 X, Y 좌표값기준의입력은사용자의디스플레이해상도와비율이달라질때마다동작을수행하는화면구성의컴포넌트의좌표값이달라지기때문에동일한동작을반복할수없는문제가생긴다. 현재 IT 시장을볼때 PC, 스마트폰, 태블릿등다양한사용자장비가있고, 장비마다다른화면비율을통해구동되는소프트웨어가대부분이다. 이런이유로좌표값만을기준으로자동화를위한스크립트를작성하게된다면, 각각장비마다다른스크립트를작성해야하기때문에실제로자동화를위한준비단계에스크립트작성을위해더많은테스트엔지니어가투입될수밖에없다. 또한, 각 PC, 스마트폰, 태블릿등 IT 장비의화면크기가빠르게변해가기에기존에확보된스크립트를이용해유지보수측면에서의장기간회기 (Regression) 테스트를수행하고자할때에도기대한만큼의재활용효율성을기대하기어렵다. 다른방법으로좌표값이아닌, 사용자인터페이스를구성하는컴포넌트를직접자동화도구가인식하고테스트를위한입력동작을수행하는방법이있다. 이는이상적인방법이기는하나, 테스트대상 (System Under Test) 환경이이러한방법에대한지원이있어야가능하다는문제가있다. 과거자바나마이크로소프트의윈도우환경과는달리최신의안드로이드환경등에서는기능이개선된 JUnit 라이브러리제공등을통해이러한부분의지원이강화되기는하였으나, 여전히테스팅자동화도구와대상소프트웨어의코드가직접연결되어야하는등의 042 09/10 2013
문제가남아있는것이현실이다. 2.3 테스팅자동화의국내상황국내의경우이전부터테스팅자동화도구의적용이시도되었음에도불구하고, 앞서살펴본바와같이테스팅자동화를위한대상소프트웨어의지원기술기반의부재등의이유로기대한만큼성과를이루지못했다. 또한, 도로시그레이엄의주장대로테스팅자동화의목적이테스팅엔지니어의투입비용을줄이는것이아님에도많은자동화도구가그러한오해를기반으로적용되는과정을겪었으며, 그로인해자동화를도입한고객들이도입효과에회의와불신을갖게되었다. 하지만소프트웨어테스트에대한중요성이높아지면서보다넓은커버리지와높은효율성을위한시도가계속될것이며, 테스트자동화의도입이용이한새로운소프트웨어플랫폼의등장이이어질것은부정할수없는트렌드가될것이다. 그러므로다시금국내에서도테스팅자동화시장이활성화될것으로기대한다. 3. 빅데이터 / 클라우드컴퓨팅의테스팅 3.1 빅데이터빅데이터란기존데이터베이스관리도구의데이터수집, 저장, 관리, 분석의역량을넘어서는대량의정형또는비정형데이터세트및이러한데이터로부터가치를추출하고결과를분석하는기술을의미한다. 기존빅데이터의개념이단순히데이터의양이많은것을의미했다면, 최근의일반적인개념은기존데이터에비해너무방대해일반적으로사용하는방법이나도구로수집, 저장, 검색, 분석, 시각화등을하기어려운정형또는비정형데이터세트를의미한다. 1) 3.2 클라우드컴퓨팅클라우드컴퓨팅은개인이가진단말기를통해서는주로입 출력작업만이뤄지고, 정보분석및처리, 저장, 관리, 유통등의작업은클라우드라불리는제3 의공간에서이뤄지는컴퓨팅시스템형태라고정의할수있다. 2) 클라우드환경에는탄력적확정성, 고가용성, 자동화된리소스관리등이요구되며, 이러한클라우드컴퓨팅을구현하기위한기술로가상화기술과분산 DB 등의기술이적용된다. NIPA 는매년 IT 업계종사자들을대상으로설문조사하여 IT 산업 10대이슈를발표하고있다. 발표된 2013 년 IT 산업 10대이슈 를보면, 특허 / 지재권, 빅데이터, 클라우드컴퓨팅, 소셜, 정보보호등기존의이슈들과신정부의 IT 정책방향, 차세대반도체 / 디스플레이, 스마트홈가전 / 서비스, HTML5, 차별화를위한콘텐츠 / 서비스경쟁등이새로운이슈로선정되었다. 이중현재국내 SI 시장에화두가되고있는빅데이터 / 클라우드컴퓨팅에대한테스팅이슈를살펴보자. 3.3 빅데이터시장과클라우드컴퓨팅시장의상황 NIPA 가 2013 년도 536개기업을대상으로실시한조사에따르면빅데이터를도입할계획이있는곳은 9.7% 로나타났다. 조사를수행한 KRG는 빅데이터를고객분석, 내부관리업무지원, 기업전략수립등에시범적으로도입하는기업들이점차늘어나고있다. 특히물류, 백화점, 홈쇼핑등서비스산업과화학, 건설등일부제조업체에서올해투자가예상된다. 빅데이터투자예산으로 5~10 억원규모를편성한기업이많았다 고조사결과를밝혔다. 1), 2) 출처 : 위키백과. TTA Journal Vol.149 043
Command Line Interface Hive Web Interface Driver (Compiler, Optimizer, Executor) JDBC ODBC Thrift Server Metastore HADOOP Map/Reduce HDFS [ 그림 2] 빅데이터구조의예 NIPA 의발표자료를보면국내클라우드컴퓨팅시장은데스크톱가상화수요가이끌것으로전망된다. 전년대비 25.1% 가성장한 4,370 억원시장규모를형성할것으로전망한다. 국내주요 IT 서비스업체들이계열사 IT 인프라를클라우드로전환하면서클라우드구축 (SI) 시장과 IaaS 시장중심으로성장이예상되며, 올해클라우드컴퓨팅에투자할계획이있는기업은 27.6%, 이가운데 64.2% 가데스크톱가상화, 47.2% 는 IaaS에투자할계획이라는것이다. 데스크톱가상화는은행, 증권, 제조, 유통, 공공, 병원등산업전반으로확산될것으로전망된다. 3.4 빅데이터 / 클라우드컴퓨팅환경의테스팅이슈현재빅데이터와클라우드환경을구축하는데사용되는소프트웨어는대부분 Hive, Pig, MapReduce 등의빅데이터를위한공개소프트웨어와 Cassandra, Cloudata, HBase, MongoDB, 그리고 KVM, Xen, VirtualBox 등의클라우드를위한공개소프트웨어이다. 이러한공개소프트웨어를스택으로구성하여빅데이터 / 클라우드컴퓨팅환경을구성하는데있어서다음과같은품질이슈가발생한다. 각각의공개소프트웨어가제공하는기능이정상적으로동작할것인가?( 기능성 ) 각각의공개소프트웨어가운영시안정적이고믿을 수있는가동을보여줄것인가?( 신뢰성 ) 각각의스택을이루는유기적관계의공개소프트웨어가상호운영시안정성을확보할수있는가?( 상호운용성 ) 각각의스택을이루는유기적관계의공개소프트웨어가기대한만큼의운영속도를보여줄것인가?( 시간효율성 ) 각각의스택을이루는유기적관계의공개소프트웨어가기대한만큼자원관리능력을보여줄것인가?( 자원효율성 ) 특히가상화소프트웨어제품의경우, 컴퓨팅자원의활용성극대화에특징을갖고있는만큼효율성의검증은중요한테스팅이슈라할수있다. 이러한이유로공개소프트웨어스택통합테스트는여러공개 SW의조합으로시스템스택을구성한후, 스택을구성하는공개SW 의상호운용성에중점을두고기능및성능테스트시나리오를개발해테스트를진행한다. 상용소프트웨어를이용해유기적운영환경을구성한다고하더라도각제품의특성에의해상호운영시많은문제가발생하는것을고려할때, 이러한공개소프트웨어가각각기능적인부분이테스트를통해확인됐더라도스택구조를구성하여상호운용성을테스트하는것은굉장히중요하다. 테스팅을위한시나리오작성역시중요한이슈다. 시 044 09/10 2013
나리오테스트기법은단일기능에대한결함여부를확인하는것이아니라, 서로다른컴포넌트간의상호작용과간섭으로발생할수있는결함을발견하기위한기법이다. 이러한시나리오를통해유기적운영환경을구성한공개소프트웨어의상호운영을통한결과를확인할수있다. 이러한테스팅의레퍼런스모델 ( 좋은사례 ) 에관한정보는공개소프트웨어역량프라자사이트 (www.oss.kr) 를통해확인할수있다. 발하겠다는것이다. 또한, 고객의요구를만족시키고자소프트웨어개발프로젝트가완료되는인수시점에고객에게소프트웨어를공개하는것이아니라, 최대한빠른주기로동작가능한소프트웨어를개발하여고객에게공개하고고객의요구사항을개발중간마다반영토록하는특징이있다. 사실이는과거나선형 (Spiral) 모델을근간으로반복적이고점진적으로개발하는방법론의진화모델이라고할수있다. 애자일개발방법론중최근주목을받고있는방 4. 애자일개발방법론상의테스팅이제는더이상애자일개발방법론의유용성여부논쟁은없다. 이미 MS, IBM, HP 등글로벌 IT 회사뿐만아니라, 삼성전자, LG 전자등 IT 기기를만드는회사에서도소프트웨어를개발하는개발방법론으로애자일개발방법론을현장에서사용하고있다. 법론으로는스크럼 (Scrum) 방법론이있다. 스프린트 (Sprint) 라는 4주미만의짧은개발기간을반복하는방법으로이기간에별도의고객요구사항이나이슈를수용하지않고, 하나의스프린트가끝났을때스프린트리뷰를통해고객의의견을수렴하고, 스프린트플래닝을통해다음번스프린트에의견을반영하고목표를설정하는방법이다. 4.1 애자일개발방법론 개발방법론이란소프트웨어개발에관한계획, 분석, 설계및구축관련정형화된방법과절차, 도구등이공학 4.2 애자일개발방법론에서테스팅의역할 애자일개발방법론의목표와취지에맞춰테스팅은 [ 그림 3] 과같은절차와목표를가진다. 적인기법으로체계적으로정리해표준화한이론이다. 이러한개발방법론을통해개발경험축적및재활용을통한개발생산성향상을기대할수있다. 또진행공정의가시적인관리를통해효과적인프로젝트관리가가능하며, 정형화된절차와표준용어를사용함으로써보다효율적인의사소통의수단이된다. 애자일개발방법론을적용하는것은고객의요구사항이다양할뿐아니라, 빠르게바뀌는개발환경에서의빠른변화대응을위한것이라할수있다. 이러한이유로애자일개발방법론은고객중심적이고참여적이며 회고 스프린트 (Concurrent) 스프린트계획 기존프로세스동시테스트추가프로세스 Step 4: 점진적통합테스트 데모 /UAT* 분석 / 설계 Step 1: 테스트설계일일스크럼 코딩 Step 2: 테스트스크립트개발 단위테스트 Step 3: 사용자스토리테스트 * UAT: User Acceptance Testing 고객의요구사항에빠르게대응할수있는방법론이다. 즉이방법론의궁극적인목표는고객의잦은요구사 항변화에빠르게대응하여민첩하게소프트웨어를개 출처 : 동시테스팅을이용한애자일방법론의스크럼기반개발프로세스 중, NIPA SW공학센터인사이드이슈 23호. [ 그림 3] 애자일개발방법론과테스팅 TTA Journal Vol.149 045
Step1 테스트설계 : 사용자스토리기반으로테스트케이스를설계하고, UI 설계등사용자관점의제품이구체화되면이를바탕으로테스트케이스를상세화해테스트데이터를설계한다. 사용자스토리란소프트웨어를사용할사용자를정의하고, 그사용자의사용역할및빈도를고려해사용자가원하는기능및비기능요구사항을정리하여시작부터끝까지사용과정의스토리를작성한것을말한다. Step2 테스트스크립트개발 : 도출된테스트케이스에대해프로그램별로테스트절차, 테스트데이터등테스트를수행할수있는수준으로작성한다. 개발자가작성한테스트코드를검토하여검증할테스트케이스또는테스트데이터를추가하거나보완한다. Step3 사용자스토리테스트 : 사용자스토리를통해구현을확인하기위해테스트를진행해야한다. 작동가능한애플리케이션이완성되면, 사용자스토리와사용자스토리통합관점에서테스트를수행한다. Step4 점진적통합테스트 : 스프린트가반복되면, 이전개발부분과추가개발부분을모두포함하여점증적인검증을수행한다. 애자일개발방법론에있어사용자스토리작성은테스트진행에가장중요한축이된다고할수있다. 사용자스토리를통해한번에완벽한요구사항을취합하는것이아니라, 잦은논의를통해이해하기쉬운개발단위를정립할수있다. 이렇게작성된사용자스토리는개발계획수립의기준으로사용될수있다. 4.3 애자일에서더욱필요한이슈관리시스템애자일개발방법론은팀원간의잦은커뮤니케이션을요구하고있다. 또한, 개발과정에서의이슈에대해 이슈제기와피드백의형식으로관리하는방법으로, 체계적인이슈관리에대해요구되는개발방법론이다. 이미테스팅과정에서의이슈관리의중요성은설명이필요없을만큼인식이높아졌다. Trac, Bugilla 등의공개이슈관리도구가상당수많은소프트웨어개발시사용되는상황이지만, 애자일개발방법론이활성화되면서더욱그중요성이높아지고있다. 5. 맺음말이밖에주목할만한테스팅시장의동향으로는대형공공 / 금융 SI(System Integration) 프로젝트에서의테스팅시장의확대이다. 대형 SI 프로젝트를중심으로 PMO(Project Management Office) 조직구성이두각을보이고있다. PMO 조직내 QA 전문가를포함하는것뿐만아니라, SI 개발프로젝트의통합적 QA/QC 를위한 QMO, TMO 조직이필요하는의견까지나오고있는상황이다. 또한, 기존의 ISP 컨설팅을하는회사에서품질에대한밑그림을그리기위해테스팅전략을수립하고, 소프트웨어개발감리회사와소프트웨어테스팅회사가협력관계를갖고시장을넓혀나가는현상을보면, 국내소프트웨어테스팅시장이삼성전자, LG전자등 IT 기기제조사가생산하는제품에대한시장출시전임베디드소프트웨어를검증하는기존시장에서시스템통합개발시장으로빠르게확대되어감을확인할수있을것이다. [ 참고문헌 ] [1] www.jasst.jp/symposium/jasst13tokyo/details.html [2] www.oss.kr/oss_main [3] 사용자스토리 / 마이크콘. [4] www.apache.or.kr [5] http://en.wikipedia.org/wiki/ [6] NIPA SW공학센터인사이드이슈. 046 09/10 2013