저작자표시 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 이저작물을영리목적으로이용할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 변경금지. 귀

Size: px

Start display at page:

Download "저작자표시 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 이저작물을영리목적으로이용할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 변경금지. 귀"

호림 구
5 years ago
Views:

1 저작자표시 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 이저작물을영리목적으로이용할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 공학석사학위논문 모바일응용의사용자중심반응시간 분석및활용 2014 년 2 월 서울대학교대학원 전기컴퓨터공학부 성노섭

3 모바일응용의사용자중심반응시간 분석및활용 지도교수김지홍 이논문을공학석사학위논문으로제출함 2014 년 2 월 서울대학교대학원 전기컴퓨터공학부 성노섭 성노섭의공학석사학위논문을인준함 2014 년 2 월 위원장 : 조유근 ( 인 ) 부위원장 : 김지홍 ( 인 ) 위원 : 민상렬 ( 인 )

4 요약 모바일장치에서응용의사용자경험은매우중요하며, 최근연구결과에따르면사용자의입력에대한반응시간이사용자경험을결정하는가장중요한요소인것으로조사되었다. 그러나현재응용개발에사용되는성능분석도구들은사용자가느끼는반응시간보다는작업수행시간을기준으로동작하기때문에, 이러한도구들을활용한응용최적화는사용자가느끼는반응시간을단축하여사용자경험을향상하는데에는많은제약이따른다. 사용자경험에큰영향을주는반응시간의최적화를위해서는먼저응용사용자가느끼는반응시간을측정하고측정된반응시간에영향을미치는계산경로에대한이해가필요하다. 따라서, 본연구에서는이러한기존성능분석도구의문제점을개선하여화면중심의사용자가느끼는반응시간을직접적으로측정하고분석하여최적화에활용할수있는도구를제안하고구현하였다. 개발한사용자중심반응시간분석도구는사용자가느끼는반응시간을결정하는가장늦은화면갱신경로를중심으로유용한정보를개발자에게제공하여응용최적화에활용할수있게한다. 본연구에서제안하는도구의구현은 Dalvik 가상머신번역기에구현했으며, 메소드호출을후킹하여반응시간종료시점판단과내부주요정 i

5 보들을제공한다. 이를통해프레임워크, 커널, 응용소스코드의수정없이응용측정이가능하다. 개발한도구의효용성을검증하기위해 Android 4.0.4를탑재한삼성 Galaxy Nexus에서도구를사용하여인기응용들에서나타나는반응시간지연패턴을파악하였고, 이를기반으로최적화를수행한결과, 최대 33% 까지사용자중심반응시간을개선할수있었다. 주요어 : 사용자중심반응시간, 반응시간측정, 성능 critical-path 분석, 모바일 응용프로그램최적화 학번 : ii

6 목차 요약 i 목차 iii 그림목차 v 표목차 vi 제 1 장서론 연구배경 연구동기 관련연구 연구기여 제 2 장사용자중심반응시간 기준별반응시간의정의 각정의에따른반응시간비교 제 3 장사용자중심반응시간분석도구 개관 메소드호출후킹과기록모듈 반응시간종료판단모듈 기록분석, 응용가이드라인확인모듈과진단엔진 iii

7 제 4 장정확도및오버헤드실험과사례연구 정확도및오버헤드측정환경과방법 정확도및오버헤드실험결과 사례연구 TIME Mobile PvStar Reddit-is-fun 제 5 장결론 결론 향후연구 참고문헌 38 Abstract 39 iv

8 그림목차 그림 1 사용자입력에대한각기준별반응완료시점 그림 2 각반응시간정의에따른응용반응시간 그림 3 사용자중심반응시간분석도구의구조 그림 4 화면갱신시나리오 그림 5 응용에적용가능한반응시간종료판단시나리오 그림 6 사용자중심반응시간종료판단알고리즘유사코드.. 21 그림 7 반응시간종료판단도구의정확도 그림 8 반응시간종료판단도구의오버헤드 그림 9 TIME Mobile 응용실행기록 그림 10 wiktionary 지연된쓰기의반응시간 그림 11 PvStar+ 스레드별실행기록 그림 12 PvStar+ 광고요청시점에따른응용의반응시간 그림 13 Reddit-is-fun 클래스별응용실행기록 그림 14 Reddit-is-fun 응용실행기록 그림 15 Reddit-is-fun 응용의최적화에따른반응시간 그림 16 Reddit-is-fun 응용의최적화에따른 critical-path의변화 35 v

9 표목차 표 1 마켓인기응용들의화면구성 표 2 중요기록메소드목록 vi

10 제 1 장서론 1.1 연구배경 스마트폰과같은모바일장치는상호작용중심의장치이다. 이러한 장치는대부분특정한기능들을가지고있는응용프로그램 ( 이하 응용 ) 들을통하여사용되며, 응용마켓에있는많은종류의응용 중에서사용자에게실제사용되는응용은높은사용자경험을가지고 있는응용이다. 사용자경험에는많은요소가존재하지만, 최근 모바일응용의사용자경험에관련된연구결과 [1] 에따르면모바일 응용의사용자들은성능이라는요소를가장중요하게고려하는 것으로나타났다. 결국, 모바일장치에서응용의여러가지사용자 요청에대한빠른반응은사용자경험이라는측면에서중요하며, 이러한반응시간에대한이해와분석이응용설계에매우중요한 부분을차지한다고할수있다. 전통적인컴퓨팅환경 (PC) 에서반응시간은일반적으로작업의 시작부터끝까지의시간으로정의된다. 하지만모바일장치에서 사용자는눈에보여지는 UI(User Interface) 가화면에표시되는 1

11 대로다음입력을하거나해당작업은끝났다고판단하는경향이 있다. 다른말로하면, 사용자는화면에표시되는순간까지만 기다리며이후에화면에표시되지않고진행되는백그라운드작업의 완료를기다리지않는다는것이다. 이러한이유로전통적인환경에서 사용되는반응시간, 즉계산중심반응시간은모바일장치에서 사용자가느끼는반응시간을표현하기에적합하지않다. 예를들어 브라우저응용을이용하여어떤웹페이지에방문하는경우에는, 요청한 URL 의페이지를다운받고 Webkit 이해당페이지를 WebView 를통해화면에표시를하고방문기록과웹캐쉬를 갱신하는작업을수행한다. 이때에, 사용자가느끼는반응시간은 WebView 를통해화면에표시되고다음입력을넣을수있는 상태가되기까지이며, 이시간은방문기록과웹캐쉬를갱신하는 작업의시간을포함하는계산중심반응시간과비교하여많은 차이가날수있다. 그러므로, 모바일장치에서사용자가실제로 느끼는성능, 즉반응시간을알기위해서는사용자중심으로새로운 반응시간에대한정의가필요하다. 본논문에서는모바일장치에서사용자중심반응시간을제안하고 기존정의와의차이를보여준다. 또한, Dalvik 가상머신의메소드 2

12 호출과정을이용하여응용에서여러스레드간의관계를정의하고 사용자가느끼는반응시간을탐지하는기법과도구를소개한다. 나아가제안한도구를활용하여응용의반응시간을측정하고이 동안의주목할내부정보들을개발자에게제공함으로개선되는 사용자중심반응시간최적화사례를소개한다. 3

13 1.2 연구동기 기존반응시간정의의적합성을먼저검토하여새로운평가기준의 필요성에대해서알아본다. 이를위하여화면중심, 그리고기존반응 시간의정의와유사한계산중심이라는 2 가지다른기준으로응용의 반응시간을측정했다. 이에대한자세한설명은 2 장에서설명한다. 앞서정의한 2 가지관점에따른응용들의반응시간을측정한결과, 화면중심반응시간과계산중심반응시간은최대두배이상이될 수도있다는것을알수있었으며, 계산중심반응시간은항상화면 중심반응시간보다길다는것을알수있었다. 응용설계가이드 [2] 는 사용자가응용이빠르게동작한다고믿게하기위해서사용자가볼것을 우선하여처리하고보지못하는것은뒤로미루는구조를추천한다. 예를 들어, 웹페이지를로딩하여화면에표시하는작업은일반적으로로딩한 웹페이지가화면에표시된이후에웹캐시를저장하고방문기록을 갱신하는등의작업을수행한다. 이러한경우에계산중심반응시간은 화면중심반응시간보다월등히길어질수있으며, 계산중심반응 시간을줄이고자수행한최적화가화면중심반응시간에영향을 미친다고보장할수없게된다. 4

14 사용자가느끼는응용의반응시간은사용자경험향상을위해서 필수적으로고려해야하는요소임에도불구하고, 플랫폼에서제공되는 DDMS[3] 와같은성능관리도구는아직시스템중심, 즉계산중심의 도구이다. 그러므로, 현재사용자가느낄반응시간을알고싶은개발자는 응용에서사용하는화면업데이트관련 API 가플랫폼에서어떻게처리가 되는지에대한이해를가지고응용에로그를삽입하는방법밖에없다. 하지만, 플랫폼에대한깊은이해가있다하더라도이러한코드를 삽입하는것은매우어려운일이다. 모바일장치의응용은높은반응성을 유지하고메인스레드가무거운작업을수행하느라정지되는것을방지할 목적으로스레드를통한비동기식작업을빈번히수행한다. 이러한여러 스레드들의동작순서와시간등은개발자가코드수준에서알수 없으므로, 응용의성능측정에는적합하지않다. 응용의사용자경험향상을위해서는개발자에게사용자가느끼는 반응시간에대한지표를제공하고이시간을결정하는중요정보를 제공하여응용의흐름을파악할수있어야하며, 가능한최적화힌트를 제공해야할것이다. 이러한정보를통해서반복적으로응용최적화를 수행한다면사용자가느끼는실제성능에대한향상을기대해볼수있다. 5

15 1.3 관련연구 HCI(Human Computer Interaction) 연구그룹들에의해컴퓨터의반응 시간이사용자경험에많은영향을미친다는사실이밝혀졌다.[4] 최근 모바일장치관련연구에서는이러한반응시간의중요성과응용의반응 시간을분석하여응용의성능향상을도와주는도구인 AppInsight 와 Panappticon 이제안되었다. AppInsight 는응용의소스코드에정적분석을통한자동소스삽입 기술을통하여응용내의스레드관계를분석하고화면갱신의가장긴 경로인 critical-path 를찾아주는도구이다. 그러나정적분석을사용하므로 3 자에의한성능측정이불가능할뿐만아니라, 응용의소스코드를 수정할때마다코드삽입을반복적으로해야되는한계가있다. Panappticon 은 Android 프레임워크와리눅스커널에로그코드를 삽입하여각스레드관계를분석하고장치의자원사용정보를알려주는 도구다. 그러나프레임워크에서만약 17 개이상의클래스의수정을 필요로하며, 커널의주요모듈대부분에대한수정을필요로하므로 매우낮은확장성과이식성을가진다. AppInsight 와 Panappticon 모두응용의성능을실험하는데효과적인 도구이나사용자의입력이인가되는시점과모든화면갱신에대한 6

16 요청을기록하여마지막화면갱신시점을반응완료시점으로판단하므로 마켓에존재하는응용에적용하기어렵다는문제점이있다. 응용광고애니메이션 JavaScript 정지화면 greader ⅹ PvStart+ ⅹ ⅹ ⅹ News Republic ⅹ ⅹ MocoSpace ⅹ Seesmic ⅹ ⅹ Browser ⅹ 표 1 마켓인기응용들의화면구성 ( : 항상사용, : 부분사용, x : 미사용 ) 표 1 은 Android 응용마켓에서 1,000,000 다운로드이상을기록한 응용들의여러화면에대한구성을나타낸다. 사용자에의해사용되는 응용은대부분수입, 정보전달, 아름다움등을목적으로광고, JavaScript, 애니메이션을많이사용한다. 이러한기능들은반복적인혹은무한정적인 화면갱신를유발하기때문에 AppInsight 와 Panappticon 에서제안한 7

17 기법으로는어떠한시점의화면갱신까지가사용자가관심있는화면 변화인지알수없다. 추가적으로, 선행연구에서제공하는응용실행동안의자원사용, 메소드실행정보, 스레드정보와같은많은정보의단순나열은숙련된 개발자가아니면이를응용최적화에적용하기매우어렵다는문제점이 있다. 모바일장치에서지원하는각프레임워크별응용설계원칙 [7] 에 따라응용의문제점을지적하고이에대한최적화힌트를제공하는것이 가능하다면, 보다활용도높은응용진단도구가될수있을것이다. 8

18 1.4 연구기여 본연구의기여는크게 3 가지로정리할수있다. 첫번째로, 전통적인컴퓨팅환경에서의반응시간과모바일장치에서 사용자가느끼는반응시간의차이를실험하고, 이를토대로사용자가 느끼는반응시간에대한최적화필요성을확인했다. 두번째로, 사용자가관심있는화면갱신작업만을기록함으로실제 응용에적용가능하며확장성과이식성이높은반응시간측정방법론을 제안하고구현했다. 응용은일반적으로 10 개이상의스레드들로구성되며, 이중일부는데몬혹은애니메이션과같이반복적인혹은무한정적인 화면갱신를수행할수있다. 각화면갱신요청에대한식별자를 이용하여여러화면갱신요청중사용자가관심있는요청만기록하여 무한한화면갱신요청이있는환경에서도사용자가느끼는반응시간을 판단할수있다. 또한, 제안한사용자중심반응시간측정방법론을 기반으로해당시간까지의스레드관계, 메소드호출정보, I/O 수행 기록하고응용설계원칙에위반되는사항과최적화대상에대한힌트를 제공한다. 추가적으로프레임워크, 커널, 응용의수정없이 Dalvik 가상머신번역기에서메소드호출을감시하는것으로필요한정보를 추출할수있는환경을구현함으로높은이식성과확장성을가진다. 9

19 마지막으로, 모바일장치사용자들에의해널리사용되고있는인기 있는응용을제안한도구로진단하고문제점을찾아이를재현하고 최적화를수행하여얻을수있는사용자중심반응시간의개선을 탐색했다. 10

20 제 2 장사용자중심반응시간 2.1 기준별반응시간의정의 본논문에서는기존반응시간정의의적합성을먼저검토하여새로운 평가기준의필요성에대해서알아본다. 이를위하여화면중심과계산 중심이라는 2 가지다른기준을정의했다. 화면중심반응시간은응용개발가이드에따르면사용자가느끼는 반응시간과가장유사할것으로추정되는기준 [5,6] 으로, 사용자의입력 이후에해당작업과관련된 UI 가화면에전부표시된때까지다. 측정은 실시간으로모바일장치의프레임버퍼자료를샘플링해서더이상 화면에특정한변화가없을때까지를측정했다. 계산중심반응시간은기존의반응시간과유사하게사용자의 입력으로시작된작업의끝까지의시간으로, 더이상새로운메소드의 호출이없을때까지를측정했다. 측정은 Dalvik 가상머신번역기에서 메소드호출을감시하여더이상새로운메소드가호출되지않을 때까지를측정했다. 11

21 그림 1 사용자입력에대한각기준별반응완료 시점 그림 1 은사용자입력에 따른각정의별반응완료시점을보여주는 그림이다. 각정의에따른반응시간의차이가사용자가느끼지못하는 수준이라면, 사용자중심의 반응시간을따로 사용할필요성은없을 것이다. 하지만, 각정의에따른반응시간은응용과수행작업에따라서 큰차이가날수도있다면, 사용자경험향상을위하여사용자중심의 반응시간을응용 최적화에반드시고려해야할것이다. 12

22 2.22 각정의에따른 반응시간비교 앞서 정의한 2 가지반응 시간정의를적용한도구를구현하고, 모바일 환경에서자주사용되는대표적인응용의반응시간을측정했다. 실험은 Icecream sandwich( (4.0.4) 를탑재한 Nexus S 에서 실험을진행했고, 대상 응용은 Facebook, Android 기본브라우저, 이메일, 대중교통 현황을알 수 있는인기있는응용을선택하여수행했다. 그림 2 각반응 시간정의에따른응용반응시간 그림 2 은앞서정의한 2 가지관점에따른 응용들의 반응시간을 보여준다. 계산중심반응시간은화면이완벽히 표시가된 이후에도 수 많은메소드를호출하여상당히느린반응시간을얻을수있었다. 브라우저와이메일응용의경우에는화면표시가 13 완료된이후에웹캐시

23 갱신, 방문기록갱신, 새로운이메일의첨부파일의백그라운드다운로드 등의작업의수행으로인해느린반응시간결과를얻게되었다. 실험을통해서화면중심반응시간과계산중심반응시간은최대두 배이상이될수도있다는것을알수있었다. 이는계산중심반응 시간을최적화하더라도최적화대상이앞서언급한사용자가느끼지 못하는부분에대한최적화라면, 사용자경험측면에서는무의미한일이 될수있다. 그러므로, 화면중심반응시간, 즉사용자중심의반응 시간에대한이해는사용자경험향상을위해필수적이라고할수있다. 14

24 제 3 장 사용자 중심반응시간분석 도구 3.1 개관 그림 3는모바일장치에활발히 사용되고 있는 Android를대상으 로 구현된사용자중심반응시간분석도구의구조를보여준다. 그림 3 사용자 중심반응 시간분석 도구의구조 그림 3에서 모바일응용에구현되어있는 모듈들은응용마다생성 되는가상머신의번역기에구현되어있다. 메소드호출후킹모듈은 호출되는메소드의정보를메소드 호출기록 모듈에전달한다. 메소 드 호출기록 모듈은전달받은정보를기록하고해당메소드의역할 을 정의하여반응시간 종료판단 모듈로전달한다. 반응시간종료 15

25 판단모듈은메소드의역할정보에기반하여사용자가관심있는화면갱신작업의종료여부를판단하고종료시에는 ADB(Android Debug Bridge) 를통하여테스크탑응용에게전달한다. 데스크탑응용은기록분석, 응용가이드라인확인모듈과진단엔진으로구성되어있다. 기록분석모듈은전달받은응용반응시간동안의기록들을스레드별로분류하고화면갱신의가장긴경로인 critical-path를생성하여전달한다. 응용가이드라인확인모듈은스레드별수행메소드기록과 critical-path를기반으로잘알려진응용설계가이드라인 [7] 을위반하는일이있는지판단한다. 최종적으로진단엔진에서는수집된정보들을 critical-path와함께표시하고, 개발자가우선적으로확인해야할사항들을순차적으로표시해준다. 16

26 3.2 메소드호출후킹과기록모듈 응용의수정없이응용의내부동작을파악하기위해서는 Dalvik 가상머신번역기의메소드호출을후킹하는방법이필요하다. 번역기의구현부에는메소드를호출하기직전관련된클래스, 메소드. SP(Stack Pointer), PC(Program Counter) 등을저장하고있는구조체가있다. 이구조체를후킹함수에전달함으로내부동작을파악가능하며, 함수의호출과종료시점에기록하여해당메소드시작과종료시점을파악한다. 분류작업자료설명 사용자입력 USER_INPUT time 사용자의화면터치로발생하는이벤트핸들러 액티비티 START_ACTIVITY time 액티비티실행 비동기작업 SEND_MSG REMOVE_MSG DISPATCH_MSG msg_id runnable_obj tid 스레드간메시지나런어블오브젝트전달 스레드간메시지나런어블오브젝트처리 RUNNABLE runnable_obj tid 스레드에작업을전달 화면갱신 INVALIDATE / DRAW view_id 화면갱신요청 / 처리 I/O READ / WRITE SEND / RECV time, tid 플래시와네트워크입출력 Webkit PAGE_START PAGE_FINISH time, tid 웹페이지로딩의시작 / 끝을알려주는콜백 OpenGL REQUEST_RENDER DRAW_FRAME time, tid OpenGL 를이용한화면갱신 표 2 중요기록메소드목록 17

27 메소드기록모듈에서는오버헤드감소를위하여미리정의된관심있는메소드만기록하도록하고있다. 표 2 는메소드기록모듈에서관리하는메소드목록이다. 기록대상명시적으로화면의갱신을시켜주는메소드 ( 화면갱신, Webkit, OpenGL) 혹은화면의갱신에영향을줄수있는중요메소드 ( 비동기작업, 사용자입력, 액티비티 ) 를기록한다. 이렇게기록된정보는실시간으로반응시간종료판단모듈로전달하여종료시점으로판단될때까지기록수집을반복한다. 18

28 3.33 반응시간종료 판단모듈 다양한응용에 적용할수 있는반응시간종료판단기법은사용자가 관심있는, 즉요청된작업에 대한화면갱신만을 추적할수 있어야한다. Androidd 응용에서화면갱신의 수행은 원칙적으로 메인 스레드만 가능하지만, 메인 스레드의 오버헤드를줄이기위하여 화면갱신의 요청은 다른스레드에서도 가능하다. 결국, 사용자가요청한작업으로 인해수행되는화면갱신을모두추적하기위해서는각스레드간의관계파악도수반되어야한다. 그림 4 화면 갱신시나리오 : (a) 메인스레드화면갱신 ; (b) 작업업 스레드로인한화면갱신 ; (c) 데몬스레드로인한화면갱신 19

그림 4 은응용에서 발생 가능한 화면 갱신 시나리오들이이며 invalidate 와 update 는각각화면갱신요청과처리를나타낸다.

view ID) 를 저장하고해당식별자를가진갱신이이루어질때반응의종료를판단할 수있다. 하지만 일반적인 응용은이보다복잡한구조를 가진다.

객체를이용하여 수행된다. 하지만다른스레드의 화면 갱신 요청만을 기록하는 것만으로는충분하지않다.

29 그림 4 은응용에서 발생 가능한 화면 갱신 시나리오들이이며 invalidate 와 update 는각각화면갱신요청과처리를나타낸다. (a) 와같이 특정한 화면에대해서메인스레드에서 요청하고 메인스레드에서갱신가 이루어 질수있고, 이러한 경우에는 각요청의 식별자 ( 예 : view ID) 를 저장하고해당식별자를가진갱신이이루어질때반응의종료를판단할 수있다. 하지만 일반적인 응용은이보다복잡한구조를 가진다. (b) 와 같이 모든 작업을 메인 스레드에서 처리하지 않고 비동기식 작업 (AsyncTask) 을 요청하여 다른스레드에필요한작업과화면갱신 요청을 위임한다. 이러한작업의요청과처리는 Android 프레임워크에에서 제공하는 AsyncTask, send / handlemessage 또는 runnable 객체를이용하여 수행된다. 하지만다른스레드의 화면 갱신 요청만을 기록하는 것만으로는충분하지않다. ( c) 의경우와같이응용이수행되는동안데몬 스레드를통하여 반복적으로화면갱신이이루어지는경우도있으며, 이러한 화면 갱신은 사용자가 요청한 것이 아닐 것이다. 예로는 애니메이션, 광고 등이있을 수있다. 결국, 스레드간의관계를파악하는 동시에 이중에서 사용자에의한요청된작업만을추적할수있는방법이 필요하다. 그림 5 응용에적용 가능한반응시간종료판단시나리오 20

30 그림 5 는응용에적용 가능한반응시간 종료판단시나리오의 예이다. 응용이데몬, 작업, 메인스레드들로 구성되어 있으며, 모든 스레드는화면갱신을수행한다. 그림 6 사용자중심 반응시간 종료판단 알고리즘유사코드 그림 6 는응용의사용자중심반응시간종료판단을 위해사용된 알고리즘의유사코드이다. 미리정의한기록대상메소드의 호출이발생 할때마다해당메소드의정보로반응종료여부를판단한다. 사용자가 요청한 화면갱신만을추적하기위해서 Android 프레임워크에에서제공하는 21

31 onclick 과같은입력핸들러구간내에서발생한화면갱신요청혹은스레드에게작업을위임하는요청을해시자료구조에모은다. 입력핸들러구간내에서발생한화면갱신요청은이후에등장할화면갱신수행과비교하여동일한식별자를가진모든요청에대한수행이완료되었을때를종료로판단한다. 만약입력핸들러내에서 asynctask, sendmessage, threadstart 와같이다른스레드에게작업을위임하는요청이발생하면해당객체의식별자를저장하고이후에등장하는동일한식별자를가진 asynctask, handlemessage, threadrun 을새로운입력핸들러구간으로간주하고해당구간동안의요청을다시모은다. 이러한작업은여러스레드를거쳐서화면갱신이수행될수있으므로, 재귀적으로수행된다. 22

32 3.4 기록분석, 응용가이드라인확인모듈과진단엔진 데스크탑응용의모듈중하나인기록분석모듈은표 2 에서나열한정보를스레드별시간축을기준하여개발자가볼수있는형태로재정렬하는역할을수행한다. ADB 를통해전달받은응용수행기록들은이단계에서 critical-path 를중심으로가장많은시간수행된스레드, 메소드정보와 I/O 정보들을표시해준다. 이때 critical-path 는가장 마지막에수행된화면갱신메소드를기준으로해당메소드가호출되기까지언제, 어떤스레드를거쳐서수행되었는지를분석한다. 응용가이드라인확인모듈은구글에서제공하는응용설계가이드라인 [7] 을바탕으로응용수행기록중이를위반하는행동이있는지확인하여진단엔진에게전달한다. 대표적인예로, 메인스레드에서수행되거나반응완료이전에빈번한플래시 I/O 작업, criticalpath 에해당하는화면갱신이광고요청일경우등이있다. 진단엔진은응용가이드라인을통해전달받은응용설계원칙에어긋나는사항들을확인하여데스크탑응용 UI 에우선확인사항으로표시해준다. 추가적으로, 가장많이수행된메소드들의순위와수행시간, 스레드별수행시간을표시한다. 표시한정보를기반하여미리정의한규칙에따라다음확인사항으로권장표시를한다. 현재설정은 1 개의스레드에서수행한시간이전해반응시간의 50% 이상이거나네트워크의 수행이반응시간의 50% 이상일 때등이있으며, 해당설정은변경 가능하다. 23

33 제 4 장정확도및오버헤드실험과사례연구 4.1 정확도및오버헤드실험환경과방법 실험은 Android Icecream Sandwich 가탑재된삼성 Galaxy Nexus 에서수행됐다. 기본적으로사용자가느끼는반응시간종료시점을정확하게판단하는것이중요하다. 응용마켓에올라와있는응용을대상으로사용자중심반응완료시점판단정확도평가를위해응용수행과정을카메라를이용하여촬영하고이를응용반응시간종료판단모듈에서 결정하는반응시간과비교했다. 각응용의선택은 1,000,000 이상의 다운로드를기록한인기응용을대상으로선정하고, 반응시간실험은 응용의런칭과중요작업중하나씩을선택했으며, 7 개의응용의 14 개의 작업에대해실험했다. 24

34 4.2 정확도 및오버헤드실험결과 그림 7 은 Android 응용마켓에서각카테고리 별인기있는응용들에 대한실험이다. 실험결과 약 93% 정도의정확도를보였으며, 오차 시간은 평균적으로약 100ms 정도였다. 이는 눈으로보고판단하는 카메라 실험에허용가능한 오차범위내의시간으로상당히정확하게 판단하는것을알 수있다. 그림 7 반응 시간종료판단도구의정확도 사용자가 느끼는 반응 완료 시점을 판단하고 이 구간 동안의 내부정보를수집하는것은개발자에게 유용한정보가될수 있지만, 높은 오버헤드로인해사용자가느끼는반응완료시점을해친다면무의미 할 25

35 것이다. 그림 8 은반응완료시점탐색도구에서모바일 응용부분의 오버헤드를보여준다. 실험한응용들에 대한평균오버헤드는반응시간 대비약 1% 정도로응용의 수행에큰 영향을주지않는다는는것을알 수 있다. 그림 8 반응 시간종료 판단도구의오버헤드 26

36 4.3 사례연구 응용 마켓에서 자주 사용되는 응용들을 반응 시간 분석 도구를 사용하여수행해보고, 응용의반응시간최적화를가능성을탐색해본다. 응용마켓에존재하는대부분의응용은소스코드가존재하지않으므로본도구를통해탐지된문제점을오픈소스응용에재현하고최적화를 수행하여가능성을탐색하는 방향으로 진행했다 TIME Mobile TIME Mobile 은미국의 TIME 지에서제공하는 각종뉴스와평론, 보도 자료등을읽고 의견을공유할수있는응용으로 1,000, 000 다운로드 이상을 기록한매우인기있는응용이다. 흥미롭게도이 응용은구글인기개발자로등록되어있는전문가가 개발한 응용임에도불구하여 발견된문제점은응용설계원칙위반이었다. 런칭작업에서하나의스레드가대부분수행시간을차지하며, 해당 스레드가플래시 I/O 와네트워크 I/O 를동시에 담당하고, 런칭의반응 시간전에수행되는약 1.6MB 캐시로인해쓰기가발생했다. 그림 9 TIME Mobilee 응용실행기록 27

직후에파일캐시의형태로 1.6M 를 쓰기하고 화면갱신을 수행하는것을기본응용으로했다.

37 그림 9 에서볼수있는 것과같이약 2.5 초의반응 시간과바로 이전의 쓰기연산으로지연되는시간을확인 할수있으며, 이러한 쓰기는 캐쉬갱신 작업임을 확인할수있었다. 이러한캐쉬 갱신작업은 현재사용자경험에영향을 주지않는 부분이므로, 제안되는최적화방향 중하나는지연된 I/O 를통한반응시간최적화가될수있다. 문제를재현하기위해서 wiktionary 라는위키낱말사전에서페이지를 받아온 직후에파일캐시의형태로 1.6M 를 쓰기하고 화면갱신을 수행하는것을기본응용으로했다. 최적화된응용은페이지를받아오고메인스레드에화면갱신을요청한이후에완료되면메인스레드에서 추가적인스레드를생성하여 쓰기를수행하도록했다. 그림 10 wiktionary 지연 된쓰기의 반응시간 그림 9 은지연된쓰기를적용한 wiktionary 의반응시간결과이다. 개선되는반응시간은쓰기에소요되는시간과자료의양에 따라변동이 있을수있으나, 평균적으로 33% 정도개선이가능한것을확인했다. 28

4.3.2 PvStar+ PvStar+ 는 YouTube 클라이언트중 하나로 YouTube 비디오를검색,

사용자의선호에따른방송 검색, 구독채널의 비디오탐색등을수행할수 있는응용으로마켓에서 높은다운로드수를기록하고있는응용중하나이다.

38 4.3.2 PvStar+ PvStar+ 는 YouTube 클라이언트중 하나로 YouTube 비디오를검색, 시청하거나방송을시청할수있는응용이다. 사용자의선호에따른방송 검색, 구독채널의 비디오탐색등을수행할수 있는응용으로마켓에서 높은다운로드수를기록하고있는응용중하나이다. 이응용은런칭과인기동영상목록을보는 작업을수행했고, 수행 기록을 critical-path 로분석한결과항상 critical-path 를결정하는화면 갱신작업은응용에붙어있는 AdMob 광고였다. 그림 11 PvStart+ 스레드별실행기록 그림 11 과같이이러한광고의요청은응용의 onresume() 시점에 호출되며, 작업을것이확인되었다. 수행할때마다 onresume() 단계에서광고를요청하는 그러나, 광고표시에대한응용가이드라인에따르면 광고의 표시는항상네트워크작업을 수반하므로응용의 xml 파일이나 oncreate() 시점에서빠르게 요청해주는것을권장하고있으므로, 이에 대한수정이제안되었다. 문제 상황의재현을위해 AdMob 광고계정을생성하여오픈소스 응용인 Maniana 라는일정 관리응용에광고를 추가하여, 광고에대한 요청이 critical-path 의최종화면갱신되도록구현했다. 29

39 반응시간 ( 밀리초 ) Xml 로딩응용 onresume 로딩응용 그림 12 PvStart+ 광고요청시점에따른응용의반응시간 그림 10 는서로다른광고요청시점에따른응용의반응시간을나타낸다. Xml 로딩의경우 xml 문서에서 oncreate() 시점에서먼저광고요청을수행하도록구현되어있다. 같은기능을하는작업임에도불구하고어느시점에서광고를요청하는지에따라서반응시간이약 15% 정도차이가있다는것을알수있었다. 광고의요청은독립된스레드로메인스레드에서의요청후로는독립적으로수행되므로, onresume() 이전에더많은일은한다면이러한반응시간의차이는더욱커질수있다. 30

40 4.3.3 Reddit-is-fun Reddit-is-fun 은 TIME Mobile 과유사한응용으로, 마켓에서의평가와 다운로드횟수도뉴스카테고리에서는 최상위권을차지하고있는 Reddit news 의오픈소스버전이다. 수행하는기능은 뉴스구독, 방송시청, 비디오 시청, 포럼 참여등매우다양한기능을폭넓게제공한다. 실제로사용되는응용의 오픈소스 버전이므로문제의 재현은따로 하지않고소스코드전체를 가지고있는상황에서제안한도구를이용한 결과를 바탕으로 소스코드를분석하면서응용을재구성하는방향으로 진행했다. 그림 13 Reddit-is-fun 클래스별응용실행기록 그림 13 은해당응용의클래스별실행정보이다. 먼저, critical-pathc 에 속하는 메소드중가장긴 시간수행된메소드를살펴보았다. 1 위는 DownloadThreadsTask 클래스의 doinbackground 라는 asyntaskk 메소드이며, 2 위는 동일클래스동일 메소드가 호출한 parsesubredditjson 이라는 메소드였다. 전체 반응시간 7111ms 중에 doinbackgroundd 가 5344ms, parsesubredditjson 이 4526ms 로전체 반응시간에각각약 75%, 63% % 로 큰 영향을 주고 있는 것을알수 있었으므로, 해당 메소드들을 31

41 우선적으로살펴보았다. parsesubredditjson 이라는메소드는 doinbackground 에서초기단계에서버로부터네트워크를통해데이터를 JSON 오브젝트형태로전달받고이를파싱하여화면에표시할데이터를생성하는메소드였다. 독특한부분은이러한메소드는런칭단계에서초기화면을구성할때만쓰이며, 매우높은오브젝트파싱오버헤드와네트워크오버헤드를가졌음에도불구하고캐시에대한구현이전혀존재하지않았다. 런칭을제외한나머지페이지에서는주로 Webkit 을사용하고이를통한캐시를지원했다. 우선최적화대상으로서버에서전달받은 JSON 오브젝트의유효성을확인하는프로토콜이존재한다고가정하고, 캐시를지원하도록재구현했다. 그림 15 의캐시를사용하는응용은기존간단한캐시정책을추가했을경우에대한반응시간의차이를보여준다. 평균적으로약 26% 의반응시간단축을확인할수있었다. 두번째로는, 가장많은시간이걸린메소드중 3 번째에해당하는 ShowThumbnailsTask 클래스의 doinbackground 메소드를기준으로분석을 진행했다. ShowThumbnailsTask 는화면에보여줄이미지의썸네일을 네트워크를통해받아오는역할을수행한다. 이작업은반응시간의가장후반부에발생하는작업이므로, 만약앞서언급한 DownloadThreadsTask 가수행될때의존성없이미리수행이가장하다면이에따른이득을얻을수있을것으로기대했다. 먼저 I/O 기록상에서는 DownloadThreadsTask 와 ShowThumbnailsTask 가네트워크를사용하는시간은중복되지않으므로네트워크장치의사용에대한경쟁문제는 32

42 없을 것으로 판단했으며, 그림 14.(a) 와같이 parsesubredditjson 과 중복되서실행되는부분이 없었다. 다음으로, 화면자료 접근기록을 중심으로 살펴보았다. 그림 14.(b) 와 같이 해당 작업에서 사용하는 widget 는초기 oncreate() 파악되었고, 그결과 ListView 와 ImageView 를 사용한다는 것을 확인 할수있었으므로, 화면 갱신을 위해 각 스레드에서만들어야될자료구조는 ArrayList 와 Bitmap 라는것을알 수 있었다. 이를바탕으로각스레드에서 접근한자료구조의타입을확인한 결과 DownloadThreadsTask 가수행되는 10 번스레드에서는 ArrayList 를 사용하고 ShowThumbnailsTask 가수행되는 13 번스레드는 Bitmap 만을 접근하는것을확인할수있었다. 그림 14 Reddit-is-fun 응용실행기록 : (a) 반응 시간 critical-path 정보보 ; (b) 스레드 별화면관련자료접근기록 33

43 이러한정보는두개의메소드의자료의존성에대한힌트를제공하여병렬화수행가능성을탐색할기회를부여했다. 두메소드를집중적으로분석한결과 DownloadThreadsTask 에서 JSON 오브젝트를파싱한이후에각리스트아이템의 URL 을얻고나서추가적인작업을수행하지않고, ShowThumbnailsTask 를바로수행할수있다는것을발견했다. 그림 15 의병렬화수행응용은이러한최적화를결과를보여준다. 기존응용대비약 10% 의성능향상을확인할수있었다. 반응시간 ( 밀리초 ) 기본응용캐시를사용하는응용병렬화수행응용 그림 15 Reddit-is-fun 응용의최적화에따른반응시간 그림 16 는병렬화에대한최적화수행이후의응용실행에따른 critical-path 의변화이다. 그림 13.(a) 와비교하여동시에수행되는구간이 34

44 생겼으며, 이에따라사용자중심의 반응시간이단축되는것을확인 했다. 그림 16 Reddit-is-fun 응용의최적화에따른 critical-pathh 의변화 35

45 제 5 장결론 5.1 결론 본논문에서는모바일환경의특성으로인해모바일응용의반응시간과기존반응시간과차이점을보여주고모바일응용최적화를위해서사용자중심의반응시간이필요함을보였다. 또한, 응용개발자들에게널리사용되고있는응용성능분석도구가이러한사용자중심의반응시간을고려하지않고있으므로, 이와같은도구를활용한사용자경험을향상은매우어렵다는것을알수있다. 따라서본논문에서는사용자중심반응시간을 Dalvik 가상머신번역기수준에서적은오버헤드로파악할수있는방법론을제시했다. 또한, 응용의반응시간을측정하고분석하여이를토대로사용자경험을향상시킬수있는최적화힌트를제공함으로써사용자중심의최적화를수행할수있는도구를구현했다. 개발한도구를이용하여널리사용되고있는응용들을진단해본결과, 모바일응용설계에중요한사용자중심반응시간을고려하지않은응용들을발견할수있었다. 이러한경우에제안한도구를활용하여최적화를수행하면사용자가실제느끼는반응시간, 즉의미있는성능향상이가능하며최대 33% 까지사용자중심반응시간을개선할수있었다. 36

46 5.2 향후연구 본논문에서는개발한사용자중심반응시간측정및분석도구는게임과같이 Android 네이티브메소드를활발히이용하는경우와각스레드에서접근하는자료의의존성을파악하는것이어렵다는단점을가지고있다. 네이티브메소드를지원하면진단할수있는응용의범위가넓어지며, 스레드간의자료의존성을파악할수있으면개발자에게스레드간의병렬화가능성을명확히제시해줌으로써컴퓨팅자원을보다효율적으로사용할수있게할수있을것이다. 따라서향후에는리눅스커널에메소드후킹과같은모듈을추가하여네이티브메소드를지원하도록확장시키고, taint[8] 분석과같은기법을적용하여도구의활용성을높일계획이다. 또한, 제안한사용자중심반응시간판단모듈은응용개발자를위한최적화정보제공을위해사용될수있을뿐만아니라, 시스템최적화를위한시스템수준의도구로사용될수있다. 사용자중심반응시간이종료됨에따라서운영체제는사용자가관심없는구간에서공격적인에너지절약정책혹은여러플래시 / 네트워크입출력요청중에현재사용자반응시간에영향을주는요청의우선순위부여정책등으로에너지절약과성능향상에활용될수있으므로, 이에대한연구를진행할계획이다. 37

47 참고문헌 [1] Tom Carpenter, Apigee Survey : Users Reveal Top Frustrations That Lead to Bad Mobile App Reviews, /about/ pressrelease/apigee-survey-users-reveal-top-frustrations-leadbad-mobile-app-reviews, 2012 [2] APPLE INC., Launch time performance guidelines, apple.com/documentation/performance/conceptual/launchtime/la unchtime.pdf [3] GOOGLE INC., Using DDMS, tools/debugging/ddms.html [4] N. Tolia, et al., Quantifying Interactive User Experience on Thin Clients, IEEE Computer, 2006 [5] L. Ravindranath, et al., AppInsight: mobile app performance monitoring in the wild, in Proc. International Conference on Operating System Design and Implementation, 2012 [6] L. Zhang, et al. "Panappticon: Event-based tracing to measure mobile application and platform performance," Hardware/Software Codesign and System Synthesis (CODES+ ISSS), 2013 [7] GOOGLE INC., Performance Tips, training/articles/perf-tips.html [8] W. Enck, et al., TaintDroid: An Information-Flow Tracking System for Realtime Privacy Monitoring on Smartphones, in Proc. International Conference on Operating System Design and Implementation,

48 Abstract For mobile applications where the quality of user experience is important, the response time to user s input is considered as the most important factor that affects user experience. However, existing performance analysis tools for mobile applications have no notion of the user-perceived response time, they are limited in improving user experience of mobile apps by reducing the userperceived response time. In order to optimize the user-perceived response time, it is necessary to measure the user-perceived response time of a mobile app and understand the app s critical path that affects the userperceived response time. In this thesis, we develop a userperceived response time analyzer, called URA, which measures and analyzes user-perceived response time of mobile apps. URA computes the critical program execution path that decides the userperceived response time of mobile apps and provides the critical path information to developers so that developers can utilize it for app optimizations. URA was implemented in the Java interpreter of Dalvik virtual machine so that method invocations can be intercepted for collecting internal execution information. Hooking method invocations in the interpreter allows to collect execution traces(necessary for computing the user-perceived response time) without modifying 39

49 none of the framework, Linux kernel, and application source code. In order to validate the effectiveness of URA, we implemented URA in Samsung Galaxy Nexus(Icecream Sandwich version) tested URA using several popular mobile apps. Using the URA s response time analysis results, we showed that the user-perceived response time can be reduced by up to 33%. keywords : user-perceived response time, response time measurement, performance-critical path analysis, optimization of mobile applications Student number :

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우,