웹 사용성 평가를 통한 사용자 경험 모델의 개선과 그 효과 측정에 관한 연구 박창민, 야후! 코리아 UED, cmpark@kr.yahoo-inc.com 김진수, 야후! 코리아 UED, evlos@kr.yahoo-inc.com A study on the improvements of user experience model through the web usability test & the measurement of it s effectiveness Changmin Park, Yahoo! Korea, User Experience & Design Group Jinsoo Kim, Yahoo! Korea, User Experience & Design Group 요 약 인터넷 UI 환경에 대한 사용성의 문제가 보편화 되고 있는 가운데 컨텐츠를 제공하고 서비스를 운영하고 있는 인터넷 기업에서의 자체적인 사용성 평가 가 점차 확대되고 있다. 인터넷 검색/포탈 서비스인 야후!의 경우 미국 본사 와 한국지사에서도 꾸준히 이와 관련한 전담 부서가 운용되고 있으며 다양한 방법들을 활용하여 자사 사이트의 사용성 개선에 기여하고 있다. 그러나 지 금까지의 보편적인 사용성 평가가 사후 평가의 성격으로 각 서비스의 문제점 들을 지적하고 세부 인터페이스 요소들에 대한 피상적인 가이드라인들을 제 시하는 수준에 머물러서 실질적인 해결안으로 활용하기에는 현실적인 제한사 항이 많거나 별도의 추가 과정을 거쳐야 하는 문제가 있었다. 이러한 배경을 바탕으로 본 연구에서는 야후! 코리아의 여행, 마이 야후!, 꾸러기 사용성 평 가 사례를 통해서 UI 의 사용성 문제뿐만 아니라 사용자의 이용상황에서 자 연스럽게 나타나는 잠재 니즈, 새로운 아이디어 등의 데이터를 수집했고 이 를 바탕으로 사용자 경험을 모델을 제안할 수 있었다. 또한 사용자 경험 모 형을 UI 에 적용 개선한 뒤 이 효과를 사용자 로그 데이터와 페이지 뷰(PVs) 를 통해 가늠할 수 있었다. 아직 이 과정이 초기 단계이고 주로 정성적인 평 가 방법에 의존하는 점을 감안할 때 평가효과의 실질적인 영향 요인 등을 정 확히 측정하기는 어렵지만 앞으로 사용자가 만족할 수 있는 형태의 서비스 제공과 기업의 잠재적 이익 창출이라는 목적을 위해 사용성 평가의 활용 및 연구 범위를 확대할 수 있는 방안을 모색하는데 의미가 있을 것이다. Keywords: 웹 사용성 평가, 사용자 경험, 효과측정 1. 서론 최근에 웹에서 사용자 인터페이스(UI)의 사용성 에 대해 관심이 증가하면서 UI 에 대한 다양한 평 가와 연구가 이루어지고 있다. 여기에는 일반적인 UI 디자인 가이드라인에 따른 발견적 평가 (Heuristic Evaluation)나 평가 실험실을 갖추고 사용 자의 과제(task) 수행 과정을 관찰하는 사용성 평가 (Usability Test) 등이 보편적으로 활용되고 있다. 그런데 웹 사용자 연구나 사용성 평가는 대부분 이미 완성되어 서비스되고 있는 웹사이트에 대해 외부 평가팀에 의해 프로젝트 형식으로 이루어지 는 경우가 많은데 이 경우 대상에 대한 보다 객관 적인 시각에서 평가를 할 수 있다는 장점이 있으 나 개선안을 도출하는데 있어서는 대상 서비스에 대한 충분한 이해, 정책, 대상 서비스를 포함하는 사이트 전체의 정체성과 그 밖의 초기 개발 배경 등을 종합적으로 고려하는데 한계가 있을 수밖에 없고, 평가 후 개선안의 적용과 이에 따른 재평가 프로세스가 일회적인 평가 프로젝트로는 완전하게 이루어지기 어려운 현실이다.
그에 반해 야후!와 야후!코리아에서는 자체적으 로 평가/연구 팀을 운용하면서 꾸준히 연구를 수행 함으로써 야후! 웹 UI 상의 인터랙션에서 나타나는 기능적 문제점의 개선에서부터 컨텐츠 기획안의 재구성까지 폭 넓게 적용하는 등 서비스 제공자 입장에서 사용자 만족을 위한 문제를 직접 다루고 있다. 본 연구는 야후!와 야후! 코리아에서 수행하고 있는 사용자 경험 연구(User Experience Research)의 기본 목적 및 개념을 설명하고 이를 위해 활용되 고 있는 사용자/사용성 평가와 일련의 적용과정을 몇 가지 사례를 통해 제시함으로써 인터넷 포탈 기업에서의 사용자 경험 디자인이 이루어지는 과 정과 사용성 평가의 효과성 측정 과정을 소개하고 인터넷 포탈 기업에서 사용성 평가의 역할과 가치 를 고찰하는데 목적이 있다. 2. 사용자 경험 연구를 위한 사용성 평가 인터넷 포탈 사이트에서 제공하고 있는 서비스 의 양은 매우 방대하기 때문에 사이트 전반에 대 한 종합평가 보다는 각 서비스에 대한 세부평가가 주로 이루어진다. 또한 컨텐츠 제공 중심 서비스, 기능성 서비스, 온라인 상거래 서비스 등, 서비스 의 성격도 크게 차이가 나기 때문에 흔히 알려진 Jacob Nielsen 의 웹 UI 가이드라인을 바탕으로 한 발견적 평가만으로는 개념적인 수준의 해결안에서 그치는 경우가 많다. 예를 들어, 평가 대상 서비스의 문제점 중의 하 나가 시스템 상태에 대한 가시성(visibility)가 낮 다 라는 문제가 있다면 가시성을 높여야 한다 는 식의 1 차원적 해결안 보다는 실제 사용상황 속에 서 왜 그러한 현상이 나타나는지 그 과정과 사용 자 컨텍스트(context)를 이해하는 것이 더 중요하다. 야후!에서 수행하고 있는 사용자 경험 연구의 범 위는 작게는 UI 의 기능요소, 레이아웃, 사이트 구 조 등에서부터 크게는 사용자가 웹에서 돌아다니 는 동안에 일어날 수 있는 여러 상황을 이해하고 사용자에게 또 다른 경험의 기회를 제공하기 위한 과정으로 아래 표 2-1 에서처럼 개발 프로세스 상에 서 서비스 컨셉 단계, 프로토타입 단계, 최종 론치 (launch)가 이루어진 이후는 물론 UI 가이드라인의 개선이나 온라인 광고의 효과 연구까지 폭 넓게 활용되고 있다. [표 1] 야후! 개발 프로세스에서 사용자 연구의 수행 Early in the Product Development Cycle Build the right product: Discovering user needs Validating product concepts: Creating useful and desirable products During Product Development Determining the Best Information Architecture Before Building It Test out designs before implementing them Premium Services Research After Implementation Usability Testing After the Launch: Measuring Success and Improving The Product Usability benchmarking Customer satisfaction Revamping a Product: Maximizing the Redesign Effort Addressing outstanding user experience issues Usability testing of redesign Competitive evaluations Research To Improve User Interface Standards The User Experience of Online Advertising 위 표의 각 단계에서 사용자 경험 데이터를 수 집하기 위해서 설문(Survey), 현장 연구(Field study), FGI(Focus Group), 프로토타입 평가 등의 방법들을 활용하게 되는데 그 중에서도 사용성 평가 (Usability Testing)는 미리 셋업된 평가 실험실에서 평균적으로 10~15 명 사이의 피실험자를 모집하여 가장 실제 사용상황에 근접한 환경에서 사용자 경 험 데이터를 얻어낼 수 있다. 이 사용성 평가에서는 추가적으로 사용자의 물 리적 행동자취(Physical Trace)를 세밀하게 관찰하고 기록하기 위해 시선추적(Eye Tracking)법이나 마우 스 트랙킹(Mouse Tracking)을 부가적으로 활용하기 도 한다. 다음 3 장 부터 몇 가지 야후!의 서비스의 대표 적인 평가 사례를 통해 사용자 경험 모델의 구성 과정, 적용결과, 그리고 이후의 효과에 대해 소개 하고자 한다.
3. 사용자 경험의 모델의 개선 (사례 1: 야 후! 여행) 3.1 서비스 개요 및 평가 과정 초기의 야후! 코리아 여행은 미국 야후! 여행 사 이트를 거의 동일한 UI 를 유지한 채 한글화해서 2001 년 2월에 서비스를 시작했다. 이 서비스는 온 라인 광고 외에도 항공권, 여행 상품 등의 판매에 따른 수수료 수익이 발생하기 때문에 이에 중점이 맞춰져 비행기 예약과 여행 관련 상품 예약에 주 요 기능 및 UI 가 디자인 되었다. 초점을 맞추어 예약관련 기능 위주로 사이트가 구 성되었고 잘 운영되고 있지만 한국 사용자들에게 항공권 구입과 여행 상품 예약은 여행을 계획하는 가장 마지막 결정 단계라는 차이점이 발견되었다. 심지어 출장 여행 경험이 많은 피실험자의 경우 에도 여행지에 관한 정보 검색과 관심 있는 목적 지에 대한 선행 여행자들의 이야기를 찾는 과정에 우선적 관심과 시간을 할애했다. [그림 2] 초기 야후! 코리아 여행 홈페이지의 UI 둘째, 항공권 구매 기능이 단계별 절차를 효과적 [그림 1] 미국 야후! 여행 홈페이지의 UI 으로 사용자에게 전달하지 못하고 있다. 사용성 평가는, 사이트에 대한 태스크 분석(Task analysis)과 서비스 관련 담당자들의 요청사항 등을 반영한 사용자 시나리오를 구성하여 추출된 총 6 개의 기본 태스크 및 태스크 수행 전후에 인터뷰 로 10 명의 피실험자를 대상으로 진행되었다. 3.2 평가 결과 분석과 개선안 제시 사용성 평가 결과에 있어서 가장 큰 발견점으로 는 첫째, 미국과 한국 사용자의 인터넷 여행 서비 스를 이용하는 과정이 근본적으로 다르다는 것이 [그림 3] 왕복 항공편 선택 모듈 었다. 원래 미국 야후! 여행은 비즈니스 출장자를 위해 즉각적인 항공권 구입 또는 예매에 대한 수요에 [그림 3]은 왕복 항공권을 예약하는 과정에서 가 는편과(1) 오는편(2) 항공편 선택 과정에 대한 정보
의 구분이 모호하고 절차에 대한 설명도 나타나 있지 않아서 여러 사용자들이 동일 과정을 반복하 는 것으로 착각하게 한다는 것을 알 수 있었다. 위의 모델을 바탕으로 [그림 5]와 같이 여행 정 보 검색에서 목적지 최종 결정과 일정 계획까지의 사용자 흐름(flow)을 연결시킬 수 있는 방향으로 컨텐츠 레이아웃을 재편하고 구매와 관련된 기능 들은 어느 단계에서나 접근 가능하도록 좌측 상단 에 고정 모듈로 제공하도록 했다. 결과적으로 이 평가를 통해서는 특히 문화적/사 회적 환경에 의해 달라지는 사용자 경험의 과정을 발견하고 사이트 재구성에 필요한 충분한 근거를 마련할 수 있었다. 4. 사용자 경험의 유도(사례 2: 마이 야후!) [그림 4] 개선된 야후! 여행 사용자 경험 모델 이 밖의 여러 기능적인 문제점들을 함께 감안하 여 사이트 홈페이지에서는 사용자가 야후! 코리아 여행을 통해 여행을 계획하고 준비하는 단계에서 필요한 정보 검색 편의성을 높이는데 중점을 두고 여행 상품이나 항공권 구매관련 기능영역을 축소 하되 모든 페이지에서 나타나는 것으로 사용자 경 험 모델 개선안을 제안했다. [그림 4] 4.1 서비스 개요 및 평가 과정 마이 야후!는 야후!의 대표적인 PIMS(Personal Information Management System) 서비스로서 야후!의 다양한 컨텐츠 서비스를 개인의 취향에 맞게 구성 하고 꾸밀 수 있는 기능을 제공한다. 야후! 여행과 달리 로그인이 필수적으로 요구되는 회원 전용 서 비스이기 때문에 고정 사용자(Unique User: 한 서비 스를 한달에 한번 이상 방문하는 등록 사용자)의 비율을 높이는데 크게 기여할 수 있는 서비스이다. 태스크 분석 결과 마이 야후!는 여러 개의 컨텐 츠 모듈이 비슷한 기능을 가지고 모여 있기 때문 에 사용자의 일관된 사용 흐름을 정의하기 어려웠 기 때문에 평가는 크게 First Glance Learning My Yahoo! Customizing My Yahoo! 의 삼단계로 나누 어 사용자에 따라 총 9~12 개의 태스크를 유동적으 로 수행하도록 했다. [그림 5] 최종 개선된 야후! 여행의 홈페이지 UI 4.2 평가 결과 분석과 개선안 제시 마이 야후! 서비스에서 사용자가 가장 먼저 경험 하는 문제점은 이 서비스의 개념에 대해 사용자가 잘 이해하지 못한다는 사실이다. 처음에 이 서비스를 접하는 사용자는 게스트 페 이지(guest page)라는 일종의 샘플 화면을 보게 되 는데 여기에는 로그인 모듈이 있는 것 외에는 여 타 야후! 서비스들과 마찬가지로 컨텐츠들이 빽빽
하게 이미 드러나 있기 때문에 사용자는 로그인의 필요성을 크게 느끼지 못한다. 설령 로그인을 하더 라도 로그인을 한 뒤에 나타나는 첫 화면인 디폴 트 페이지(default page)와 큰 차이점을 느낄 수 없 기 때문에 다른 곳으로 빠져 나가버리고 만다. 그럼에도 불구하고 평가에 참가한 대부분의 사 용자들이 이 서비스를 끝까지 사용한 뒤의 만족도 가 사용전보다 오히려 높아지는 사실을 고려하여 이 서비스의 개념을 명확히 하고 사용자의 첫번째 사용을 유도하는 것을 사용자 경험 모델 개선의 우선 과제로 삼았다. 최종적으로 도출된 해결안으로 이 서비스에 대 한 사용자의 이해를 돕고 로그인을 비롯한 세부 기능을 사용하도록 유도하기 위해 게스트 모듈 (guest module)이라는 것을 게스트 페이지에서 제공 함으로써 마이 야후!를 처음 접하는 사용자에게는 회원가입과 로그인을 유도하고 기존의 사용자에게 는 숨어있는 다양한 기능을 알려줌으로써 사용자 만족도를 높이고자 했다. 트 페이지 본래의 개념을 지키기 위해서 640*480 모니터 해상도 상에서도 게스트 모듈 아래의 다른 컨텐츠 모듈의 일부가 드러나도록 게스트 모듈의 상하 길이를 고려하기도 했다. 또한 더 자세한 기능 설명을 위해 마이 투어(My Tour) 기능을 옵션으로 제공하고 사용자의 취향에 따라 컨텐츠 모듈 구성 선택 페이지를 이미지와 함께 구성하고, 그 밖에 사용자의 또 다른 주요 문 제점으로 나타났던 관련 기능 버튼 또는 링크들의 위치를 페이지 타이틀 아래에 정리해서 모으고 레 이블(label)도 직관적으로 수정했는데 현재 기능 버 튼 정리와 디폴트 페이지 개선안이 일부 적용되어 아래 [그림 7]과 같이 바뀌었다. [그림 7] 개선된 마이 야후! 디폴트 페이지 UI 이 평가에서 제안된 사용자 경험 모델과 세부 수정사항은 서비스의 성격상-글로벌 통합 서비스- [그림 6] 게스트 모듈이 삽입된 마이 야후! 게스트 페이 지 개선안 UI [그림 6]에서 마이 야후! 메인 모듈의 최상단에 삽입된 게스트 모듈을 볼 수 있는데 여기에는 마 이 야후!의 모든 것을 로그인, 관심분야 선택, 마음대로 편집 의 세가지 주제로 나누어 그 단계 가 한눈에 들어오도록 햇다. 특히 마음대로 편집 부분에서는 마이 야후!의 강력한 모듈 편집 기능을 Animated GIF 이미지로 계속 변하게 함으로써 시선 의 집중을 높이고 사용자의 흥미 유발을 의도했다. 그러나 한편으로는 로그인을 하기 전에 일부 마 이 야후!의 컨텐츠를 체험할 수 있도록 하는 게스 전면적인 수정이 어렵다는 한계점 때문에 현재까 지 완전히 개선안이 적용되지 못하고 있지만 마이 야후!와 같은 낯선 형태의 서비스에 대한 사용자들 의 최초 경험을 효과적으로 만들어 주기 위한 좋 은 사례가 되었다. 5. 사용성 평가의 효과성 측정(사례 3: 야 후! 꾸러기) 본 연구에서는 여러 평가 사례 중 2001 년 7 월 의 야후! 꾸러기 클럽 사용성 평가 사례를 통해 개선안 적용(2001 년 9 월 26 일) 이후 약 3 개월간 나타난 PVs 의 변화 결과를 참고하여 사용성 평가 의 효과성에 대한 측정을 시도할 수 있었다.
[그림 8] 야후! 꾸러기 클럽 UT(Usability Test) 결과 반 영 전후 PVs 추이 [그림 8]과 [그림 9]는 2001 년 5 월 이후 야후! 꾸러기 클럽 서비스의 전체 사용자 주간 PVs 변화 를 나타내고 있다. [그림 8]의 회색 영역은 이 서비 스의 주 사용자인 어린이(주로 초등학생)들의 방학 기간으로 계절적 요인에 의해 PVs 가 일시적으로 증가했음을 보여준다. [그림 9] PVs-월별 평균 히스토그램(전체 사용자) 이후 다시 PVs 가 거의 방학전 수준으로 돌아가 고 있는 상황에서 방학동안 이루어진 사용성 평가 결과의 반영안이 9 월말(파란색 실선 부분)에 적용 된 이후부터 다시 PVs 가 증가하여 적응기를 거친 이후에도 상반기 보다 거의 두배에 가까운 평균 PVs 를 유지하고 있음을 알 수 있다. 또한 [그림 10]은 비등록 사용자만에 대한 PVs 변화 추이인데 [그림 9]에 비해 훨씬 뚜렷한 변화 의 양상을 보여준다. 이 결과의 원인으로는 개선 안이 적용된 이후 이 서비스에 처음 방문하거나 기존 비등록 사용자들의 1 인당 평균 페이지 소비 지수(Page Consumption)가 증가한 것으로 전체 사용 자 데이터를 감안할 때 사용자 유지도(retention)에 효과적으로 개선안이 작용했음을 짐작할 수 있다. [그림 10] PVs-월별 평균 히스토그램(비등록 사용자) 6. 결론 및 금후 연구 과제 본 연구에서는 웹에서 사용성 평가가 사용자의 경험과정을 이해하고 모델화 함으로써 궁극적으로 사용자 중심 디자인의 근간을 삼고자 했다. 그러나 학제적 영역으로의 웹 UI 분야에서 사용 성 평가가 보편적으로 논의되고 있는 것에 반해 아직까지 국내 인터넷 포탈 기업에서 사용성 평가 의 필요성에 대한 인식은 그다지 높지 않은 편이 다. 이러한 현실의 원인으로는, 1) 이윤 이라는 기업이 추구하는 우선 가치에서 사용성 평가의 기여도가 입증된 사례가 거의 없는 데다 이를 측정하기 위한 시스템과 자원이 부족하 고, 2) 혹 개선안이 모두 적용된다고 하더라도 사용 자가 변화된 UI 에 대한 거부감으로 역효과가 일어 날 위험도 존재하며, 3) 사용자/사용성 연구 전문가와 기존 기업과의 의사소통이 부족하기 때문이다. 이를 해결하기 위해서는 앞으로 다양한 객관적 효과측정 지표를 마련하고 사용성 평가가 사용자 와 기업 양쪽에게 이익을 가져다 줄 수 있는 유용 한 과정임을 설득할 수 있도록 전체 사용성 평가 프로세스 내에서 보다 체계화 되야 할 것이다. Reference 1)야후! 여행 UT, http://ued.yahoo.co.kr/usability/ 2)마이 야후! UT, http://ued.yahoo.co.kr/usability/ 3)Yahoo! Gooey, http://gooey.yahoo.com/gui/usability/ 4) Yahoo! Data mining, Data.yahoo.com, http://data.yahoo.com *Above URLs are all CONFIDENTIAL sites of Yahoo! Inc. & Yahoo! Korea Corp.