웹로그분석을이용한실시간온라인마케팅시스템설계및개발 Development of Realtime nline Maketing System using web log analytics 오재훈 (Jaehoon h) *, 김재훈 (Jaehoon Kim) **, 김종우 (Jongwoo Kim) *** jaehoon@nethru.co.kr, jaehoon1980@nethru.co.kr, kjw@hanyang.ac.kr 초록 e-business 시장의폭발적성장으로기존의오프라인기업들이 e-business 시장으로진입하게되었으며, 이는 e-business 시장의과도한경쟁을야기시켰다. e-business의경쟁은새로운기술및서비스를요구하게되었으며, 특히웹사이트방문자의행동정보를실시간으로분석하고개인화된정보를제공할수있는시스템에대한요구가증대되고있다. 이에본연구에서는사이트방문자의행동을실시간으로수집 분석하여모니터링할수있는실시간온라인마케팅시스템 RMS(Realtime nline Marketing System) 를구현하였다. RMS는웹로그분석을이용한실시간상담기술, 사용자프로파일, 컨텍스트 (Context) 분석기술및이벤트탐지 처리기술을활용한다. 이러한 RMS는방문자행동수집, 방문자행동분석, 방문자프로파일, 방문자모니터링, 실시간상담및마케팅등의기능을제공한다. 1. 서론 인터넷과 IT 기술의발전은 e-business 시장의성장과함께 e-business 시장참여자의확대로이어졌다. 이는 e-buisness 시장의과도한경쟁을야기시켰으며, 시장의경쟁에서우위를점하기위하여온라인기업의마케팅투자및노력이증대되고있다. 인터넷마케팅협회 (2009) 에따르면전 체마케팅비용 7조 9천억원중온라인마케팅비용이 1조 2978억원으로전체광고시장의 16.4% 를차지하고있다 [11]. 그러나최근의고객들은온라인커뮤니케이션기술의발달로다양한경로를통하여상품정보를파악하고타인의소비경험을공유함으로써제품에대한정보와지식을수집하고있다 [12]. 특히가격비교사이트를이용하여다양한판매채널의판매가격 본연구는서울시산학연협력사업 (JP100080) 의연구비지원으로이루어졌음 * 넷스루연구소소장 ** 넷스루연구소연구원 *** 한양대학교경영학부교수
을한눈에파악할수있기때문에기업들의경쟁이더욱심화되어가는실정이다. 뿐만아니라온라인상에서의고객행동이복잡해져감에따라동적으로변하는고객의행동정보를파악하기가점점어려워지고있다. 그러나기존의온라인마케팅방법들은이러한현상들에대하여충분히인식하지않고있으며, 이에대한대응이미흡한실정이다. 실제이메일마케팅의부정적인식및검색광고시장의치열한입찰경쟁, 고객들의가격비교쇼핑에따른마진감소등으로기존의온라인마케팅의투자대비효과는기대만큼의성과를제공하지못하는실정이다. 이에온라인기업들은새로운온라인마케팅방법을요구하고있다. 특히고객의행동을실시간으로분석하고고객의니즈를즉시파악하여마케팅을수행할수있는시스템에대한요구가증대되고있다. 본연구에서는웹로그분석을이용한실시간온라인마케팅시스템 RMS(Realtime nline Maketing System) 을설계및구현하였다. RMS는온라인사이트방문자의행동을실시간으로수집하기위한방문자행동수집기술, 고객의행동정보를이용한 Context 분석기술, Context 기반의사용자프로파일기술및탐지 처리기술을활용한다. RMS는웹사이트의방문자를모니터링하고시스템사용자가사이트방문자에게실시간으로마케팅을실행할수있는시스템이다. 2. 관련연구 2.1 웹로그분석기술 2.1.1 방문자행동수집기술 웹로그 (web log) 란웹사이트방문자들이제품이나서비스를구매하는과정을통해발생하는데이터이다. 정보획득이나구매를목적으로인터넷사이트를방문하는방문자들은로그의형태로사이트내에흔적을남기는데이러한데이터를기반으로해서다양한정보를추출해내는것이웹로그분석이다 [16]. 이러한웹로그분석을위하여웹사이트방문자행동을수집하는기술은크게웹서버로그파일방식 (Log File), 페이지태깅방식 (Page Tagging), 패킷스니핑 (Packet Sniffing) 방식의세가지로분류할수있다 [10]. 웹서버로그파일방식은웹서버에남은로그파일을분석하는방식으로일정기간기록된데이터를분석하는배치형분석에많이사용된다. 서버수가적고서버관리자와분석가가일치하거나동일한조직에속한경우많이사용된다. 패킷스니핑방식은네트워크를통과하는패킷을분석하여 HTTP 패킷만을추출하여로그파일에기록하는방식이며, 분석방법은로그파일방식과동일하다. 페이지태깅방식은방문자가페이지를조회하거나특정한행동을할때마다페이지정보를수집하는방식이다. 페이지태깅방식에는하드태깅 (Hard Tagging) 방식과소프트태깅 (Soft Tagging) 방식이있다. 하드태깅방식은웹브라우저에서분석대상정보를가공하여서버로전송하는방식이다. 소프트태깅방식은웹브라우저는기본정보만을전송하고전송된정보를서버에서분석하여중요정보를추출하는방식이다. RMS 는두가지방식을모두지원하는 Hybrid 방식으로방문자행동정보를수집한다.
2.1.2 방문자행동분석기술초기의웹로그분석은웹사이트상에서고객의행동을분석하고, 이를웹사이트디자인에반영하기위하여사용되었다 [2]. 그러나 e-business 성장과함께온라인상에서의고객행동이복잡해져감에따라웹로그분석은고객의행동패턴을분석하는데사용되고있다. Fu(1999) 는웹사용자의접속패턴을클러스트링하고일정한규칙을제공하는방법론을개발하였고, Igor(2000) 는확률기반의군집프레임워크를제안하고고객들의웹사이트방문형태를다양하게분류하였다 [2][18][19]. 이러한웹로그분석은웹사이트방문자들이많이본페이지를방문페이지로변경하거나, 웹사이트에서의방문경로를파악하여상품을배치하는등고객의행동을파악하고마케팅을수행하기위한방법으로이용되고있다. 이러한웹로그분석은고객의컨텐츠선호에따른웹사이트의효율적설계및관리를지원하고있다. 또한시장분석과프로모션에투입되는마케팅비용을감소시키며, 고객의성향과행동패턴을분석할수있다 [3]. 2.2 온라인마케팅기술 2.2.1 실시간상담지원기술온라인상의상담시스템은 웹협업시스템 영역에속한다. 웹협업시스템 이란컴퓨터를통한사람들간의정보의공유, 수정, 협업적정보생산작업등을포함한다 [6]. 온라인상담시스템은용도및목적에따라의료, 정신상담, 학습등다양한기능및목적으로활용되고있다 [1][5][7]. 이러한온라인상담시스템은 e-business 시장의성장과함께고객마케팅을위한도구로진화해왔다. 실제국내외다양한업체들이실시간마케팅도구로써, 실시간상담기능을제공하는시스템을개발하여제공하고있다 [22][23][24][25][26][27]. 온라인상담시스템은문자채팅, 음성및화상대화, 파일전송및로컬정보, 고객연결승인및강제종료등의기능을제공하고있다. 2.2.2 방문자프로파일기술방문자프로파일은방문자의기본정보및부가정보등을담는다. 이러한방문자프로파일은방문자를구분하고방문자에게맞는서비스를제공하기위하여이용된다 [13]. 방문자프로파일은성별, 나이, 연령, 직업등의정적프로파일과, 방문자의상황이나피드백된서비스내용등으로얻을수있는동적프로파일로구분할수있다 [4]. 방문자프로파일은방문자들이관심있는부분이나실제로접하고있는내용을근거로방문자에게적합한서비스를제공할수있다 [8]. IT 기술의발전은개인의정보를쉽게파악할수있게되었으며, 개인화된서비스제공을위한방문자프로파일에대한연구역시증가하고있다. Fang Liu et al(2004) 는방문자가과거에방문했던범주에속하는웹페이지들에우선순위를부여하여, 개인화된검색을구현하였다. 이러한개인화된검색의구현을위하여방문자프로파일이사용되었다 [9][17]. Jaime Teevan et al(2005) 가사용한시스템은웹페이지, 전자메일, 클라이언트컴퓨터에저장된문서등방문자에의해생성, 복사되거나방문자가본모든정보에대해
인덱스를생성한다. 이모든정보가방문자프로파일을만드는데사용되었다 [20]. 2.2.3 컨텐스트분석기술컨텍스트 (Context) 는 개체의상황을특성화하는데사용할수있는어떤정보이고, 여기서개체는사람, 장소, 물리적또는컴퓨팅객체이다. 로정의할수있다 [15]. 이러한컨텍스트는사용자가처한환경에서사용자의현재위치, 행동, 환경및작업등사용자에대한정보와그정보들의지속적인변화를말한다. 컨텍스트는활용분야에따라사용자의 ID, 위치인식등다양하게활용가능하다 [8][14]. 특히온라인상에서의컨텍스트분석은온라인마케팅을위한기술로점점부각되어왔다. 그러나현재실시간으로고객의관심상품이나컨텐츠를 Catch하는단편적인기술은많은웹사이트에서응용되고있으나, 방문고객의특성과관심사를분석하고요약하는기술에관한연구는미비한실정이다. 3. 실시간온라인마케팅시스템요구사항 3.1 시스템요구사항 본연구에서제안하는 RMS의요구사항을분석하기위하여유스케이스 (Use Case) 분석방법을이용하였다. RMS의액터 (Actor) 로는사이트방문자, 시스템사용자로구분하여액터별요구기능을도출하였다. 도출된요구사항은회원관리, 사이트관리, 사용자관리, 마케팅, 모니터링의 5분류로구분하였다. 5가지요구사항에는다양한기능들을포함하며, 그중핵심기능을 < 표 1> 과같이정의하였다. < 표1> 시스템요구사항요구사항분류사용자사이트사이트방문자관리자회원가입 / 탈퇴 회원관리회원정보변경 사이트관리사용자관리마케팅모니터링 사이트추가 / 삭제 사이트정보변경 사용자추가 / 삭제 사용자권한변경 상담 메시지전달 메시지조건설정 방문자정보 방문자행동정보 방문자필터링 실시간분석 사이트방문자는 RMS에등록된웹사이트에접속한방문자로써, 사이트관리자에게상담을요청하거나, 사이트관리자가전송한마케팅메시지를전달받을수있어야한다. 사이트관리자는 RMS에접속하여서비스를이용하는사용자로써, 회원관리, 사이트관리, 사용자관리및방문자모니터링을통한마케팅을수행할수있어야한다. 먼저회원관리에서는회원가입, 탈퇴, 정보변경기능을정의하였다. 사이트관리에서는시스템에서제공하는서비스를이용할대상사이트를추가, 삭제, 정보변경기능을정의하였다. 사용자관리는서비스를이용하기위하여추가된사이트를관리할사용자를추가, 삭제할수있으며, 사용자의이용권한을변경할수있도록정의하였다.
그리고마케팅기능으로사이트관리자는사이트방문자에게상담메시지와마케팅메시지를전송할수있다. 또한사이트관리자가설정한조건에따라자동으로마케팅메세지를전송할수있다. 3.2 고객행동정보수집요구사항 RMS가수집하는고객행동정보는유입정보, 인구통계학적정보, 행동정보, 클라이언트정보로구분할수있다. 각항목에대한자세한내용은 < 표 2> 와같다. < 표2> 고객행동정보수집요구사항요구사항분세부항목류유입정보방문경로 [ 직접 / 참조 / 검색 ], 참조페이지, 랜딩페이지, 검색엔진, 검색어, 광고방문정보 [CPC/CPT/ 배너 / 이메일 ] 등 인구통계학정보로는사이트방문자의나 이, 성별, 지역등의정보를파악하며, 클라 이언트정보로는사이트방문자의브라우저, 운영체제, 해상도, IP, 접속지역등을파악 한다. 마지막행동정보로는사이트방문자가사 이트에방문하여조회한페이지, 조회상품 및카테고리, 내부검색어, 장바구니상품, 구매상품등의행동을수집한다. 4. 실시간온라인마케팅시스템의구현 4.1 시스템구성 RMS 는웹서비스를기반으로구축되며, < 그림 1> 과같이방문자 클라이언트, 관리 클라이언트, 어플리케이션서버, 실시간모니터링서버, 상담서버, 분석서버, DB 서버, 통합인증서버로구성된다. 인구통계학 정보 나이, 성별, 지역등 행동정보조회페이지, 조회상품, 조회카테고리, 내부검색어, 장바구니상품, 구매상품등 클라이언트 정보 브라우저, 운영체제, 해상도, IP, 지역등 유입정보의경우사이트방문자가사이트방문시방문경로를파악한다. 방문경로의경우크게사이트 URL 및즐겨찾기를통하여방문한직접방문, 특정페이지의링크를통하여접속한참조방문, 검색을통하여접속한검색방문으로구분하여파악하여야한다. 또한특정유료광고를통하여사이트방문시해당광고정보를파악한다. < 그림 1> RMS 시스템의구성어플리케이션서버는외부액터와상호작용을담당하며 WAS(Web Application Server) 위에서 Web Application으로동작
한다. 어플리케이션서버는방문자행동수집기, 상담및마케팅메시지관리기, 사이트모니터, 마케팅룰관리기, 이력조회기등으로구성된다. 실시간모니터링서버는수집된방문자행동을분석하여방문자의컨텍스트를추출하고방문자프로파일을작성한다. 모니터링서버는세션관리기, 컨텍스트분석기, 마케팅룰생성기, 마케팅룰엔진, 실시간통계분석등의모듈로구성된다. 방문자클라이언트는사이트에방문자가접속하면방문정보를어플리케이션서버의방문자행동정보수집기로전달하고, 방문자행동정보수집기는행동이력을로그로기록한후에모니터링서버로전송한다. 방문자가상담을요청하면상담및메시지관리기로전달된다. 상담서버는방문자와사이트관리자사이의상담을관리하며, 분석서버는배치분석보고서를담당한다. 통합인증서버는어플리케이션서버상의어플리케이션간의통합인증기능과캐쉬기능을제공한다. 통합인증서버의성능을향상시키기위하여오픈소스인 memcached의메모리캐쉬기능을사용하며, ZooKeeper를이용하여분산시스템을구성함으로써고가용성을달성할수있도록구성하였다 [21][28]. 4.2.2 상담클라이언트상담기능에는상담메시지전송, 상담내용조회, 마케팅메시지조회등의기능이있다. 상담에는두가지종류로구분된다. 방문자가사이트관리자에게요청하는상담과사이트관리자가방문자에게요청하는상담 (proactive chat) 이다. Proactive 상담을지원하기위하여방문자클라이언트가주기적으로상담서버에상담 내용을요청하도록하였다. 또한방문자클라이언트는상담중의상담상태에따라요청주기를조절할수있도록구성하였다. 4.3 모니터링서버모니터링서버는세션관리기, 컨텍스트분석기, 실시간마케팅엔진, 실시간통계분석기로구성된다. 세션관리기는방문자의행동정보를세션단위로구분한다. 방문자클라이언트는상담서버에주기적으로상담정보를요청하는데이요청을 Ping 메시지로변환하여모니터링서버에전달함으로써방문자의세션을유지하도록하였다. 방문자가사이트를떠나면 Ping 메시지전송이중지되며일정기간이경과하면세션관리기가방문자의세션을종료한다. 컨텍스트분석기는수집된행동정보를컨텍스트모델에따라표현한다. 컨텍스트분석기는방문자컨텍스트에사용할변수를추출하여방문자세션에설정한다. 마케팅룰엔진은방문자의컨텍스트가정의된마케팅메시지의전송조건과일치하는경우에마케팅메시지를방문자에게전달한다. 방문자에게마케팅메시지를전달하기위하여방문자클라이언트는마케팅메시지가있는지주기적으로검사하도록하였다. 실시간통계분석기는방문자의행동을분석하여사이트의통계를제공한다. 4.4 관리클라이언트사이트관리자가사이트모니터링을위하여사용하는관리클라이언트는 Flash 기반으로구현하였으며, < 그림 2> 와같이구성하였다.
이동중인경우에도사이트모니터링기능과 실시간마케팅을지원하기위하여모바일 Application 으로도구현하였다. 5. 결론 < 그림 2> 관리클라이언트화면관리클라이언트는모니터링서버로부터웹사이트방문자의정보를전달받아사용자가이를직관적으로파악할수있도록개별방문자마다네임카드 [ 명함 ] 형태로표현한다. 시스템사용자는네임카드를통하여방문자정보를파악할수있도록구성하였다. 그리고네임카드에서개별사용자와의상담을실시할수있으며, 마케팅메시지를작성하여전달할수있다. 로그파일정보, 웹사이트에서의행동정보, 과거사이트행동내역, 상담내역등다양한정보를확인가능하도록하였다. 방문자필터링기능은방문자의프로파일정보, 웹사이트방문정보, 행동정보등을기반으로방문자를추출하여파악할수있게지원하며, 해당방문자들을대상으로마케팅메시지를전달하도록하였다. 실시간분석기능은웹사이트에서발생되는현황및추이정보를실시간으로웹로그분석을실시하여시스템사용자가이를파악할수있도록하였다. 사이트관리자가 IT 기술및웹서비스의발전에따라온라인기업간의경쟁이심화되어갔고, 이에따라온라인마케팅시장의입찰경쟁및마진감소를가져왔다. 또한온라인상의고객행동은점점복잡해지고있다. 이에기업들은새로운마케팅시스템을요구하고있으며, 특히유입된방문자를고객으로전환시키기위한실시간마케팅시스템을요구하고있다. 본논문에서는웹사이트방문자의행동을실시간으로수집하고분석하여실시간마케팅에필요한정보를제공함으로써사이트의전환율을높이기위한실시간온라인마케팅시스템 (RMS) 를제안하였다. RMS는사이트방문자의행동정보를실시간으로수집하고, 수집된정보를실시간으로분석한다. 이를통하여방문자의컨텍스트를파악하고방문자를프로파일링하여사이트방문자에게실시간으로마케팅을수행할수있도록지원하도록구현하였다. RMS 는기존의웹사이트분석시스템및추천시스템과등의마케팅시스템과비교하여고객의행동을실시간으로정확하게모니터링할수있다. 즉복잡한고객의행동을실시간으로모니터링함으로써, 상황에맞는마케팅을수행할수있을것으로기대된다.
참고문헌 [1] 고대곤, 남윤희, 화상교육시스템을이용한사이버집단상담의효과분석, 한국콘텐츠학회논문지, 제7권제4호, pp.213-223, 2007. [2] 고재문, 서준용, 김운식, 수주생산기업 B2B에서 e-crm을위한웹로그분석, 산업공학, 제18권제2호, pp. 205-220, 2005. [3] 김정하, 김소은, 웹로그분석을통한여행사웹방문경로에관한연구, 관광 레저연구, 제16권제3호, pp.209-226, 2004. [4] 김종원, 사용자프로파일에기초한유즈넷뉴스그릅자동결정방법, 한국지지및지능시스템학회논문지, 제14권, 제2호, PP.142-149,1999. [5] 변광준, 예홍진, 위규범, 멀티미디어원격상담도우미의설계및구현, 정보과학회논문지, 제4권제4호, pp. 418-426, 1998. [6] 서여진, 박우창, 송순오, 전자상거래용대화형상담시스템설계및구현, 한국정보과학회, 2003년도학술발표논문집, 제30권제1호, 2003. [7] 이병문, 조원희, 윤영미, 실시간심음전송을위한원격의료상담시스템, 한국콘텐츠학회논문지, 제9권제8호, pp.158-16, 2009. [8] 이세일, 이상용, 실시간컨텍스트정보의정량화단계를개선한렵력적필터링, 한국퍼지및지능시스템학회지, 제17권제4호, pp.288-493, 2006. [9] 이재원, 김응모, 서비스제공자 목록에의한사용자프로파일기반웹서비스검색의정확도향상, 한국정보과학회가을학술발표논문집, 제33권제2호, 2006. [10] 이종현, 임혜영, 황준, 차세대정보마이닝동향, 인터넷정보학회지, 제7권제1호, pp53-66, 2006. [11] 인터넷마케팅협회, 2009년인터넷광고비예측. 2009. [12] 정주훈, 이호배, 실시간마케팅의선행요인및성과연구, 한국마케팅저널, 제9권제4호, pp.1-41, 2008. [13] 최정환, 장현후, 최현우, 김구수, 엄영익, 홈네트워크환경에서사용자위치에기반한지능적인서비스알고리즘, 한국정보처리학회춘계학술대회논문집, 제14권제1호, 2007. [14] A.K.Dey, "Context-Aware Computing: The CyberDesk Project", Proc. of the AAAI 1998 Spring Symposium on Intelligent Environments(AAAI Technical Report SS-98-02), pp.51-54, 1998. [15] Anind K. Dey and Gregory D. Abowd, Towards a Better Understanding of Context and Context-Awareness, Technical Report GIT-GVU-99-22, Geogia Institute of Technology, College of computing, 1999. [16] Cooley, R., Mobasher, B., & Srivastava, J.. Data preparation for mining world wide web browsing patterns, Knowledge and Information System, Vol.1, No.1, pp.123-132, 1999. [17] Fang Liu, Clement Yu, Weiyi
Meng, Personalized Web Search for Improving Retrieval Effectiveness, IEEE Transactions on Knowledge and Data ngineering, Vol. 16, No. 1, pp.28-40, 2004 [18] Fu, Y., K. Sandhu and M.Y. Shih, "Clustering of Web Users Based on Access Patterns", Proceedings of the Workshop on Web Usage Analysis and User Profiling(WEBKDD'99), San Diego, CA, August, 1999. [19] Igor V. C., Scott G. and P. Smyth, "A general probabilistic framework for clustering individuals and objects", Proceedings of the sixth ACM SIGKDD international conference onknowledge discovery and data mining, pp.140-149, 2000. [20] Jaime Teevan, Susan T. Dumais, Eric Horvitz, Personalizing Search via Automated Analysis of Interests and Activities, In the proceedings of the 28th annual international ACM SIGIR conference on Research and development in information retrieval, pp.449-456, 2005. [21] http://memcached.org/ [22] http://tocplus.co.kr [23] http://www.http.or.kr [24] http://www.liveweb.co.kr [25] http://www.olark.com [26] http://www.whoson.com [27] http://www.wibiya.com [28] http://www.zookeeper.com