방송통신연구 2015년 봄호 연구논문 42 73 SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구* 1)2)3)4)5) 윤상혁 손지현 고민삼 김영걸 KAIST 경영대학 정보경영 석사, SBS콘텐츠허브/스마트미디어렙 과장** KAIST 경영대학 경영공학 박사, CJ

방송통신연구 2015년 봄호 통권 제90호 SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 윤상혁 (KAIST 경영대학 정보경영 석사, SBS콘텐츠허브/스마트미디어렙 과장) 손지현 (KAIST 경영대학 경영공학 박사, CJ E&M 미디어솔루션본부 미디어전략팀 차장) 고민삼 (KAIST 지식서비스공학과 박사과정) 김영걸 (KAIST 경영대학 정보미디어경영대학원 교수)

방송통신연구 2015년 봄호 연구논문 42 73 SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구* 1)2)3)4)5) 윤상혁 손지현 고민삼 김영걸 KAIST 경영대학 정보경영 석사, SBS콘텐츠허브/스마트미디어렙 과장** KAIST 경영대학 경영공학 박사, CJ E&M 미디어솔루션본부 미디어전략팀 차장*** KAIST 지식서비스공학과 박사과정**** KAIST 경영대학 정보미디어경영대학원 교수***** TV프로그램에서 시청률은 단순히 그 프로그램의 양적인 차원에서 시청자 규모를 의미하는 것이며, 그 프로그램의 질이나 시청자의 만족도를 제시해 주는 것은 아니다. 즉, 시청률이 높다고 해서 그 프로그램 이 반드시 좋은 프로그램은 아니다. 이에, 주요 방송사와 정부에서는 질적인 차원에서 평가할 수 있는 TV프로그램 품질평가 지표를 개발하였지만, 주로 프로그램 종영 후 상당한 기간 경과 후의 대규모 설문 조사로 이루어지고 있어, 많은 시간과 비용이 소요되나 평가의 정확도에는 근원적인 제약이 있다. 이에 본 연구에서는, 시청자들이 온라인 리뷰로 남기는 의견이나 감정을 수시로 수집하여 TV프로그램의 품 질을 평가하는 방법을 제시하고자 한다. 본 연구의 TV프로그램 품질평가 모형을 개발하기 위해, 정보통 신정책연구원에서 개발한 KI지수(KCC Index)를 활용하였다. 분석 대상 프로그램은 드라마, 예능, 시사 교양, 각 3편씩 총 18편 지상파 프로그램으로 선정하였다. 우선, 온라인 리뷰에서 프로그램 만족도 및 우수성과 관련된 표현(형태소 단위)들을 찾아내기 위해, 개방형 설문조사를 실시하였다. 그리고 해당 프 로그램의 트위터(Twitter) 트윗과 다음(Daum.com) 게시판 댓글 데이터를 수집하여, 개방형 설문조사 로 수집된 표현들과 매칭, 온라인 리뷰에 해당하는 15개의 변수를 추출하였다. 그 다음, 설문조사를 통 해 측정한 KI점수를 종속변수로 하여 회귀식을 도출, 최종 TV프로그램 품질평가 모형인 TVA(TV programs Value Assessment)를 개발하였다. 또한, 본 TVA모형을 검증하기 위해, 25편의 지상파 프로 그램을 선정, TVA지수와 KI지수를 비교해 보았다. 그 결과, TVA지수와 KI지수 간 상관관계는 통계적 * 이 논문은 주저자인 윤상혁의 석사학위 논문을 바탕으로 추가 연구하여 작성한 것입니다. ** sanghyeak.yoon@gmail.com, 주저자 *** jinashon@gmail.com, 교신저자 **** minsam.ko@gmail.com ***** ygkim@business.kaist.ac.kr

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 43 으로 유의미하게 나타나 TV프로그램의 품질 측정에 활용 가능함을 증명하였다. 즉, 온라인 리뷰 데이터 로 개발된 TVA모형은 기존 품질평가를 보완해 줄 수 있으며, 더 많은 표본 집단을 이용하여, 실시간에 가깝게 측정할 수 있기에, 광고 관련 사업자의 광고 전략이나 방송국의 방송 편성에 있어서 도움을 줄 수 있을 것으로 기대한다. 주제어 TV프로그램 품질평가, 소셜TV, 온라인 리뷰, 평가지수, TVA 1. 서론 최신 인터넷과 모바일 기술 발전이 TV 시청 방식을 크게 변화시켰지만 프로그램 평 가 방식은 정량적인 평가 방식인 시청률 조사에 국한되어 있다. 이에 광고업계와 방 송업계에서는 프로그램 평가 방법에 대해 지속적으로 변화를 요구하고 있다. 또한, 광고업계에서 프로그램은 광고를 전달하는 콘텐츠이기에, 그 특성이 광고를 보는 시 청자들에게 어떤 영향을 주는지 분석하는 것을 업계의 중요한 과제로 여긴다(김자경, 2000). 특히, 광고주 상품 및 브랜드의 이미지에 정확히 부합하는 광고 전략을 수립 하기 위해, 기존의 측정도구인 시청률뿐 아니라, 보완적으로 프로그램의 질적인 측면 을 중요시 여긴다. 방송업계에서도 프로그램의 품질을 중요시 여기고 있다(정용찬 오세성 최양 수 허명회, 2007). 시청률이 높은 프로그램이 많다고 하더라도, 질적으로 우수하지 않은 프로그램이 많다면 방송사의 브랜드에 부정적인 영향을 미치기 때문이다(김정 현 김은미 이준웅, 2013). 게다가, 시청률만을 기준으로 프로그램을 평가하는 시 청률 지상주의가 만연하면, 방송이 상업적 미디어로 전락, 결과적으로 TV프로그램이 문화매체로서 본연의 역할을 수행하지 못하게 된다(한국방송개발원, 1994). 이에, 주요 방송사와 정부는 프로그램의 품질평가를 매년 실행하고 있다. 그러나 평가기관마다 각기 다른 측정지수를 사용하고 있고, 자의적인 평가가 가능하기 때문 에 설득력이 낮다는 평가를 받고 있다(정용찬 외, 2007). 또한, 측정 방식이 온라인 혹 은 면대면 설문조사로 진행되며, 분석 후 그 결과를 확인하기까지 길게는 1년 정도의 시간이 소요된다는 점에서 실시간성이 떨어진다(정용찬 신지형 김욱준, 2013). 반면, 미디어 시청 행태 변화 및 온라인 데이터 추출 시스템 고도화로 시청자들의 온라인 리뷰를 수집하는 것이 쉬워지면서, 온라인 리뷰 데이터를 활용한 TV프로그램

44 방송통신연구 2015년 봄호 (통권 제90호) 품질평가 방식이 대두되었다. 특히, 소셜 네트워킹 서비스(SNS, Social Networking Service)를 통한 능동적인 시청 행태의 확산으로(Doughty & Lawson, 2012), 시청 자들로 하여금 프로그램과 관련된 많은 여러 정보들, 예를 들면, 프로그램에 대해 어떻게 생각하는지 또는 얼마나 만족하는지에 대한 정보들을 소통하게 한다(Zhao, Zhong, Wickramasuriya, & Vasudevan, 2011). 시청자의 온라인 리뷰 데이터를 이용하여 TV프로그램 품질을 평가하게 된다면, 첫째로, 설문조사에 비해 상대적으로 더 많은 시청자를 표본 집단으로 데이터를 수 집할 수 있다. 둘째로, TV프로그램과 관련하여 SNS 이용자들이 남긴 글을 통해 그 들의 정제되지 않은 날 것 그대로의 반응이나 의견을 수집할 수 있다. 실제로, 방송 관련 사업자들은 해당 온라인 리뷰를 통해, 프로그램에 대한 입소문 정도(Volume), 긍/부정(Valance) 반응, 도달률(Reach) 등을 파악하기도 한다(Hill, Nalavade, & Benton, 2012). 이와 더불어, 방송국 브랜드에 대한 시청자들의 생각도 파악하기도 한다(Nakazawa, Erdmann, & Hoashi., 2012). 셋째로, 프로그램의 품질을 실시간 에 가깝게 측정할 수 있다. 실시간성으로 파악할 수 있어야, 광고업계에서는 광고주 와의 커뮤니케이션이나 광고상품의 선( 先 ) 제안에, 방송업계에서는 능동적 편성 전 략이나 콘텐츠 마케팅 전략 수립에 이러한 측정결과를 적극적으로 활용할 수 있다. 그리하여, 본 연구는 TV프로그램의 품질평가 결과를 보다 많은 표본 집단을 대 상으로 실시간에 가깝게 제공하기 위해 온라인 리뷰 데이터를 활용한 품질평가 방법 인 TVA(TV programs Value Assessment)를 개발하였다. 또한, 프로그램에 대한 만족, 불만족, 우수, 非 우수와 관련된 형태소 단위의 표현들을 온라인 리뷰에서 추출 하여, 어떤 요소가 프로그램 품질에 영향을 미치는지 살펴보았다. 이는 기존 설문조 사에 의존한 품질평가 방법들의 적시성의 문제점을 보완하고, 실제 광고와 방송 산업 현장에서 적극적으로 활용할 수 있다는 데 의의가 있다. 2. 연구 배경 1) TV프로그램 품질평가 1980년대 말부터 시작된 방송 사업자의 제작비 상승, 다채널화, 글로벌 진출로 방송 시장 경쟁이 심화되면서 급격히 상업화됨에 따라, 이에 대한 우려로 방송프로그램에

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 45 대한 품질의 중요성이 대두되었다(이준웅 심미선 2005). 로젠그린, 칼손, 그리고 테거드(Rogengren, Carlsson, & Tågerud,. 1996, p. 21)는 프로그램 품질을 가치 있다고 여겨지는 어떤 기준들의 집합과 그 프로그램과의 관계(relation between a characteristic and a set of values) 라고 지칭하며, 프로그램 품질에 대한 절대적인 (absolute or universal) 정의는 내릴 수 없다고 주장하였다. 즉, 프로그램 품질에 대 한 정의는 상대적인 개념으로 제작자의 관점이나 시청자의 관점에 따라 혹은 어떤 가 치를 중요시 여기는 지에 따라 다를 수 있다(Rogengren, et al., 1996). 본 연구는 시청자가 프로그램 품질을 어떻게 평가하는지에 초점을 두고, 프로그 램 품질을 시청자가 인지하는 프로그램 만족도와 우수성에 대한 가치라고 정의하였 다. 이에 대한 근거는, 프로그램 품질평가가 광고효과나 방송국의 브랜드 가치에 영 향을 미친다는 기존 연구들을 통해서 설정하였다. 프랜스, 샤, 그리고 박(France, Shah, & Park, 1994)은 부정적 감정을 유발하는 프로그램에 삽입된 광고와 긍정적 감정을 유발하는 프로그램에 삽입된 광고를 시청했을 때 후자의 경우 정보처리를 촉 진시키는 반면, 전자의 경우는 오히려 정보처리를 악화시키는 것을 밝혀냈다. 즉, 프 로그램에서 긍정적 감정이 발생되면 광고에 대한 관심과 흥미도 높아져서 광고 효과 가 높아진다는 것이다. 다른 연구에서는 즐겁고 유쾌한 프로그램을 시청한 사람들은 실제로 행복한 감정적 경험을 하게 되며 이것이 광고에 영향을 미쳐 광고 효과도 높 은 것으로 나타났다. 반면에 부정적인 프로그램을 시청한 사람들은 프로그램에 대한 광고에 영향을 미쳐 광고 효과도 낮게 나타났다(Goldberg & Gorn, 1987). 또한, 이 준웅, 김은미, 그리고 심미선(2003)은 좋은 TV프로그램은 시청자에게 만족감을 주 는 요소로 작용되며, 좋은 프로그램이 장기적으로 방송사에 대한 좋은 이미지를 심는 효과를 준다는 것을 밝혀냈다. 시청률이 특정 프로그램을 시청한 규모를 측정한다면, 프로그램 품질평가는 시청 자가 인지하는 가치에 대한 경험을 측정하는 것으로 좋은 프로그램인지 여부를 알 수 있는 척도가 되기에 중요한 변수가 될 수 있다(강남준, 2002; 이호준, 2006). 이렇듯, TV프로그램의 품질평가가 중요해짐에 따라 관련 연구도 점차 확대되고 있다. 이시 가와(Ishikawa, 1990)는 프로그램의 이상( 理 想 )적인 품질평가 개발을 위해 다음의 세 가지 원칙을 제시하였다. 첫째, 품질평가 결과는 프로그램 제작과 편성에 도움을 주어야 한다. 둘째, 시청자에 의한 평가이어야 한다. 셋째, 조사 방식이 간편해야 한 다. 위 원칙을 바탕으로 국내에서도 TV프로그램 품질평가 지수 개발이 진행되었다. 그러나 프로그램의 품질이라는 용어에 대해 일관된 정의가 이루어지지 않아(강남준,

46 방송통신연구 2015년 봄호 (통권 제90호) <표 1> 국내 주요 방송사의 TV프로그램 품질평가 지수 방송사 지수명 장르 구분 조사 항목 조사 방법 측정척도 KBS 시청자 프로그램 품질평가 뉴스/보도, 시사, 버라이어티, 드라마 등 시청한 프로그램에 대해 제작요소, 가치, 만족도와 관련된 15개 항목 온라인을 이용한 설문조사 10점 척도로 측정하여, 100점 만점으로 환산 MBC QI 뉴스, 생활교양, 시사교양, 드라마, 오락 장르별로, 4 5개 문항 (1사회적으로 중요한 내용을 다룬다, 2흥미롭다, 3뭔가 느끼는 게 있다, 4재미있다, 5공정하다) 구조화된 설문을 이용한 면접조사 7점 척도로 측정하여, 100점 만점으로 환산 SBS ASI 뉴스, 시사보도, 다큐, 교양, 오락, 드라마 각 장르에 따라 객관/공정/신뢰, 완성도, 사회적 기여도, 창의성, 즐거움/재미, 문화적 기여도, 몰입도 7개 차원 중 선택 온라인을 이용한 설문조사 7점 척도로 측정하여, 10점 만점으로 환산 출처: 각 사 홈페이지(2014) 인용. 원저작권자의 모든 권리가 보호됨. 2002), 평가항목의 구성과 조사방식은 평가기간마다 상이한 상황이다. 국내 주요 방송사들을 자체적으로 TV프로그램 품질평가 지수를 개발하여 평가 를 실시하고 있으며, 대표적으로 KBS의 시청자 프로그램 품질평가, MBC의 QI (Quality Index) 그리고 SBS의 ASI(Audience Satisfaction Index)가 있다(<표1> 참조). 각 방송국의 환경에 맞추어 질문 항목을 구성하고 리커트 척도를 이용하여 정 기적인 조사가 진행하고 있다. TV프로그램의 품질평가 지수는 각기 다르지만, 시청 자의 의견을 직접 확인하고 분석한다는 점에서는 동일하다(이호준, 2006). 또한, 방송분야 공공성을 확보하고자 하는 목적으로 정보통신정책연구원에서는 TV프로그램의 품질평가 지수인 KI지수(KCC Index, Korea Communications Commission Index)를 개발, 2005년부터 조사를 시작하였다. KI지수는 만족도와 우 수성 지표로 구성되어 있으며, 공공재로서 방송사업자의 역할 강화와 시청률 경쟁으 로 인한 폐해에서 갖는 문제점을 보완하고 시청자들이 체감하는 방송의 품질을 제고 하기 위해, 매년 분기별 조사 후, 상하반기 종합 결과 공표를 하고 있다(정용찬 외, 2013). 특히, KI지수는 방송사 구분 없는 대표적 지표이자 시청자의 평가가 반영된 지 표이며 프로그램 간 혹은 방송사 간 비교가 가능하기에, 타 품질평가 지수와 달리 조 사 결과가 공개될 때마다 관련 사업자들이 민감하게 반응한다. 하지만, KI지수를 통해 서는 품질에 대한 점수(만족도와 우수성 점수)만 파악할 수 있을 뿐, 품질에 대한 방향 성(Positive-Negative)을 확인할 수 없다. 또한 분기별 조사이기에 한 프로그램(혹은

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 47 한 회차)에 대해 1회적인 종단적 데이터 분석밖에 할 수 없다는 약점을 가지고 있다. 2) 온라인 리뷰를 통한 TV프로그램 평가 인터넷 기술이 발전하면서 TV시청 중 온라인을 통한 의사소통은 점차 늘어나고 있 다(Geerts & Grooff, 2009). 즉, 기존의 수동적 시청에서 벗어나 TV를 보면서 모바 일 등을 통해 시청자들이 참여와 공유를 동시에 하는 시청경험이 크게 증가하였다 (Doughty & Lawson, 2012). 이러한 행태 변화로 시청자는 TV를 보는 즐거움뿐만 아니라, 타인과 사회적 상호작용을 하는 즐거움도 느끼게 되었다(Lee & Lee, 1995). 이에, 소셜TV(Social Television)라는 개념이 등장하였다. 연구자들마다 소 셜TV를 조금씩 다르게 정의하고 있지만, 학계 의견을 종합(Chorianopoulos, 2007; Harbocet, et al., 2008; Schatz, Wagner, Egger, & Jordan, 2007; Oehlberg, et al., 2008)하면 소셜TV란 영상 콘텐츠를 시청하면서 온라인 상 타인과 소통을 통한 감정과 의견을 교환하는 시청 방식이라고 정의할 수 있다. 소셜TV라는 개념과 함께, 학계와 산업계에서는 시청자의 온라인 행태와 TV프로 그램 간의 관계에 관한 연구들이 진행되고 있다. 특히, 텍스트마이닝 기법의 발전으 로, 대용량의 시청자 온라인 리뷰 분석이 가능해짐에 따라, 리뷰의 내용(ex: 긍/부정 분류, 감정어 분석 등)을 파악하거나 연차적 데이터 수집을 통한 시계열 분석(ex: 방 송 전, 방송 중, 방송 후 등)이 가능하게 되었다. 일본 휴고 대학에서는 개별 프로그램에 관한 트위터의 트윗(Tweet) 개수를 세어 시청률을 측정하는 Tweet-based TV Rating Platform을 개발하였다(Wakamiya, Lee, & Sumiya, 2011). 측정방법은 프로그램과 관련된 트윗을 특정 기간 내 1차로 추출한 뒤 트윗 내용이 TV 시청과 관련 있는지 해쉬 태그를 통해 재확인, 최종적으 로 트윗량을 측정하는 것이다. 기존 피플미터 기반의 시청률 조사 방법에 비해 트윗 량 조사방법의 장점으로는, 모수가 대규모라는 점, 개인 단위로 조사할 수 있다는 점, 조사 범위가 넓다는 점 등이 있다. 뿐만 아니라 전통적인 TV 시청률 조사 업체인 AGB닐슨미디어 리서치는 소셜 미 디어 분석 업체인 소셜 가이드(Social Guide)와 공동으로 시청률과 트윗량 간의 상 관관계를 밝히기 위한 연구를 진행하였다. 2012년에 방영된 140여개 미국 프로그램 을 대상으로 시청률과 트윗량을 집계하여, 프로그램 관련 트윗이 증가할수록 해당 프 로그램의 시청률이 상승함을 보여 주었다. 구체적으로, 트윗이 8.5% 증가할 경우,

48 방송통신연구 2015년 봄호 (통권 제90호) 방영 초반 프로그램의 시청률이 1% 상승되며, 방영 중후반부 프로그램의 경우, 관련 트윗이 4.2% 증가할 경우 시청률이 1% 상승하는 것으로 나타났다(Nielsen, 2013). 이 결과가 시청률과 트위터 간 인과관계를 명확히 입증하는 것은 아니나, 시청률과 트윗량에 통계적으로 유의미한 관계가 있음(Lin & Peña, 2011)을 발견했다는 점에 서 의미가 있다. 이러한 결과를 바탕으로, 더 많은 TV프로그램에 대한 측정 요구가 늘어나자 AGB닐슨미디어 리서치(Nielsen, 2013)는 트위터와 공동으로 Nielsen Twitter TV Ratings이라는 측정지표를 개발, 각 TV프로그램 시청자들의 트윗량과 표출 수(impression) 등을 측정해 이를 홈페이지에 공개하고 있다. 국내 방송사에서도 방송 제작이나 시청자 서비스에 대한 기초자료로 시청자의 온 라인 행태 및 리뷰를 활용하고 있다. KBS는 2012년에 SNS분석시스템을, SBS는 2013년에 통합 리스닝 플랫폼을 개발하여, 온라인상의 시청자들 반응과 의견을 방송 프로그램의 제작 및 편성 등에 활용하고 있다. 두 시스템은 공통적으로 블로그, 트위 터, 게시판 등에서의 온라인 리뷰를 수집해서, 일별 트위터 버즈량, 키워드, 실시간 트윗, 프로그램별 연관어 등을 제공하고 있다. 그러나 이 시스템들은 단순히 개별 TV 프로그램 관련 트윗량을 측정하거나, 해당 온라인 리뷰에 빈도 높게 나온 단어 리스 트를 제공하는 수준에 그쳐, 실질적인 프로그램의 품질을 측정하는 데 도움을 주지는 못하고 있다. 한편, CJ E&M에서는 2011년 닐슨코리아와 공동으로 디지털 환경에서의 TV프로 그램의 영향력을 분석할 수 있는 CPI(Content Power Index)를 개발, 시청률의 보 완지표로 활용하고 있다. 특히 젊은 층을 중심으로 스마트폰이나 태블릿 PC 등 다양 한 디바이스로 콘텐츠를 소비하는 행태가 증가함에 따라 이들을 주 타깃으로 하는 케 이블 채널의 경우, 기존 시청률로는 프로그램의 영향력을 파악하는 데 한계점이 있었 다. 이에, CPI에서는 프로그램 뉴스구독자 수, 프로그램 직접 검색자 수, 소셜미디어 버즈량을 측정지표로, 주 단위로 데이터를 수집, CPI를 산출하고 있다. 이를 통해, 시청자가 몰입하고 공유하는 콘텐츠인 경우 비록 시청률이 낮더라도 CPI가 높게 나 타남을 보여 주고 있다. 하지만, 이 지표도 단순히 순방문자 수나 버즈량을 측정하는 수준에 그치고 있어, 실제 온라인 리뷰 데이터(버즈 데이터)의 특성을 파악하지 못한 다는 한계점을 안고 있다. 위에서 제시된 연구들은 TV프로그램의 시청률과 SNS상의 화제성 사이의 높은 상관관계가 있다(Nielsen, 2013)는 결과를 기반으로 진행되고 있다. 여기서 화제성 이란 소셜미디어 버즈량을 뜻한다. 전통적인 시청률 조사회사에서도 시청률과 별개

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 49 로 화제성을 조사한다는 것은 화제성 지표가 광고주의 주요 타깃이자 소셜TV에 적 극적인 35세 미만의 청년층(이연경 진보래, 2014)에 대한 의견을 정확히 파악할 수 있기 때문이다. 반면에 위의 연구들은 화제성과 TV프로그램의 품질과의 관계를 명 확히 규명하지 못하고 있으며, 소셜TV에 적극적이지 않은 이용자에 대해 조사할 수 없는 표본의 한계점을 가지고 있다. 3. 연구 문제 앞서 살펴 본 바와 같이, TV 시청률을 보완하기 위한 다양한 정성적 가치 측정방법 이 개발되어 활용되고 있다. KBS의 시청자 프로그램 품질평가 지수, MBC의 QI, SBS의 ASI와 같은 설문조사를 바탕으로 측정하는 경우는 실시간 분석이 어렵고, 설 문조사 참여자를 짧은 시간 내 다수 모집하기 어렵다는 약점이 있다. 반면, KBS의 SNS분석시스템이나 SBS의 통합 리스닝 플랫폼을 통해 제공하는 지표들, CJ E&M의 CPI 등은 온라인 리뷰 데이터를 활용하여 분석하기에, 더 많은 표본 집단에 대한 분 석결과를 실시간에 가깝게 제공하고 있다. 하지만 온라인 리뷰 데이터의 의미 해석 (만족, 우수성 등) 없이, 단지 데이터의 양(트윗량, 버즈량 등)을 측정 변수로 활용하 고 있다는 아쉬운 점이 있다. 게다가 실제로 온라인 리뷰 데이터와 TV프로그램의 정 성적 가치 간의 관련성에 대한 분석 결과는 보여 주고 있지 못하다. 관련 학문적 연 구도 미흡한 실정이다. 이에 다음과 같은 연구문제를 설정하였다. 연구문제 1: 온라인 리뷰를 통해 TV프로그램의 품질(만족도, 우수성)을 측정할 수 있는가? 온라인 리뷰는 다수의 사람들이 인터넷을 매체로 하여 특정 제품이나 서비스에 대 한 그들의 경험을 언급하는 것으로(Hennig-Thurau, Gwinner, & Gremler. 2004), 일반적으로 그 내용들은 긍정, 중립, 부정적 메시지로 표현되어 있다(Anderson, 1998; Buttle, 1998; Hennig-Thurau, et al., 2004). 이에 TV프로그램의 정성적 가 치를 측정함에 있어서 구체적으로 어떤 온라인 리뷰 요인이 영향을 주는지를 분석해 볼 필요가 있다. 그리고 영향을 주는 리뷰 요인을 설명변수로 하여 TV프로그램의 품 질평가 방법을 개발하고자 한다. 이에 <연구문제 2>는 다음과 같이 설정하였다.

50 방송통신연구 2015년 봄호 (통권 제90호) 연구문제 2: TV프로그램 품질 측정에 영향을 미치는 온라인 리뷰 요인은 무엇인가? 마지막 추가 분석으로, 본 연구에서 개발한 TV프로그램 품질평가 지표와 시청률 과의 상관관계를 살펴보았다. 앞서 설명한 일본 휴고 대학의 트위터 기반 측정지표와 Nielsen Twitter TV Ratings은 본래 시청률을 더 정확하게 예측하기 위한 지표다. 하 지만 본 연구는 시청률의 대체지표가 아닌 보완지표를 제시하고자 하기에, 본 연구에 서 개발한 품질평가지표 와 시청률 간의 관련성을 추가 분석을 통해 살펴보았다. 4. 연구 방법 1) KI지수의 활용 본 연구에서는 TV프로그램 품질평가 방법 개발과 검증을 위해 정보통신정책연구원 에서 개발한 KI지수(KCC Index)를 활용하였다. 개별 프로그램에 대한 평가지수인 KI는 프로그램 품질에 대한 수용자의 평가를 의미하며, 만족도 평가(SI, Satisfaction Index)와 우수성 평가(QI, Quality Index)로 구성된다. 최종적인 평가지수인 KI는 SI와 QI의 산술평균(소수점 2자리)으로 계산된다. SI 와 QI는 각각 최저 0점에서 최고 10점으로 구성된 리커드 척도다(정용찬 외, 2013). KI지수의 평가지표에 대한 설명과 설문문항은 <표 2>와 같다. 본 연구에서 KI지수를 활용한 이유는, 정부기관인 방송위원회에서 설계되어 방 <표 2> KI지수 평가지표 구분 평가지표 내용 KI SI QI 프로그램 품질평가 (SI와 QI의 산술평균) 프로그램 만족도 평가 (11점 척도/0 10점) 프로그램 우수성 평가 (11점 척도/0 10점) 시청자들이 인지하는 프로그램의 만족도와 우수성에 따른 해당 프로그램 의 평가 정도 KI=(SI + QI)/2 설문문항: 귀하께서 시청하신 프로그램에 대해 전반적으로 얼마 나 만족하십니까? 설문문항: 귀하께서 시청하신 프로그램이 질적으로 얼마나 우수 하다고 생각하십니까? 출처: 정용찬 신지형 김욱준 (2013, 12월). 2012년 KI 시청자평가 조사 보고서. KISDI. 29쪽에서 인용, 원저작권자의 모 든 권리가 보호됨.

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 51 송사 상관없이 조사가 가능하며, 장르별 구분 없이 TV프로그램의 품질을 확인할 수 있기 때문이다. 또한 KI지수는 소수의 평가자(30명 미만)가 평가한 KI점수에 대해 서도 유효한 결과를 보인다는 장점을 가지고 있다(정용찬 외, 2013). 이에, 본 연구 에서 TV프로그램 품질(만족도와 우수성)의 설문문항은 KI지수의 SI와 QI를 사용하 였다. 2) 평가지표별 표현 분류방법 시청자들의 의견이나 감정은 온라인 리뷰에 다양한 표현들로 남겨져 있다. 이에, 온 라인 리뷰에서 TV프로그램의 만족도 및 우수성과 관련된 표현(형태소 단위)들 찾아 내고자 개방형 설문(Open-ended Survey)을 실시하였다. 기존의 온라인 리뷰에 대 한 연구는 텍스트마이닝을 통해 긍/부정을 분류하는 차원에서 진행되어 왔다(Dave, Lawrence, & Pennock, 2003). 하지만 긍정 중에서는 프로그램에 대해서 만족했기 때문에 쓰여진 긍정 표현이 있는가 하면, 프로그램이 질적으로 뛰어나다고 인식되었 기에 쓰여진 긍정 표현이 있을 수 있다. 부정 표현도 프로그램에 대한 불만족의 부정 표현이 있는가 하면, 프로그램이 질적으로 실망감을 주었기에 쓰여진 부정 표현이 있 을 수 있다. 본 연구에서는 만족(불만족)도와 우수( 非 우수)성에 대한 표현 분류를 참 조할 만한 기존 연구를 찾기 어려웠기에, 직접 2가지 차원의 표현을 추출하기 위해 개방형 설문을 진행하였다. 본 조사는 2013년 8월 5일부터 16일까지 온라인 설문 조사로 진행하였으며, 전 국 총308명(만18세 이상)을 대상, 남성 162명(53%), 여성 146명(47%), 연령은 10 대 40명(13%), 20대 89명(29%), 30대 83명(27%), 40대 이상이 96명(31%)이였다. 먼저 설문 참가자는 지난 1주일 동안 시청한 TV프로그램 중 만족한(불만족한) 프로 그램을 선택하고, 이에 대한 온라인 리뷰를 남길 때 어떤 표현을 하는지 직접 작성하 도록 하였다. 우수하다고( 非 우수하다고) 생각하는 TV프로그램에 대해서도 동일한 방식으로 진행했다. 즉, 프로그램의 만족도 여부(만족/불만족)에 따른 리뷰 작성과 우수성 여부(우수/ 非 우수)에 따른 리뷰 작성으로 나누어 총 4개의 질문으로 진행하 였다. 설문에 사용한 프로그램은 지상파(KBS, MBC, SBS) 프로그램으로 한정하였으 며, 다양성을 확보하고자 장르별, 시청률별로 다시 구분하였다. 장르는 드라마, 예능, 시사교양으로 구분하였으며, 이를 다시 닐슨코리아 시청률 10% 기준으로 구분하였

52 방송통신연구 2015년 봄호 (통권 제90호) <표 3> 장르 구분과 세부 프로그램 시청률 10%이상 시청률 10%미만 금나와라뚝딱(MBC) 16.8% 원더풀마마(SBS) 6.8% 드라마 최고다 이순신(KBS2) 26.9% 일말의 순정(KBS2) 6.1% 오로라공주(MBC) 12.1% 못난이주의보(SBS) 8.3% 무한도전(MBC) 11.9% 라디오스타(MBC) 9.6% 예능 개그콘서트(KBS2) 15.9% 해피투게더(KBS2) 7.3% 런닝맨(SBS) 13.6% 세바퀴(MBC) 8.3% 궁금한 이야기Y(SBS) 10.4% 그것이 알고 싶다(SBS) 9.4% 시사교양 인간극장(KBS1) 12.0% 강연 100도씨(KBS1) 8.9% TV동물농장(SBS) 10.1% 다큐멘터리 3일(KBS2) 7.0% 다. 2013년 7월에 방영한 TV프로그램 중 3가지 장르별, 시청률(10% 기준)별로 6개 의 세부 프로그램으로 나누었다. 연구에 사용했던 3가지 장르와 세부 프로그램은 <표 3>과 같다. 개방형 설문을 통해 총 5,780개의 표현을 수집하였다. 이를 다음의 방법으로 전 처리하였다. 첫 번째로, 수집된 표현을 한국어 형태소 분석기(HAM, Hangul Analysis Module) 1) 을 이용하여 10가지 형태소 단위인 체언(N), 용언(V), 기타(Z), 문장부호(P), 특수기호(S), 문법형태소(j, e, f, s, t)로 분절하였다. 한국어 형태소 분 석기 HAM은 입력된 문장을 한 단어씩 추출하여, HAM의 내부코드인 조합형 한글 코드로 변환시켜 형태소 분석을 한다. 이 중 체언(N: 명사/대명사/수사/의존명사, 미 등록어), 용언(V: 동사/형용사/보조용언 등), 기타(Z: 관형사/부사/감탄사) 형태소를 추출하였다. 두 번째로, 분절된 형태소와 인접한 형태소들(해당 형태소와 위치가 가 까운 앞/뒤 2개 형태소들) 중 부정 의미 형태소(안, 못, 없, 싫)가 있는지 확인하였다. 이는 부정 의미 형태소의 유무에 따라 표현의 전체 의미가 달라지기 때문이다. 예를 들어 보기 싫다 와 같이 싫 이라는 형태소 존재 여부에 따라 작성자가 의도한 표현의 의미가 달라진다. 이에 인접 형태소에 부정 의미 형태소가 존재할 경우 1로하고 없는 경우에는 0으 1) http://nlp.kookmin.ac.kr/ham/kor/index.html

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 53 로 체크 하였다. 마지막으로 2번 이상 출현한 표현을 빈도순으로 정렬하였다(부록 참조). 이 중 빈도수가 가장 높은 20개 표현(형태소 단위)을 만족, 불만족, 우수, 非 우수의 대표 표현으로 설정하였다. 20개로 설정한 이유는 빈도순으로 20번째 표현 이후부터는 빈도수가 급격하게 줄어들기 때문이다. <표 4>는 각각의 평가지표별 표 현을 정리한 것이다. <표 4> 평가지표별 대표 표현 만족도 우수성 순위 만족 불만족 우수 非 우수 표현 부정 표현 부정 표현 부정 표현 부정 1 웃기 0 막장 0 감동 0 막장 0 2 재미 0 식상 0 재미 0 식상 0 3 감동 0 지루하 0 웃기 0 억지 0 4 팬 0 재미 1 유익 0 재미 1 5 좋 0 별로 0 최고 0 실망 0 6 추천 0 실망 0 좋 0 유치 0 7 웃 0 억지 0 신선 0 별로 0 8 대박 0 최악 0 좋다 0 지루하 0 9 흥미진진 0 유치 0 대박 0 최악 0 10 신선 0 비호감 0 추천 0 비호감 0 11 최고 0 어설프 0 팬 0 어설프 0 12 잘본다 0 시시하 1 명품 0 불편 0 13 독특 0 불편 0 믿을수 0 짜증나 0 14 유익 0 아쉽 0 흥미진진 0 시시하 0 15 훌륭하 0 보기 0 잘본다 0 이상 0 16 믿을수 0 싫 1 용기 0 지겹 0 17 자연 0 짜증나 0 독특 0 아쉽 0 18 사랑 0 이상 0 명품 0 보기 1 19 세련 0 지겹 0 자연 0 선정 0 20 즐겁 0 선정 0 새롭 0 그냥그렇다 0

54 방송통신연구 2015년 봄호 (통권 제90호) 3) 온라인 리뷰 데이터 수집 개별 프로그램에 대한 온라인 리뷰 수집을 위해, 국내 대표 SNS이자 포털 사이트인 트위터의 트윗과 다음(Daum.com)의 150자 게시판2)의 댓글을 이용하였다. 우선, 트윗 수집을 위해 Twitter API Library 3) 를 이용하여 JAVA 언어로 트윗 수집 프로그 램을 자체 개발하였다. 수집 프로그램은 프로그램 이름을 포함하고 있는 트윗들을 검색하되, 프로그램명에 사용된 단어가 자연어에서 자주 사용되는 경우 방송국명과 함께 검색(ex: MBC 세바퀴) 후 저장하였다. 또, 프로그램명이 축약되어서 사용되는 경우 해당 검색어도 추가하였다(ex: 무한도전 무도). 다만 트위터는 수집 제한 정책 으로 검색 결과는 항상 최대 100개의 최근 트윗만을 제공하기 때문에, 1분을 주기로 수집 후 중복된 트윗은 제거하였다. 또한, 트위터의 트윗은 시청자의 온라인 리뷰 작 성 시점을 방송 중과 전체 합계(방송시작 시점부터 차주 방송시작 시점 전까지의 일 주일 합계)로 구분하였다. 다음 게시판은 HTML 구조로 만들어져 간단한 수집기를 개발하여 데이터를 모았 다. 단, 다음 게시판은 리뷰 등록시간이 일( 日 ) 단위로만 되어 있어 시간 구분을 하지 못하고, 전체 합계(방송시작 일에서 차주 방송시작 전일까지의 일주일 합계)만 수집 하였다. 프로그램 온라인 리뷰 총 수집기간은 2013년 7월 29일부터 2013년 8월 11 일까지 2주간 진행되었으며, 트위터 트윗은 112,132개, 다음 게시판 댓글은 2,351개 를 확보하였다. 이후, 각 온라인 리뷰들을 앞서 개방형 설문조사로 수집된 20개의 표 현들과 매칭시켜, 만족, 불만족, 우수, 非 우수 표현으로 구분하였다. <표 5>는 분류 된 표현들이 실제 온라인 리뷰 상에서 이용되고 있는 예시다. 다음 게시판의 댓글은 프로그램별로 게시판이 구분되어 있어, 정확하게 방송 관 련 댓글을 확보할 수 있었으나, 트위터의 트윗은 프로그램 검색어를 통해 수집하기에 관련성이 낮은 트윗들이 다수 수집되는 문제점을 발견하였다. 이에, 서성원(Seo, 2002)이 제시한 투키(Tukey, 1977)의 boxplot을 활용하여 온라인 리뷰 이상치 (Outlier) 제거하는 방법을 본 연구에서도 그대로 적용, 한 ID가 수집기간 동안 등록 된 트윗이(Q1-1.5*IQR, Q3+1.5*IQR)를 벗어나는 경우 이상치로 간주하였다. 수집된 112,132개 트윗을 확인해 본 결과, 최소 1개 이상 트윗을 등록한 이용자 2) http://movie.daum.net/tv/ 3) Twitter4J 라는 Twitter API Library를 사용하였음(http://twitter4j.org/ko/).

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 55 <표 5> TV프로그램 관련 온라인 리뷰 샘플 장르 드라마 예능 시사교양 만족과 관련된 표현이 포함된 온라인 리뷰 못난이주의보 작가 완전 멋 있음 ㅋㅋ이런 드라마 처음 이야ㅋㅋ 신선한데? 대한민국을 웃기는 힘! 개그 콘서트 팀!! 오늘 하루도 웃 으면서 시작합니다! 인간극장! 당신의 빈자리...타 인의 삶을 돌아본 귀한 시간 이었습니다. 감동있는 방송 불만족과 관련된 표현이 포함된 온라인 리뷰 최고다 이순신 보는 중.. 지루하다 ㅠㅠ 어... 오늘 무한도전 많이 불편하다 진심.. 오늘 방송된 궁금한이야기Y 미운오리편 말인데.. 공공장 소에다가 낙서 스티커 붙이는 건 불법아닌가? 아무 거론 없 이 끝내서 아쉽다 우수와 관련된 표현이 포함된 온라인 리뷰 일말의순정! 이렇게 따듯하 고 재미있는 드라마 후속편 만들어주세요 무한도전 조정특집은 엄청 감동이었다 그것이알고싶다 이런 프로그 램들은 진짜 개짱이다 진짜진 짜 재밌고 유익 非 우수와 관련된 표현이 포함된 온라인 리뷰 아 황마마 진상이야 진짜ㅋ ㅋㅋㅋ 오로라공주 제대로 막장 드라마야 정말 @name ㅋㅋ 그렇죠 저도 개그콘서트 같은 건 못 봐요. 진짜 보기 싫음... 오늘 다큐멘터리3일 그닥;;; 그냥그렇다... 는 31,772명이였다. 이후, 각 이용자별로 트윗 등록건수를 확인한 후 계산하였더니, 한 이용자가 3.5개 이상을 등록하면 이상치로 간주할 수 있었다. 이에, 3.5개 이상을 등록한 이용자를 표본 대상에서 제거한 후 다시 트윗을 수집, 최종 36,386개를 확보 하였다. 실제로 이상치를 제거한 최종 트윗 데이터를 살펴보니, 광고성, 단순 리트윗 (Retweet), 중복 트윗 등 프로그램 품질 측정과 관련 없는 데이터가 삭제되는 효과를 확인할 수 있었다. 4) 데이터 분석 방식 본 연구는 각 프로그램에 대한 온라인 리뷰들에서 만족(불만족)도 및 우수( 非 우수) 성 표현들을 포함하고 있는 리뷰들이 차지하는 비율을 산출하는 공식을 활용하였다. 예를 들어, 한 프로그램의 온라인 리뷰들 중 만족과 관련된 표현들이 포함된 온라인 리뷰 수가 많다면, 그 만큼 해당 프로그램에 대해 만족했을 가능성이 높다고 볼 수 있 기 때문이다. 이러한 접근 방법은 텍스트마이닝에서 많이 활용되는 Document Frequency 의 개념(전체 문서 집합에서 특정 단어를 포함하고 있는 문서의 수)을 응용하였다 (Manning, Raghavan, & Schütze. 2008). 특정 프로그램에 대한 온라인 리뷰들 중

56 방송통신연구 2015년 봄호 (통권 제90호) <표 6> 대표 기호들 기호 정의 평가 지표, {만족, 불만족, 우수, 非 우수} 평가지표 에 대한 표현(형태소 단위) 출현 횟수 TV프로그램 TV프로그램 에 대한 온라인 리뷰 총 수 만족(불만족)도 및 우수( 非 우수)성과 관련된 표현들을 한 개 이상 포함하고 있는 리 뷰들의 수를 계산하고, 이를 해당 프로그램에 대한 온라인 리뷰 총 수로 나누어 계산, 정규화하였다. 이는 각 프로그램마다 온라인 리뷰의 수가 차이가 날 수 있음을 고려 한 것이다. <표 6>는 사용된 기호들에 대한 정의를 나타내며, 특정 TV프로그램 에 관하여 평가지표 에 대한 점수 는 수식(1), (2)로 계산된다. <수식 1> if <수식 2> 이렇게 계산된 온라인 리뷰 데이터를 토대로 TV프로그램의 품질 측정에 영향을 미칠 것이라고 예상되는 15개의 변수를 설정하였다. 다음 게시판 데이터로는 1 전체 댓글 수, 2 만족 관련 표현 댓글 수, 3 불만족 관련 표현 댓글 수, 4 우수 관련 표현 댓글 수, 5 非 우수 관련 표현 댓글 수를 설명변수로 설정하였다. 트위터 트윗 데이터 로는 6 방송 중 트윗 수, 7 방송 중 만족 관련 표현 트윗 수, 8 방송 중 불만족 관련 표현 트윗 수, 9 방송 중 우수 관련 표현 댓글 수, 10 방송 중 非 우수 관련 표현 댓글 수, 11 전체 트윗 수, 12 만족 관련 표현 트윗 수, 13 불만족 관련 표현 트윗 수, 14 우수 관련 표현 트윗 수, 15 非 우수 관련 표현 트윗 수를 설명변수로 설정하였다. 그리고 프로그램의 만족도 측정지표에 영향을 미칠 것이라고 가정한 변수는 1, 2, 3, 6, 7, 8, 11, 12, 13으로, 프로그램의 우수성 측정지표에 영향을 미칠 것으로

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 57 <그림 1> 온라인 리뷰를 활용한 TV프로그램 품질평가지수 개발을 위한 연구모형 가정한 변수는 1, 4, 5, 6, 9, 10, 11, 14, 15으로 설정하였다. 그리고 프로그램 품 질평가 지수는 만족도와 우수성 지표의 산술평균으로 설정하였다. <그림 1>은 온라 인 리뷰를 활용한 TV프로그램 품질평가지수를 개발하기 위한 연구모형이다. 5. 연구결과와 모델 검증 1) 다중회귀분석 결과 본 연구에서는 다중회귀분석을 통해, TV프로그램의 품질평가를 측정하는 지표 방정 식을 도출하고자 하였다. 이에, 기존 개방형 설문조사 응답자를 대상으로, 분석 대상 이었던 18편 TV프로그램에 대한 만족도와 우수성 점수를 11점 척도(0 10점)로 측 정하였다. 만족도와 우수성 설문 문항은 정보통신정책연구원에서 제시한 설문 문항 을 활용하였다. 이렇게 수집한 만족도 점수와 우수성 점수를 종속변수로 하여, 온라 인 리뷰 데이터를 독립변수로 다중회귀분석을 실시하였고 단계적 변수입력방법 (stepwise method)을 사용하였다.

58 방송통신연구 2015년 봄호 (통권 제90호) <표 7> TV프로그램 만족도 측정을 위한 회귀분석 결과 변인 B β SE t p LL 95% CI UL 상수 5.836.366 15.943.000 5.084 6.589 댓글 수 -.004 -.325.002-2.137.042 -.007.000 방송 중 불만족과 관련 표현 트윗 수 -30.087 -.360 12.596-2.389.024-55.979-4.195 전체 트윗 수.0003.360.000 2.418.023.000.001 F(3,26) = 6.649, p =.002 R 2 =.434, 수정 R 2 =.369 주. N = 30. SE = 표준오차; CI = 신뢰구간; LL = 하한계; UL = 상한계 <표 8> 우수성 측정을 위한 회귀분석 결과 변인 B β SE t p LL 95% CI UL 상수 5.717.391 14.606.000 4.912 6.521 댓글 수 -.004 -.317.002-2.080.048 -.007.000 방송 중 非 우수 관련 표현 트윗 수 -36.232 -.370 14.796-2.449.021-66.645-5.818 전체 트윗 수.0003.347.000 2.302.030.000.001 F(3,26) = 6.322, p =.002 R 2 =.422, 수정 R 2 =.355 주. N = 30. SE = 표준오차; CI = 신뢰구간; LL = 하한계; UL = 상한계 TV프로그램 만족도에 대한 분석 결과(<표 7> 참조), 만족도에 유의한 영향을 미 치는 변수로 댓글 수 (β = -.004, 표준화 β = -.325, p =.042), 전체 트윗 수 (β =.0003, 표준화 β =.360, p =.023), 방송 중 불만족 관련 표현 트윗 수 (β = -30.087, 표준화 β = -.360, p =.024)가 확인되었다. 댓글 수 와 방송 중 불만족 관련 표현 트윗 수 는 적을수록, 전체 트윗 수 는 많을수록 만족도가 높아 지는 것으로 나타났다. 회귀모형의 설명력은 43.4%로 나타났으며 이는 통계적으로 유의한 것(F값 = 6.649, p =.002)으로 검증되었다. 회귀식은 수식(3)과 같이 도출 하였다.

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 59 TV프로그램 만족도 = 5.836-0.004 * (댓글수) - 30.087 * (방송 중 불만족 관 련 표현 트윗 수) + 0.0003 * (전체 트윗 수) <수식 3> 프로그램 우수성에 대한 분석 결과(<표 8> 참조), 우수성에 유의한 영향을 미치 는 변수로 댓글 수 (β = -.004, 표준화 β = -.317, p =.048), 전체 트윗 수 (β =.0003, 표준화 β =.347, p =.030), 방송 중 非 우수 관련 표현 트윗 수 (β = -36.232, 표준화 β = -.370, p =.021)가 확인되었다. 댓글 수 와 방송 중 非 우 수 관련 표현 트윗 수 는 적을수록, 전체 트윗 수 는 많을수록 우수성이 높아지는 것 으로 나타났다. 회귀모형의 설명력은 42.2%로 나타났으며 이는 통계적으로 유의한 것(F값 = 6.322, p =.002)으로 검증되었다. 회귀식은 수식(4)와 같이 도출하였다. TV프로그램 우수성 = 5.717-0.004 * (댓글 수) - 36.232 * (방송 중 非 우수 관련 표 현 트윗 수) + 0.0003 * (전체 트윗 수) <수식 4> 최종 TV프로그램 품질평가 지수는 수식(5)와 같이 만족도와 우수성의 산술평균 으로 계산하였다. 이렇게 개발된 TV프로그램 품질평가 모형이 TVA(TV programs Value Assessment)다. 온라인 리뷰를 활용한 TV프로그램 품질평가 지수(TVA)=(만족도+우수성)/2 <수식 5> 기존 설문조사 방식인 KI지수는 만족도(SI)와 우수성(QI)의 수치를 대입하여 계 산된 반면, TVA는 입소문의 정도( 댓글 수 와 전체 트윗 수 )와 부정적 평가의 확산 수준( 방송 중 불만족 관련 표현 트윗 수 와 방송 중 非 우수 관련 표현 트윗 수 )을 계 량화하여 모형에 반영되어 있다. 2) 검증 데이터 수집 TVA모형 검증을 위해, TVA모형 개발에 이용되지 않은 신규 TV프로그램들의 품질 을 TVA지수로 측정한 후, 기존 측정방법인 KI지수를 통해 얻은 결과와 비교하였다. 검증용 온라인 리뷰 데이터는 2013년 9월 30일부터 2013년 10월 13일까지 2주간

60 방송통신연구 2015년 봄호 (통권 제90호) <표 9> 검증용 TV프로그램 KBS MBC SBS 굿닥터 루비반지 대국민 토크쇼 안녕하세요 해피투게더 VJ특공대 불후의 명곡 인간의 조건 1박2일 왕가네 식구들 오로라 공주 MBC 다큐스페셜 나 혼자 산다 무한도전 세바퀴 아빠 어디가 사랑해서 남주나 수상한 가정부 못난이주의보 힐링캠프, 기쁘지 아니한가 자기야-백년손님 정글의 법칙 놀라운대회 스타킹 그것이 알고 싶다 런닝맨 열애 수집하였다. 검증에 이용한 프로그램도 지상파 프로그램으로 한정하였으며, 각 방송사별로 2013년 9월 기준 프라임 타임에 방영 중인 프로그램 25개를 선정하였다(<표 9> 참 조). 이 시간대에 방영 중인 프로그램들은 대체적으로 시청률이 높고 광고비도 높다 (차배근 김우룡 이기흥, 1993). 즉, 프라임 타임에 편성된 프로그램은 각 방송사 의 주요 프로그램임을 뜻한다. 이 중 MBC <세바퀴> 2주차는 해당 방송사의 사정으로 방영하지 않아 온라인 리 뷰 수집에서 제외하였다. 수집 기간 동안 모은 트윗은 163,926개였으나, 이상치 제 거 후 수집된 최종 트윗 수는 76,701개였다. 다음 게시판 댓글은 3,122개 확보하였 다. 수집된 온라인 리뷰를 형태소로 분절하고, 평가 지표별 표현과 매칭 개수를 계산 하였다. 단, KBS <안녕하세요> 1주차, <MBC 다큐스페셜> 2주차, MBC <사랑해서 남주나> 2주차는 이상치가 발견되어 데이터에서 제외하였다. 최종적으로 TVA모형 에 적용한 프로그램 회차 수는 46개이다. 각 표본에서 추출된 데이터를 모형에 적용하여 각 프로그램의 1, 2 주차의 만족도 와 우수성을 측정하였다. 그 결과, 오로라공주 2주차의 경우는 음수값(SI: -0.071, QI: -0.609)이 나왔다. 본 연구 모델에서는 점수를 자연수로 한정하지 않아 음수 결 과도 나타날 수 있음을 확인했다. 측정 결과를 검증하기 위해 기존 KI 점수 측정방식인 설문조사를 실시하였다. KI 점수 측정을 위한 설문조사는 전국의 총200명(만18세 이상)을 대상으로 모바일 어플 리케이션을 통해 실시하였다. 조사는 2013년 10월 7일부터 18일까지 12일간 진행되 었으며, 온라인 전문조사기관 오픈 서베이에 의뢰하여 패널을 확보하였다. 설문결과

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 61 의 표본오차는 ±9.8%이며, 95%의 신뢰수준을 확보하였다. 매주 월요일에 패널들에 게 전 주 방송에 대해 평가하도록 하였다. 해당 설문조사에서는 참가자가 전 주에 시청한 TV프로그램의 만족도(SI)와 우수 성(QI) 설문문항(<표 2> 참조)을 질문하였다. 단, 본 방송이 아닌 재방송 혹은 다른 기기를 통해서 본 경우도 참여 가능하도록 하였다. 채널을 돌려가며 본 경우에는, 가 장 오랫동안 시청한 프로그램 1개를 선택하게 하되 선택문항 중 시청한 방송 없음 이 라는 선택 항목도 제시하였다. 설문에 참가한 총 200명의 인구통계학적 특성을 살펴 보면, 성별은 남성이 104명(52%), 여성이 96명(48%), 연령 분포는 10대가 50명 (25%), 20대가 50명(25%), 30대가 50명(25%), 40대 이상이 50명(25%)으로 연령과 성별 비중이 고르게 나타났다. 25편 프로그램의 KI 점수를 분석한 결과, 오로라공주 2주차 (4.8점)가 가장 낮게 나타났으며, 그것이 알고 싶다 1주차 (8.47점)가 가장 높 은 점수를 받았다. 3) 검증 결과 본 연구에서 제시한 모형의 타당성을 검증하기 위해, 25편 프로그램에 대한 TVA지 수와 KI지수와의 상관관계를 확인해 보았다(<그림 2>참조). 두 가지 방법을 통해 구한 점수의 상관관계를 분석한 결과, 상관계수는.748(p =.000)로 통계적으로 유의미한 상관관계가 존재함을 알 수 있다. 즉, 시청자의 온라인 <그림 2> TVA지수와 KI지수와의 상관관계

62 방송통신연구 2015년 봄호 (통권 제90호) 리뷰를 활용한 본 연구의 측정 지수는 기존 설문조사 방식의 TV프로그램의 품질 측정 에 일정 수준 이상의 신뢰성을 가지고 보완적으로 활용 가능한 것으로 해석된다. 4) 추가 분석: 시청률과의 관계 시청률은 TV프로그램을 얼마나 많은 사람들이 시청했는가를 나타내는 정량적 측정 지표이며, TVA지수는 프로그램의 품질을 측정하기 위한 정성적 지표이기에 서로 다 른 속성을 가지고 있다. 이에, 두 지표 간의 상관관계를 추가분석을 통해 살펴보았다. 그 결과(<그림 3> 참조), 시청률과 TVA의 상관계수는 -.109(p =.470)로 시 청률과 TVA지수 간에는 상관관계가 없는 것으로 나타났다. 이는 기존연구에서 밝혀 진 시청률과 품질평가 점수 간에 상관관계가 없다는 결과를 지지하고 있다(강남준 2002; 정용찬 외, 2013). <그림 3> TVA지수와 시청률간의 상관관계 6. 결론 및 논의 본 연구는 시청률에만 의존하고 있는 현 광고시장에서 TV프로그램의 품질 측정의 중요성에 대해 고찰하였다. 기존의 설문방식으로는 프로그램 품질 평가결과를 광고

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 63 주나 방송사가 원하는 적절한 시점에 확인하기 어렵다는 것에 대해서도 확인하였다. 하지만 소셜 네트워킹 서비스와 TV와의 결합과 함께 자신의 감정과 의견을 공유하 는 시청행태 확산으로(Cesar & Geerts, 2011), 시청자들의 온라인 리뷰를 활용하면 프로그램의 품질을 적시에 또 보다 많은 표본집단을 통해 측정할 수 있을 것으로 보 았다. 이에 본 연구에서는 온라인 리뷰를 통해 TV프로그램의 품질을 측정할 수 있는 TVA모형을 고안하였다. 본 연구의 의의는 다음과 같다. 첫 번째로, 기존 설문조사를 이용한 TV프로그램의 품질측정 방식을 보완, 실시간 에 가깝게 측정할 수 있는 TVA 방식을 제시하였다. 기존 측정방식인 설문조사는 시 간이 다소 많이 들며, 제한적인 설문참여자에 한해 진행되지만, 온라인 리뷰를 활용 한다면 시청자의 의견을 쉽고 빠르게 확인할 수 있는 장점이 있다. 특히, 설문조사에 서는 전 연령층에 대한 평균으로 수렴되었던 의견들을 TVA는 광고주들의 주요 타깃 연령대이자 소셜미디어에 적극적인 35세 미만의 시청자의 의견을 중심으로 파악할 수 있다. 게다가, 설문조사에서는 단순 만족도와 우수성의 점수만 알 수 있다면, TVA를 통해서는 입소문의 정도( 댓글 수 와 전체 트윗 수 ) 및 부정적 평가의 확산 수준( 방송 중 불만족 관련 표현 트윗 수 와 방송 중 非 우수 관련 표현 트윗 수 )까지 파악할 수 있다. 광고주 입장에서는, 중요도에 비해 시간이 많이 요구되어 활용이 어 려웠던 프로그램의 품질을 적시에 구체적으로 측정하여 알 수 있게 된다면, 콘텐츠별 로 더 정교한 광고매체 전략 수립이 가능해진다. 방송국 입장에서는, 온라인 리뷰를 통한 프로그램 관련 단어 탐색 수준에서, 정교한 프로그램 품질 측정방법이 제시되어 방송 제작에 도움을 주고 궁극적으로 브랜드 이미지 향상에 도움을 줄 수 있을 것으 로 판단된다. 두 번째로, 방송 영역에서 프로그램에 대한 만족, 불만족, 우수, 非 우수와 관련된 형태소 단위의 표현을 추출한 점이다. 기존 텍스트마이닝 연구는 온라인 리뷰를 긍 정, 중립, 부정으로 분류하는 초기 단계에 머물러 있으며, 주로 마케팅이나 상품 리뷰 와 관련된 표현들로 분석하는 경우가 많았다(박경미 박호건 김형곤 고희동, 2011). 하지만, 본 연구는 개방형 설문을 통해 프로그램에 대한 2가지 차원인 만족도 와 우수성에 대한 표현들을 추출하였다. 이에, 향후 프로그램이나 콘텐츠 관련 온라 인 리뷰 분석 분야에서 전문적으로 활용할 수 있을 것으로 기대한다. 세 번째로, 플랫폼별 온라인 리뷰의 특성이 다르다는 것을 보여 주었다. 다음 게시 판의 댓글 수는 프로그램 품질평가에 음의 영향을 미쳤다. 반면, 트위터의 트윗 수(전 체 트윗량)는 프로그램 품질평가에 양의 영향을 미친다는 것을 확인하였다. 다음

64 방송통신연구 2015년 봄호 (통권 제90호) (Daum.com)과 같은 포털사이트에서 일반적으로 댓글을 쓰기 위해서는 프로그램의 명칭을 직접 검색어에 입력, 그 프로그램의 정보가 적힌 지면을 찾은 후(컴퓨터 마우 스로 상하 스크롤 필요)에 로그인을 하고 댓글을 작성해야 한다. 결국, 사용자(시청자) 는 댓글을 작성하기 위해 본인의 시간과 노력을 들여야 하는 바, 어떤 목적이나 의지 가 있지 않으면 작성하기가 쉽지 않다는 특성을 가지고 있다. 하지만, 트위터의 경우, 사용자가 특정 지면을 찾을 필요 없이 트위터 첫 화면 작성 칸에 프로그램에 대한 글 을 바로 작성하면 공유가 되기에, 다음 게시판에 비해 쉽고 간단하다. TV시청자의 게 시판을 인지적인 리뷰와 감성적인 리뷰로 분류한 수드와 로저(Sood & Rogers, 2000) 의 연구를 참조로, 본 연구의 프로그램을 대상으로 확인한 결과, 다음 게시판은 프로 그램에 대해 평가하거나 의견을 제시하는 인지적인 리뷰(cognitive/ judgmental response)가 많고, 트위터의 글은 프로그램에 대한 감정을 표현하는 감정적인 반응 (emotional response)이 많았다. 이에, 프로그램의 품질평가가 미치는 영향력이 서 로 다르게 나온 것으로 이해된다. 마지막으로, 온라인 리뷰 작성 시점(방송 중, 전체(방송시작 시점부터 일주일))에 따라 프로그램 품질 측정에 영향을 주는 요인이 다르다는 점을 밝혔다. 전체 트윗량 은 프로그램 품질평가에 양의 영향을 끼치는 것으로 나타났지만, 방송 중 부정적 트 윗(불만족, 非 우수)은 프로그램 품질평가에 음의 영향을 끼치는 것으로 나타났다. 배 진아와 최소망(2013)의 연구에서 보면, 프로그램의 시청단계(방송 전/중/후)에 따라 트위터의 글의 특성이 달라지는데, 구체적으로, 방송 전/후에 비해 방송 중에 작성되 는 트윗은 긍정/중립적인 글보다 부정적인 글이 더 많다는 것을 보여 주었다. 결국, 시청자들은 방송 도중에 SNS를 할 때, 그렇지 않을 때 보다 좀 더 프로그램에 대해 비판적인 시각을 반영하는 것으로 판단할 수 있다. 따라서 리뷰 분석을 통해 프로그 램에 대한 품질을 판별하기 위해서는, 리뷰의 수에 대한 분석뿐만 아니라 각각의 내 용(긍정/중립/부정 등)에 대한 분석이 병행되어야 할 것이다. 본 연구의 한계점은 다음과 같다. 첫 번째로, 온라인 리뷰 작성자가 실제 해당 프 로그램을 시청했는지의 여부는 확인할 수 없다는 점과 상대적으로 인터넷 이용률이 낮은 고 연령층(50 60대)의 의견이 반영되기 어렵다는 점이다. 본 연구에서는 온 라인 리뷰가 특정 제품/서비스 이용자들의 경험을 언급하는 것(Hennig-Thurau, Gwinner, Walsh, & Gremler. 2004)이라는 전제로 연구를 전개하였으나, 향후 연 구에서는 이에 대한 보완책을 고민해 볼 필요가 있다. 또한, 온라인 리뷰 작성자들이 대체적으로 젊은 층(20 30대)에 집중될 수 밖 에 없으나, 실제 광고 관련 사업자들

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 65 의 주 고객 타깃이 20 30대임을 고려해보면, 기존 설문조사에 의한 방식에 비해 오 히려 광고 전략을 수립하는 데 있어서는 더 도움이 될 수 있다고 판단된다. 두 번째로, 트위터에서 TV프로그램과 관련된 트윗만을 정확히 수집하는데 한계 가 있었다. 본 연구에서는 서성원(Seo, 2002)의 boxplot을 활용한 이상치 제거방법 을 이용하였다. 이상치가 제거된 트윗 가운데 무작위로 샘플을 추출하여 육안으로 확인해본 결과, 대체적으로 TV프로그램과 관련된 트윗들 이였지만, 관련 없는 트윗 이 완벽히 삭제되는 것은 아니다. 특히, 프로그램명에 사용된 단어가 자연어에서 자 주 사용되는 경우(ex: 자기야, 열애 등) 프로그램과 관계없는 트윗이 상대적으로 많 이 발견될 수 있다. 또한, 프로그램 품질과 관련 없는 배우나 인물에 대한 감정적 표 현도 수집될 수 있다는 문제점이 있다. 향후, TV프로그램명만으로 검색하지 않고, 상세 검색 기능(ex: 제외할 검색어 지정 기능, 동의어 기능, 유의어 검색 기능 등)이 포함된 SNS 온라인 리뷰 수집기의 개발을 통해 보완된다면 본 연구에서 제안한 모델 의 기여도는 더욱 커질 것이다. 마지막으로 평가지표별 특정 단어의 사용 여부만으로는 온라인 리뷰의 정확한 맥 락을 파악하기 어렵다는 점이다. 본 연구에서는 맥락을 고려하지 않고 텍스트를 분 류하였다. 예를 들면, 이상( 異 狀 )(하다) 이라는 단어의 경우, 프로그램이 예상했던 것과 다르다 라는 의미로 사용되기도 하지만(본 연구에서는 불만족한 프로그램에 대 한 시청자 표현으로 분류), 어떤 이는 이상( 理 想 )(적이다) 혹은 이상( 以 上 )(이다) 라는 의미를 표현하고자 본인의 리뷰에 쓴 단어일 수도 있다. 이에 향후 연구에서는 단순히 텍스트에 나타난 단어만으로 분류하지 않고, 앞뒤에 있는 형태소를 분석하여 앞뒤 맥락까지 고려한 세분화된 텍스트마이닝 기법 등의 대안을 고려해 볼 수 있다. 이러한 한계점에도 불구하고, 기존 평가 지표와 본 연구의 온라인 리뷰를 활용한 TVA지표의 상호보완적 결합은 TV프로그램의 시청자 반응을 총체적으로 이해하고 분석하는데 중요한 역할을 할 것으로 기대한다.

66 방송통신연구 2015년 봄호 (통권 제90호) 참고문헌 강남준(2002). 프로그램 품질평가지수의 편성 활용 가능성. 한국언론학회 심포지움 및 세 미나, 1 25. 김자경(2000). TV프로그램 맥락 무드가 광고 태도에 미치는 영향. 서울대학교 대학원 박사 학위 논문. 김정현 김은미 이준웅(2013). 공영채널 브랜드 자산 결정요인으로서의 프로그램 품질 연구. 홍보학 연구, 17권 2호, 111 132. 박경미 박호건 김형곤 고희동(2011). SNS에서 오피니언마이닝 연구. 정보과학회지, 29권 11호, 54 60. 배진아 최소망(2013). TV 시청과 SNS 상호작용. 사이버커뮤니케이션 학보, 30권 1호, 47 92. 이연경 진보래(2014). TV 드라마에 관한 트위터 메시지 내용분석. 방송통신연구, 209 234. 이준웅 김은미 심미선(2003). 시청자 프로그램 품질평가가 채널 브랜드 자산에 미치는 영향. 방송연구, 여름호, 273 304. 이준웅 심미선(2005). 지상파방송의 프로그램 품질평가, 채널 브랜드 자산, 채널 충성도 간 의 관계 연구. 방송과 커뮤니케이션, 6권 2호, 98 135. 이호준(2006). 장르별 TV프로그램 질적 평가척도의 개발. 한국언론학보, 50권 3호, 424 450. 정용찬 오세성 최양수 허명회(2007, 12월). 시청률조사제도 개선방안 연구 (정책연구 2007-9). 서울: 방송위원회. 정용찬 신지형 김욱준(2013, 12월). 2012년 KI 시청자평가 조사 보고서 (정책연구 12-51). KISDI. 정용찬(2013, 2월). 소셜TV 소비 행태 분석 (Report 13-02). KISDI. 차배근 김우룡 이기흥(1993). 매스컴대사전. 서울: 한국언론연구원. 한국방송개발원(1994). TV교양문화프로그램 발전방안연구-수용자이익의 최대화를 위하여. (연구보고 94-5). 서울: 한국방송개발원. KBS(2014). 시청자 프로그램 품질평가. URL: http://www.kbs.co.kr/openkbs/customer/sub01.html Nielsen(2014). 지상파-일일시청률. URL: http://www.agbnielsen.co.kr MBC(2014). 프로그램 품질평가. URL: http://aboutmbc.imbc.com/korean/mbcprogram/qi/qi_2012.html SBS(2014, 3, 20). 2013 SBS 시청자 만족도(ASI:Audience Satisfaction Index). URL:

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 67 http://www.mediacreate.co.kr/information/data_view.jsp?seq= 3382&brd_gubun=K&cpage=1&p_SCHSTR=&p_SCHBOX= Anderson, E. W.(1998). Customer satisfaction and word of mouth. Journal of service research, 1, 5 17. Buttle, F. A.(1998). Word of mouth: understanding and managing referral marketing. Journal of strategic marketing, 6, 241 254. Cesar, P., & Geerts, D.(2011, January). Past, present, and future of social TV: a categorization. In Consumer Communications and Networking Conference (CCNC), 2011 IEEE (pp. 347 351). IEEE. Chorianopoulos, K.(2007). Content-Enriched Communication-Supporting the Social Uses of TV. Journal-Communications Network, 6, 23 30. Dave, K., Lawrence, S., & Pennock, D. M.(2003, May). Mining the peanut gallery: Opinion extraction and semantic classification of product reviews. In Proceedings of the 12th international conference on World Wide Web (pp. 519 528). ACM. Doughty, M., Rowland, D., & Lawson, S.(2011, June). Co-viewing live TV with digital backchannel streams. In Proceddings of the 9th international interactive conference on Interactive television (pp. 141 144). ACM. Doughty, M., Rowland, D., & Lawson, S. (2012, July). Who is on your sofa?: TV audience communities and second screening social networks. In Proceedings of the 10th European conference on Interactive tv and video (pp. 79 86). ACM. France, K. R., Shah, R. H., & Park, C. W.(1994). The Impact of Emotional Valence and Intensity on Ad Evaluation and Memory. Advances in Consumer research, 21, 583 588. Geerts, D., & De Grooff, D.(2009). Supporting the social uses of television: sociability heuristics for social TV. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 595 604). Goldberg, M. E., & Gorn, G. J.(1987). Happy and sad TV programs: How they affect reactions to commercials. Journal of Consumer Research(1987), 14, 387 403. Harboe, G., Massey, N., Metcalf, C., Wheatley, D., & Romano, G.(2008). The uses of social television. Computers in Entertainment (CIE), 6, 1 15. Hennig-Thurau, T., Gwinner, K. P., Walsh, G., & Gremler, D. D.(2004). Electronic word of mouth via consumer opinion platforms: What motivates consumers to articulate themselves on the Internet? Journal of interactive marketing, 18, 38 52. Hill, S., Nalavade, A., & Benton, A.(2012, August). Social TV: Real-time social

68 방송통신연구 2015년 봄호 (통권 제90호) media response to TV advertising. In Proceedings of the Sixth International Workshop on Data Mining for Online Advertising and Internet Economy (p. 4). ACM. Ishikawa, S( 石 川 旺 ).(1990, February). 放 送 の 質 を 考 える. NHK 放 送 硏 究 と 調 査. 김태호(역)(1990). 방송의 질 을 생각한다(Ⅰ): 검토의 틀, 시론. 방송연구, 겨울호, 89 103. Lee, B., & Lee, R. S.(1995). How and why people watch TV: Implications for the future of interactive television. Journal of advertising research, 35, 9 18. Lin, J. S., & Peña, J.(2011). Are you following me? A content analysis of TV networks brand communication on Twitter. Journal of Interactive Advertising, 12, 17 29. Nakazawa, M., Erdmann, M., Hoashi, K., & Ono, C.(2012, March). Social indexing of tv programs: Detection and labeling of significant tv scenes by twitter analysis. In Advanced Information Networking and Applications Workshops (WAINA), 2012 26th International Conference on (pp. 141 146). IEEE. Oehlberg, L., Ducheneaut, N., Thornton, J. D., Moore, R. J., & Nickell, E.(2006, May). Social TV: Designing for distributed, sociable television viewing. In Proc. EuroITV (Vol. 2006, pp. 25 26). Manning, C. D., Raghavan, P., & Schütze, H.(2008). Introduction to information retrieval (Vol. 1, p. 6).Cambridge: Cambridge university press. Rosengren, K. E., Carlsson, M., & Tågerud, Y.(1996). Quality in programming: Views from the North. In S Ishikawa (Eds.), Quality Assesment of Television (pp. 3 49). John Libbey Media, University of Luton. Schatz, R., Wagner, S., Egger, S., & Jordan, N.(2007, June). Mobile TV becomes social-integrating content with communications. In Information Technology Interfaces, 2007. ITI 2007. 29th International Conference on (pp. 263 270). IEEE. Seo, S.(2002). A review and comparison of methods for detecting outliers in univariate data sets (Doctoral dissertation, University of Pittsburgh). Sood, S., & Rogers, E. M.(2000). Dimensions of parasocial interaction by letter-writers to a popular entertainment-education soap opera in India. Journal of Broadcasting & Electronic Media, 44, 386 414. Tukey, J. W.(1977). Exploratory data analysis. Wakamiya, S., Lee, R., & Sumiya, K.(2011). Crowd-powered TV viewing rates: measuring relevancy between tweets and TV programs. In Database Systems for Adanced Applications (pp. 390 401). Springer Berlin Heidelberg. Wakamiya, S., Ryong, L. E. E., & Sumiya, K.(2011). Twitter-based TV Audience Behavior Estimation for Better TV Ratings. 第 3

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 69 回 データ 工 学 と 情 報 マネジメントに 関 するフォーラム. Zhao, S., Zhong, L., Wickramasuriya, J., & Vasudevan, V.(2011). Analyzing twitter for social tv: Sentiment extraction for sports. In Proceedings of the 2nd International Workshop on Future of Television. Nielsen(2013, 3, 20). New Study Confirms Correlation Between Twitter and TV Ratings. URL: http://www.nielsen.com/us/en/press-room/2013/new-study-confirms-corre lation-between-twitter-and-tv-ratings.html Nielsen(2013, 10, 7). Nielsen launches Nielsen Twitter TV Ratings. URL: http://www.nielsen.com/us/en/press-room/2013/nielsen-launches-nielsen-t witter-tv-ratings.html 논문투고일 : 2015년 01월 20일 논문수정일 : 2015년 03월 21일 게재확정일 : 2015년 03월 24일

70 방송통신연구 2015년 봄호 (통권 제90호) 부록: 평가지표별 표현 및 빈도 만족도 우수성 순위 만족 불만족 우수 非 우수 표현 부정 빈도 표현 부정 빈도 표현 부정 빈도 표현 부정 빈도 1 웃기 0 225 막장 0 104 감동 0 141 막장 0 93 2 재미 0 149 식상 0 90 재미 0 103 식상 0 76 3 감동 0 87 지루하 0 80 웃기 0 91 억지 0 73 4 팬 0 83 재미 1 71 유익 0 74 재미 1 71 5 좋 0 80 별로 0 68 최고 0 73 실망 0 64 6 추천 0 76 실망 0 68 좋 0 71 유치 0 64 7 웃 0 74 억지 0 68 신선 0 70 별로 0 60 8 대박 0 67 최악 0 50 좋다 0 69 지루하 0 59 9 흥미진진 0 64 유치 0 49 대박 0 61 최악 0 58 10 신선 0 62 비호감 0 47 추천 0 61 비호감 0 49 11 최고 0 57 어설프 0 45 팬 0 61 어설프 0 47 12 잘본다 0 46 시시하 0 39 명품 0 50 불편 0 44 13 독특 0 35 불편 0 37 믿을수 0 50 짜증나 0 40 14 유익 0 33 아쉽 0 33 흥미진진 0 43 시시하 0 37 15 훌륭하 0 30 보기 1 32 잘본다 0 37 이상 0 34 16 믿을수 0 24 싫 0 32 용기 0 33 지겹 0 32 17 자연 0 29 짜증나 0 29 독특 0 30 아쉽 0 27 18 사랑 0 12 이상 0 27 명품 0 23 보기 1 26 19 세련 0 7 지겹 0 22 자연 0 21 선정 0 16 20 즐겁 0 5 선정 0 11 새롭 0 9 그냥그렇다 0 6 21 새롭 0 4 안보 0 7 세련 0 4 어이없 0 4 22 호감 0 4 모르 0 5 유쾌 0 4 억지웃음 0 4 23 유쾌 0 3 뻔하 0 5 호감 0 4 뻔하 0 3 24 참신 0 3 진부 0 4 기대 0 3 짜증 0 3 25 편안 0 3 구리 0 3 기발 0 3 개판 0 2 26 흥미 0 3 별 0 3 객관적 0 2 말장난이 0 2

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 71 만족도 우수성 순위 만족 불만족 우수 非 우수 표현 부정 빈도 표현 부정 빈도 표현 부정 빈도 표현 부정 빈도 27 교훈이 0 2 그냥그렇다 0 2 공감간다 0 2 반복 0 2 28 굿 0 2 별루 0 2 다양 0 2 시끄럽 0 2 29 궁금 0 2 비정상적 0 2 따뜻하 0 2 쓰레기 0 2 30 다양 0 2 산만 0 2 명작 0 2 자극적 0 2 31 따뜻하 0 2 성의 1 2 무섭 0 2 재미없을것 0 2 32 믿을 0 2 시끄럽 0 2 볼만하 0 2 형식적 0 2 33 발전 0 2 이기 0 2 삶 0 2 34 사실적 0 2 인기위주 0 2 참신 0 2 35 신기 0 2 잘안 0 2 창의 0 2 36 인간적 0 2 전파낭비 0 2 창조 0 2 37 짱 0 2 진부적 0 2 친근 0 2 38 현실 0 2 짜증 0 2 혁신적 0 2

72 방송통신연구 2015년 봄호 (통권 제90호) Qualitative Evaluation of TV Programs Based On SNS Online Reviews Sang-Hyeak Yoon M.S in Information Management, College of Business, KAIST / Manager, Smart Media Rep, SBS ContentsHub Ji-Hyun Shon Ph. D, Department of Management Engineering, College of Business, KAIST / Specialist, Advertising Strategy, Department of Media Solution, CJ E&M Min-Sam Ko Ph..D Candidate, Department of Knowledge Service Engineering, KAIST Young-Gul Kim Professor, Graduate School of Information & Media Management, KAIST As the multi-channel and multi-media environment has been created with convergence of broadcasting and telecommunications, a competitive media market composition has been forming. In such environment, quantitative measurement of TV viewership through the existing audience panel ratings is not enough for analysis of the TV programs or advertising effect. Thus, while measuring the qualitative value of TV programs has become more important, the qualitative value of TV programs is currently measured through a time-consuming, costly year-end survey. As the audience s way of watching TV programs has changed from off-line only to diversified (including PC, tablet, and smartphone viewing) with Social Networking Service(SNS). TV program evaluation methods using online audience reviews have been proposed in the academic world and industrial world However, previous studies have limitations of just measuring the number of simple online reviews. Therefore, this study develops and verifies a new method to measure the qualitative value of TV programs rapidly by collecting viewers opinion and emotions through their postings on SNS and bulletin boards. TV program qualitative value assessment index through online reviews created through this was named as TVA (TV programs Value Assessment). As it has systematically and scientifically approached the development of a meas-

SNS 온라인 리뷰를 활용한 TV프로그램 품질평가 연구 73 urement model, it provides academic and practical implications. If the method to measure the qualitative value of TV programs can be complementarily utilized along with the existing audience rating survey, it would be helpful to accurately evaluate the effect of the advertising gimmick or programming of broadcasting stations. Key words Qualitative evaluation, TV programs, Social TV, Online review, SNS, TVA