ICR Media Trend Report No.3 대외비 서울대학교언론정보연구소미래뉴스센터 2016. 11 < 요약 - 기획 : 저널리즘의신뢰성을높이기위해자동화로나아가는팩트체킹 > - 팩트체킹은비허구적텍스트에포함된사실적진술들의진실성, 정확성을확인하는작업으로 1990년대부터저널리즘의신뢰도를담보할수있는수단으로크게주목받기시작 - 지속적인팩트체킹은검증대상이되는정치인, 관료들이좀더정확한사실에근거해말하게함으로써정치적담론의품질제고에기여할수있으며, 이들의발언을기사화하는저널리즘조직자체의품질, 신뢰도도평가할수있게함 - 본격적인체계적팩트체킹은 1990년대미국대통령선거전의흑색선전과관련해처음등장했으며, 2000년대까지폴리티팩트, 더팩트체커, 팩트체크닷오알지등이른바 3대팩트체커가등장 - 2010년대이후검증이필요한텍스트, 발언의폭증에대응하고팩트체킹과정에서기자의편견을배제하기위해알고리즘을활용해자동으로사실을검증하려는시도들이나타남 - 본보고서에서는이와관련된주요펙트체킹사례 5종을검토함 Contents Issue Report Part I ------------------------------------------------------- 2 Issue Report Part II ------------------------------------------------------- 8 Politifact.com ------------------------------------------------------- 8 The Fact Checker ------------------------------------------------------- 10 ClaimBuster ------------------------------------------------------- 13 지식네트워크기반팩트체킹 ------------------------------------------------------- 15 크롬플러그인 FiB ------------------------------------------------------- 17 참고문헌 ------------------------------------------------------- 19 언론정보연구소뉴스레터통권 3 호 발행일 : 2016 년 11 월 30 일 발행인 : 윤석민 작성및편집 : 최순욱, 고문정 발행처 : 서울대학교언론정보연구소 Institute of Communication Research 서울시관악구관악로 1 08826 서울대학교 16 동 450 호 Tel: 02-880-6475 Fax: 02-873-1451 email: icr@snu.ac.kr 1 / 19
Issue Report Part I: 팩트체킹의개념과부상배경 팩트체킹 (Fact Checking) 의개념 팩트체킹 : 비허구적 (non-fictional) 텍스트에포함된사실적진술들의진실성, 정확성을확 인하는행위로, 텍스트작성후배포및발간이전에이뤄지거나 (ante hoc, 사전적팩트체 킹 ), 발간및배포이후 (post hoc, 사후적팩트체킹 ) 에이뤄질수있음 (Wikipedia, 2016) 1 - 사전적팩트체킹의목적은텍스트에포함된오류를수정해최대한정확한텍스트를배포, 발간 하게하거나, 오류를수정할수없을경우텍스트의발간을막게하는데있음 - 사후적팩트체킹의목적은텍스트에포함된사실적진술의오류를적시함으로써텍스트의독자 와대중이사실을오해하지않고정확하게인지하도록하는것 저널리즘의신뢰도를담보하는시작점으로뉴스가사실에입각하고있는지부터확인한다는 차원에서, 특히사후적팩트체킹에대한관심이지속적으로증대 - 체계적인사후적팩트체킹을통해언론사조직의신뢰성과뉴스기사에언급된사실발화자의 신뢰성에대한평가가동시에가능 사후적팩트체킹을통해발견된오류는정치인등사실발화자의발언에포함된오류 를걸러내는언론사의사전적팩트체킹과정이작동하지않았다는증거로작용 사후적팩트체킹을통해오류가발견된사질적주장의발화자는언론사와대중으로부 터의신뢰도를동시에상실 팩트체킹 (Fact Checking) 의효과 2014 년발표된연구결과에따르면, 팩트체킹은정치인들이좀더사실에입각한발언을 하게만듦으로서정치정담론의품질을제고하는실질적인효과가있는것으로나타남 (Nyhan & Reifler, 2014) 연구자들은미국의 9 개주에서 2012 년 11 월공직자선거에출마할사람들중일부를 무작위로선정, 이들에게팩트체킹을통해의문이제기될수있는주장을할경우에 감수하게될선거에서의위험성 ( 선거패배, 평판하락등 ) 에대해경고하는메일을발송 1 https://en.wikipedia.org/wiki/fact_checking (2016. 11. 29 접속 ) 2 / 19
메일을받은사람들과그렇지않은사람들의발언에대해팩트체킹을실시한결과메 일을받은사람들의발언에서팩트체크와관련해부정적인평가를받은경우가유의미 하게적게나타남 - 연구자들은 팩트체킹이 ( 발언자에게 ) 현저한위협이될때발언에부정확한내용이포함되는 것을줄일수있다 고연구결과를평가 2016 년에는기존에잘못알고있던사실이교정될경우잘못된정보에기초한기존의입장 에더집착할수있다는 backfire effect 역시걱정할필요가없다는연구결과가발표됨 (Wood & Porter, 2016) 8,100 명의참가자를대상으로 36 개주제에대한 backfire effect 발생여부를조사한 결과단 1 개의주제에대해서만 backfire effect 가발생 - 연구자들은 전반적으로사람들은심지어사실적정보가자신의정파적, 이데올로기적신 념에도전하는경우에도사실적정보에주의를기울인다 고설명 1990 년대 ~2000 년대의 ( 미국 ) 팩트체킹 : 3 대팩트체커의등장 ( 마동훈, 오택섭, 김선혁, 2013) 1988 년미국대통령선거과정에서팩트체킹의필요성이적극적으로제기 - 상대후보에대한적극적인네거티브캠페인을통해공화당후보부시 (George H. W. Bush) 가 선거에서승리했으나대다수의언론은흑색선전으로점철된선거캠페인의문제점을지적 - 이와동시에사실확인없이선거캠페인에만의존한선거보도에대한비판도가중 이후 1992 년미국대선기간중 CNN 기자였던브룩스잭슨 (Brooks Jackson) 이최초의사 실검증서비스를선보임 - CNN 에서는이를발전시켜체계적으로정치광고의사실성을검증하는 애드워치 (Adwatch) 와 정치발언의사실성을검증하는 팩트체크 (Factcheck) 포맷을고안, 뉴스에활용함 1996 년과 2000 년미국대통령선거전에서는정치인의말바꾸기 (flip) 에대한검증필요성 이대두 2004 년미국대통령선거즈음에는보다독립적이고체계화된사실검증기구 팩트체크닷오 3 / 19
알지 (Factcheck.org) 가등장 - 애넌버그재단의재정적지원을받아펜실베니아대학 (University of Pennsylvania) 의공공정책연 구소 (Annenberg Public Policy Center) 가설립 대학과공공기관의협업모델로특정이슈에함몰되지않고정기적으로정치발언의사 실검증결과를발표한다는점에서최초의본격적팩트체크조직으로구분됨 팩트체크닷오알지 의등장이후언론사들사이에서도팩트체킹을위한조직, 체계를정비하 는사례가증가 2007 년 8 월플로리다의지역신문인세인트피터스버그타임즈 (St, Petersberg Times, 현재템파베이타임즈 ) 가워싱턴지국에서 폴리티팩트 (Politifact.com) 웹사이트를개 설, 뉴스보도의틀을벗어나본격적인정치발언사실검증과공표를개시 2011 년 1 월, 글렌캐슬러 (Glenn Kessler) 가워싱턴포스트에사실검증칼럼 더팩트 체커 (The Fact Checker) 의정기게재를시작 팩트체크닷오알지, 폴리티팩트, 더팩트체커 는 2010 년대초반까지미국의 3 대팩트체커 로분류됨 - 그러나 3 대팩트체커의유형은지극히상이함 팩트체크닷오알지 는대학과공익적재단의협업모델이며, 폴리티팩트 는언론사기반 독립형팩트체커, 더팩트체커 는칼럼니스트의개인역량에기반한 1 인검증시스템으 로볼수있음 2010 년대의팩트체킹 : 디지털기술에기반한팩트체킹의대량화, 실시간화, 자동화시도 다양한디지털기술을활용해대량의텍스트에포함된사실적진술의정확성을기계의힘을 빌려자동으로, 실시간으로확인하려는시도가늘어나고있음 - 팩트체킹과디지털기술의접목배경 1): 팩트체크가필요한텍스트자체의증가 유명인, 정치인등사실여부를검증해야할인사들의주요발언창구가 2010 년대이 후신문, 방송등기존언론을넘어트위터, 페이스북등 SNS 와팟캐스트등까지로확 장되면서팩트체킹을해야할텍스트자체가급격히증가 4 / 19
소수의인력에검증과정을의존하는기존팩트체킹서비스들은늘어나는텍스트에효 율적으로대응하기어려움 ( 폴리티팩트 - 기자 4 명, 팩트체크닷오알지 - 전문검증자및 관리자 10 명과대학생펠로우 5 명, 더팩트체커 - 글렌케슬러외 1~2 명 ) - 팩트체킹과디지털기술의접목배경 2): 기자의편견배제요구증대 팩트체킹이진술의사실성을검증하는사람 / 단체의정치적입장에서이뤄지는 의견저 널리즘 (Opinion Journalism) 의양태를보인다는비판이지속적으로제기 2 미국위스콘신매디슨대학저널리즘 & 매스커뮤니케이션대학의루카스그라베스 (Lucas Graves) 교수는 2016년에출간한 Deciding What's True: The Rise of Political Fact-Checking in American Journalism 제목의저서에서아예 팩트체킹은정치와정책에대한엘리트논쟁의영역이라는의미에서의의견의공간에속한다 고주장 (Graves, 2016) 자동화된기계를통해주장의사실성을확인함으로써인간의편견개입가능성을배제 하려는시도 미국텍사스대, 듀크대, 스탠포드대연구진과구글리서치팀이공동으로개발중인 클레임버스터 (ClaimBuster), 구글의 지식금고 (knowledge vault), 미국인디아나주립대복잡계네트워크 & 시스템연구센터의 지식그래프 (knowledge graph) 를이용한자동팩트체킹 등이주요사례 2016 년미국대통령선거와팩트체킹 2016 년 11 월에치러진미국대통령선거전수개월간페이스북, 트위터등 SNS 를통해 사실과는완전히동떨어진가짜뉴스 (Fake News) 들이대거유통되면서공화당의트럼프후 보의승리에상당부분기여했다는분석이대두됨 - 일례로 ' 더라이티스츠닷컴 (http://therightists.com/)' 은선거기간중 " 클린턴이지난 2013 년 ` 도널드트럼프같은인물들이공직에출마했으면좋겠다. 그들은정직해서매수되지않기때문 ' 이라고말했다 " 는내용의허위기사를게재 클린턴이성공한기업인들이정치권에들어오면좋겠다고말한것은사실이나, 트럼프 를지목한것은아님 2 Washington Times(2016. 9. 26). Eight examples where fact-checking became opinion journalism URL: http://www.washingtontimes.com/news/2016/sep/26/eight-examples-where-fact-checking-became-opinion-/ 5 / 19
이가짜기사는페이스북에서공유된지 1 주일만에누적 48 만건의공유, 좋아요, 댓 글을기록 3 - 가짜뉴스의제작자들은가짜뉴스의공유를통한광고수익을노리거나자신이지지하는정치 인의지지자를늘리기위해쉽게진위를파악할수없는그럴듯한뉴스를지속적으로만들어 유통시키고있음 - 뉴욕타임스칼럼니스트니콜라스크리스토프는 ' 뉴스를가장한거짓말들 ' 을퍼뜨리는 ' 대안우파 ' 혹은 ' 가짜뉴스사이트 ' 들로인한잘못된정보가관용의미덕과민주주의를훼손하고편견을 조장하고있다고지적 4 가짜뉴스에대한우려는이를근절할방안으로서의팩트체킹에대한관심역시급격하게 증대시키고있음 팩트체킹에제기되는근본적의문들 미국루이지애나지역심층뉴스서비스인 더렌즈 (The Lens) 의편집국장스티브마이어스 (Steve Myers) 는잘작동하는팩트체킹에대해서도저널리즘의맥락에서몇가지의문을 제기할수있다고지적 (McBride & Rosenstiel, 2014/2015) - 1) 기사의미세한구성요소에초점을맞추는팩트체킹은사실과허구의조각으로구성된더큰 비진실을다루지못할우려가있음 뚜렷하게정의된사실에만집중함으로써독자들에게흥미롭거나의미있게받아들여질 수있는것들을차단할수있음 - 2) 팩트체커자체가정치인과똑같은 ( 정치적 ) 게임을하고있다고비판받을수있음 - 3) 팩트체킹운동의핵심에자리잡고있는모순 : 정치담론에영향을미치고싶기는하나싸움에 끼어들고싶지는않다는것 특정인이한발언과주장의진위여부만따지는것이민주시민의올바른자세인가? 3 연합뉴스 (2016.11.15) 미대선서활개친가짜뉴스사이트 민주주의의위협 URL: http://www.yonhapnews.co.kr/bulletin/2016/11/15/0200000000akr20161115091100009.html 4 Ibid. 6 / 19
[ 참고 1] 사실 (Fact) 과진실 (true) 보도의관계 ( 이민웅, 2002) 이민웅 (2002) 에따르면 특정한현실에대한언론의보도가그현실을구성 (constitute) 하는사실 (facts) 을정확하고종합적으로표상하여그사실에최대한근접 할때우리는진실 (true) 보도라고정의할수있 음 - 이는절대적진실이라는것이존재할수없음을인정하는관점으로언론의진실보도는 다음의세가지경우에크게훼손된다고지적함 - 첫째, 취재가부족하여너무적은사실을바탕으로기사를작성할경우 - 둘째, 너무많은사실의홍수에빠져중요한사실을놓치거나소홀하게취급함으로써거짓 말을하지않고, 부정확하지도않으면서중요한사실을제외하는경우 - 셋째, 이해관계, 또는이론적시각에따라사실을자의로취사선택할경우 결국보도는 종합적진실 (the whole truth) 을말해야한다는것을강조 [ 참고 2] 사실 (Fact) 의종류 철학자존설 (Searle, 1995) 은 사실 을자연적사실과사회적 ( 제도적 ) 사실로구분함 - 자연적사실은인간의합의에의존하지않는사실로자연적으로존재하는대부분의 ( 자연 과학적 ) 사실이여기에포함됨 물분자는한개의산소원자와두개의수소원자로구성되어있다. 에베레스트산은지구에서가장높은산이다. - 사회적사실은그것의존재를설명하기위해인간이만든제도를필요로하는사실 도널드트럼프는미국의제 45 대대통령당선자이다. 청와대는대한민국대통령의관저이다. 다만, 과학적사실도사회적으로구성되는사례가증가함에따라 ( 구성주의적시각 ), 자 연적사실과사회적사실간의구분이과거보다느슨해지는경향이발생 7 / 19
Issue Report Part II: 주요팩트체킹사례 5 종검토 사례 1) 폴리티팩트 (Politifact.com): 실시간검증에뛰어든전통적팩트체킹조직 탬파베이타임즈 ( 전 St. Pertersburg Times) 의워싱턴지국이운영하는팩트체킹서비스로 2007 년 11 월출범 - 언론사가설립했지만, 보도국과분리된언론사내부의독립기구형태로운영되는것이특징 - 팩트체킹에는중견급이상기자 4 명이참여하며 1 일 1~2 건가량의사실검증결과를홈페이지 에정기적으로게재 다양한방식으로독립적재정을확보하고있음 - 제휴언론사에게팩트체킹노하우를전수, 자체적으로실행할수있게해주고 3,500 달러의 가입비와 1,000 달러의연회비를징수 - Democracy Fund, The Bill & Melinda Gates Foundation, John S. and James L. Knight Foundation 등으로부터다양한형태로기금을지원받음 - 팩트체킹결과를방송뉴스등에정기적으로제공하거나선별적으로광고를유치함으로써일정 한수익도창출 폴리티팩트의팩트체킹에참여하는기자들은오전의편집회의를통해팩트체킹대상아이템 ( 정치 인의발언 ) 을선정하고검증작업을시작, 오후 2 시에 1 차검증내용을검검하고 4 시에검증을완료, 최종회의에서 Truth-O-Meter 형태의최종팩트체킹검증결과를확정 ( 오택섭등, 2012). 정치인의발언에대한팩트체킹결과인 Truth-O-Meter 는총여섯단계로구성 - 1) 진실 (True): 정확한발언으로중요사항의누락이확인되지않은경우 - 2) 대부분진실 (Mostly True): 정확한발언이지만해명또는추가정보가필요한경우 - 3) 절반의사실 (Half True): 부분적으로정확한발언이지만중요세부사항이빠졌거나맥락에서 벗어난경우 - 4) 대부분허위 (Mostly False): 발언이진실의요소는갖추고있지만결정적인사실을무시하여전 8 / 19
혀다른내용이되어버린경우 - 5) 허위 (False): 발언이거의정확하지않은경우 - 6) 새빨간거짓말 (Pants On Fire): 정확하지않은발언으로우스꽝스러운주장이펼쳐지는경우 - 여섯단계의판정결과는검증과정에사용된자료들의출처와함께공개됨 폴리티팩트설립자겸편집자인빌아데어 (Bill Adair) 는폴리티팩트에서진행하는팩트체킹 의원칙을다음과같이설명한바있음 ( 오택섭등, 2012) - 1) 뉴스정보원들을탐문하고, 2) 최초정보원을탐문하며, 3) 인터넷을이용하면서도인터넷에서비 롯된정보를의심하고, 4) 팩트체킹이된사실을재차검증함 폴리티팩트는 2016 년 9 월부터진행된트럼프공화당후보와클린턴민주당후보간에진행 된미국대통령선거 TV 토론에서실시간으로팩트체킹을진행함 - 9 월 26 일진행된 1 차토론때부터트위터계정인 폴리티팩트라이브 (PolitiFact Live) 를통해후 보자의개별발언이얼마나믿을만한지에대해실시간으로평가 예를들어트럼프후보의이라크전쟁관련입장에대해서는 2016 년 9 월 7 일에이라 크전쟁에대해완전히반대한다 고했다는점을지적하며 트럼프가전쟁에대해혼란 스러운입장을보이고있다 며 거짓 (false) 이라고평가 5 힐러리후보가트럼프후보의세금납부액과관련해한말에대해서는 2016 년 5 월 22 일에 트럼프는세금을거의내지않았다 고말했다며 클린턴이 ( 트럼프가얼마나세금 을냈는지에대해잘못묘사했었다 는말을덧붙여 Mostly False 로평가 6 - 세계신문 발행인협회 (WAA-IFRA) 로부터 저널리즘의지평을한단계올린프로젝트 로평가받음 좋은평가에도불구하고폴리티팩트의실시간팩트체킹사례는전문가, 일반인모두에게서 좋은평가를받았음에도불구하고엄밀히말해일상적으로진행하던팩트체킹프로세스의 적용속도를높인것에불과하다는한계가있음 5 서울경제 (2016.9.27). [ 미대선 TV 토론 ] 폴리티팩트트위터서실시간팩트체크중 URL: http://news.naver.com/main/read.nhn?mode=lsd&mid=sec&sid1=104&oid=011&aid=0002890893 6 Ibid. 9 / 19
[ 그림 1] 2016 년 10 월 20 일 Politifact.com 의대선 TV 토론에대한라이브팩트체킹화면 사례 2) 더팩트체커 (The Fact Checker): 기자의역량에의존하는명망있는사실검증칼럼 - 30 년이상의경력을지닌워싱턴포스트기자인글렌케슬러 (Glenn Kessler) 가주요정치인 의발언을검증하는워싱턴포스트의블로그 7 글렌케슬러는퓰리처상을 2 회수상한받은정치외교전문기자로한국에서도대북관련 심층보도로이름을날린바있음 - - 워싱턴포스트의팩트체커코너는원래 2008 년미국대선에대비해 2007 년정치외교전문기자 인마이클돕 (Michael Dobbs) 에만들어져운영되었으나, 2008 년 11 월 4 일중단됨 - 이후 2011 년 1 월글렌케슬러에의해더넓은범위의주제에대한팩트체킹을목적으로다시 시작됨 - 초기에는글렌케슬러 1 인만운영에참여했으나, 최근에는미셸예희리 (Michelle Ye Hee Lee) 등다른기자들도코너운영에참여하는것으로나타남 수사학이면의진실 (The Truth Behind the Rhetoric) 을슬로건으로내세우며미국국내외에 서이루어진정치인사나정부관료들의발언에포함된사실들의팩트여부를검증 7 www.washingtonpost.com/news/fact-checker 10 / 19
- 이슈의내용을자세히설명하고실제발언에는생략되어있는문맥과상황을분석함으로써종합 적인진실을규명해내려는것이특징 - 각팩트체킹칼럼은 80~100 만가까운조회수를기록하고있으며상대적으로친근한형식의고 정칼럼을제공함으로써독자들의흥미를유도 ( 오택섭등, 2012) 글렌케슬러는더팩트체커의원칙을다음다섯가지로설명 - 1) 더팩트체커는사실검증조직이며의견검증조직이아님. 정치적수사를검토하지만오직 검증가능한사실에만관심을가짐 - 2) 유권자에게가장중요한이슈들에더팩트체커의관심과자원을집중함. 모든발언의모든사 소한세부사항에까지천착할수없음 - 3) 더팩트체커는이슈의사실들에만집중함. 책임을맡은사람이나조직의정체성이나정치적 유대관계는중요하지않음. 사실이정확하냐, 정확하지않으냐의문제만중요함. - 4) 결론에도달하기위해 합리적인인간 이라는표준을채택하며, 100% 의증거를요구하지않음 - 5) 부정확한진술에대한좌파와우파모두의주의를환기시키기위해냉정하고비당파적이되도 록노력함 검증대상발언에대한펙트체킹의결과에따라피노키오 (Pinocchio) 가부여됨 (The Pinocchio Test) - 1 개 : 피노키오하나는사실을부분적으로가리고있는경우. 사실을부분적으로선택하여빠뜨린 사항이있거나과장이있지만명확히거짓으로는볼수없는경우 (mostly true) - 2 개 : 중요한내용을빠뜨리거나과장이있는경우. 몇개의중요한오류가있지만어쩔수없이 오류가나타나는상황이아닌경우. 일반인에게별의미없는법률적용어나미사여구를통해잘 못되거나사실을호도하는인상을줄경우 (half true) - 3 개 : 중요한사실적인오류와명백한모순이존재하는경우. 기술적으로맞는내용이포함되어 있을수있으나잘못된맥락에서사용되어잘못된결론을이끌어낸경우도여기에포함됨 (mostly false). 11 / 19
글렌케슬러는피노키오 2 개와 3 개간의차이가미묘하기때문에 3 개의피노키오를부 여할경우결정을내린요소를자세하게설명한다고언급함 - 4 개 : 새빨간거짓말이거나터무니없는허풍 - 제페토 (Geppetto) 체크마크 : 팩트체킹의대상이완전한진실 (the truth, the whole truth, and nothing but the truth) 일경우피노키오대신 제페토 마크를부여 - 거꾸로뒤집힌피노키오 (An Upside-Down Pinocchio): 정치인, 관료의발언이명확한입장을취 하고있지만기존입장에서완전히뒤집힌경우 (flip-flop) - 판단유보 (Verdict Pending): 이슈가너무복잡하거나양측의주장이모두일리가있어명확하게 사실여부에대한판단을하기가어려운경우 기자의개인적역량에의존하는전통적팩트체킹의한계 - 10 년에가까운역사를통해상당한인지도와영향력을쌓았으며, 상당한팩트체킹성과가누적 되었음에도저널리스트의역량에따라팩트체킹의신뢰도가달라지는근본적한계가존재 매일생산되는정치인, 관료의수많은발언중사실을검증할수있는양도극소수에 불과 [ 그림 2] 터무니없는허풍 으로판명된 더팩트체커 의도널드트럼프당선자발언에대한검증결과 12 / 19
사례 3) 클레임버스터 (ClaimBuster): 팩트체킹이필요한문장만확률적으로감별하는도구 미국텍사스대학과듀크대학, 스탠포드대학연구진과구글리서치팀이공동으로개발중인자 동팩트체킹시스템 - 입력으로제공된텍스트를문장단위로분할한후, 각문장에사실적주장 (factual claim) 포함되 어있는지의여부와해당주장의진실성이대중에게중요한지를판별해결과를 0~1 사이의수치 로제시 0 은전혀중요하지않은사실적주장이며 1 은중요한사실적주장 판별은사람이과거에진행된 30 회의대통령후보토론을학습데이터로사용한기계학습 (machine learning) 을이용해이뤄짐 기계학습은 표본이되는데이터를바탕으로규칙이나지식을스스로학습하는방법 ( 松 尾豊, 2015/2015) 으로최근인공지능 (AI) 구현의유력한수단으로기계학습에대한관 심이대폭증대 - 30 개토론문을파싱 (parsing) 해 23,075 개문장을추출, 이중 5 개이상의단어로구성된 20,788 개의문장만을사용 - 웹사이트를통해 20,788 개의문장에대한태깅작업을진행 (226 명의저널리스트, 교수, 대학 생들이참여 ) - 태깅을통해각문장은중요하지않은사실적진술문장 (Unimportant Factual Sentence, UFS) 과 팩트체크를할가치가있는사실적진술문장 (Check-worthy Factual Sentence, CFS), 주관적인 비사실적문장 (Non-Factual Sentence (NFS) 으로구분됨 - 참가자중최고품질을보인 30% 을먼저선정하고, 이들중최소두명이동일하게태깅한 8,015 개의문장을최종학습데이터로사용 (UFS 482 개, CFS 1673 개, NFS 5,860 개 ) - 클레임버스터가학습한 8,015 개문장의특징은감정 (sentiment), 길이, 단어, 개체유형 (Entity Type) 등임 13 / 19
즉, 클레임버스터는 UFS, CFS, NFS로구분된 8,015 개문장의특징 ( 감정, 길이등 ) 을파악함으로써새로운문장이입력되었을때이것이 UFS, CFS, NFS 중어디에속하는지를 0~1 사이의확률로파악할수있게됨것 (Hassan, Adair, Hamilton, Li, Tremayne, Yang & Yu, 2015) - 연구팀에따르면학습이완료된클레임버스터모델에새로운문장이입력되고이문장이팩트 체킹이필요한문장으로분류될경우정확도가 79% 에달하는것으로나타남 클레임버스터는폴리티팩트등기존팩트체킹서비스와연계해이들서비스의데이터를학 습하는것, 뉴스 /SNS 데이터등에대한실시간팩트체킹, 동영상팩트체킹등을향후개 발과제로상정하고있음 그러나클레임버스터는엄밀한의미에서의팩트체킹시스템이라고보기어려움 - 직접팩트를체크하는것이아니라여러개의문장중에서팩트를체크할필요성이가장높은 문장을확률적으로찾아주는것 - 클레임버스터의분석결과에따라최종적으로문장별팩트를확인해야하는주체는인간일수밖 에없으며, 이작업을하는인간은여전히 편견 이라는팩트체킹의고질적문제점을드러냄 - 다만, 다량의텍스트중에서팩트체킹작업을진행해야하는문장을빠르게찾아준다는점에서 의미가있음 [ 그림 3] 클레임버스터실행화면. 각문장왼쪽에팩트체킹이필요한정도가수치로표시된다. 14 / 19
사례 4) 지식네트워크에기반한자동팩트체킹 (Ciampaglia et al., 2015) 미국인디아나대복잡계네트워크 & 시스템연구센터 (Center for Complex Networks and Systems Research) 연구진은 2015 년자동화된팩트체킹시스템구축사례를발표 (Ciampaglia, et al., 2015) - 사실에대한진술문 (factual statement) 를입력하면이것이실제사실에부합하는정도를점수로 제시하는시스템 - 연구진들은이시스템에대해 적절하게정의된의미적유사성척도에근거해지식그래프상의 개념노드간최단경로를찾는것으로인간의복잡한팩트체킹을대체하는방안 이라고설명함 팩트체크문제를네트워크의최단경로문제로치환 - 연구자들은주어 - 서술어 - 설명어 ( 예 : 소크라테스는사람이다, Socrates is human) 로된사실적진 술문들로주어와목적어를노드 (node) 로서술어를엣지 (edge), 또는링크 (link) 로하는네트워크 로구성할수있으며, 이를지식그래프 (knowledge graph) 라고할수있다고설명 - 주어 - 서술어 - 목적어형태로된특정한진술문의참 / 거짓여부는주어의개념과목적어의개념이 포함된지식그래프상에서두개념간의거리를최단경로를측정하면알수있다는주장 - 밀접한관련이있는개념일수록지식그래프에서가까이위치하기때문에두개념간의거리가 멀수록해당진술문이거짓일확률이높다는것 팩트체킹의문제를지식그래프에서의링크예측, 또는개념네트워크에서의경로거리 문제로간주한것 연구자들은위키피디아를바탕으로지식그래프를구축해팩트체킹을실시 - 위키피디아각항목의 인포박스 (infobox) 8 에서추출한사실진술문으로구성된공개데이터베이 스인디비피디아 (DBpedia) 를이용, 위키피디아지식그래프 (WKG) 를구축 8 위키피디아항목에대한설명중가장기본적이고명확한사실들만모아놓은박스. 대한민국 항목이라면면적, 국가, 수도등이여기에 서간략하게언급된다. 15 / 19
3 만개의개념과 23 만개의개념간의개념간연결 (edge, link) 로구성되었으며, 인포 박스안의정보들로만구축되었기때문에논란의여지가극히적은사실들만포함 - WKG 에서의경로거리로사실진술문들의팩트체킹을진행한결과사실로간주되는진술들은 그렇지않은진술들보다항상팩트에가까운것으로나타나, 이방식의유효성이입증됨 예를들어 오바마는이슬람교도다 (Obama is a Muslim) 라는문장을시스템에입력했을경우, 버락오바마 라는개념은콜럼비아대학-미국대학연합-캐나다-스테판하퍼-캘거리-나히드넨시라는개념의단계를거쳐야최종적으로 이슬람 이라는개념에연결되는것으로나타나해당진술이참일가능성은매우낮은것으로확인됨 특히최단경로에위치한 캐나다 는 3 만개이상의다른개념과연결된개념으로 오바 마 개념이 이슬람 개념과연결되었어도그연결이참일가능성을낮추고있음 [ 그림 4] 위키피디아를활용해구축한지식그래프 (WKG) 의일부. 각점은개념을나타내며사실진술문 에포함된두개의거리가가까울수록진술문이참일가능성이높아진다. 클레임버스터처럼팩트체킹이필요한문장만찾아주는것이아니라자동으로특정문장의 참 / 거짓여부를판별할수있는진정한의미의자동팩트체킹 - 특히위키피디아등공개된지식기반의지식그래프로도충분히팩트체킹이가능하다는것을 16 / 19
보여줬다는점에서의미가있음 그러나실제로는다양한수사를구사하는정치, 관료들의언어에서 주어 - 서술어 - 목적어 형 태의진술문을정확하게추출해내기위해서는고도의자연어처리 (Natural Language Process, NLP) 기술을요구하는것이기때문에실용화에는시간이걸릴것으로예상 사례 5) FiB: 인공지능기반의페이스북용팩트체킹플러그인 미국매사추세츠대학석사과정에재학중인나바니타드 (Nabanita De) 는 11 월중순, 3 명의 개발자와함께프린스턴대학에서열린해커톤에참가, 페이스북에올라온뉴스가진짜뉴스 인지가짜뉴스 (Fake News) 인지판별할수있는프로그램 FiB 를개발 9 - 크롬 (Chrome) 웹브라우저에별도로설치할수있는플러그인 (plug-in, 확장프로그램 ) 형태의 소프트웨어로, 해커톤개최기간인 36 시간만에제작됨 FiB 의기능은 1) 페이스북뉴스피드에나타나는콘텐츠의신뢰성 (trust) 여부를판단하는것 과 2) 페이스북포스트를작성할때확인되지않은 (unverified) 정보가포함될경우챗봇을 통해이에대한경고를보내는것 - FiB 플러그인이설치된크롬브라우저로페이스북을이용하면 FiB가사용자의뉴스피드에올아오는포스트 ( 상태업데이트, 이미지, 링크등 ) 의정보를스크랩해서버로전송. 서버에서각포스트의내용을분석해포스트가담고있는정보를신뢰할수있는경우포스트에 확인 (verified) 메시지를, 그렇지않을경우 미확인 (not verified) 메시지를표시 - 서버에서는마이크로소프트의이미지분석 API, 텍스트분석 API, 빙 (bing) 웹검색 API, 트위터 의검색 API, 구글의세이프서치 API 등여러개의 API 를조합해포스트를분석하고그결과를 종합해하나의신뢰점수로산출. 개발자들은서버에서작동하는여러 API 의집합을 인공지능 (AI) 이라고부르지만실제 인공지능의개념및작동방식과는큰차이가있는것으로판단됨 9 https://devpost.com/software/fib 17 / 19
- FiB 플러그인이설치된크롬브라우저에서페이스북포스트를작성할경우에는작성중인포스트 의내용을분석, 미확인정보가포함될경우챗봇 (chatbot) 을통해경고하고해당정보의삭제 여부를선택하도록함 챗봇은페이스북의 wit.ai 플랫폼을이용해제작 개발자들은해커톤에서높은평가를받아 Best Moonshot 상을받았으며 10, 향후프로젝트 의발전을위해소스코드를 깃허브 (GitHub) 에오픈소스로공개함 11 - 학생들이단기간에개발한것으로적용된기술수준이높지않고, 특정포스트 ( 정보 ) 를확인된 것과확인되지않은것으로가르는기준이불분명하다는단점이있으나, 자동팩트체킹을통해 페이크뉴스를가려내려는기술적시도의하나임은분명함 - 특히학생들이자발적으로제작했다는점에서저널리스트, 저널리즘조직뿐만아니라대중들도 ( 자동화된 ) 체계적팩트체킹의필요성을강하게인지하고있다는증거로볼수있음 [ 그림 4] FiB 플러그인을설치한크롬브라우저에서페이스북을이용할경우포스트의신뢰성여부에따라포스트상단 에 verified, 또는 not verified 메시지가표시된다. ( 출처 : Washington Post) 10 Washington Post(2016.11.18). Fake news on Facebook is a real problem. These college students came up with a fix in 36 hours URL: https://www.washingtonpost.com/news/inspired-life/wp/2016/11/18/fake-news-on-facebook-is-a-real-problemthese-college-students-came-up-with-a-fix/ 11 https://github.com/anantdgoel/hackprincetonf16 18 / 19
< 참고문헌 > 마동훈 오택섭 김선혁 (2013). 저널리즘공공성실현을위한한국형팩트체킹모델연구. < 한국언론진흥재단지정 주제연구보고서 2013-06>. 오택섭 설진아 마동훈 김해영 (2012). 제 14 장 SNS 정치발언의사실검증 (fact-checking). < 정치적소통과 SNS>, 서울 : 나남, 403-440. 이민웅 (2002). 좋은뉴스의으뜸가는조건으로서진실보도 - 사실, 사회적구성, 진실보도, 재귀성 (reflexivity). < 언론과사회 >, 제 10 권 3 호, 9-51 쪽. Graves, L. (2016). Deciding what's true: The rise of political fact-checking in American journalism. Columbia University Press. Mcbride, K. & Rosenstiel, T. (2014). The new ethics of journalism: principles for the 21th century. 임영호 ( 역 ) (2015). < 디지털시대의저널리즘윤리 >. 서울 : 한국언론진흥재단. Nyhan, B., & Reifler, J. (2015). The Effect of Fact Checking on Elites: A Field Experiment on US State Legislators. American Journal of Political Science, 59(3), 628-640. Searle, J. (1995). The construction of social reality. New York: The Free Press. Wood, T., & Porter, E. (2016). The Elusive Backfire Effect: Mass Attitudes' Steadfast Factual Adherence. [Online] Available: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2819073 19 / 19