레이아웃 1

140 TWO DOGMAS OF BIG DATA

TWO DOGMAS OF BIG DATA 141 현 사회는 통계가 지배하는 사회다. 자연 법칙과 유사한 그러나 인간의 행동에 관한 새로운 유형의 법칙이 부상하고 있다. 이 새로운 법칙은 확률이라는 형태로 표현된다. -이언 해킹(Ian Hacking) 인간 행동 예측에 관한 애널리틱스 능력의 이해 저자 JAMES GUSZCZA, BRYAN RICHARDSON > 일러스트레이션 ULLA PUGGAARD 현재 예측하기 약 10년 전에 <이코노미스트>지가 SF 소설가 윌리엄 깁슨(William Gibson)의 말을 인용한 적이 있다. 미래는 이미 와 있다. 단지 널리 퍼져 있지 않을 뿐이다. 1 현재 공적 및 사적 부문에서 애널리틱스와 데이터 기반 의사결정 방식의 도입 수준이 천차만별인 점을 생각하면 깁슨의 이 말은 현황에 대한 적절한 서술이 아닐까 싶다. 이루어진 부분도 많고 이루어야 할 부분도 많이 남아 있다.

142 TWO DOGMAS OF BIG DATA 오늘날 데이터 애널리틱스 방법론을 체계적으로 계획하고 사용하면 조직이 보다 효과적인 의사결정을 할 수 있다는 사실에 의문을 제기하는 사람은 거의 없다. 이러한 사실을 입증하는 일화도 많다. 뉴욕시는 최근에 예측 모형을 이용한 건축물 검사 방식을 도입하였다. 이 모형은 문제의 소지가 있는 장소를 사전에 표시해주는데, 이 모형을 이용하기 전에는 건축물 검사에서 약 13% 정도가 퇴거 명령을 받았다. 그런데 이 모형을 이용하자 이 비율이 70%로 치솟았다. 2 2012년 미국 대선 당시 데이터 저널리스트 네이트 실버(Nate Silver)는 정밀한 데이터 분석과 통계적 사고가 이를 도외시한 선거 전문가의 판단보다 대선 결과 예측에서 훨씬 나은 성과를 낸다는 사실을 입증했다. 3 넷플릭스(Netflix)는 인기 드라마 시리즈인 <하우스 오브 카드(House of Cards)>를 제작하기로 하고 정밀한 가입자 시청 패턴 분석 결과를 바탕으로 이 시리즈의 제작팀을 꾸렸다. 4 이러한 사례는 족히 몇 장은 채울 수 있을 정도로 많다. 5 학자들의 연구 결과도 이러한 일화적인 증거들을 보강해 준다. 예를 들어, 에릭 비욘욜프슨(Erik Bryn jolfsson) 연구팀은 상장 기업에 대한 표본 조사를 수행하였다. 연구팀은 데이터 기반 의사결정 방식을 채택한 기업이 다른 투자 결과와 정보 기술의 활용도를 기준으로 예상한 경우보다 5~6% 더 높은 생산량과 생산성을 기록했다고 결론 내렸다. 6 이러한 논의 자체가 10년도 지나지 않은 상황에서 빅데이터 가 논의의 중심 화두가 되면서 이야기가 더욱 복잡해졌다. 빅데이터는 변화에 대한 논의에서 혁신의 원천으로서 꾸준히 거론되고 있다. 제2의 석유, 그것이 바로 데이터다! 라는 말이 있다. 그리고 데이터는 과학적 돌파구, 새로운 사업 모델, 사회 변혁을 가능케 할 것이다. 시대 사조를 반영한 한 책은 제목을 통해 이를 <우리의 생활, 일 그리고 사고 방식을 바꿀 혁명(Big Data: A Revolution that Will Transform How We Live, Work, and Think)>이라 선언하였다. 7 코넬 대학 컴퓨터 공학자인 존 클라인버그(Jon Kleinberg)는 신중하게 선언하였다. 빅데이터라는 용어 자체는 매우 모호하다. 그러나 그것은 이미 현실이 되어가고 있다. 빅데이터는 모든 것을 변화시킬 잠재력을 지닌 프로세스에 대한 슬로건이다. 8 빅데이터 가 중요한 논제라는 사실에는 이견이 없으나, 이것의 생소함과 그 용어의 모호성이 오해를 불러일으켰다. 이를 제대로 점검하지 않으면 자칫 치명적인 전략적 오류로 이어질 수 있다. 한가지 중요한 오해는 애널리틱스가 큰 효과를 보려면 빅데이터가 반드시 필요하다는 생각이다. 이것은 잘못된 생각일 뿐만 아니라 중요한 사실을 왜곡시킬 수 있다. 즉, 애널리틱스 프로젝트의 경제적 가치는 관련된 데이터의 양과 다양성뿐만 아니라 탈편향적 의사결정의 심리학과 기업 문화의 변화에 대한 사회학과도 깊은 관계가 있다는 사실을 간과할 때가 적지 않다. 빅데이터에 관한 두 번째 오해는 데이터는 많으면 많을수록 좋다 라고 하는 인식론적 오류이다. 이는 철학자들이 말하는 범주오류(Category error: 같은 범주에 속하지 않는 말들을 같은 범주에 속하는 것으로 생각함으로써 빚어지는 오류-역주) 의 한 예라고 할 수 있다. 의사결정은 미가공 데이터를 기반으로 하는 것이 아니라 관련 정보를 바탕으로 하는 것이다. 그리고 데이터의 양은 기껏해야 근본적인 정보의 가치와의 관련성을 대략적으로 보여주는 지표에 불과하다. 본고에서는 인간 행동 예측에 대한 응용에 초점을 두고 순서대로 대학생, 직장인, 유권자, 쇼핑객, 운전자, 응급실 의사, 건강 유지에 관심이 많은 사람 등 각자가 처한 맥락에서 이러한 오해에 대해 살펴볼 것이다. 첫 번째 오해가 시사하는 바는 빅데이터에 대한 숙달을 기다릴 필요 없이 쉽게 이용할 수 있는 데이터 원천만을 이용한 단기적 측면의 애널리틱스 응용이 가능하고 권장된다는 점이다. 두 번째 오해가 시사하는 바는 빅데이터가 행동 예측에 중요하기는 하나, 아마도 가장 보편적으로 논의되는 이유- 데이터의 양-때문은 아니라는 것이다.

TWO DOGMAS OF BIG DATA 143 빅데이터 없이 소기의 목적 달성하기 대학 입학 전형의 사례를 보면 전통적인 데이터 원천의 보다 상세한 분류와 적절한 사용을 통해 애널리틱스가 어떻게 더 나은 의사결정을 지원할 수 있는지를 알 수 있다. 최근에 우리는 대학 입학 전형 과정에 예측적 애널리틱스를 포함시키는 것의 유용성을 평가하고자 세계적 명문대학인 토론토 대학 (University of Toronto)과 협업할 기회가 있었다. 이 작업의 구체적 목표는 다른 학생보다 뛰어난 성과를 낼 가능성이 있는 학생을 구별해낼 수 있는 예측 모델을 수립하는 것이었다. 이러한 모델을 사용하면 대학 당국은 우수한 성적으로 무사히 졸업할 가능성이 큰 학생을 선발할 수 있을 것이다. 우리가 사용할 수 있는 데이터는 수십억까지는 아니어도 수백만 개는 족히 되는 구조화된 자료들이었다. 이러한 데이터의 의미를 이해하는 데 프로그래밍과 통계학이 필요하다는 관점에서 보면 이 자료는 빅데이터 가 맞다. 그 러 나 양 (Volume), 다 양 성 (Variety), 속 도 (Velocity) 등의 3V 라는 관점에서 보면 이것은 보다 공식적인 관점에서의 빅데이터 는 아니다. 3V 관점의 데이터는 전통적인 자료 처리 및 분석 기술로는 감당하기 어렵다. 이러한 분석 방식을 학생, 대학, 사회 일반에 적용하는 것은 분명히 실익이 있다. 예측 모델은 입학 전형 담당자들에게 더 정확하고, 더 일관성 있고, 더 경제적인 의사결정을 가능하게 해주는 도구를 제공한다. 토론토 대학 입학전형팀과 면밀히 협업하면서 한가지 중요한 오해는 애널리틱스가 큰 효과를 보려면 빅데이터가 반드시 필요하다는 생각이다. 이것은 잘못된 생각일 뿐만 아니라 중요한 사실을 왜곡시킬 수 있다. 즉, 애널리틱스 프로젝트의 경제적 가치는 관련된 데이터의 양과 다양성뿐만 아니라 탈편향적 의사결정의 심리학과 기업 문화의 변화에 대한 사회학과도 깊은 관계가 있다는 사실을 간과할 때가 적지 않다. 처음부터 우리는 명쾌하고 해석이 용이한 예측 모형을 수립하기로 결정하였다. 즉, 쉽게 이용할 수 있는 고등학교 성적 자료를 이용하여 대학 성적을 예측할 수 있는 모형을 만들고자 했다. 이 프로젝트의 계획 수립 단계는 건축가가 설계 의뢰를 받은 새 주택의 전체 그림에 관해 고객과 의논하는 것과 비슷하다. 기능에 따라 건축물의 형태가 결정되듯이 예측 모델의 사용 목적에 따라 이 모형의 기술적 세부 사항 (수학 공식, 입력 자료)도 달라진다. 이러한 설계 요소들을 정리해 놓은 다음 정말 어려운 작업에 돌입하였다. 분석할 데이터를 쉽게 구할 수 있는 경우에도(이 사례에서는 고등학교 성적 자료) 데이터의 탐색과 통계적 분석이라는 흥미로운 단계로 진행하려면 데이터 준비 작업에 상당한 노력이 요구된다. 이 과정을 데이터 정화(Data scrubbing) 라고 한다. 이는 미가공 데이터, 거래 데이터(Transactional data: 신용카드나 고객 ID처럼 사용자에 의해 자주 접속, 변경, 저장되는 데이터-역주), 불완전한 데이터, 형식에 일관성이 없는 데이터처럼 정리되지 않은 데이터를 분석에 적합하도록 정리된(열과 행에 맞춰) 데이터로 변환시켜야 한다는 의미다. 언뜻 들으면 굉장히 지루한 과정이라는 생각이 들겠지만(실제로도 그럴 수 있다) 데이터 정화는 프로젝트에서 가장 높은 가치를 창출하는 단계다. 상세한 고등학교 성적 데이터를 가지고 작업하면서, 우리는 각각의 응시생을 구분하기 위한 기술자( 記 述 子, Descriptor)를 만들었다. 이와 같은 변인 생성 (전문 용어로 특성 공학(Feature engineering) 이라고도 함) 단계는 매우 중요하다. 전문 지식, 숙련된

144 TWO DOGMAS OF BIG DATA 데이터 분석가들의 암묵지( 暗 默 知 : 단순히 교육을 통해 습득한 것이 아니라 현장 경험을 통해 체화되는 주관적인 지식-역주)와 창의력이 이 과정에 적용될 수 있다. 데이터는 제2의 석유다 라는 관점에서 보자면 이 과정은 원유의 정제 과정이라 할 수 있다. 특히 이 과정은 데이터 과학 분야에서 교과서나 대학 교과 과정을 통해 전달하기 가장 어려운 부분이다. 이 시점에서 이번 프로젝트의 핵심 단계를 위한 준비가 완료되었다. 예측 모델을 선택하기 위해 통계학과 상식에 동등한 비중을 둔 반복 과정(Iteration process: 같은 과정을 수정하면서 반복하고 차츰 최적점에 접근하고자 분석, 설계, 구현, 시험 등의 단계를 반복하는 절차-역주)을 사용하였다. 이 예측 모델은 수백 가지 변인을 작은 부분집합의 형태로 포함하고 있는데 이 변인들의 적절성을 평가할 필요가 있었다. 모델 상의 각각의 변인들은 각기 어느 정도의 예측력을 지니고 있다. 그리고 이 변인들을 포괄하는 모델의 전체 예측력은 개별 변인들의 예측력의 단순합보다 크다. 이 모형은 좀 더 세밀하고 정확한 예측 도구로서 고등학교 평균 성적이라는 이미 검증된 예측인자의 대안이 될 수 있다. 대학 당국은 해석하기 쉽고 명쾌한 예측 모형을 활용하여 입학 전형에 관한 의사결정의 질을 높일 도구를 확보하게 됐다는 것이다. 이러한 모형은 논란의 여지가 없는 데이터 원천을 바탕으로 상식, 표준 통계 방법론, 직관적 창의력 등을 이용해 수립한 것이다. 우리는 이 모형의 예측 정확도에 대한 분석 결과를 바탕으로 대학 당국이 이 모형을 활용한다면 우수한 학생의 입학 비율을 5~10% 정도 향상시킬 수 있을 것으로 예상하였다. 이 모형의 예측 정확도를 높이고 다른 유형의 의사결정에 활용할 수 있는 유사 모형들을 개발하기 위한 추가적인 데이터 원천과 추가 프로젝트도 고려할 수 있다. 그러나 지금 논하는 주제에 국한하자면, 핵심은 대학 당국은 해석하기 쉽고 명쾌한 예측 모형을 활용하여 입학 전형에 관한 의사결정의 질을 높일 도구를 확보하게 됐다는 것이다. 이러한 모형은 논란의 여지가 없는 데이터 원천을 바탕으로 상식, 표준 통계 방법론, 직관적 창의력 등을 이용해 수립한 것이다.

TWO DOGMAS OF BIG DATA 145 이제는 실용적 결론을 도출할 때다 구조적으로 우리가 진행한 사례 연구와 유사한 예는 이제 수백 가지에 이른다. 대다수가 가장 전통적인 데이터 원천을 기반으로 하는 애널리틱스가 전통적 의사결정 방식을 능가한다는 사실을 보여주고 있다. 놀랍게도 이러한 사례들이 경제지에 오르내린 것이 불과 10년인데 심리학계는 이미 60년 전부터 이러한 사실을 인지하고 있었다. 더구나 지난 30년 동안 행동 과학의 발달과 함께 이 부분이 설명되었다. 그리고 이러한 설명은 빅데이터와는 아무런 상관이 없다. 9 몇 가지 사례를 더 들어 보자. 치료 우선순위를 결정하는 응급실 의사 학생에게 개인 교습을 권하는 교육 심리학자 채용을 결정하는 인사 담당자 복합 리스크에 대비하는 보험 상품을 팔 것인지를 결정하는 보험사 특정 후보에 투표하도록 설득하기 가장 쉬울 것 같은 유권자층이 어디인지 알아내려는 선거 운동원 각 사례는 분류 혹은 우선순위 결정과 관련이 있다. 그리고 이러한 결정은 (a) 조직의 운영에 핵심적 이며(환자 분류, 학생 이탈방지, 채용) (b) 대개 전문가들에 의해 다양한 수준의 직업적 판단을 기반으로 반복적으로 이루어지며 (c) 쉽게 이용할 수는 있으나 대개 비공식적 또는 제한된 방법으로만 사용되는 수량화가 가능한 정보를 바탕으로 한다. 또한 각 사례에서 매우 단순한 형태의 예측적 점수 공식만으로도 일반적인 전문가의 판단보다 더 나은 효과를 낼 수 있는 것으로 드러났다. 이러한 사실은 심리학자 폴 밀(Paul Meehl)이 1954년에 발표한 저서 임상적 예측 대 통계적 예측 Clinical Versus Statistical Prediction 에서 이미 기술되었다. 밀이 추후에 파란을 일으킨 작은 책 이라고 칭한 이 책은 인간 전문가의 예측과 단순한 통계 모형을 통한 예측간의 비교 사례 20건을 담고 있다. 예측 유형은 전기 충격 요법에 대한 정신 분열증 환자의 반응 정도에서부터 가석방에 대한 교도소 수감자의 반응 정도까지 다양했다. 밀은 20개 연구 사례 가운데 인간 전문가가 통계 모델을 능가한 경우는 한 번도 없다고 결론 내렸다. 이 시점에서 마이클 루이스(Michael Lewis)가 쓴 머니볼(Moneyball) 을 상기해 볼 필요가 있다. 이 책은 재정난에 허덕이던 한 야구 구단이 필요에 의해 쉽게 이용 가능한 데이터 원천을 분석하여 이를 선수 영입 결정에 활용했다는 내용을 담고 있다. 당시 스카우트 업계에서는 인간의 판단에 근거한 결정이 주를 이뤘기 때문에 인재 시장이 말 그대로 비효율적으로 움직이고 있었다. 즉, 자산 (선수)의 가격 (연봉)에 공개된 이용 가능한 중요 정보가 반영돼 있지 않았다. 이러한 시장의 비효율성 때문에 통계분석을 통한 정교한 관리 체계가 막대한 돈을 들인 선수영입을 능가할 수 있었다. 10 최근에 루이스는 <베니티페어 (Vanity Fair)>란 잡지와 인터뷰에서 노벨 경제학상 수상자인 심리학자 대니얼 카너먼(Daniel Kahneman)에 관해 언급하면서 머니볼 을 쓸 당시에는 밀의 연구와 행동 경제학 분야에서 이루어진 후속 연구들(보조 기사 Go ask Linda 참조)이 자신이 우연히 발견한 시장 비효율성을 설명한다는 사실을 몰랐다고 밝혔다. 11 말년에 밀은 30년 전에 처음 시작한 신생 분야에서의 연구 작업을 돌이키며 이렇게 말했다.

146 TWO DOGMAS OF BIG DATA 사회과학에서 이 분야와 같이 양적으로 다양한 대단히 많은 연구결과가 극도로 공통된 결론으로 귀결되는 분야가 없다는 데는 이론의 여지가 없다. 축구 경기 결과에서부터 간 질환에 대한 진단에 이르는 다양한 형태의 예측 사례 100여 개 가운데 임상학자가 조금이라도 더 나은 예측력을 보였다는 결과가 나온 경우는 다섯 손가락 안에 꼽을 정도다. 그렇다면, 이제 실용적 결론을 도출할 시점이다. 저렴한 연산 능력과 오픈 소스 통계 분석 소프트웨어가 흔한 이 시대에서 밀의 실용적 결론 의 중요성은 아무리 강조해도 지나치지 않다. 의사결정은 산업, 공공 행정, 의학, 교육 분야의 모든 측면에서 핵심적 요소로 작용한다. 야구 선수 스카우트, 근거에 기반을 둔 의료 행위(Evidence-Based Medicine: EBM), 대학 입학 전형 등의 연구 사례에서 확인할 수 있듯이 밀의 가르침은 실질적으로 어떤 분야에서든 통계적 분석을 활용하면 의사결정의 질을 높일 수 있다는 것이다. 그 이유는 데이터의 양과는 전혀 상관이 없으며 모두가 인간의 심리와 관계가 있다. GO ASK LINDA: 전문가에게 분석 도구가 필요한 이유 노벨 경제학상 수상자이자 행동 경제학의 창시자 대니얼 카너먼은 자신의 저서 생각에 관한 생각(Thinking, Fast and Slow) 에서 학창 시절에 폴 밀은 자신이 존경했던 영웅들 가운데 한 사람이었다고 썼다. 12 그러므로 카너먼과 동료 학자들이 수행한 후속 연구들이 학계를 뒤흔든 밀의 발견을 명확히 이해하는 것뿐 아니라 비즈니스 애널리틱스의 광범위한 적용에 주안점을 뒀다는 사실이 우연은 아닐 것이다. 카너먼은 시스템 1( 빠르게 생각하기 )과 시스템 2( 천천히 생각하기 )로 명명한 두 가지 가상적 사고 처리 과정을 설명했다. 시스템 1 사고 과정은 신속하고 자동적이다. 분석과 의심 보다는 믿음과 확인에 경도되어 있 다. 바로 결론으로 건너 뛰고 인지적으로 이용 가능한 빈약한 증거를 기반으로 인과관계를 추론하는 경향이 있다. 또 정서적으로 강렬하지 않고 눈에 선명하게 들어오지 않는 증거의 중요성을 무시하는 경향이 있다. 이 와는 대조적으로 시스템 2의 사고 과정은 느리고 신중하며 서사적 또는 연상적 부합성보다는 논리적 부합성을 추구하는 경향이 있다. 인간의 사고 작용 대부분이 본질적으로 시스템 1에 해당한다. 그리고 시스템 1 유형의 사고는 통계에 능하지 못하다는 문제가 있다. 충분한 시간과 노력, 특별한 도구나 훈련 없이는 인간의 정신이 초보적인 통계적 오류를 저지를 가능성이 농후하다. 놀랍게도 이러한 상황은 훈련 받은 수학자나 일반인이나 별 차이가 없다. 지금까지 우리는 통계적으로 사고하는 존재와는 거리가 먼 판단과 행동을 해왔다. 카너먼은 우리 인간을 결론으로 훌쩍 뛰어넘어가는 기계 로 칭했다. 이와 같은 행동 경제학의 중심 주제는 린다 이야기 를 통해 명확해진다. 가공인물인 린다는 지적 수준이 높고 정치적 성향이 강한 여성으로 묘사됐다. 자, 이제 깊이 생각하지 말고 이 묘사 내용만 보고 평가해 보라. 린다는 은행원일 가능성이 높을까 아니면 은행원으로 일하는 페미니스트일 가능성이 높을까? 잠깐만 생각해봐도 후자가 답일 개연성이 낮은 데도 대다수가 후자를 선택한다. 13 참으로 놀라운 방식으로 이야기상의 부합성이 논리적 부합성을 뛰어넘어버린다. 예측 모형은 빠르면서도 훨씬 뛰어난 천천히 생각하는 사고 기제이다. 예측 모형은 5개, 50개 혹은 5,000개에 달하는 정보를 동일한 노력을 들여 정확하게 처리할 수 있다. 게다가 인간처럼 저혈당에 노출될 일도 없고 인지적 편향이나 서사적 오류에 빠질 일도 없다. 아마도 뒤늦은 깨달음일 수도 있으나 당시 파란을 일으켰던 폴 밀의 주장이 지금에 와서는 그렇게 놀라운 사실은 아니다.

TWO DOGMAS OF BIG DATA 147 B는 행동 (Behavioral)을 뜻한다: 빅데이터(Big data)의 미래 지금까지 설명한 비즈니스 애널리틱스 관점을 통해 빅데이터 거품이 다소나마 꺼졌으면 하는 바람이다. 폴 밀, 대니얼 카너먼 그리고 이들의 추종자들의 수십 년에 걸친 연구 결과는 애널리틱스 프로젝트가 반드시 빅데이터( 3V 라는 관점에서의 빅데이터를 의미함)를 기반으로 해야만 경제적 가치와 산업적 변화를 유발할 수 있는 것은 아니라는 점을 시사한다. 전통적인 데이터 원천만을 기반으로 한 예측 모형과 분석적으로 도출된 사업 의사결정 법칙도 비효율적이거나 편향된 의사결정을 방지하는 효과가 있다. 이러한 관점에서 예측 모델은 일종의 보조 기구적 성격을 가진다: 이러한 모형은 근시안적 사고를 하는 인간에게 안경 과 같은 역할을 한다. 그러나 이것만으로는 빅데이터 거품이 완전히 꺼지지 않는다. 프로 스포츠 분야에 적용된 인간 애널리틱스 의 사례가 다시 한 번 시사점을 제공해 준다. 머니볼 의 등장 이후로 스포츠 애널리틱스는 급속한 진보를 이뤘다. 예를 들어, 미국프로농구협회(National Basketball Association: NBA)는 선수 추적 소프트 웨어를 사용하는데, 이는 실시간 데이터를 독자적인 소프트웨어에 투입해 선수와 팀의 성과를 평가하도록 데이터를 분석할 수 있다. 14 윌리엄 깁슨의 말을 다시 상기하자면 프로 스포츠 애널리틱스는 미래는 이미 와 있다 라는 구절이 적용되는 분야라 할 수 있다. 빅데이터를 수집하고 활용하는 데 따른 시간과 비용을 고려할 때 빅데이터가 언제, 왜, 어떻게 이에 상응하는 큰 가치를 창출하는지 질문을 던져볼 필요가 있다. 이러한 문제를 논할 때는 보통 분석 규모의 다양한 측면 또는 빅데이터는 단순 표본이 아닌 전체 모집단을 분석한다 는 의심스러운 전제에 초점을 맞춘다. 실제로 데이터의 규모, 다양성, 속도 등은 수많은 고려 사항 중 일부일 뿐이다. 중요한 것은 적절한 데이터, 즉 당면 문제를 해결하는 데 가장 유용한 정보가 담긴 데이터를 수집하는 일이다. 인간의 행동을 예측하거나 분석한다는 맥락에서 중요한 측면은 데이터 원천이 가진 행동상의 내용이다. 대규모 행동 데이터를 가지고 작업해 본 사람들은 과거의 행동이 미래 행동을 예측해주는 경우가 많다는 사실을 알게 된다. 그것도 아주 놀라운 방식으로 말이다. 예를 들어, 개인 신용 정보는 누가 채무 불이행 가능성이 큰지 예측해 줄뿐 아니라 누가 교통사고를 낼 가능성이 큰지를 예측하는데도 유용하다. 마케팅과 생활습관 관련 데이터는 미래의 구매 행동을 예측하는데 이용할 수 있을 뿐만 아니라 당뇨병이나 고혈압 같은 생활습관성 질환의 발병 가능성도 예측해준다. 컴퓨터 사회 과학(Computational social science: 디지털화된 대량의 정보나 데이터를 이용해 개인과 집단의 행동 패턴을 분석하는 학문-역주) 전문가 알렉스 샌디 펜틀랜드(Alex Sandy Pentland)는 이렇게 말한다. 빅데이터의 힘은 사람들의 신념에 관한 정보가 아니라 그들의 행동에 관한 정보에 있다고 생각한다. 이는 고객, 직원, 신규 사업의 잠재 고객의 행동에 관한 것이다. 페이스북에 올린 글, 구글 검색 내역, 조직 내부 절차나 RFID(무선정보인식장치)를 통해 입수한 데이터 등은 사람들의 진짜 행동을 반영하는 것이 아니므로 별로 의미가 없다. 유용한 빅데이터는 휴대전화나 신용카드를 사용할 때 발생하는 위치 데이터와 같은 것들에서 얻을 수 있다. 이것은 당신이 세상을 돌아다닐 때 여기저기 흘리고 다니는 작은 데이터 부스러기들이다. 이러한 데이터 부스러기들이 당신의 진짜 삶에 대해 얘기해 준다. 당신이 실제로 어떤 사람인지는 어디서 시간을 보내는지, 또 무엇을 사는지를 통해 알 수 있다. 빅데이터가 실제 행동에 관한 정보로 점점 진화하고 있고 이러한 유형의 데이터 분석을 통해 과학자들은 당신에 관해 많은 부분을 알아낼 수 있다. 그들은 당신이 대출금을 갚을 사람인지 아닌지도 알아낼 수 있다. 앞으로 당뇨병에 걸릴 가능성이 있는지도 예측할 수 있다. 15

148 TWO DOGMAS OF BIG DATA 케임브리지 대학 심리 측정 센터(University of Cambridge Psychometrics Centre)에서 수행한 최근 연구는 이러한 디지털 정보 흔적 (Digital breadcrumbs)의 힘을 극적으로 보여주었다. 이 조사는 5만 8,000명의 소셜 네트워크 사용자 표본 집단의 좋아요 (다양한 온라인 게시물들에 대한 긍정적 평가) 반응에 주목하였다. 그 결과 오로지 이 정보만 사용했는데도 95%의 정확도로 이들의 인종을 예측할 수 있었다. 또 88%의 정확도로 남성의 성적 취향, 85%의 정확도로 정치적 성향(민주당 지지 대 공화당 지지), 82%의 정확도로 종교(기독교 혹은 이슬람교) 등을 예측할 수 있었다. 연구자들은 또 이러한 정보가 앞의 사례보다 약하긴 하지만 지능, 개방성, 외향성, 정서적 안정과 같은 심리적 특성과 상당한 상관관계가 있다는 점을 발견했다. 예를 들어, 연구진은 소셜 네트워크 상의 좋아요 반응에서 얻은 정보는 변화에 대한 개인의 개방성을 측정하는 성격 검사 점수만큼이나 유용하다는 사실을 발견하였다. 16 논의의 후반부는 행동 데이터 원천의 부상과 관련돼 있다. 따라서 아직은 결론이 나지 않은 현재 진행형인 논제이다. 인간의 행동과 관련된 혹은 인간의 행동에서 나오는 데이터의 입수와 활용은 많은 윤리적 문제에 직면할 수 밖에 없다. 이러한 조사 결과는 해결하기 쉽지 않은 윤리적 논란과 사생활 보호에 관한 논란을 불러 일으킨다. 많은 조직이 그러한 유형의 데이터 원천은 회피하고 싶을 것이다. 그러나 이러한 유형의 데이터는 비즈니스와 사회 환경을 이미 변화시키고 있다. 따라서 이왕이면 이러한 데이터의 사용여부를 고민해 보고 사용한다면 어떻게 이를 혁신적으로 또 사회적으로 유용하게 활용할 수 있는 지를 모색하는 것이 바람직하다. 17 행동 관련 데이터가 혁신을 일으키는데 가장 유망한 분야 중 하나가 인적 자원 부문이다. 격식 없는 집단 활동 참여, 의사 소통, 팀 활동 참여 등의 건강한 습관은 개개인이 조직에 기여하는 가치의 중요한 측면들이다. 그런데 현재 이러한 가치들은 기껏해야 일관성 없이 대략적으로만 측정할 수 있다. 이 때문에 조직의 성공에 대한 개인의 기여는 애매하게만 인정되고 보상도 일관성 없이 이루어질 때가 많다. 예를 들어, 구글은 바람직한 리더 상( 像 ) 구축을 위해 프로젝트 옥시젠 (Project Oxygen)이라는 리더십 분석 프로젝트를 수행하였다. 조사 결과, 유능한 관리자의 덕목으로서 추려낸 8가지 특성 가운데 가장 낮은 순위를 기록한 것은 놀랍게도 기술적 능력 인 것으로 나타났다. 18 그리고 결과 지향적 이라든가 팀원의 경력 개발에 대한 관심 과 같이 상대적으로 수량화가 쉽지 않은 특성들이 기술적 능력보다 더 중요한 것으로 나타났다. 이는 기술 관리자에게 가장 중요한 특성은 기술적 능력일 것이라던 애초의 예상을 빗나간 결과였다. 이러한 결과는 우디 앨런(Woody Allen)의 경구인 성공의 80%는 눈에 띄는 데서 비롯된다 를 연상시킨다. 펜틀랜드 자신이 수행한 연구 또한 전통적으로 측정 불가능했던 특성들에 대한 디지털 대리지표의 개발 가능성이 커지고 있음을 보여주고 있다. 펜틀랜드는 소시오미터 (Sociometer)라는 장치를 개발하였다. 신체 부착용 전자 배지인 이 장치는 사람들의 목소리 억양, 제스처, 의사소통 패턴에 관한 정보를 초 단위로 포착한다. 펜틀랜드는 이러한 장치를 통해 수집된 디지털 정보 흔적 을 정직한 신호 라 칭한다. 왜냐하면, 설문에 대한 답변이나 소셜 네트워크상에 남기는 글과는 달리 이러한 데이터는 의식적으로 편집되지 않기 때문이다. 이와 같은 계량 사회학적 데이터는 비언어적 의사소통과 사회적 관계성과 같은 특성을 잘 포착해 내는데, 놀랍게도 이러한 데이터는 상당한 예측력을 지닌다. 예를 들어, 계량 사회학적 데이터는 이성교제 활동, 면접, 연봉 협상 결과에 대한 예측력을 지닌다. 19 이러한 데이터는 효과적인 팀의 역학관계를 밝히는데도 도움이 된다. 펜틀랜드는 칵테일 파티 석상에서 이뤄진 팀원들 간의 상호작용 데이터 측정결과만으로도 어느 팀이 사업 계획 경연대회에서 우승할지

TWO DOGMAS OF BIG DATA 149 예측할 수 있었다. 계량 사회학적 데이터의 분석은 승리하는 팀의 성공 비결을 다음과 같이 제시한다: 성공적인 팀의 구성원들은 말하기와 듣기의 지분이 동등하고, 서로에게 유익한 제스처를 구사하고, 지배적인 리더를 통해서가 아니라 서로 직접 소통하는 특성을 보인다. 20 실제로 개인의 IQ(지능 지수)와 비슷한 그룹의 집단 지성 (Collective intelligence)이라는 측정 가능한 개념이 존재하며, 부분적으로 이러한 측정은 계량 사회학적 데이터를 통해 가능하다. 카네기 멜론 대학의 애니타 울리(Anita Woolley) 연구팀이 집단 지성의 측정법을 연구한 결과 IQ가 개인의 수행 성과를 예측하는 지표이듯이 집단 지성이 집단의 수행 성과에 대한 예측 지표가 된다는 사실을 발견하였다. 놀랍게도 집단 지성은 집단 만족도, 유대감, 동기부여 같은 요소로는 설명되지 않는다. 대신에 집단 지성 (그리고 집단의 성공)의 가장 강력한 예측 인자는, 사회적 신호를 포착하는 집단 구성원의 능력 (보다 전통적인 계량 심리학적 데이터를 사용하여 측정)뿐만 아니라 대화의 평등성 (계량 사회학적 데이터로 측정)인 것으로 나타났다. 21 이러한 특질이 아이디어의 교류를 원활하게 만들어 집단의 성과를 높여주는 것으로 보인다. 22 그런데 이러한 특성은 전통적으로 양적 측정이 어렵기 때문에 개방성이나 사회적 지능 같은 행동적 특질은 순간적인 혹은 신뢰할 수 없는 특성으로 간주되곤 한다. 그러나 컴퓨터 사회과학 상의 도구와 방법론의 꾸준한 진보는 행동 데이터의 활용을 통한 보다 효과적인 팀 구성, 그리고 호혜적 행동과 성격 특질에 대한 체계적인 보상(현재는 산발적으로 이뤄지는)을 실질적으로 가능하게 만들고 있다. 사람들의 행동을 실시간 모니터링하는 장치를 기업이나 사회에서 광범위하게 수용할 것인지는 불분명하다. 모든 직원이 계량 사회학적 데이터 측정 장치를 착용하는 시나리오와 제한되고 주관적으로 해석된 데이터를 근거로 인적 자원에 대한 의사결정을 내리는 시나리오의 양 극단 사이에서 다양한 가능성의 탐색이 가능하다. 예를 들어, 세일즈포스닷컴(Salesforce.com)은 부분적으로 사회적 지능에 근거하여 직원을 선발하고 능력을 계발하는 단계를 밟고 있다. 그들은 이러한 심리적 특성을 측정하는 데 필요한 데이터를 팀 단위로 구조화된 워크숍 형식의 면접, 성격 모델링 훈련, 조직의 온라인 사회적 협력 도구에의 참여와 같은 방법을 통해 입수한다. 이러한 데이터는 투명한 방식으로 수집되며 입사 지원자들과 공유된다. 23 이와 비슷하게 애니타 울리 연구팀이 집단 지성을 예측하기 위해 계량 사회학적 데이터와 함께 사용했던 사회적 민감성 측정 도구는 일종의 계량 심리학적 테스트이다. 이는 참가자들이 온라인을 통해 자발적으로 참여하여 약 10분만에 마칠 수 있다. 24 측정의 내용 타당성 지금까지 우리는 빅데이터에 관한 두 가지 도그마를 논파하기 위해 두 가지 방면으로 논의를 전개해왔다. 그 전반부는 보다 분명하다. 대학 입학처, 병원 응급실, 야구 선수 스카우트 등 다양한 부문에서 윤리적 문제가 없는 현재 이용 가능한 전통적 데이터 원천을 체계적이고 분석적으로 이용하면 대부분의 의사 결정의 질을 향상시킬 수 있을 것이다. 보다 많은 데이터가 더 나은 예측력을 제공하긴 하지만, 가까운 장래의 경제적 이익 실현을 위해 조직이 반드시 빅데이터 에 통달할 필요는 없다. 행동 과학이 우리에게 가르쳐 준 교훈은 미래 행동의 예측은 데이터와 통계의 힘일 뿐 아니라 인간의 인지적 특성과도 관계가 있다는 점이다. 논의의 후반부는 행동 데이터 원천의 부상과 관련돼 있다. 따라서 아직은 결론이 나지 않은 현재 진행형인 논제이다. 인간의 행동과 관련된 혹은 인간의 행동에서 나오는 데이터의 입수 및 활용은 많은 윤리적 문제에 직면할 수 밖에 없다. 그러나 사생활 보호를 위한 장치가 마련된다면 사전 동의를 얻어 모두의 이익을 위한 행동 데이터의 이용도 가능할 것이다.

150 TWO DOGMAS OF BIG DATA 예를 들어, 온라인공개수업(Massive Open On-line Courses: MOOCs)에서 얻은 데이터를 더 나은 교과 과정의 설계를 위해 사용할 수 있다. 인사부서는 측정하기 쉬운 기술적 능력뿐 아니라 팀워크와 사회적 지능 수준이 높은 사람을 선발하거나 보상하는데 이러한 행동 데이터를 활용할 수 있다. 또 행동 데이터는 환자를 대하는 의사의 태도를 측정하고, 환자의 만족도를 높이고 의료 소송 발생 건수를 줄이는 데도 활용할 수 있다. 자동차에서 산출되는 텔레매틱스(Telematics: 통신(Telecommunuication)과 정보 과학(Infomatics)의 합성어로 자동차에 연결된 휴대전화 등의 이동통신을 이용해 운전자에게 필요한 각종 정보를 실시간으로 제공하는 서비스-역주) 데이터는 나이가 많은 운전자에게 큰 도움이 될 것이다. 슈퍼마켓의 회원 카드 데이터는 생활습관성 질환을 조기에 알려주는 데 사용될 수 있고 자가 측정(Selftracking) 데이터는 건강 상태를 유지하려는 사람들에게 도움이 될 것이다. 프린스턴 대학 고등과학원(Institute for Advanced Study)에 있는 알베르트 아인슈타인의 방문 앞에는 다음과 같은 글귀가 쓰인 명패가 걸려 있다. 셀 수 있는 것이 다 중요한 것은 아니다. 중요한 것을 다 셀 수 있는 것은 아니기 때문이다.(Not everything that can be counted count, and not everything that counts can be counted) 시대를 초월하는 아인슈타인의 이 명언은 지금 상황에도 들어맞는다. 행동 데이터와 컴퓨터 사회 과학적 방법론은 우리가 셀 수 있는 분야를 확장해가고 있다. DR 제임스 구스차(James Guszcza)는 싱가포르 Deloitte Analytics Institute의 수석 연구원이자 Deloitte Consulting LLP의 Actuarial, Risk, and Advanced Analytics practice의 미국 예측 분석 담당 리더다. 브라이언 리차드슨(Bryan Richardson)은 Deloitte Canada의 manager이고 Advanced Analytics practice의 예측 모델 수립 담당 책임자다.

TWO DOGMAS OF BIG DATA 151