[10주차]비정형 텍스트 분석1

Size: px

Start display at page:

Download "[10주차]비정형 텍스트 분석1"

선경 피
5 years ago
Views:

1 [13 주차 ] 소셜네트워크분석과시각화

2 1. 소셜네트워크분석이란?

3 소셜네트워크분석이란? 수학의그래프이론 (Graph Theory) 에따라, 연결구조와연결강도등을 바탕으로개체, 또는액터 (Actor) 의영향력을측정하는기법 사람, 그룹, 조직, 컴퓨터및데이터등개체들간의관계및네트워크의특성과구조를분석하고이를시각화하는분석방법론. 최근범죄수사, 첩보, 조직분석, 커뮤니케이션망분석, 에이즈 (AIDS) 확산연구, 제약연구등의분야에활발하게응용

4 네트워크란? 다수의점과점들을연결하는다수의선으로구성된망 구성요소 노드 (node) 또는정점 (vertex) 개체 ( 사람, 조직, 사물등 ) 는점으로표시 링크 (link) 또는간선 (edge) 개체간의관계가있는경우선으로연결

5 그래프의정의와예시 다음의친구관계에대한정보를사용하여 사회연결망을하나의네트워크그래프로표현가능 철수와윤정은친구다. 윤정은영희와친구고현수와도친구다. 영희는나래와친구고시원과도친구다. 나래는윤정은친구고시원, 지윤과도친구다. 시원과영숙은친구다. 지윤 나래 윤정 시원 현수 영희 영숙 철수 출처 : R 을이용한빅데이터분석, 임동훈, 2015

6 네트워크란? 네트워크의종류 방향네트워크 (directed network) 정보전달, 국가간의수출 / 수입등방향성이있는경우로, 송신자와수신자가확실함. 무방향네트워크 (undirected network) 외교관계, 혈연관계등액터관계의존재자체를문제로하는경우로, 일반적으로방향성이없는관계임.

7 그래프의정의와예시 그래프 G란개체를나타내는정점 (vertex) V와개체를연결하는엣지 (edge) E의집합 G = (V, E) 그래프의예시 V ={A,B,C,D,E,F}, E={(A,B), (B,C), (C,E), (E,D), (D,B), (E,F)} A C B E F D

8 그래프의종류 방향그래프 Vs. 무방향그래프 지윤 나래 윤정 시원 현수 영희 영숙 철수

9 그래프의종류 완전그래프 (complete graph) 각정점에서다른모든정점을연결하여가능한최대의연결선을가진그래프 정점이 n 개인방향그래프에서최대엣지의수 : n(n-1) 개 정점이 n 개인무방향그래프에서최대엣지의수 : n(n-1)/2 개 (a) 방향그래프 : 30 개엣지 (b) 무방향그래프 : 15 개엣지

10 그래프의종류 가중그래프 (weighted graph) Node 를연결하는 link 에가중치를할당한그래프로가중치는 link 의정도차이를나타냄. 친구관계를네트워크그래프로나타내는경우, 단순한친구관계혹은친분이두터운친구관계에따른관계정도가가중치로나타남. A 1 2 B C 3 A 1 2 B C 3 2 D 3 E 1 F 2 D 3 E 1 F (a) 방향그래프 (b) 무방향그래프

11 그래프특징을나타내는지표 차수 (degree) 와허브 (hub) 차수의분포 (degree distribution) 밀도 (density) 중심성 (centrality) 연결정도중심성 (degree centrality) 근접중심성 (closeness centrality) 매개중심성 (betweenness centrality)

12 차수 (degree) 와허브 (hub) 차수 (degree) 의정의 node 에연결된 link 들의수로해당 node 가다른노드들과얼마나많이연결되어있는가에대한측정지표 방향그래프의경우, 진입차수 (in-degree) 와진출차수 (outdegree) 로구분 - 진입차수 (in-degree): 해당노드로들어오는 link 들의수 - 진출차수 (out-degree): 해당노드에서나가는 link 들의수 A A (a) 방향그래프 노드 A 의진입차수 : k in = 4 노드 A 의진출차수 : k out = 1 노드 A의차수 : k = 5 (b) 무방향그래프

13 차수 (degree) 와허브 (hub) 허브 (hub) 의정의 : node 중에서가장높은차수를가지고있는 node 다음의그래프에서허브 : node A A

14 차수의분포 (degree distribution) 차수의분포 P k 그래프에서차수 k 를갖는노드의비율을의미 P k = N(k), k = 1, 2,, n N 즉, P k 는차수 k 를갖는노드의수인 N(k) 를전체노드수 N 으로나눈값

15 차수의분포 (degree distribution) G H A B D C F E P 1 = N(1) N P 2 = N(2) N P 3 = N(3) N P 4 = N(4) N P 5 = N(5) N = 1 8 = 4 8 = 2 8 = 0 8 = P k 4/8 3/5 3/8 2/5 2/8 1/5 1/8 차수의분포 차수

16 차수의분포와그래프 랜덤그래프 (random graph, 무작위그래프 ) 대다수노드들이유사한수의 link 를가진경우로실세계네트워크와거리가있음. 랜덤그래프와차수의분포

17 차수의분포와그래프 척도없는그래프 (scale-free graph) 대부분 node 가소수의 link 를갖고있으나몇개의 node 들이거대한 link 를가진경우로인터넷, 소셜네트워크와같은실세계많은네트워크가해당됨. 척도없는그래프와차수의분포

18 밀도 (density) 최대가능한 link 들의개수에대한실제 link 들의개수의비 즉, 밀도는실제네트워크에존재하는 link 의개수를모든 node 끼리전부연결되어있다는가정하에서구한총 link 수로나눈것임. 높은밀도를갖는그래프는낮은밀도를갖는그래프에비해 node 간에더많이연결되어있음. 그래프밀도는 0 과 1 사이의값을가짐. 그래프에서 node 간에완전연결되어있는경우, 밀도는 1 의값을가짐. 밀도는 node 와 node 사이에 link 들이얼마나밀집되어있는지판단할수있는척도

19 밀도 (density) 네트워크에서밀도는네트워크내구성원이서로간얼마나많은관계를맺고있는가를표현하는지표임. A 라는학교에서특정학급학생들간네트워크를 N1, 학교의학생들간네트워크를 N2 라고할경우, 한학급의학생들간은서로알고있으나, 전체학교의학생들간에는서로모를수도있다는가정하에, N1 의밀도가, N2 의밀도보다높다고할수있음.

20 중심성 (centrality) 개체가전체네트워크에서얼마만큼중심에가까이자리잡고있는지를나타내는지표 특정한노드가많은다른노드들과연결되어있는경우, 그노드는네트워크의가운데쪽으로위치하게됨. 중심성은네트워크분석에서개체가가지는영향력을분석하는데많이사용됨. 중심성지표의종류 연결정도중심성 (degree centrality) 근접중심성 (closeness centrality) 매개중심성 (betweenness centrality)

21 연결정도중심성 (degree centrality) 네트워크에서한 node 가다른 node 들과직접연결되어있는지를측정하는지표 연결된 node 의수가많을수록연결정도중심성상승 이지표는단순히 1 촌만을고려한것으로국지적인범위에서의역할만파악가능 확산된정도는보지못함.

22 연결정도중심성 (degree centrality) 특정 node 의연결정도중심성은특정 node 와직접연결된 node 의수를특정 node 와직 간접적으로연결된모든 node 의수로나누기 node i 의연결정도중심성 D c i = i와직접연결된 node의수 i 와직 간접연결된 node 의수

23 근접중심성 (closeness centrality) 단순한 1 촌만의연결로는네트워크의영향력을파악하기어려워간접적인연결까지포함해중심성을측정하는지표 직접연결된 node 뿐만아니라간접적으로연결된 node 까지최단거리를가지고중심성을측정 특정 node 의접근중심성은네트워크에있는 node 들과최단거리가짧을수록근접중심성의값은상승 node i 의근접중심성 C c i = σn j=1 n 1 d(i, j)

24 매개중심성 (betweenness centrality) 한 node 가다른 node 간의네트워크를구축하는데중계자혹은매개자로서해야할역할정도를나타내는지표 상이한집단간을연결하는 node 일수록매개중심성이높게나타남. 전체네트워크내에서얼마나다리역할을하는지를나타냄. 특정 node 의매개중심성은그 node 를통과하는최단경로 (shortest path) 들의개수로정의함.

25 매개중심성 (betweenness centrality) 경로의끝에있는 node 의경우, 두 node 간의최단경로가존재하지않으므로매개중심성은 0 임. node i 의매개중심성 B c i = g jk (n i ) j<k

26 중심성지표산출예시 C 연결정도중심성 A B D E F A B C D E F 1/5=0.2 2/5=0.4 1/5=0.2 4/5=0.8 2/5=0.4 2/5=0.4 근접중심성 A B C D E F 5/12=0.42 5/8= /10=0.5 5/6=0.83 5/9=0.56 5/9=0.56 매개중심성 A B* C D** E F * 노드 B 를포함하는최단경로 : (A,D), (A,D,C),(A,D,E),(A,D,F) ** 노드 D 를포함하는최단경로 : (B,C),(B,E),(B,F),(A,B,C),(A,B,E),(A,B,F),(C,E),(C,F)

27 적용예시 분석개요 행정학연구동향을파악하기위해논문인텍스트에대한소셜네트워크분석수행 분석데이터 2005 년부터 2009 년까지총 296 편의한국행정학보에게재된학술지의초록수집 908 개의주제어를추출한후, 이중 4 회이상출현한 35 개의주제어를핵심주제어로정의하여소셜네트워크분석을수행

28 적용예시 분석결과 : 핵심주제어들의관계를분석해본결과, 조직, 행정, 사회, 제도, 구조 가연결중앙성이높은것으로나타남 출처 : 최영출, 박수정 (2011). 한국행정학의연구경향분석 : 네트워크텍스트분석방법의적용, 한국행정학보, 45,

29 적용예시 분석결과 : 핵심주제어네트위크의응집구조분석을수행하여 5 개클러스터를추출하고, 연구동향을분석해냄 출처 : 최영출, 박수정 (2011). 한국행정학의연구경향분석 : 네트워크텍스트분석방법의적용, 한국행정학보, 45,

적용예시 18 대대통령선거기간의정치인들트위터멘션정보를분석 출처 : 조선닷컴, http://news.

30 적용예시 18 대대통령선거기간의정치인들트위터멘션정보를분석 출처 : 조선닷컴,

31 적용예시 18대대통령선거기간의정치인들간주고받은트위터멘션정보를분석하여정치인트위터멘션맵으로시각화 동그라미 ( 노드 ) : 인물 화살표 ( 링크 ) : 멘션이전달된방향 : 화살표굵기는멘션을보낸횟수 출처 : 사이람,

32 2. 시각화의개념및원리

33 나폴레옹군대의러시아원정 ( ) Charles Joseph Minard (1869)

34 데이터시각화란? 그래픽을활용하여명확하고효과적으로의사소통하는것 방대한양의자료를분석해한눈에이해할수있도록표나차트등으로정리 최근에는 도구 가아닌 전략 " 으로인식 단순히정보전달의명확성이나효율성뿐만아니라 관심 " 과 몰입 " 을제고하는역할

35 데이터시각화의효과 분석기법적관점 방대한데이터에서이상치, 또는패턴등주요정보를신속하고용이하게발견 데이터에서발견되지않을수도있는패턴, 동향, 상관관계등을쉽게인식 공유기법적관점 생산된정보를효과적으로조직화하고시각적으로이해하기쉽게전달 사용자의흥미유발및몰입도제고

36 시각화가잘못되면

37 시각화가잘못되면 왜곡을측정하는지표들 Lie Factor, Graph Discrepancy Index 등

38 성공적인시각화를위해서는 시각화는과학과예술의융합 기능성과심미성두가지모두가중요 균형을잃을경우목적하는바를이루지못할수있음 사용자가어떤원리로정보를지각하는지이해할필요 사용자가어떤정보를우선인지하는지.. 무슨기준으로분류하는지.. 정보가어떻게전달되는지..

39 시각화의기본원리 게슈탈트의지각법칙 (Gestalt Laws of Perception) 게슈탈트 (Gestalt) 란형태, 형상을의미하는독일어 M. 베르트하이머가처음으로제기한법칙으로, 인간이시각적형태를지각하는방법을설명 인간의시각적인식이어떻게작용하는지에대해구체적인근거를제시

40 시각화의기본원리 군집의원리 (Principles of Grouping) 사람들이사물을인지할때조직화된패턴으로 지각하는경향이있다는원리 군집의원리몇가지 유사성의원리 근접성의원리 연속성의원리 폐쇄의원리 공동운명의원리

41 군집의원리 - 유사성의원리 유사한시각요소들이가지고있는동질성에따라 그룹을지어하나의패턴으로보려는특성

42 군집의원리 - 근접성의원리 서로가까운것끼리묶어서그룹으로인식하려는현상

43 군집의원리 - 연속성의원리 연결할때직선이나부드러운곡선을이루는점들은함께속하는것으로지각 그선들은가장부드러운경로를따르는식으로인식

44 군집의원리 - 폐쇄성의원리 그림이불완전하거나필요한정보의일부분이없어도완성된그림이나형태로지각하는경향

45 군집의원리 좋은형태의원리 모든자극패턴은최종구조가가능한한 단순한것이되도록보이는것 단순성의원리라고도함

46 군집의원리 공동운명의원리 각요소들이같은방향으로같은속도로움직인다고지각되면그움직임을같은자극의부분으로지각하는경향

47 시각화의유형 데이터시각화 (Data visualization) 데이터를시각적으로표현하는영역 정보시각화 (Information visualization), 대규모비수량정보를시각적으로표현하는것 인포그래픽 (Infographics) 정보와데이터, 지식을시각적으로표현하는것으로데이터및정보시각화개념을포함 정보형시각화와설득형시각화 정보형이객관적정보제공중심이라면 설득형은주장하는내용을담고있음

48 3. 시각화방법

49 시각화단계 Ben Fry 의시각화 7 단계 Acquire( 획득 ): 정보의수집 Parse( 분해 ): 정보의의미를바탕으로데이터의구조화 Select( 선별 ): 의미있는정보를구분 Mine( 분석 ): 통계, 또는데이터마이닝에의한데이터분석 Represent( 표현 ): 다양한시각모델을활용하여표현 Refine( 정제 ): 정보를시각적으로정제 Interact( 상호작용 ): 다양한시각에서시뮬레이션

50 정보시각화방법 정보시각화의방법및지원툴 시간시각화분포시각화관계시각화비교시각화공간시각화 시간에따른데이터의변화표현 모든부분을합하면 1 또는 100% 가되도록전체와부분간관계표현 상관관계등두변수간의관계표현 분석대상의특징을전체적으로쉽게비교할수있도록표현 지도위에서위치간특성비교를쉽게할수있도록표현 막대그래프 누적막대그래프 점그래프 파이차트 도우넛차트 트리맵 히스토그램 누적연속그래프 산점도 버블차트 히트맵 체르노프페이스 방사형차트 평행좌표계 다차원척도법 지도매핑

51 시간시각화 다양한막대그래프

52 분포시각화 파이차트 (Pie Chart)

53 분포시각화 트리맵 (Tree Map)

54 관계시각화 산점도 (Scatter Plot) 2D/3D

55 비교시각화 히트맵 (Heat Map)

56 비교시각화 체르노프페이스 (Chernoff Face)

57 공간시각화 지도매핑

58 정보시각표현의주요요소 시각화를위한그래픽디자인요소 시각화결과물의질적수준을제고하기위해서는그래픽디자인기본원리를적용하여완성하는것이중요 타이포그라피 (Typography), 색상, 그리드 (Grid), 아이소타이프 (Isotype) 등은시각화결과물의질적수준에중요한영향

59 정보시각표현의주요요소 자크베르탱 (Jacques Bertin) 의정보표현을위한그래픽 7 요소 정보개체의위치, 크기, 모양, 색, 명도, 기울기, 질감등에변화를줌으로써데이터의양적 / 질적차이, 강조, 순서, 비율등의관계를효율적으로표현할수있음

60 시각정보디자인의 7 원칙 에드워드터프티 (Edward Tufte) 훌륭한시각디자인은시각적으로표현된명쾌한생각 시각정보디자인의 7 원칙 시각적비교의강화인과관계제시여러변수를표시텍스트, 그래픽, 데이터의조화로운배치콘텐츠의질확보시간순보다는공간순으로나열정량적자료의제시

정보시각표현의주요요소 인터액션 정보사용자가시각화결과물과의인터랙션을통해주체적으로정보를탐색하여더욱유용한인싸이트를도출할수있도록지원 가장중요한숫자나의미있는요점을먼저제시하고이후에사용자가스스로자신의관점에따라정보를필터링하거나애니메이션등을실행하여정보를탐구함으로써패턴을파악하고이해하도록유도 Ex)

61 정보시각표현의주요요소 인터액션 정보사용자가시각화결과물과의인터랙션을통해주체적으로정보를탐색하여더욱유용한인싸이트를도출할수있도록지원 가장중요한숫자나의미있는요점을먼저제시하고이후에사용자가스스로자신의관점에따라정보를필터링하거나애니메이션등을실행하여정보를탐구함으로써패턴을파악하고이해하도록유도 Ex) UNESCO Institute for Statistics: out-school-children, 교육기회를제공받지못하는아이들문제를인터랙션을통해탐색, 사용자가조정하여얻은결과치는소셜미디어를통해공유가능 (

62 시각화의구현방법 정보시각화의방법및지원툴 종합시각화도구프로그래밍환경인포그래픽스지도기타 - 차트와통계도구를제공 - 데이터를입력하고그래프메뉴에서원하는차트를선택, - 다차원적인시각화및보고서생성기능을제공하는전문 BI 시각화플랫폼도있음 마이크로소프트엑셀 구글스프레드시트 타블로소프트웨어 YFD SAS Enterprise BI SAP Visual Intelligence - 시각화기술에대한요구사항이증가함에따라주로 JavaScript, HTML5 기반의시각화기술을오픈소스프로젝트나라이브러리형태로배포 - 다양한형태의데이터에대해유연한조작방법적용 D3.js jqplot R Python PHP Highcharts - 데이터표현을위한디자인을강화 - 사전에제작된템플릿을기반으로인포그래픽생성지원도구 Visualize Free icharts Visual.ly - 지도는매우직관적인데이터시각화방법으로길찾기서비스이상의유용한데이터탐색방법제공 구글 / 야후 / 마이크로소프트지도 ArcGis Modest Maps StatPlanet - 네트워크그래프시각화프로그램또는다른툴의해제작된시각화결과물을더욱전문적으로수정및보완하기위한프로그램등 Gephi ( 네트워크시각화 ) NodeXL ( 네트워크시각화 ) Adobe Illustrator ( 수정 / 보완작업 ) Inkscape ( 수정 / 보완

63 종합시각화도구 YFD(your.flowingdata) 온라인어플리케이션으로트위터에서데이터를수집해여러인터랙티브시각화도구로패턴과관계를찾아볼수있도록지원

64 시각화프로그래밍환경 D3.js HTML, SVG, CSS 등을지원하는 JavaScript 시각화라이브러리

65 인포그래픽스 Visualize Free 다양한정보를표현할수있는시각화지원템플릿제공 (Visualizations 의서브메뉴 )

66 지도 StatPlanet 플래시기반의맵차트제작툴로서웹에서는물론이고소프트웨어를 PC 에설치하여차트제작가능, 인터랙티브요소우수

67 기타 Gephi 오픈소스네트워크시각화프로그램으로, 데이터를다양한네트워크그래프로표현하여그림으로내보내거나간단한통계조작을할수있음

Chap 6: Graphs

Chap 6: Graphs 그래프표현법 인접행렬 (Adjacency Matrix) 인접리스트 (Adjacency List) 인접다중리스트 (Adjacency Multilist) 6 장. 그래프 (Page ) 인접행렬 (Adjacency Matrix) n 개의 vertex 를갖는그래프 G 의인접행렬의구성 A[n][n] (u, v) E(G) 이면, A[u][v] = Otherwise, A[u][v]