계량적 문체 분석

Size: px

Start display at page:

Download "계량적 문체 분석"

우선 양
5 years ago
Views:

1 계량적문체분석한국어정보의전산처리

2 목적 계량적지표를통해문체의특징을알아본다. 문체의특징을드러내는계량적지표들을찾아낸다. 계량적지표에따라작품, 작가를분류해본다.

3 자료 기준말뭉치 : 세종형태분석말뭉치 정제말뭉치 : 홍세화, 진중권, 김규항의글 ( 각각약 3 만어절 ) 지능형형태소분석기 2.0 으로자동태깅한뒤 수작업으로오류수정 UTagger 가성능이향상되기전이었음. 현대소설말뭉치 urimal.net 에올라있는필독현대소설 106 편 나중에이사이트의소설자료가사라짐. UTagger 로자동태깅

4 정치인의성향좌표 ( 한겨레21 조사 )

5 정제말뭉치구축과정 홍세화 한겨레신문에정기적으로기고한칼럼 ( 홍세화칼럼, ~ ) 을주대상으로하였고, 그밖에 레디앙 등의인터넷매체에기고한글과 생각의좌표 등의저서에서발췌한글이소량첨가되었다. 진중권 인터넷매체 오마이뉴스 에기고한글만으로도홍세화말뭉치에상당하는양이되므로, 이것으로자료를구성하였다 ( ~ ). 김규항 한겨레신문에기고한칼럼 ( 야! 대한민국, ~ ) 을우선적으로수집 그분량이홍세화 진중권말뭉치에비해너무적어서 김규항이운영하는블로그 ( 규항넷, 에서자료를추가로수집하였다 ( ~ ) 규항넷 에서는가능한한길고, 개인적인신변잡기보다는대중을향한공적인발언의성격이강한글을뽑았다. 세글쓴이의말뭉치분량을가능한한같게하였다

6 정제말뭉치개요 말뭉치 홍세화 진중권 김규항 바이트수 223, , ,393 문자수 129, , ,016 어절수 30,683 31,504 31,145 단락수 1,020 1,532 1,004

7 원시말뭉치대형태분석말뭉치 원시말뭉치를기초자료로하여빈도통계를추출하면 체언 + 조사, 용언의활용형들이각각별도의타입으로간주됨. 각타입의빈도가매우낮아짐. data sparseness problem 형태분석을하면 data sparseness problem 이상당히완화됨. 체언, 조사, 용언, 어미각각에대한좀더정밀한통계를얻을수있음. 품사구분을바탕으로한고급통계정보를추출할수있음.

8 정확성대효율성 형태분석말뭉치구축시정확성과비용 ( 시간, 노력 ) 은 trade-off 관계 자동태깅에만의존하면정확성이떨어짐 수작업으로오류를수정하면정확도가높아지나, 비용이많이듦. 본고에서전반부는정확도를높이는접근법을, 후반부에서는효율성을높이는접근법을취함.

9 말뭉치가공과정 21 세기세종계획결과물인 지능형형태소분석기 를이용하여태깅한후, 수작업으로오류를수정. 지능형형태소분석기 의문제점 1 음절로된어절을대부분보통명사 (NNG) 로태깅 연결어미 (EC) 의범위가너무넓음 연결어미로태깅된것뒤에오는용언은거의무조건보조용언 (VX) 으로태깅 기타등등 수작업으로오류를수정하는데에너무나많은시간과노력이소요됨. 태깅지침은세종형태분석말뭉치에따름.

10 정제말뭉치태깅후통계 말뭉치 세종 홍세화 진중권 김규항 문장수 2,263,642 2,271 2,908 2,467 어절수 12,496,012 30,683 31,504 31,145 형태수 28,408,393 68,380 70,561 69,786

11 형태 (morph) 의확률분포와기준으로부터의이탈정도 세종형태분석말뭉치에서의각형태의출현빈도를바탕으로하여출현확률계산 홍세화, 진중권, 김규항말뭉치에서각형태의출현빈도, 출현확률계산 이세말뭉치의확률분포가세종말뭉치의확률분포로부터얼마나벗어나있는지계산 확률분포의차이를나타내는지표 교차엔트로피 : 상대적엔트로피 : information radus:

12 확률분포비교예시 한국어에동사는 가 -, 오 -, 먹 -, 살 -, 죽 - 5 개밖에없다고가정. 보조용언은 - 어있 - 과 - 지않 - 둘밖에없다고가정. 이 5 개동사의말뭉치전체에서의출현빈도, 두보조용언앞에서의출현빈도가다음표와같다고가정. 기준선 ( 흑색 ) 으로부터 - 지않 - ( 황색 ) 보다 - 어있 - ( 분홍 ) 이많이이탈해있음. 가- 오- 먹- 살- 죽- 합 말뭉치전체빈도 P(v i V) 어있- 앞빈도 P(vi V) P(vi 어있,V) P(vi 지않,V) P(v i 어있,V) 지않- 앞빈도 가 - 오 - 먹 - 살 - 죽 - P(v i 지않,V)

13 세종빈도상위 100 단어의상대빈도비교흑 : 세종, 적 : 홍세화, 청 : 진중권, 녹 : 김규항

14 상대적엔트로피 말뭉치 상대적엔트로피 홍세화 진중권 김규항 상대적엔트로피계산시분모 q(x) 가 0 이면문제가발생하므로 실제로는 q(x) 가 0 일경우 Float::EPSILON == e-16 으로조정

15 교차엔트로피와 information radus NaN 나 Infinitiy 등의별로의미없는결과가나왔음. 아마도 buffer underrun 때문인듯 buffer underrun : 소수점이하의너무작은수를계산할때컴퓨터에서實數데이터를표상하기위한메모리가부족할때발생하는현상 buffer underrun 을피하는방법강구필요

16 각작가가선호하는단어 / 형태 각작가의말뭉치에서의단순출현빈도는그작가의특징을드러내는데부족 기준말뭉치에서도고빈도인단어여서해당말뭉치에서도고빈도인단어보다는 기준말뭉치에서는저빈도인데해당말뭉치에서고빈도인단어가중요 각형태의기준말뭉치에서의출현확률에비해해당말뭉치에서의출현확률이통계적으로유의하게높은지검정할필요가있음. 모비율의검정 검정통계량

17 홍세화가선호하는형태 순위 형태 세종빈도 홍빈도 Z 값 1 조중동 /NNP 신자유주의 /NNG 괴담 /NNG 지 /XSN 도 /XSN 자유무역협정 /NNG 미누 /NNP 천안함 /NNP 이든 /JX 허접 /XR

18 진중권이선호하는형태 순위 형태 세종빈도 진빈도 Z 값 1 한예종 /NNP 디워 /NNP 문화부 /NNP 정지민 /NNP 인미협 /NNP 빅뉴스 /NNG PD수첩 /NNP 피디수첩 /NNP 이라 /JKQ variant/sl

19 김규항이선호하는형태 순위 형태 세종빈도 김빈도 Z 값 1 진보신당 /NNP 신자유주의 /NNG /SE 이라 /JKQ 디빠 /NNG 이든 /JX 갈릴래이아 /NNP 이명박 /NNP 말이다 /IC 디워 /NNP

20 어휘다양성 : 타입 - 토큰비율 말뭉치 홍세화 진중권 김규항 토큰수 31,418 31,367 32,173 타입수 5,417 5,496 4,518 토큰 / 타입

21 어휘다양성 : 타입 - 토큰비율 홍세화와진중권은큰차이가없음 김규항은 TTR 이현저히낮음. 즉김규항은동일한표현을반복하는경향이강함. TTR 은텍스트크기에영향을많이받음. 여기서비교대상이된세말뭉치는크기가거의비슷하므로, 별문제없음.

22 문장길이 홍세화 : 진중권 : 김규항 : 진중권의문장이현저히짧음. 젊은세대의감성에맞게구어체에가까운문체를구사하기때문인듯.

23 hypotactic 대 paratactic... and the desk and the shelf above it on which rested the ledgers in which McCaslin recorded the slow outward trickle of food and supplies and equipment which returned each fall as cotton made and ginned and sold (two threads frail as truth and impalpable as equators yet cable-strong to bind for life them who made the cotton to the land their sweat fell on), and the older ledgers clumsy and archaic in size and shape, on the yellowed oages of which were recorded... [Faulkner 의단편소설 The Bear ]

24 hypotactic 대 paratactic The first burst shot off a back wheel and turned the car over. He saw the wheel fly over the bonnet as the car took to the ditch on the left. The ditch might have been ten feet deep but the snow let him down kindly. The car didn't burn so he lay behind it and waited, facing across the track hoping to get a chot at the machine-gunner. The next burst came from behind and threw him up against the car. [John LeCarre 의 Tinker, Tailor, Soldier, Spy ]

25 hypotactic 대 paratactic 말뭉치에서접속의빈도의근사치로서태그 EC 의빈도를사용하고, 내포의빈도의근사치로서태그 ETN, ETM 을사용하여비율을조사 말뭉치 홍세화 진중권 김규항 세종 접속 내포 접속 / 내포

26 hypotactic 대 paratactic 세사람모두세종말뭉치에비해내포의비율이높음. 세사람이큰차이는없으나, 진중권 > 김규항 > 홍세화의순으로접속을많이사용함. 구어체보다는문어체에서내포의비율이높음. 진중권이문장이가장구어체에가깝고, 홍세화의문장이가장문어체에가깝다는사실과부합됨.

27 서사적문체대묘사적문체 서사적인문장에서는동사를자주이용하고 묘사적문체에서는형용사를자주이용 말뭉치 VV VA VV/VA 홍세화 진중권 김규항 세종

28 서사적문체대묘사적문체 홍세화와진중권은세종말뭉치의수치와큰차이가없음. 김규항은형용사의비율이현저히높음. 즉상대적으로묘사적인문체에가까움.

29 한국현대소설의문체 인터넷 urimal.net 에올라있는한국현대소설 106 편을분석대상으로함. 대다수가단편소설임. ( 예외 : 최인훈의 광장, 회색인 ) UTagger 로자동태깅만하고, 수작업은거치지않았음. 따라서태깅오류가상당수남아있음. 형태단위의빈도조사는하지않고, 나머지통계적문체지표만살펴봄.

30 hypotactic 대 paratactic 연번 작가 제목 접속 / 내포 1 이문열 필론의 _ 돼지 전광용 사수 이효석 산 김동인 광화사 최서해 고국 김동인 태형 최인훈 광장 최인훈 회색인 이문구 일락서산 전상국 우상의 _ 눈물 1.12

31 hypotactic 대 paratactic 97 박경리 풍경A 정비석 성황당 이호철 닳아지는 _ 살들 채만식 치숙 김유정 동백꽃 김유정 만무방 김유정 금따는 _ 콩밭 전영택 화수분 주요섭 사랑 _ 손님과 _ 어머니 김유정 봄봄 3.61

32 hypotactic 대 paratactic 김유정의작품 4 개가모두거의맨끝에위치. 내포를가장적게사용. 주요섭의 사랑손님과어머니 는어린소녀의관점에서서술되어있기때문에, 내포가적게사용된듯. 이문열, 전광용, 이효석, 김동인, 최서해, 최인훈은내포를많이사용.

33 서사적문체대묘사적문체 연번 작가 제목 동사 / 형용사 1 이호철 큰산 강신재 젊은 _ 느티나무 이문열 필론의 _ 돼지 이효석 산 최인훈 회색인 이호철 닳아지는 _ 살들 박태원 소설가 _ 구보씨의 _ 일일 전광용 사수 이문구 일락서산 이청준 눈길 2.63

34 서사적문체대묘사적문체 97 황순원 독짓는 _ 늙은이 박영준 모범 _ 경작생 김유정 동백꽃 윤대녕 천지간 이범선 학마을 _ 사람들 김유정 금따는 _ 콩밭 조세희 뫼비우스의 _ 띠 주요섭 사랑 _ 손님과 _ 어머니 황순원 학 김유정 만무방 6.97

35 서사적문체대묘사적문체 김유정의작품 4 개모두거의맨끝에위치 (91, 99, 102, 106). 동사를훨씬많이사용. 서사적문체 : 황순원, 주요섭, 조세희, 이범선, 윤대녕, 박영준, 염상섭, 이태준 묘사적문체 : 이호철, 강신재, 이문열, 이효석, 최인훈, 이호철, 박태원

36 보조용언 있 - 과표사적문체 동사 - 형용사비율외에보조용언 있 - 도묘사적문체와관련이있다. 철수는 10 년만에순희와재회했다. 순희는 3 년전에이미남편을여의고혼자되어있었다. 두사람은한동안아무말없이길을걸었다. 거리는성탄을즐기기위해나온젊은연인들로북적거리고있었다. 순희가침묵을깨고입을열었다. 스토리의전경 (foreground) 은 - 었 - 으로표현. 배경 (background) 은 - 어있 - 이나 - 고있 - 으로표현. 보조용언 있 - 의사용비율을알아보면, 그글이얼마나묘사적인지를알수있음.

37 보조용언 있 - 사용비율 연번 작가 제목 있 /VX 어절수 있 / 어절수 1 김유정 만무방 최서해 탈출기 채만식 치숙 현진건 B사감과 _ 러브레터 이효석 돈 채만식 논 _ 이야기 김유정 봄봄 최서해 고국 염상섭 두 _ 파산 이태준 복덕방

38 보조용언 있 - 사용비율 97 황순원 너와나만의시간 김승옥 역사 김승옥 서울,_1964년_ 겨울 이청준 병신과 _ 머저리 이청준 잔인한도시 임철우 사평역 오상원 모반 김승옥 무진기행 이호철 닳아지는 _ 살들 윤대녕 천지간

39 동사 / 형용사비율과보조용언 있 - 비율의관계 상관계수 : 별다른상관관계없음.

40 문장길이 연번 작가 제목 어절수 문장수 평균문장길이 1 오상원 유예 김원일 어둠의 _ 혼 이호철 닳아지는 _ 살들 황순원 소나기 조세희 뫼비우스의 _ 띠 이범선 오발탄 최서해 탈출기 박경리 풍경A 오상원 모반 최인훈 회색인

41 문장길이 97 채만식 논 _ 이야기 채만식 미스터 _ 방 염상섭 만세전 최명익 장삼이사 이태준 해방전후 김동리 화랑의 _ 후예 유진오 창랑정기 김동리 역마 염상섭 두 _ 파산 이문구 일락서산

42 문장길이 간결체 : 오상원, 김원일, 조세희, 이범선, 최서해, 박경리, 최인훈 만연체 : 이문구, 염상섭, 김동리, 유진오, 최명익, 채만식 황순원의작품들은편차가매우큼. 이태준, 이호철도편차가큰편임.

43 어휘다양성 타입 - 토큰비율 (TTR) 은어휘다양성의가장기초적인지표가되나 텍스트크기의영향을많이받는다는것이문제로알려져있다. 글이짧을때에는같은단어를반복하지않고쓸수있으나 글이길어질수록앞에서사용한단어를반복하지않을수없게된다. 본고에서분석대상이된 106 개의작품의 TTR 이토큰수에따라어떻게영향을받는지그래프로알아보자.

44 토큰수의증가에따른단순 TTR 의증가경향 novel %>% ggplot(aes(token,ttr))+geom_point()+geom_smooth()

45 토큰수의증가에따른단순 TTR 의증가경향 토큰수가증가함에따라 TTR 도가파르게증가함. 관측값들이원점가까이에몰려있고, 극소수의관측값은원점에서매우멀리떨어져있음 (outlier). (highly skewed distribution) outlier 가부당하게전체통계에영향을크게미치는것을막고 분포의편향을완화하기위해서 흔히로그변형이사용됨. X 축에로그변형을하고 TTR 을 log(token) 으로나눠주기로함.

46 log(token) 과 TTR/log(token) 의관계

47 log(token) 과 TTR/log(token) 의관계 기울기가완화되기는했으나, 증가경향이여전함. 분모를 log(token)^2 또는 log(token)^3 으로해줄필요가있음.

48 log(token) 과 TTR/log(token)^2 의관계

49 log(token) 과 TTR/log(token)^3 의관계

50 TTR 과그변형 TTR 을 log(token)^2 으로나눠주면기울기가상당히완만해짐. 또한관측값들이선 (smoother) 주위에몰려있지않고상당히퍼짐. TTR 을 log(token)^3 으로나누면, 기울기가오히려 minus 가됨. 분모를 log(token)^2 으로하는정도로충분하다고판단하여, 이를어휘다양성의지표로삼음. 단, 분모가커서전체값이너무작아지면 다른변수들과함께비교할때직관적인비교가어려우므로 여기에 1000 을곱해주기로함.

51 TTR 의변형을지표로측정한어휘다양성 연번 작가 제목 토큰수 타입수 TTR TTR/log( 토큰 ) 2 1 이문구 일락서산 전광용 꺼삐딴 _ 리 김유정 만무방 김유정 금따는 _ 콩밭 채만식 미스터 _ 방 김소진 자전거도둑 이효석 산 이효석 돈 이효석 메밀꽃 _ 필 _ 무렵 이문열 필론의 _ 돼지

52 TTR 의변형을지표로측정한어휘다양성 97 최시한 허생전을배우는시간 황순원 독짓는 _ 늙은이 이청준 눈길 이청준 줄 황순원 목넘이 _ 마을의 _ 개 박태원소설가 _ 구보씨의 _ 일일 최인훈 광장 최인훈 회색인 이청준 잔인한도시 주요섭 사랑 _ 손님과 _ 어머니

53 어휘다양성지표에대한해석 최인훈의두작품이거의최하위에위치하는것은, 이두작품의분량이월등히많아서 TTR 이엄청나게높게나왔고 변형을거친뒤에도그영향이사라지지않았기때문. (outlier) 반복경향이강한작가 : 주요섭, 이청준, 박태원, 황순원, 최시한, 한수산 반복이적은작가 : 이문구, 전광용, 김유정, 채만식, 김소진, 이효석, 이문열, 최일남, 김정한, 박완서

54 여러변수의종합적고려 : 다변량분석 여러변수들을종합적으로고려한다변량분석 (multivariate analysis) 을통해, 작가 / 작품을분류하고특성을파악하는데도움을받을수있음. 다변량분석의핵심은차원축소 (dimension reduction) 임. 차원이너무많으면, 시각화하기도어렵고인간이총체적으로파악하기어려움. 차원을축소하면원래데이터의정보중일부가소실됨. 정보의손실을최소화하면서파악하기쉽게차원을축소하기위한여러통계기법이개발되어있음.

55 다변량분석의예시 가상의학생 50 명이국어, 영어, 수학, 물리, 화학 5 과목시험을치렀다고가정. 국어점수와영어점수는밀접한상관관계가있고 수학, 물리, 화학점수는밀접한상관관계가있음. 즉영어, 수학두점만가지고그래프를그린것과 5 개과목점수전부를가지고그래프를그린것이비슷함. 다차원척도법으로차원을축소해도언어능력과수리능력에대한정보가별로손실되지않음.

56 영어점수와수학점수의분포 score %>% ggplot(aes(eng,math,label=name))+geom_point()+geom_text(aes(label=name),hjust=0, vjust=0)

57 5 과목점수전체에다차원척도법을적용한결과 score.dist <- dist(score[,2:6]) score.mds <- cmdscale(score.dist, k=2) as_tibble(score.mds) %>% ggplot(aes(v1,v2,label=score$name)) + geom_point() + geom_text(aes(label=score$name),hjust=0,vjust=0)

58 106 개소설작품에다차원척도법을적용하기위한 R script novel5 <- novel[c(6,9,11,14,18)] 5 개변수 ( 접속 / 내포비율, 동사 / 형용사비율, 있 - 비율, 문장길이, TTR 변형 ) 추출 novel_scaled <- scale(novel5) 5 개변수각각의척도가다른것을통일하기위해정규화 (scaling) 관측값에서평균을빼고표준편차로나눔. 평균 0, 표준편차 1 의표준정규분포를따르게됨. novel.dist = dist(novel_scaled) 5 차원공간에서관측값들사이의거리계산 novel.mds = cmdscale(novel.dist,k=2) 다차원척도법으로차원을 5 에서 2 로축소 as_tibble(novel.mds) %>% ggplot(aes(v1,v2,label=novel$title)) + geom_point() + geom_text(aes(label=novel$title),hjust=0,vjust=0) 축소된두차원을 X 축, Y 축으로하여 scatterplot 을그리되 각관측값의위치에소설제목을써넣음.

59 106 개소설작품에다차원척도법을적용한결과

60 군집분석 (cluster analysis) 여러개체에대해여러변수에대해관측값을얻음. 이들개체사이의거리를계산함. 거리계산법에도여러종류가있으나, 대개유클리드거리를이용 거리가가장가까운개체들을묶어서군집을만듦. 군집과개체, 군집과개체사이에서도거리가가까운것부터묶어나감. 모든개체를다포함하는하나의군집이만들어질때까지반복.

61 5 개과목점수에군집분석을시행하기위한 R script score.cl <- hclust(score.dist) 앞에서이미얻은관측값들사이의거리데이터를가지고 위계적군집분석 (hierarchical cluster analysis) 을시행 plot(score.cl, labels=score$name, cex=1.0) 군집분석결과를그래프로그리되 각관측값의위치에학생이름을써넣음. 글자크기는 1.0

62 5 개과목점수에군집분석을시행한결과

63 106 개소설에군집분석을시행하기위한 R script novel.cl = hclust(novel.dist) plot(novel.cl, labels=novel$title, cex=0.6)

64 106 개소설에군집분석을시행한결과

65 앞으로의과제 가능한한많은작품을전자화하거나이미전자화된텍스트를입수 문체적특징을잘드러내는다양한계량적지표를가능한한많이찾아냄 계량적지표수치와연구자의직관이부합되는지여부조사 부합되지않는경우, 그이유를찾아냄.

1. 최인훈, 광장 창비, 비상교평, 비상교육, 천재교육, 천재교과서, ( 주 ) 지학사, 1천재박, 1천재행, 1디딤돌 2. 최인훈, 동동낙랑둥 미래엔 3. 최인훈, 어디서무엇이되어만나랴 교학코퍼 4. 최인훈, 놀부텬 - 1신사고 / p. 126 인수 B형최인훈, 광

1. 최인훈, 광장 창비, 비상교평, 비상교육, 천재교육, 천재교과서, ( 주 ) 지학사, 1천재박, 1천재행, 1디딤돌 2. 최인훈, 동동낙랑둥 미래엔 3. 최인훈, 어디서무엇이되어만나랴 교학코퍼 4. 최인훈, 놀부텬 - 1신사고 / p. 126 인수 B형최인훈, 광 국어영역유현주저서 ) 오르비북스. 두드림모의고사 A형 (2014) 두드림모의고사 B형 (2014) 문법의끝 (2014) 문학개념의끝 (2014) www.facebook.com/youteacher.dodream [ 고 1, 고 2 교과서수록작품및 EBS 수록작품연계경향 ] 현대소설 1. 신경숙, 감자먹는사람들 비상교평 2. 신경숙, 새야새야 교학코퍼 3. 신경숙,