저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

Size: px

Start display at page:

Download "저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할"

주봉 구
5 years ago
Views:

1 저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우, 이저작물에적용된이용허락조건을명확하게나타내어야합니다. 저작권자로부터별도의허가를받으면이러한조건들은적용되지않습니다. 저작권법에따른이용자의권리는위의내용에의하여영향을받지않습니다. 이것은이용허락규약 (Legal Code) 을이해하기쉽게요약한것입니다. Disclaimer

2 이학석사학위논문 Bradley-Terry model analysis using varying coefficient 공변량의존브래들리-테리모형을이용한평가자편의모형화및분석 2016 년 8 월 서울대학교대학원 통계학과 정유빈

3 국문초록 쌍비교를통해전체개체를서열화하는확률모형으로브래들리-테리모형이있다. 비교를통한평가를할경우객관적인평가지표가존재하지않는이상평가자의주관이개입된다. 본논문에서는공정한평가를위해기존의브래들리-모형을보완한모형을제안한다. 제안한모형은평가자와평가대상자의정보를모두포함하며, 평가자와평가대상자의상호작용을평가자의존공변량으로모형화하여평가자의주관을효과적으로제거시킨다. 또한제안모형으로모의실험을진행하여고정된평가자와평가대상자의정보로최적의평가자수와평가자당평가수를찾는다. 주요어 : 브래들리 - 테리모형, 쌍비교분석, 평가자의존공변량 학번 :

4 Contents 1 서론 1 2 이론적 배경 Thurstonian model Bradley-Terry model Luce model 모수추정 모형설명 기존의 브래들리-테리 모형 평가대상자의 정보가 포함된 브래들리-테리 모형 평가대상자, 평가자 정보가 포함된 브래들리-테리 모형 The Lasso 모의실험 자료설명 결과 모형비교 모형 3.3이 유효한 평가자 수와 평가자 당 평가 수 i

5 5 결론 21 ii

6 List of Tables 4.1 역량값의관점에따른모형의성능비교 iii

7 List of Figures 4.1 p 1, p 2 에따른모형 3.3 상관계수 p 1, p 2 에따른각모형간상관계수차이 iv

8 Chapter 1 서론 일상생활에서 비교를 통해 우열을 가리는 것은 흔히 있는 일이다. 이러한 비교를 수학적으로 분석을 가능케 하는 확률모형으로는 대표적으로 브래들 리-테리 모형(Bradley-Terry model)을 들 수 있다. 브래들리-테리 모형은 쌍 비교(paired comparison)에 대한 자료가 있을 때 쌍의 선호도에 대한 순위를 비교할 수 있는 확률모형이다. i와 j라는 두 개의 아이템이 있을 때, i의 순위가 j보다 높을 확률 혹은 i가 j보다 선호 될 확률을(Pr(i > j))을 추정한다. 실생 활에서는 운동경기의 승률을 예측하거나 정보검색(Information retrieval, IR) 에서 문서의 랭킹을 매기는 용도로 쓰이고 있다. 순위를 비교하는 객관적인 기준이 존재하는 경우는 쌍 비교에 대한 평가 결과로 순위를 세우는 기존의 브래들리-테리 모형이 합리적으로 쓰일 것이다. 그러나 객관적인 기준이 존재하지 않는 경우에는 평가자의 주관이 개입될 가 능성이 매우 크지만 기 모형에서는 평가자의 주관을 제거하거나 조절할 수 없다. 따라서 후자의 경우 기존의 브래들리-테리 모형의 성능을 개선한 모형 으로 평가를 해야 한다. 특히 사람이 사람을 평가한다면 평가자와 평가대상자 간 친소관계 등으로 인한 평가자의 주관을 제거하는 것은 필수 적일 것이다. 1

9 따라서 본 논문에서는 평가자가 주관적인 평가를 할 경우에 초점을 맞추어 이를 보완한 모형 두 가지를 제안한다. 첫째, 평가대상자들의 기본적인 정보를 공변량으로 포함한 모형이다. 둘째, 평가를 하는 사람의 주관이 섞여 있을 경우, 평가자의 객관적인 평가를 위해 평가자와 평가대상자의 정보를 모두 포함하 며 평가자와 평가대상자의 상호작용을 평가자별 varying cofficient로 나타낸 모형이다. 두 번째 모형은 평가자의 주관을 배제한 평가대상자들의 순위를 구할 수 있다. 가장 기본적인 브래들리-테리 모형과 본 논문에서 제안한 두 모형에서 구한 평가대상자들의 순위를 실제 순위와 스피어만 순위 상관계수 (Spearman Correlation Coefficient)를 이용하여 비교한다. 또한 평가대상자들 의 수와 개인의 속성의 수를 고정시켰을 경우, 평가자와 평가자 당 평가 수를 변화시키면서 최적의 평가자와 평가자 당 평가 수의 비율을 도출한다. 본 논문의 제2장에서는 쌍 비교에 대한 이론적인 배경에 대해 설명한다. 제3장에서는 논문에서 제안하는 모형과 모수 추정시 변수 선택 방법인 Lasso 에 대해 간략히 소개한다. 이어서 제4장에서는 3장에서 소개한 모형을 이용한 모의실험 분석 결과에 대해 논의한다. 마지막으로 제5장에서는 결론을 도출하 도록 한다. 2

10 Chapter 2 이론적 배경 선호도를 확률모형으로 제안한 인물에는 대표적으로 Louis Leon Thurstone, Ralph Allen Bradley, R. Duncan Luce가 있다. 이들이 제안한 각각의 모형의 특징과 브래들리-테리 모형이 갖는 이점에 대해서 살펴보도록 하겠다 Thurstonian model Louis Leon Thurstone ( )은 플레이어의 선호도를 잠재변수를 사용 하여 확률모형을 도출하는 것을 제안하였다. 플레이어j의 잠재변수를 Zj 라고 한다면, Zj 는 다음과 같이 나타 낼수 있다(Thurstone, 1927). iid Zj = λj + j for j = 1,..., p, j F and λj R (2.1) 플레이어 j가 플레이어k보다 선호되는 사건을 {j k}로 표현한다면 잠 재변수로 표현한 사건은 아래와 같이 나타낼 수 있다. 3

11 {j k} = {Zj > Zk } Thurstone은 (2.1)의 확률분포 F 에 정규 분포를 사용하였으며, 모수 λj 는 플레이어 j의 평균 선호도를 나타낸다 Bradley-Terry model Ralph Allen Bradley ( )는 모든 플레이어가 비교가 되지 않는 불 완전한 쌍의 비교를 통해 선호의 순서를 추정하는 확률 모형을 제안하였다 (Bradley and Terry, 1952). 개개인의 플레이어를 하나의 모수로 두고, 모수를 이용하여 선호 확률을 나타내는 방법이다. 플레이어 j와 k의 모수를 uj, uk 이라 하자. (uj, uk 는 0보다 큰 실수) 플레 이어j가 플레이어 k보다 선호 될 확률(θjk )은 다음과 같이 나타내며 각각의 선호도는 독립이라 가정한다. θjk = uj uj + uk 플레이어 j가 k보다 선호 됨을 나타낸 지시변수를 yjk 라고 하고 각각의 yjk 는 독립이라고 가정하자. 가정에 따라 yjk 는 아래와 같이 나타낼 수 있다. yjk Bernoulli(θjk ) 따라서 yjk 가 1일 경우 플레이어 j가 선호되고, 0일 경우 플레이어 k가 선호된 다고 할 수 있다. 4

12 2.3. Luce model R. Duncan Luce( )는 choice axiom과 Luce model을 제안하였다. Luce model은 인간의 선택 과정을 확률적으로 구축한 모형이다. j개의 아 이템이 있을 때 i번째 아이템을 선택할 확률은 다음과 같이 나타낸다(Luce, 1959). Pr(i) = j X P k=1 exp(λi ) k i j exp(λj ) Luce는 Thurstonian model에서 제안한 잠재변수를 이용하여 브래들리-테리 모형을 설명하여, 브래들리-테리 모형이 Luce model의 특별한 경우임을 보였 다. j 가 표준 검벨분포(standard Gumbel distribution)을 따른다고 가정하면 Pr {j k}는 아래와 같이 나타낼 수 있다(Luce, 1959; Plackett, 1975). Pr {j k} = exp(λj ) exp(λj ) + exp(λk ) 위의 식은 흔히 알고 있는 로지스틱 회귀분석의 확률 모형과 동일한 것으로 모수추정과 해석에 있어 매우 용이하다 모수추정 모수를 추정하는 방법은 다음과 같다. yijk 가 플레이어 j, k의 선호도를 나타 내는 지시변수라 하자. yijk 는 독립이라 가정하면 가능도 함수는 다음과 같이 나타낼 수 있다. L(λ1,..., λp ) = Y i,j,k yijk 1 yijk exp(λj ) exp(λk ) exp(λj ) + exp(λk ) exp(λj ) + exp(λk ) 5

13 모형이 참일 경우, MLE는 정칙조건 하에서 점근적으로 정규성을 만족하는 좋은 성질을 지닌 일치 추정량이 된다. 이처럼 잠재변수를 통해 나타낸 브래들리-테리 모형은 j 가 검벨분포를 따르 는 Turstonian model과 동일한 모형으로 볼 수 있다. 해당 모형은 간단하게 로지스틱 회귀분석으로 나타낼 수 있다. 또한 모형이 가정이 참일 경우 점근 적 성질로 인해 MLE를 쉽게 도출할 수 있어 쌍 비교 분석 시 브래들리-테리 모형이 널리 사용된다. 6

14 Chapter 3 모형설명 3.1. 기존의 브래들리-테리 모형 가장 기본적인 브래들리-테리 모형으로 개개인을 1:1로 비교하여 랭킹을 매긴 다고 하자. 이때 사람들마다 고유한 하나의 역량 값이 존재한다고 가정하고, 그 값에 의해서만 승패에 대한 확률모형이 만들어진다. (예 : 팔씨름, 역량 값해당 선수의 힘, 역량 값(힘)이 셀수록 이길 확률이 높도록 확률 모델을 만듦.) 즉, j와 k라는 평가 대상자가의 있을 때 j가 k보다 선호 될 확률Pr(j > k) 은 다음과 같이 나타낼수 있다. Zj = λj + i, Zk = λk + k (3.1) Zj 와 Zk 는 j와 k의 고유 역량 값인 λj, λk 에 대한 잠재변수이다. 연속형 변수이며 Zi 들은 독립이다. 7

15 Pr(Zi > Zk ) = Pr(λi λk > k j ) = exp(λi λk )I(j>k) 1 + exp(λi λk ) (3.2) 이 모형은 오직 쌍에 대한 승패 정보만을 사용하게 된다. 즉, 모든 사람들을 오직 하나의 역량 값으로만 대표하기 때문에 사람들의 고유한 정보를 전혀 사용하지 않게 된다. (인구학적 정보 등) 따라서 이를 반영하여 사람들의 고유 정보를 공변량으로 반영하여 발전시킨 모형을 다음과 같다 평가대상자의 정보가 포함된 브래들리-테리 모형 기존의 브래들리-테리 모형에 사람들의 고유 정보까지 포함하여 만든 브래들 리-테리 모형이다. 승패 정보뿐 아니라 사람들의 정보도 사용하기 때문에 좀 더 정확하고 좋은 결과를 만들 수 있다. Z(j, xi ) = λ0j + p X xjm βm + 0j m=1 p Z(k, xi ) = λ0k + X (3.3) xkm βm + 0k m=1 Zj 와 Zk 는 앞서 언급했던 고유 역량 값에 대한 잠재변수이다. xjm 와 xkm 는 평 가대상자 정보이다. 평가대상자의 개인적인 속성을 나타내며 연속형 변수와 범주형 변수가 혼합되어 있다. 모의실험에서는 분석과 모형의 해석의 용이성을 위해 범주형 변수로 변환하여 분석을 진행한다. βm 은 평가대상자 효과이다. 평 가대상자의 개인적인 속성(xi )가 추정된 순위에 영향을 미치는 정도를 수치로 나타낸다. 8

16 Pr(Zj > Zk ) = Pr(λ0j λ0k > k 0j ) P I(j>k) exp(λ0j λ0k ) + pm=1 (xjm xkm )βm P = 1 + exp(λ0j λ0k ) + pm=1 (xjm xkm )βm (3.4) 하지만 이 모형 역시 제 3자가 승패를 결정하는 상황에서는 적합하지 않을 수 있다. 두 사람의 고유한 정보 외에도 제삼자의 주관적인 기준이 개입되기 때문이다. 따라서 제삼자(평가자)가 승패를 결정하는 경우에는 그 사람이 중 요하게 생각하는 기준 또한 모형에 포함이 되어야 한다 평가대상자, 평가자 정보가 포함된 브래들리테리 모형 3.2의 브래들리-테리 모형에 평가자의 정보를 추가한 모형이다. 각 평가자들 마다 평가 기준이 다르다는 가정 하에 3.2의 모형보다 더 좋은 예측 결과를 기대할 수 있다. 평가자에 따라 평가대상자의 어떤 점을 중요하게 생각하는지 모르기 때문에 가능한 모든 경우의 수를 고려하여 평가자들의 기준을 모형에 포함시킨다. Z(j, xi, ν) = λ00j + Pp xjm βm + Pp Pq Z(k, xi, ν) = λ00k + Pp m=1 xkm βm + Pp Pq m=1 m=1 m=1 n=1 (νhn ν n )xjm δmn + 00j (3.5) 00 (ν ν )x δ + n km mn k n=1 hn Zj 와 Zk 는 앞서 언급했던 고유 역량 값에 대한 잠재변수이다. xjm 와 xkm 는 평가대상자 정보이며 βm 은 평가대상자 효과이다. νhn 는 평가자 h의 정보를 9

17 나타낸다. 모의실험에서는 평가대상자의 정보의 개수인 xi 와 일치하게 설정 했으나 평가자의 자질을 평가하는 항목이 추가되거나 xi 보다 적은 항목으로 설정하여도 무방하다. 평가자 h는 평가대상자 j, k를 평가하는데 평가와 평가 대상자 사이의 상호작용을 평가자 효과(δmn )로 나타낸다. δmn 의 크기에 따라 평가자가 평가대상자의 주관적 평가가 순위에 어떤 영향을 나타내는지 알 수 있다. Pr(Zj > Zk λh ) = Pr(A + B + C > 00k 00j ) = where,, 00j, 00k Gumbel dist. exp(a + B + C)I(j>k) 1 + exp(a + B + C) A = λ00j λ00k B= p X (3.6) (xjm xkm )βm m=1 p q XX C= {(νhn ν n )δmn }(xjm xkm ) m=1 n=1 위의 모형의 경우 설명변수의 절대적인 수치는 중요하지 않고, 설명변수의 높 낮이만 중요하기 때문에 νi 에서 ν n 를 빼줌으로써 센터링을 시킨다. 이 과정을 통해 identifiable 하지 않던 모수가 identifiable 하게 된다. 하지만 이처럼 너무 많은 정보를 모형에 집어넣게 되면 앞의 모형들과 비교하여 너무 복잡하다는 단점이 생긴다. 모형을 결정하는 변수의 가짓수가 너무 많기 때문에 과적합 (overfitting)이 우려된다. 이를 위해 최신 통계 기법(Lasso)를 이용하여 모든 변수를 사용하지 않고, 유의한 변수들만을 선택하여 사용한다. 10

18 3.4. The Lasso 고차원 또는 대용량 자료를 분석에서 관측치의 수보다 설명변수의 수가 현저 히 많을 경우 과적합이 일어난다. 과적합을 피하기 위해 변수 선택(Variable selection), 차원 축소(Dimension reduction teqniqes), 축소 추정법(Shirinkage method) 등의 해결 방법이 있다. 그중 Lasso (The least absolute shrinkage and selection operator)는 축소 추정법으로 벌점화 함수(penalty function)을 통해 계수 추정 및 변수 선택을 동시에 수행한다. 3.3처럼 복잡한 모형의 모 수를 추정할 때, 모든 변수를 추정하지 않고 중요도가 높은 변수를 골라 모수 추정을 하게 된다. 조절 모수(tuning parameter)를 λ( 0)이라 할 때 Lasso의 벌점함수는 아 래와 같이 정의한다(Tibshirani, 1996). Pr(β) = λ k β k1 = λ λ p X βj j=1 Lasso의 손실 함수는 기존의 손실 함수에 벌점항을 집어넣어 다음과 같 이 정의하며 라그랑지 승수법 (The Method of Lagrange Multipliers)에 의해 아래의 두 식은 동치이다. l(β) = equal to, minimize n X i=1 n X l(yi, XiT β) +λ p X βj j=1 l(yi, XiT β) i=1 subject to λ p X βj c j=1 조절 모수를 통해 β값을 조절할 수 있어 계수 축소 역할을 한다. 또한 벌점 함수가 0에서 미분이 불가능한 오목함수이기 때문에 미분이 불가능한 구간에 서 β 는 0이 되고 이로 인해 Lasso는 성김성(Sparsity)을 갖는다. 즉 모형의 복 잡도를 감소시키고 해석력을 높이게 된다. 본 논문에서는 통계 분석 프로그램 R의 glmnet 패키지를 이용하여 유의한 변수를 선택하고 모수를 추정하였다. 11

19 Chapter 4 모의실험 4.1. 자료설명 모의 실험을 위한 자료의 생성은 아래의 방법으로 하였다. N = 100 :전체 평가대상자 수 p = 20 :개인의 속성 수 M = N p1 :평가자 수 r =N 1 C2 p2 :평가자 당 평가 수 p1 = {0.05, 0.10, 0.15, 0.20,..., 0.45} : 평가자 수를 조절하는 비율 p2 = {0.005, 0.010, 0.015, 0.020,..., 0.100} : 평가자 당 평가 대상자 수를 조절하는 비율 12

20 실제 평가가 있을 경우, 평가대상자와 개인의 속성은 고정 되는 수이므로 모의실험의 전체 평가대상자 N 명과 p개의 개인 속성을 각각 100명과 20개로 고정시킨다. 전체 평가대상자 N 에 포함되는 평가를 하는 인원과 평가자가 평 가를 하는 수는 경제적인 선에서 조절이 가능하다. 따라서 평가자 수 M 은 N 에 p1 을 곱하여 나타낸다. 같은 방법으로 평가자 당 평가 수 r은 평가자를 제외한 가능한 모든 조합인 N 1 C2 에 p2 라는 조절 변수를 곱하여 r값을 조절한다. 조 절 변수 p1 은 0.05에서 0.45까지 0.05를 간격으로 설정하였다. p2 는 0.005에서 0.1까지 0.05를 간격으로 설정하였다. p1, p2 는 0에서 1까지의 값이 가능하나 과반수의 평가자가 평가를 하게 될 경우 전체 평가 수가 너무 많아지고 현실 적으로 불가능하기 때문에 p1 의 최댓값은 0.4로 하였다. 마찬가지로 한 평가자 당 너무 많은 조합의 평가는 어려우므로 p2 의 최댓값은 0.1로 하였다. 그 외의 모수의 샘플링과 설정은 다음과 같이 진행하였다. 1. 개인 속성 (p) 설정 개인의 속성은 총 20가지로 X1, X2,..., X20 으로 나타낸다. X1 N (0, σ1 ) X2 N (0, σ2 )... X20 N (0, σ20 ) 이때 σi 는 감마 분포에서 추출하였다. (σi Gamma(1, 1)) 13

21 2. 모수 샘플링: 역량 값(λ),평가대상자 효과(β),평가자 효과(δ) λ N (0, 1) β N (0, 0.1) δ N (0, 0.05) 역량 값, 평가대상자 효과, 평가자 효과는 평균이 0인 정규분포에서 추출 하였다. 분산은 모수의 중요도에 따라 영향을 가장 크게 미칠 것이라고 생각되는 모수의 분산을 크게 하여 역량 값은 1, 평가대상자 효과는 0.1, 평가자 효과는 0.05로 하였다. 모수의 중요도는 평가 시 임의로 결정한 것이며 실제 자료가 있을 경우에는 모수 추정량의 절댓값으로 판단할 수 있을 것이다. 3. 평가자, 평가자 당 평가 수 샘플링 평가자는 앞서 언급한 방법으로 M 명을 선택하게 된다. 평가자는 100명 중 M 명을 뽑는 방법 즉, 100 CM 으로 추출한다. 평가자 당 평가 수 역시 조합(Combination)으로 추출하는데, 평가자 본인을 제외한 99명의 평가 대상자 2명을 뽑는다.(99 C2 ) 평가자 당 평가 수가 r번 진행되므로 평가자 한 명당 99 C2 r번의 평가를 하게 된다. 같은 방법으로 전체 평가자가 M 명이므로 모든 평가자에 의해 총 99 C2 r M 번의 평가가 진행된다. 4. 평가 쌍에 대한 평가 결과 샘플링 평가 쌍이 (j, k) 일 때, 평가자가 평가대상자 j를 선호할 확률, Pr(Zj > Zk )은 모형 별로 식(3.2), (3.4), (3.6)과 같이 나타낼 수 있다. 위의 확률들을 θjk 로 나타내고 θjk 는 베르누이 분포를 따른다고 가정하 자. 평가자는 Bernoulli(θjk ) 값이 1일 경우 평가대상자j를 0일 경우 평가대상자 k를 선택하게 된다. 14

22 1, 평가대상자 j선택 Bernoulli(θjk ) = 0, 평가대상자 k선택 4.2. 결과 모의 실험의 결과를 보기 앞서 성능비교에 사용 된 측정지표와 개인의 역량 값을 정의하겠다. 1. 성능평가 지표: 스피어만 순위 상관계수 앞서 소개한 세 모형은 모두 평가 쌍의 평가 정보를 통해 평가대상자 들의 순위를 도출해낸다. 이처럼 측정값이 순위 척도로 주어질 경우, 실제 순위와 추정한 순위가 유사한지를 모형의 평가 지표로 하며 순위 상관계수를 사용하여 나타한다. 대표적인 순위 상관계수로는 스피어만 순위 상관계수(Spearman s rank correlation coefficient, ρ)와 켄달 순위 상관계수(Kendall rank correlation coefficient, τ )가 있다. 본 논문에서는 모형들의 성능을 비교하기 위해 스피어만 순위 상관계수를 사용하였다. 스피어만 순위 상관계수는 순위 상관관계를 측정하는 비모수적인 방법 으로 두 순위 사이의 상관관계를 측정한다. 스피어만 순위 상관계수는 다른 상관계수들과 마찬가지로 ρ는 -1에서 1사이의 값을 가진다. 1은 두 가지 순위가 완벽히 일치함을 나타내며, -1은 두 가지 순위가 반대의 방향으로 완벽히 일치함을 나타낸다. 0은 두 순위 간 전혀 상관관계가 없음을 나타낸다. 따라서 1에 가까울수록 양의 상관관계가 크고 -1에 가까울수록 음의 상관관계가 큼을 의미한다. 2. 평가대상자의 역량 값 설정 제안된 모형에는 사람의 능력을 표현하는 2 가지 관점이 있다. 첫 번째는 15

23 식 (3.5)의 λi 와 같이 개인 고유의 역량 값만 능력으로 보는 방법이다. λi 는 노력 없이 얻어지는 선천적인 능력이다. 예를 들어 운동신경, IQ 등을 P 생각할 수 있다. 두 번째는 식 (3.5)의 λi + pm=1 xim βm 로 고유의 역량 값 P (λi )에 개인의 사회적인 속성( pm=1 xim βm )을 더한 값까지 개인의 능력 으로 보는 방법이다. 사회적인 속성xi 에는 기본적으로 나이, 학력, 연봉, 경력 등이 들어갈 수 있는데, 이는 사회적으로 생성된 값으로 개인의 노 력이나 사회생활로 자연스레 얻어지는 것들로 이 역시 평가대상자들의 능력을 형성하는데 의미 있는 역할을 한다고 판단하였다. 이후 위에서 언급한 두 가지 역량 값은 다음과 같이 간단히 표기하겠다. a) λ : 개인 고유의 역량 값 b) λ + Xβ : 사회적 능력을 포함한 역량 값 따라서 두 가지 관점에 따라 λ값과 λ + Xβ값을 기준으로 실제 순위와 모형 3.1 모형 3.3의 추정 순위를 도출하며, 실제 순위와 추정하여 구한 순위들의 상관계수를 측정하여 모형의 성능 평가를 실시한다 모형비교 평가자의 수(M )를 조절하는 p1 은 0.3이고, 평가자 당 평가 수(r)을 조절하는 p2 는 0.06일 때, 위에서 언급한 두 가지 관점 별로 모형 비교를 실시했다. 시 뮬레이션은 50회 진행하였으며 각 모형 별로 계산된 상관계수의 평균으로 두 순위 간의 일치성을 판단하였다. 결과는 표 4.1과 같다. 표 4.1은 각 관점 당 1. 실제 순위와 브래들리-테리 모형으로 추정한 순위(λ 3.1 )의 상관계수, 2. 실 제 순위와 평가대상자의 정보를 포함한 모형으로 개인의 능력을 고유 역량 값으로만 추정한 순위(λ 3.2 )의 상관계수, 3. 실제 순위와 평가대상자의 정보를 포함한 모형으로 개인의 능력을 고유 역량 값과 사회적 능력의 합으로 추정한 16

24 Table 4.1: 역량 값의 관점에 따른 모형의 성능비교 λ λ + Xβ 1. λ λ λ X β λ λ X β 순위(λ X β 3.2 )의 상관계수, 4. 실제 순위와 평가대상자, 평가자의 정보를 포함한 모형으로 개인의 능력을 고유 역량 값으로만 추정한 순위(λ 3.3 )의 상 관계수, 5. 실제 순위와 평가대상자, 평가자의 정보를 포함한 모형으로 개인의 능력을 고유역량값으로만 추정한 순위(λ X β 3.3 )의 상관계수를 나타냈다. 결과적으로 λ + Xβ를 기준으로 구한 실제 순위와 λ X β 3.3 를 기준으로 구 한 추정 순위에 대한 상관계수가 가장 컸으며, λ를 기준으로 구한 실제 순위와 λ X β 3.2 의 추정 순위에 대한 상관계수가 가장 작았다. 실제 순위와 추정 순위의 관점에 따라 상관관계가 더 높아지기도 하고 낮아지기도 하지만 전반 적으로 모형 3.3의 상관계수가 상당히 크다. 모형의 복잡도를 고려하여도 다른 모형과 비교했을 때 크게는 6배, 평균적으로 3배가 넘는 결과 값으로 순위를 매우 효과적으로 추정하였다고 볼 수 있다 모형 3.3이 유효한 평가자 수와 평가자 당 평가 수 위의 모의실험에서 p1 과 p2 가 각각 0.3, 0.06일 때, 모형 3.3이 효과적인 모형이 라는 결과를 얻었다. 하지만 p1 과 p2 는 평가 시에 유동적으로 선택을 할 수 있는 값이므로 p1 과 p2 의 범위를 확장시켜 생각해 보겠다. 모든 평가대상자들이 평 17

Figure 4.1: p1, p2 에 따른 모형 3.3 상관계수 (a) λ vs λ 3.3 (b) λ + Xβ vs λ 3.3 + X β 3.3 가를 받는 동시에 자신을 제외한 모든 평가대상자들의 쌍을 비교한다면 그로 도출된 순위가 가장 높은 정확도를 보일 것이다. 하지만 이는 경제적인 입장에 서 거의 불가능하다.

25 Figure 4.1: p1, p2 에 따른 모형 3.3 상관계수 (a) λ vs λ 3.3 (b) λ + Xβ vs λ X β 3.3 가를 받는 동시에 자신을 제외한 모든 평가대상자들의 쌍을 비교한다면 그로 도출된 순위가 가장 높은 정확도를 보일 것이다. 하지만 이는 경제적인 입장에 서 거의 불가능하다. 따라서 평가자의 수와 평가자 당 평가 수가 많지 않아도 상관계수의 값이 높은 지점에서 평가를 실시한다면 정확도는 물론 경제적인 이점을 얻을 수 있을 것이다. 그림 4.1은 사람의 능력을 보는 관점 별로 p1, p2 에 따른 실제 순위와 모형 3.3 순위의 상관계수를 도식화 한 것이다. 빨간색으로 갈수록 상관계수가 높고 파란 부분으로 갈수록 상관계수가 낮다. 전반적으로 오른쪽 그래프가 왼쪽의 그래프 보다 빨간색 부분이 많지만 전반적인 상관계수의 분포는 유사하다. 또 한 두 그래프 모두 p1 은 0.2에서 0.3사이, p2 은 0.3 근처에서 주변의 색과는 다르게 상관계수가 상당히 높은 것으로 추정되었다. 이처럼 평가대상자 수가 고정되어 있는 경우 경제성을 고려한 p1,p2 를 설정하여 실험 계획을 할 수 있다. 18

26 그림 4.2는 p1 과 p2 를 확장시켜 모형의 성능 차이를 도식화한 것이다. 모 형별로 계산된 상관계수를 빼주어 각 포인트별로 모형의 정확도를 보여준다. 절댓값이 클수록 성능 차이가 많이 나고 절댓값이 0에 가까울수록 성능 차이 가 없다고 판단할 수 있다. 그림 4.2의 (a)와 (b)는 전반적으로 푸른색을 띤다. 또한 모형 3.3의 상관계수에서 모형 3.1의 상관계수를 뺀 (c), (d)와 모형 3.3 의 상관계수에서 모형 3.1의 상관계수를 뺀 (e), (f)의 그래프의 추세가 거의 일치하는 것을 볼 수 있다. 이는 두 모형 간 성능 차이가 크지 않음을 시사한다. 반면 그림 4.2의 (c)와 (d)는 p1 과 p2 가 증가할수록 붉은 색을 띤다. 이는 p1 과 p2 가 증가할수록 모형의 복잡성을 비교적 많이 반영함을 의미한다. 19

27 Figure 4.2: p 1, p 2 에따른각모형간상관계수차이 (a) ˆλ 3.2 ˆλ 3.1 (b) (ˆλ X ˆβ 3.2 ) ˆλ 3.1 (c) ˆλ 3.3 ˆλ 3.1 (d) (ˆλ X ˆβ 3.3 ) ˆλ (e) ˆλ 3.3 ˆλ 3.2 (f) (ˆλ X ˆβ 3.3 ) (ˆλ 3.1+X ˆβ3.2 )

28 Chapter 5 결론 본 논문에서는 주관적 기준을 가진 쌍 비교 분석을 할 때, 평가자의 주관을 제거시키는 확률모형을 제안하였다. 가장 기본적인 브래들리-테리 모형에 평 가자와 평가대상자의 정보를 포함시키고, 평가자와 평가대상자의 상호작용을 평가자 의존 공변량(varying coefficient)으로 모형화하였다. 모의실험 결과, 개 인의 역량을 보는 두 가지 관점 모두에서 실제 순위와 모형 3.3의 추정 순위가 다른 모형들의 상관계수보다 두 배 가량 큰 값으로 상관관계가 가장 높았다. 또한 고정된 평가대상과 개인의 속성 하에서 적당히 높은 상관관계를 갖지만 평가자 수와 평가자 당 평가 수가 적은 부분이 존재하여 경제적으로 이점을 갖는 구간을 찾을 수 있었다. 위의 모형은 Lasso로 상당수의 변수가 선택 및 축소되었지만 여전히 복잡한 모형이다. 따라서 고차원 분석에서 로지스틱 회 귀분석이 갖는 약점은 여전히 존재한다. 이를 개선하는 방법에 대한 연구가 이루어진다면 본 논문의 제안 모형보다 효과적으로 평가자의 주관을 제거하 는 모형을 도출할 수 있을 것으로 사료된다. 21

29 References [1] Alan Agresti and Maria Kateri. Categorical data analysis. Springer, [2] Ralph A Bradley. A biometrics invited paper. science, statistics, and paired comparisons. Biometrics, pages , [3] Ralph Allan Bradley and Milton E Terry. Rank analysis of incomplete block designs: I. the method of paired comparisons. Biometrika, 39(3/4): , [4] Jerome Friedman, Trevor Hastie, and Robert Tibshirani. The elements of statistical learning, volume 1. Springer series in statistics Springer, Berlin, [5] David R Hunter. Mm algorithms for generalized bradley-terry models. Annals of Statistics, pages , [6] Jong-June Jeon and Yongdai Kim. Revisiting the bradley-terry model and its application to information retrieval. Journal of the Korean Data and Information Science Society, 24(5): ,

30 [7] R Duncan Luce. Individual choice behavior: A theoretical analysis. Courier Corporation, [8] Charles Spearman. The proof and measurement of association between two things. The American journal of psychology, 15(1):72 101, [9] Louis L Thurstone. A law of comparative judgment. Psychological review, 34(4):273, [10] Louis L Thurstone. Psychophysical analysis. The American journal of psychology, 38(3): ,

31 Abstract Yoobin Jung The Department of Statistics The Graduate School Seoul National University The Bradley-Terry model is a probability model that can predict the rank of items through paired comparisons. If there is no objective standards of valuation, appraiser makes a decision subjectively in comparison. In this thesis, I introduce the Bradley -Terry model using varying coefficient for fair evaluation. Proposed model includes information of appraiser and appraisee unlike simple Bradley-Terry model. And this model models interactions between appraiser and appraisee as varying coefficient. It can remove the appraiser s subject. Also I can find the optimal number of appraisers and evaluation per appraiser through simulations. Keyword :Bradley-Terry model, Pairwise comparison analysis, Varying coefficient Student Number :

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할

저작자표시 - 비영리 - 변경금지 2.0 대한민국 이용자는아래의조건을따르는경우에한하여자유롭게 이저작물을복제, 배포, 전송, 전시, 공연및방송할수있습니다. 다음과같은조건을따라야합니다 : 저작자표시. 귀하는원저작자를표시하여야합니다. 비영리. 귀하는이저작물을영리목적으로이용할수없습니다. 변경금지. 귀하는이저작물을개작, 변형또는가공할수없습니다. 귀하는, 이저작물의재이용이나배포의경우,