편집인워크숍 2017. 10. 27. 부경대학교 Journal Metrics 김기홍 ( 과편협 ; 아주대 )
Introduction Journal metrics: 학술지의수준과영향력을정량적으로나타내기위한지표들 Citation analysis: 대부분의지표들은학술지들의인용데이터를분석하여얻음 Impact Factor: 가장널리알려져있고큰영향력이있는지표. 간단하게계산되는반면여러문제점도갖고있음. Journal metric 과유사한방법으로연구자, 연구기관, 개별논문에대한 metric 을도입할수있음
Metrics Impact Factor와관련지표들 Eigenfactor Score, Article Influence Score CiteScore SNIP, SJR, IPP h index, g index, i10 index Google Scholar Metrics Altmetrics 기타새로운제안들
Bibliometrics Term coined by Alan Pritchard in 1969 methods to quantitatively analyze academic literature Discipline of measuring performance of a researcher, collection of articles, journal, research discipline or institution It involves application of statistical analyses to study patterns of authorship, publication, and literature use. Citation analysis and content analysis
Impact Factor 및관련지표들 Impact Factor 의아이디어는 1955 년에 Eugene Garfield 에의해처음으로제안됨 [Citation indexes for science: a new dimension in documentation through association of ideas, Science 122, 108 (1955)] 이를바탕으로 1964 년에 SCI(Science Citation Index) 가탄생하였고학술지들에대한정량적인평가가이루어지기시작 이지표는 Clarivate Analytics 사의 JCR(Journal Citation Reports) 에발표되어광범위하게사용되고있음. JCR 에는 Impact Factor 외에도여러가지의연관된지표들이발표됨.
JCR databases SCIE: 8850 학술지 SSCI: 3200 학술지 A&HCI: 1700 학술지 ESCI: 5000 학술지 cf. Scopus: 22600 학술지
Impact Factor 주어진해에어떤학술지의 Impact Factor 는그전 2 년동안그학술지에출판되었던논문들이주어진해에받은인용횟수의논문한편당평균값 A = (X-1) 년과 (X-2) 년에학술지 J 에출판된모든 item 이 X 년에조사대상학술지들에인용된총횟수 B = (X-1) 년과 (X-2) 년에학술지 J 에출판된모든 citable item 의총수 X 년에학술지 J 의 Impact Factor = A / B citable item( 또는 source item) 은논문들만을포함하며 erratum, editorial, abstract 등은포함하지않음. 반면에 A 를구할때에는 J 에출판된모든 item 들에대한인용을다포함. 조사대상학술지 : Web of Science 12,000, Scopus 23,000
Five-year Impact Factor Immediacy Index Impact Factor without Self Cites X 년의 Five-year Impact Factor 는 (X-1) 년부터 (X-5) 년까지 5 년간의인용데이터를바탕으로계산한다는점만다름 이지표는인용을적게하거나, 출판된논문들이연구자들에게받아들여지는데오래걸리는학문분야들의경우에유용 Immediacy Index 는 X 년에출판된 item 들이 X 년에인용된횟수를바탕으로 Impact Factor 와유사하게계산 이지표가클수록그학술지의내용이빨리인용됨을의미 Self Citation 은학술지 J 에출판된 item 들이같은학술지에인용되는것을말함. Impact Factor 와 Impact Factor without Self Cites 의차이가너무클경우해당학술지를 JCR 리스트에서삭제하기도함.
Cited Half-Life, Citing Half-Life Cited Half-Life 는학술지 J 에역대에출판된모든 item 들에대해 X 년에받은인용횟수를바탕으로계산 예를들어 2011 년에 J 가총 1177 번인용되었다고가정하자. 인용횟수를출판년도에따라분류한표가아래와같다고하면 cumulative percentage 가 50% 가되는연도는 2003 년과 2002 년사이이다. 인용이매달균일하게이루어진다고가정하여 50% 가되는연도를소수점첫째자리까지구하면 Cited Half-Life 가 9.3 년이됨을알수있다. 인용된 item 의출판년도 2011 년에인용된횟수 2011 2010 2009 2008 2007 2006 2005 2004 2003 2002 2001 -all 20 58 126 115 45 44 49 45 66 59 550 Cumulative % 1.70 6.63 17.33 27.10 30.93 34.66 38.83 42.65 48.26 53.27 100 2003 년까지총 568 회인용, (588.5-568)/59 0.3 이지표는출판된내용이얼마나오랫동안인용되는지를나타내는척도임. 유사한방법으로 J 가인용한논문들에대해서도 Citing Half-Life 를계산.
Median Impact Factor Aggregate Impact Factor Impact Factor 는학문분야에따라큰차이를나타낸다는문제점이있음. 이때문에 JCR 에서는 Impact Factor 를 Subject Category 별로분류하여발표하고, 동시에각 Subject Category 를대표하는지표들을발표하고있음. Median Impact Factor 는각 Category 내에서학술지들을 Impact Factor 순으로나열했을때중간에해당하는학술지의 Impact Factor 를말함. Category 내의전체학술지수 N 이홀수일때는 [1+(N-1)/2] 번째학술지의 Impact Factor 를말하고, N 이짝수일때는 N/2 번째학술지와 [1+N/2] 번째학술지의 Impact Factor 의평균값임. 특정 Subject Category 의 Aggregate Impact Factor 는 (X-1) 년과 (X-2) 년에 Category 내에속하는모든학술지들에출판된 item 들이 X 년에인용된총횟수를 (X-1) 년과 (X-2) 년에같은학술지들에출판된모든 citable item 수로나눈것임. Impact Factor 의분포는선형적이지않고 power law 를따르므로일반적으로 Aggregate Impact Factor 는 Median Impact Factor 에비해상당히높음. JCR 에는이외에도 Aggregate Immediacy Index, Aggregate Cited Half-Life, Aggregate Citing Half-Life 등의지표들이발표됨.
Impact Factor 의문제점 Impact Factor 는학문분야의특성에따라큰편차를보이는문제점이있음. 아래표를보면논문을많이인용하는분야일수록, 그리고 Cited Half-Life 가짧은분야일수록 Impact Factor 가전반적으로커짐을알수있음. 또한분야에따른 Impact Factor 분포의차이가존재함도알수있음. 2011 년에비해 2013 년에모든 category 에서전반적으로 Impact Factor 가커지는경향이관찰됨 Subject Category Aggregate Impact Factor (2013 / 2011) Median Impact Factor (2013 / 2011) Aggregate Immediacy Index (2013 / 2011) Aggregate Cited Half-Life (2013 / 2011) 논문 1 편당인용논문수 (2013 / 2011) Cell Biology 5.816 / 5.760 3.333 / 3.263 1.227 / 1.180 7.2 / 6.9 55.0 / 53.4 Chemistry, Multidisciplinary Nanoscience & Nanotechnology Astronomy & Astrophysics Materials Science, Multidisciplinary Physics, Multidisciplinary Engineering, Mechanical 5.222 / 4.738 1.401 / 1.316 1.030 / 0.941 5.6 / 5.9 44.6 / 40.9 4.902 / 4.698 1.768 / 1.918 0.928 / 0.760 4.1 / 3.8 39.1 / 35.5 4.462 / 4.242 1.676 / 1.683 1.426 / 1.439 7.0 / 6.8 53.2 / 49.3 3.535 / 3.107 1.380 / 1.132 0.661 / 0.572 5.4 / 5.2 34.8 / 32.2 2.953 / 2.680 1.300 / 0.983 0.818 / 0.794 8.0 / 7.7 33.8 / 30.4 1.573 / 1.232 0.889 / 0.743 0.293 / 0.207 8.0 / 7.6 28.1 / 25.2 Mathematics 0.729 / 0.709 0.582 / 0.561 0.184 / 0.157 >10.0 / >10.0 21.0 / 19.8
Impact Factor 의문제점과편집자윤리 Impact Factor 는특정학술지에실린 item 들의인용횟수의산술평균에의해얻어진다. 그러나같은학술지내에서논문별인용횟수의분포는일반적으로 power law 를따름이알려져있으므로 Impact Factor 는개별논문들의중요성을과대평가하는경향이있다. 즉대다수의논문들은 Impact Factor 가나타내는것보다상당히더적게인용된다. 그러므로이지표를이용하여개별논문또는연구자의우수성을판단하는것은정확하지않다. 학술지들간의경쟁이치열해지면서학술지편집자들이의도적으로 Impact Factor 를올리기위한정책을시행하는경우가종종발생하고있다. 윤리적으로가장문제가되는것은저자들에게 self citation 을강요하는방식이다. 이외에도인용이많이되는경향이있는 review 논문들을의도적으로많이출판하거나, 인용가능성이많은논문들을연초에몰아서출판하는방법들이사용된다. 이러한행위는 Impact Factor 에너무많은중요성을불합리하게부여하는현실에서비롯되며지표를의도적으로왜곡하는불공정행위라고볼수있다.
Example Physical Review Letters Is PRL Too Large to Have an Impact? Extremely long tail in the distribution 논문이외의 item 들에대한인용을포함 공저자수, 주소수, 페이지수, 인용문헌수에의존
Eigenfactor Score Article Influence Score Eigenfactor: a measure of the journal s total importance to the scientific community. The Eigenfactor estimates the percentage of time that a reader spends with a particular journal. If a journal has an Eigenfactor of 1.0, it has 1% of the total influence of all indexed publications. Article Influence: a measure of the average influence of each of a journal s articles over the first 5 years after publication. The mean article in the entire JCR database has an Article Influence of 1.00.
Eigenfactor Score Article Influence Score 이지표들은 Impact Factor 의결점을보완하기위한목적으로 Carl Bergstrom 등에의해개발되었고 2007 년이후 JCR 을통해제공되고있음 [C. T. Bergstrom, J. D. West, and M. A. Wiseman, J. Neurosci. 28, 11433 (2008)]. Eigenfactor 의개념은 complex network 이론에바탕을두고있으며, Larry Page 등이제안하여 Google search engine 에사용되고있는 PageRank algorithm 과유사한방법을사용 Eigenfactor 의계산을위해서는먼저계산에사용될총 N 개의학술지들로이루어진 database 를정의한후, 다음과같은형태의 N N 행렬 H 를구성 H ij = Z ij N k=1 Z kj Z ij 는 (X-1) 년에서 (X-5) 년까지 5 년간학술지 i 에출판된 item 들이 X 년도에학술지 j 에인용된횟수를말함. Eigenfactor 의계산에서는 self citation 은제외하므로행렬 Z 의대각선원소들은모두 0 임. 다음에는 article vector 라고불리는벡터 a 를정의. 이벡터의 i 번째원소 a i 는 (X-1) 년에서 (X-5) 년까지 5 년간학술지 i 에출판된논문들의총수를같은기간동안 database 전체에출판된논문의총수로나눈수임.
complex network 과관련된계산을할때 dangling node 에주의해야함. dangling node 의예를들면어떤학술지 j 가 database 에포함된어떤학술지도인용하지않지만다른학술지에인용은되었을경우모든 k 에대해 Z kj =0 임. 이경우행렬 H 의 j 번째열이모두 0 이므로이열을적절한숫자들로바꿔야 eigenvalue 계산이가능. 모든 dangling node 에해당하는학술지들에대해해당하는열을벡터 a 로대체한행렬을 H * 라고정의한후다음과같은 N N 행렬 P 를도입. P = αh + (1 α) a 1 a 1 a N a N 여기서 α 는적절하게선택된상수이며보통 0.85 의값을선택. 이행렬 P 의 eigenvalue 중에서가장큰절대값을갖는 eigenvalue 에해당하는 eigenvector 를 journal influence vector 라고부름. 이벡터를 v 라고할때 v i 는 network 내에서 i 번째학술지의상대적인중요성을나타내는 weighing factor 의의미를가짐. 최종적으로학술지 i 의 Eigenfactor Score F i 는다음식에의해계산. F i = 100 N i=1 N j=1 H ij v j N j=1 H ij v j
이정의에따르면 database 내의모든학술지들에대한 Eigenfactor 들의합은 100 임. 이양은해당학술지에서출판된논문들의총수에의해규격화되지않았으므로같은조건이면많은논문을출판하는학술지일수록큰값을갖게됨. 학문분야들간의인용패턴의차이가다소조정되어서로다른분야에속하는학술지들간의비교를더용이하게함. 특정학술지에발표된개별논문들의영향력을나타내는지표로서 Article Influence Score I i 를다음과같이정의 : I i = 0.01 F i a i 이양은 Impact Factor 를대체하는척도로서사용될수있음. Eigenfactor 의정확한의미를이해하기위해서는선형대수학과 complex network 분야에관한전문지식을필요로한다. 특히주어진행렬의 leading eigenvector 를구하고그의미를해석할수있어야한다. SJR 지표도선형대수학의이론을필요로한다. Eigenfactor Score 평균값 : 100/11619 0.0086 Article Influence Score 평균값 = 1
Network of papers
계산예 Z = 0 16 15 0 8 12 3 8 7 7 23 33 22 19 18 25 0 5 9 7 0 6 8 4 0 H = 16 0 43 15 0 33 8 12 33 3 33 7 33 43 8 43 7 43 23 57 19 57 0 7 57 8 57 33 60 18 60 5 60 0 4 60 22 62 25 62 9 62 6 62 0 a = 15 80 13 80 22 80 14 80 16 80 Eigenfactor Score Article Influence Score
CiteScore CiteScore: Scopus 데이터를이용해서얻는 Elsevier 지표, 지난 3 년간출판된논문의인용수, 분자분모에모든 document 포함
SNIP (Source Normalized Impact per Paper) SNIP 은학문분야에따라다른인용패턴을나타내는현상에대해보정해주는지표로서 Hank Moed 에의해제안되었다 [H. F. Moed, J. Informetr. 4, 265 (2010)]. 이지표는 Scopus 를통해제공되며 Impact Factor 대신에사용될수있다. SNIP 은다음방법에의해계산된다. RIP (raw impact per paper) = 특정학술지에 (X-1), (X-2), (X-3) 년에출판된논문들이 X 년도에인용된횟수를논문수로나눈값. 논문을인용한것만포함하고 erratum 이나 editorial 등에대한인용은포함시키지않는다는점을빼고는 Impact Factor 와유사함. DCP (database citation potential) = 특정학술지에 (X-1), (X-2), (X-3) 년에출판된논문들을 X 년도에인용한모든논문들에서인용한 reference 들중에서같은기간에출판된 reference 들의총수를인용한논문들의총수로나눈값. 이계산에는 database 에포함된학술지들을인용한것만포함하고나머지는무시함. RDCP (relative database citation potential) = database 에포함된학술지들에대해 DCP 를순서대로나열했을때중간값에해당하는학술지의 DCP 로규격화한 DCP. SNIP = RIP / RDCP
SJR (SCImago Journal Rank) SJR 은 SNIP 과함께 Scopus 를통해제공되는지표이다 [B. González-Pereira, V. P. Guerrero-Bote, and F. Moya-Anegón, J. Informetr. 4, 379 (2010)]. (http://www.scimagojr.com/index.php) SJR 의계산은 iterative 하게이루어지며다음과같이정의된다. 먼저 N 개의학술지들로구성된 database 내에서각학술지의상대적인중요성을나타내는벡터 S 를도입한다. S i 는 i 번째학술지의 weighting factor 이다. 첫단계에서 S 벡터의값들은임의의숫자들로주어진다. 최종결과는이초기값들에의존하지않는다. 다음단계에서각각의 S i 는다음수식을이용하여계산한다 : 이식에서상수 d, e 는각각 d=0.85, e=0.1 의값을선택하며행렬 H* 와벡터 a 는 (X-1) 년에서 (X-3) 년까지 3 년간의인용데이터를사용한다는점을제외하고는 Eigenfactor 계산시와유사하게정의된다. 위의식에의해새롭게얻은 S 벡터를이용하여다시계산을수행하고, S 벡터의값들이수렴할때까지유사한계산을반복한다. 최종적으로학술지 i 의 SJR 은다음식을이용하여계산한다. 여기서 A i 는학술지 i 에 3 년간출판된총논문수이다. SJR i = S i A i
h index, g index, i10 index h index 는 2005 년에 Jorge Hirsch 에의해개별연구자들의연구역량을평가하는지표로서제안됨 [J. E. Hirsch, PNAS 102, 16569 (2005)] 이지표는특정연구자가발표한논문들이받은모든인용을바탕으로계산. 특정연구자의논문들을인용횟수가많은논문부터순서대로나열하여 h 편의논문이각각적어도 h 번이상인용되었다고할때얻을수있는 h 의최대값이이연구자의 h index 임. 같은방법을사용하여특정연도에특정학술지에출판된논문들에대해서도 h index 를부여할수있으므로학술지의평가지표로도사용될수있음. h index 는각논문들의통산인용횟수를이용하여구하므로시간이지나면서점점큰값을갖게됨. 소수의매우우수한논문을발표한연구자의경우낮은지표를갖게되는문제점이있음. 이문제점을보정하기위해 Leo Egghe 는변형된지표인 g index 를제안. g index 는특정그룹의논문들중에서 g 편의논문이인용된총수가적어도 g 2 번이상되었다고할때얻을수있는 g 의최대값을말함. g index 는항상 h index 보다큰값을가짐. i10 index 는적어도 10 회이상인용된논문들의총수이며 Google Scholar 에서제공됨. 계산예 : 어떤연구자가 15 편의논문을썼고각각 85, 13, 8, 7, 7, 6, 4, 3, 3, 1, 1, 1, 0, 0, 0 회인용되었다면 h=6, g=11, i10=2
h index 물리학자의 typical h index (Hirsch) 12: tenure, 부교수 18: 정교수 15 20: APS Fellow 45 : NAS membership 사회과학분야정교수 3 8 ( 분야에따라다름 ) 세계 1 위 200
Google Scholar metrics h-index: the largest number h such that at least h articles in a publication were cited at least h times each. For example, a sample publication with five articles cited by, respectively, 17, 9, 6, 3, and 2, has the h-index of 3. h-core: a set of top-cited h articles from a publication. These are the articles that the h-index is based on. For example, the sample publication above has the h-core with three articles, those cited by 17, 9, and 6. h-median: the median of the citation counts in a publication s h-core. For example, the h-median of the sample publication above is 9. The h- median is a measure of the distribution of citations to the articles in the h-core. The h5-index, h5-core, and h5-median of a publication are, respectively, the h-index, h-core, and h-median of only those of its articles that were published in the last 5 complete calendar years.
Altmetrics Viewed - HTML views and PDF downloads Discussed - journal comments, science blogs, Wikipedia, Twitter, Facebook and other social media Saved - Mendeley, CiteULike and other social bookmarks Cited - citations in the scholarly literature, tracked by Web of Science, Scopus, CrossRef and others Recommended - for example used by F1000Prime
새로운제안들 R factor: number of confirmatory golden citations divided by the sum of confirmatory and refuting golden citations s index (or h index without self citations)
Summary 학술지들의정량적인평가를위해사용되고있는여러가지지표들에대해정의, 계산방법, 특징및문제점등을간략하게살펴보았다. 앞에서언급된지표들외에도새로운지표들이계속해서고안되고있다. 그러나어떤지표도완벽할수는없으며나름대로의한계와문제점들이존재한다. 그러므로학술지, 개별논문, 연구자를평가할때정량적인지표들에지나치게의존하지않도록주의할필요가있다.