N a t i o n a l R e s e a r c h F o u n d a t i o n o f K o r e a 배포용 SCI 논문분석을통한질적수준제고방안 - 계량서지적관점에서 - 2013. 07. 08 성과분석팀조영돈 (ydcho@nrf.re.kr) 금일발표내용은발표자의개인적인견해임을밝힙니다.
I II III 시작에앞서 SCI DB 의이해및활용방법 피인용의이해및 SCI 질적지표 IV 기초연구사업분석사례 ( 현장발표 ) V VI 우리나라질적수준세부분석 ( 현장발표 ) 결론및시사점
<2012.11 재단발간보고서 > Q1. 어떤지표를활용해야하는가? 4
<2013.5.20 전자신문기사 > Q2. 왜 Impact Factor 관련지표의비판이많을까? 5
<www.ntis.go.kr> Q3. 우리나라 SCI 논문의질적수준은? 6
Garfield 의인용집중법칙 (1971) : SCI DB 창립자인 Garfield 는 1969 년도에생산된과학잡지 2,200 종에실린약 400 만건의인용자료를분석하여인용자료의 20~25% 가 25 개의학술지에집중적으로실리는사실을발견 과학저술활동이활성화되고정보의양이급격하게증가되면서효율적으로문헌정보를찾을수있는방법이필요 SCI DB 제작사 Thomson Reuters - 1958년에설립 미국의민간정보서비스제공기관 - 설립당시회사명 : ISI (Institute for Scientific Information) SCI 논문수는한나라의과학활동의지표로서인식되고있음 < 참고 > Thomson Reuters 가제공하는논문정보 DB 에는 SCI 이외에도여러형태의 DB 가있으나 SCI DB 가일반적으로가장많이활용되고있고잘알려져있어서 Thomson Reuters 에서제공하는각종논문정보를통칭하여 SCI DB 라칭하고있음. 8
종류 개 요 업데이트 제공형태 Web of Science (WOS) 주요학술지에수록된개별논문의서지사항및인용정보로서 3 대인용색인정보 DB 인 SCI, SSCI, AHCI 를통합하여제공 매주 Web National Citation Report(NCR) 특정국가가발표한논문의서지사항및인용정보수록 (1981- 현재까지 ) 매년 DVD National Science Indicators(NSI) 국가별, 분야별발표논문수및인용횟수에관한통계수록 (1981- 현재까지 ) 매년 DVD Journal Citation Report(JCR) 학술지에대한인용정보 (IF 포함 ) 등을수록 매년 Web Essential Science Indicator(ESI) - 대상 : 최근 10 년동안발표된고피인용논문 - Citation Rankings : 과학자별, 기관별, 국가별, 저널별통계제공 - Most Cited papers : 22 개분야피인용상위 1%,0.1% 서지제공 - ResearchFronts: 고피인용논문클러스터링을통해연구동향제공 격월 Web 9
세계적으로영향력있는주요학술지에대한인용정보제공 Web of Science 의구성 Web of Science (12,000 여종 ) SCIE ( 약 8,631 종 ) SCI ( 약 3,757 종 ) SSCI ( 약 3,131 종 ) AHCI ( 약 1,735 종 ) 국내 SCI 학술지 : SCIE 90 종 (SCI 10 종 ), SSCI 17 종, A&HCI 7 종 2013년 5월기준, 통상적으로우리나라에서는 Web of Science의 SCIE(SCI포함 ), SSCI, AHCI를모두 SCI로칭하고 10 있음 출처 : Thomson Reuter 홈페이지, 2013.5
Ø 학술지선정방법 소수의핵심학술지가전세계지식을좌우한다 Garfield의인용집중법칙에근거, 학술지선정기준개발실제, 전세계 10만여종의학술지중 2,000여종의학술지가전세계문헌정보의약 85%, 인용된문헌의약 95% 를차지함. 학술지의선정 : Editorial Board에서이루어짐 - 분야별전문가, 사서및정보전문가등으로구성 11
Ø 학술지선정기준 기본적인기준 - 출판시기및국제적인편집기준의준수여부 - 논문혹은적어도서지정보 ( 논문제목, 초록등 ) 의영어작성여부 - 동료평가에의해엄격하게평가되고있는가? 편집내용심사 - 학술지주제분야와수록논문의부합여부 - 학술지가새롭게부각되는연구분야를다루고있는가를평가 국제적인다양성심사 - 논문저자, 피인용국가, 논문심사위원들의국제적다양성조사 인용분석심사 - 해당학술지에수록된논문의인용도가동일주제분야의다른학술지보다높은지여부조사 - 신규저널 ( 발간 2 년이내 ) : 저자및편집위원들의기논문에대한인용자료이용 - 기존저널 : 주로영향력지수 (Impact Factor, IF) 이용 12
Ø Web of Science / WEB 13
14
Ø National Citation Report / DVD 15
Ø National Science Indicators / DVD 16
Ø Journal Citation Reports / WEB 17
Ø Essential Science Indicators / WEB 18
SCI DB 22 개분야분류 * 22 개분야에는 A&HCI 는제외됨 19
SCI DB 260 개분야분류 20
SCI DB 별특징비교 260 22/260 22/260 232 22 * JCR, ESI 는 A&HCI 를포함하지않음 21
원저논문 (Original Paper) : 연구자가자신의연구결과를정리하고결론을내린논문 - 정규논문 (Article, Full paper), 속보 (Communication or Letter), 단신 (Note), 논평 (Comments), 학위논문 (Thesis) 총설논문 (Review Paper) : 여러연구자들의연구결과를정리하고분석한논문임. - 총설논문을전문적으로취급하는학술지도있음 학술회의논문 (Proceeding) : 학술회의에서발표된논문을게재 - 정규학술지에게재되는논문에비해심사가엄격하지않는편임. 저서 : 인문, 사회과학분야에서는연구결과를저서로발간하는관행이아직도있으나자연과학분야에서는연구저서는거의없음 Publish or Perish : 과학자의논문발표는생존을위해서도필수적 23
24
논문의피인용은시간에영향을받음 - Art& Humanities 분야를제외한전세계논문의평균피인용수추이 25 20 15 10 5 0 2011 년 2010 년 2009 년 2008 년 2007 년 2006 년 2005 년 2004 년 2003 년 2002 년 2001 년 2000 년 1999 년 1998 년 1997 년 1996 년 1995 년 1994 년 1993 년 1992 년 1991 년 1990 년 1989 년 1988 년 1987 년 1986 년 1985 년 1984 년 1983 년 1982 년 1981 년 - 평균피인용수의증가율추이 400% 300% 200% 100% 0% +1 년 +2 년 +3 년 +4 년 +5 년 +6 년 +7 년 +8 년 +9 년 +10 년 +11 년 +12 년 출처 : NSI DB, 2011 25
논문의피인용은분야에영향을받음 - Art& Humanities 분야를제외한전세계논문의 22 개분야별 07-11 년평균피인용수 12 10.24 10.86 10.61 10 8 6 4 2 3.09 7.25 5.72 5.67 2.2 2.52 2.51 4.97 4.43 4.04 1.65 6.7 8.14 5.63 4.64 3.3 4.66 2.11 7.87 4.95 0 출처 : NSI DB, 2011 시간, 분야간차이를보정할수있는수있는지표의활용필요 26
논문의피인용은논문유형도고려해야함 - 한국의 07-11 년논문의유형별평균피인용수 30.00 25.00 20.00 15.00 10.00 5.00 0.00 2011 2010 2009 2008 2007 Article Correction Editorial Letter Meeting Abstract Proceedings Paper Review 출처 : NCR DB, 2011 27
피인용상위 1% 논문 - 피인용상위 1% 논문은연도, 분야, 논문유형을고려하여산출 ESI DB Baseline, 2013.4 Molecular Biology & Genet ics 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 All Years 0.01% 2921 2564 3506 1416 1937 1714 1129 1016 499 228 49 1726 0.10% 995 1128 924 759 650 605 506 404 239 113 26 649 1.00% 403 377 316 297 245 227 182 143 89 44 12 231 10.00% 117 103 94 82 70 58 46 36 24 13 3 57 20.00% 69 62 57 50 43 35 28 22 15 8 2 32 50.00% 24 23 22 20 17 15 12 9 6 3 1 10 Mathematics 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 All Years 0.01% 1337 3157 634 593 344 240 164 151 81 38 16 332 0.10% 252 163 150 124 119 91 85 60 36 17 7 100 1.00% 65 56 54 49 42 35 29 23 15 8 3 36 10.00% 18 17 16 15 13 11 9 7 5 3 1 10 20.00% 11 10 10 9 8 7 6 5 3 2 1 5 50.00% 4 4 3 3 3 3 2 2 1 1 0 2 - 피인용상위 1% SCI 논문연도별추이 13,000 8,000 2002 년 2003 년 2004 년 2005 년 2006 년 2007 년 2008 년 2009 년 2010 년 2011 년 2012 년 28
분석절차 분석대상별특징 SCI 분석용이 SCI 분석어려움 피인용 Peer-Review 29
SCI 학술지관련주요정량지표 - Impact Factor : 해당연도제외한최근 2 년간게재논문의해당연도평균피인용 - Immediacy Index : 해당연도게재논문의평균피인용 30
SCI 학술지관련주요정량지표 - Cited Half Life : 총피인용수의백분율이반감되는연도 - Citing Half Life : 당해연도참고문헌의중간 (Median) 연도 - 유형별논문수 - Eigenfactor Score - Article Influence Score 31
출처 : eigenfactor.org 32
Journal IF를연구의질적수준을평가하는데활용되면안되는이유 (Seglen, 1997 등 ) - IF는통계적으로개별논문의피인용과상관관계가약함 - 저자는학술지투고시 IF이외에다양한측면을고려 - 논문수는 Article, Review, Note, 피인용수는모든유형을포함하여논쟁, 흥미위주의 Editorial 등에의해 IF가올라갈수있음 - Review, Long article로인해 IF가올라갈수있음 - 데이터베이스가영어편향적임 - 저널 coverage에따라 IF가올라갈수있음 ( 이슈가되는세부주제가포함되는경우 ) - 저널에게재된논문의 50% 가총저널총피인용수의 90% 점유 - 대다수의전문가가비판적견해를제시 피인용지표활용을위해서는논문게재후 3~5년이필요하기때문에우리나라에서는즉시활용가능한 IF 지표를많이활용 * Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314, 498 502. 33
피인용상위 1% 논문과학술지 Impact Factor 관계 - 피인용상위 1% 논문의 89.9% 가 IF 기준상위 30% 이상학술지에게재 - Nature, Science 의경우피인용상위 0.01% 논문의 19.9% 점유 출처 : 한국연구재단 (2012), 주요국의피인용상위 1% 논문실적비교분석보고서 34
H-index : the number of publications each having the same or greater number of citations (Hirsch, 2005) - 예시 : 저자명 Kim VN 검색 ( 중략 ) 출처 : Web of Science, 2013.5 35
SCI 논문관련주요정량지표및장단점 (Hirsch 2005; King, 2004; Bouros, 2007; 이재윤, 2006) 장점 단점 총논문수 - 논문생산성제시 - 논문의질적수준및영향력제시못함 총피인용수 - 논문의영향력제시 - 소수의고피인용 (big hits) 논문에영향을받음 - 측정대상논문수가적은경우자기인용등에의해왜곡의소지가있음 - Review 논문에영향을받음 - 측정하기어려움 평균피인용수 - 다양한연구자간비교가능 - 논문이많을수록불리할수있음. 즉, 생산성이낮을 수록유리 - 측정하기어려움 대표논문수 (ex: 피인용 40 이상 ) H-index - 위의단점일부제거 - 대표에대한기준을정하기어려우며, 분야및경력에따라상이 - 계산과직관용이 - 양적, 질적측면모두고려 - 경력에영향을받음 (Age-dependent) - 최근의연구실적이반영되지않음 - 분야에따라상이, 동률값이흔하여변별력낮음 * Hirsch, J. E. (2005). An index to quantify an individual s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569 16572. King, D. A. (2004). The scientific impact of nations. Nature, 430, 311 316. Bouros, D. (2007). Measurement of individual scientific work. Pneumon, 1(20), 19-21. 이재윤 (2006). 연구성과측정을위한 h- 지수의개량에관한연구. 정보관리학회지, 23(3), 167-186. 36
순위보정영향력지수 (Rank Normalized Impact Factor, rnif ) - 분야내특정학술지가차지하는위상을나타냄 - 순위보정영향력지수 rnif = (N-Rj+1) / N, N= 해당분야내저널수, Rj= 특정저널의분야내순위 (IF 기준 ) - 분야내최상위저널인경우순위보정영향력지수는 1 의값최하위인경우 0 에가까운값을가짐 표준화된순위보정영향력지수 (Modified rnif, mrnif) - 기존순위보정지수는최하위값이분야내저널수에의존 보정지수최하위값 : 저널이 10 개인분야는 1, 100 개인분야는 0.01 - 상기단점을보완하기위해순위보정지수의최소값을 0, 최대값을 100 으로표준화한지표 지수값이큰저널일수록해당분야내에서위상이높음을의미 37
보완된순위보정지수 (Ordinal rnif, ornif) - 보완된순위보정영향력지수는표준화된순위보정영향력지수에근거하여다음과같이 1~5 사이의정수값으로나눔 분야대비영향력지수 (Relative Field Impact Factor, rfif) - 저널의개별 IF 를각저널이속한분야의평균 IF 로나눈값 - 지수가 1.0 이상이면저널이해당분야평균수준이상임을의미 38
네덜란드 CWTS 분석지표 < 참고 > 네덜란드 CWTS 기관의질적수준비교기준 (a=cpp/fcsm) 출처 : A. van Raan(2004), Measuring Science 39
세계 3 대 (NSP) 게재논문수 - Nature, Science, PNAS 는피인용 1% 논문이가장많은저널 - NSC 의 Cell 지는분야가생명에한정되어있으나 NSP 는전분야 PNAS : The Proceedings of the National Academy of Sciences of the USA 주요과학저널게재논문수 - ESI 22 개분야별로피인용수기준 TOP5 학술지를선정 - Review 지게재비율이높은학술지는제외 - 2011 년 NSP 포함 110 종 (NSP 3 종 + 분야별 107 종 ) 40
분야를보정하는주요방법 - 백분율을활용 : 해당분야내피인용수기준으로순위산정하여보정 Ex) 피인용보정 : NCR 의 Percentile, ESI 피인용상위 1% 등 IF 보정 : RNIF*, mrnif, OrnIF, JCR 의 Quartile 등 * Pudovkin, A.I., & Garfield, E., (2004). Rank-normalized impact factor: A way to compare journal performance across subject categories. Proceedings of the 67th ASIS&T Annual Meeting, vol. 41, pp. 507 515. - 평균을활용 : 각피인용수를평균으로나누어보정 Ex) 피인용보정 : Crown Indicator 등, IF 보정 : RFIF, R 2 nif 등 보정방식별차이점 - 백분율활용 : 평균값이상이 - 평균을활용 : 최고, 최저값이상이 41
분야보정개념예시 - 백분율활용 : 평균값이상이 - 평균을활용 : 최고, 최저값이상이 순위 A 분야피인용수 B 분야피인용수 A, B 분야백분율 A 분야평균대비 B 분야평균대비 1 1000 100 20% 4.31 1.25 2 100 90 40% 0.43 1.13 3 30 80 60% 0.13 1.00 4 20 70 80% 0.09 0.88 5 10 60 100% 0.04 0.75 평균 232 80 1 1 42
NSI DB 제공지표 - Citation Impact : 논문 1편당평균피인용수 (C/P) - Total Citations : 피인용수 (C) - Number of papers : 논문수 (P) - Percent cited papers : P피인용1이상 /P전체 - Impact relative to field : (C분야, 국가 /P분야, 국가 )/(C분야, 전세계 /P분야, 전세계 ) < 세계와비교 > - Impact relative to country : (C분야, 국가 /P분야, 국가 )/(C전분야, 국가 /P전분야, 국가 ) < 국내비교 > - Percent papers in field : (P분야, 국가 /P분야, 전세계 )*100 - Percent papers in country : (P분야, 국가 /P전분야, 국가 )*100 - Percent cited relative to field : (P피인용1이상, 분야, 국가 /P전체, 분야, 국가 )/(P피인용1이상, 분야, 전세 계 /P 전체, 분야, 전세계 ) - Percent cited relative to country : (P 피인용 1 이상, 분야, 국가 /P 전체, 분야, 국가 )/(P 피인용 1 이상, 전분 야, 국가 /P 전체, 전분야, 국가 ) 43
학술지지표와피인용지표비교 피인용지표활용방안제안 - 당해연도질적수준측정 : 학술지지표만가능 - 3년성과측정 (1안) : 당해연도를제외한 +1,+2년피인용활용 * 1) Percentile : 연도, 분야보정 / 국제비교불가 2) 평균을활용한신규지표개발 : 국제비교가능 * IF를구하는방식과유사 - 3 년성과측정 (2 안 ) : 당해연도를포함한 +1, +2 년피인용활용 1) Percentile + IF 백분율혼합신규지표개발 : 국제비교불가능 44
최근미국, 유럽, 중국, 일본등연구의질적수준측정을위해 TOP 지표활용 - 유럽차기 FP 프로그램 HORIZON2020 지표 : TOP 1% 논문비율 ( 목표치 1.6%) - 일본 NISTEP 과학기술벤치마킹지표 : TOP 10% 논문점유율 NSB(2012), Science and Engineering Indicators CWTS(2013), Leiden Ranking 참고 ) 대학평가 : THE 평가, QS 평가는평균피인용수중국상해교통대평가는 TOP20% 논문비율 45
질적수준측정을위해피인용특성이해와지표의선정이중요 - 당해년도성과의질적수준측정을위해또는측정의용이성으로인해학술지관련지표를활용할수밖에없으나, - 가급적학술지지표활용보다는피인용지표를활용하는것이바람직우리나라 SCI 논문의질적수준은전반적으로낮은수준이나, 수월성중심으로빠른성장 - 국외사례에서보듯이보편성중심의평균지표보다는수월성중심의 TOP 지표중심으로전환필요 - 특히전체논문대비상위 % 지표는전반적인질적수준을높이기위한지표로적절우리나라 SCI 논문의질적수준향상을위해서는, - 국제공동연구등협력연구에대한지속적강화필요 * 국가별국제공동연구논문비율과평균피인용상관계수 0.59 내외 - 국내 SCI 학술지에대한지속적국제화, 홍보, 발전등필요 - 각분야특성에맞는질적수준제고정책필요 * 과학기술기본계획, 기초연구진흥종합계획등최근에수립된정책참고 47
48