자원환경지질, 제 47 권, 제 3 호, 227-235, 204 Econ. Environ. Geol., 47(3), 227-235, 204 http://dx.doi.org/0.979/eeg.204.47.3.227 pissn 225-728 eissn 2288-7962 논문질적평가를통한 KIGAM 세계수준후보연구실기술수준평가 안은영 * 한국지질자원연구원 Qualitative Analysis of Research Papers of KIGAM World Class Laboratories (WCL) Candidates Eun-Young Ahn* Korea Institute of Geoscience and Mineral Resources (KIGAM), Daejeon 305-350, Korea For technology level assessment of KIGAM World Class Laboratories (WCL) candidates, bibliometric and qualitative analysis was conducted on their research papers listed on the SCIE database during 2009-202. For the six research areas of geoscience and mineral resources, a research excellence indicator was applied using a Modified Rank Normalized Impact Factor (mrnif), which was introduced by Heo et al. (2008) and Cho (203). The KIGAM research department in rare metals utilization had the highest score for Impact Factor (IF) per paper in 202 but the groundwater department or the exploration geophysics department came first based on the position and the mrnif. Applying the mrnif, the KIGAM research department in groundwater achieved excellent results in 2009 and 20 and the urban mine department or exploration geophysics department came first place in other years. In the groundwater area, the percentage of research papers over 80 or 90 mrnif, using Cho (203) s research excellence index, was the highest in 20. The Cho (203) s excellent research indicator, 20%, the ratio of over 90 mrnif was matched in the urban mining area for the whole research period, 2009-202, and in the groundwater area for several years except 200. Qualitative analysis of research papers can show the technology level of research departments. KIGAM World Class Laboratories (WCL) candidates should focus on increasing the quality and the quantity of their research papers. Key words : Bibliometrics, qualitative analysis on research papers, World Class Laboratory, Modified Rank Normalized Impact Factor (mrnif) 본연구에서는지질자원분야연구개발수월성을제시할수있는평가방법인계량서지학 (Bibliometrics) 의 SCI 논문분석을통해질적평가지표를제시하고, 이를 KIGAM 의 6 개세계수준후보연구실의기술수준분석에적용했다. Heo et al. (2008), Cho (203) 에서제시되었던표준화된순위보정영향력지수 (mrnif) 를연구수월성지표로활용하였다. 202 년편당 IF 는희유자원활용분야 KIGAM 연구실이가장높았으나순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 는지하수 ( 최고순위적용 position/mrnif), 자원탐사개발 ( 평균순위적용 position/mrnif) 분야가제일높게나타났다. 시계열분석결과표준화된순위보정영향력지수 (mrnif) 는지하수분야연구실이 2009 년, 20 년실적이월등이좋으나타년도의경우도시광산및자원탐사개발분야연구실이우수한실적을보이는것을알수있다. 수월성지표로전체게재논문중표준화된순위보정영향력지수 (mrnif) 가 80 이상인비율및 90 이상인비율로비교한결과, 20 년의경우지하수분야연구실이가장우수하였으나다른연도의경우지표별로다른순위를보여가장우수하다고보기어려웠다. Cho (203) 의최고등급연구수월성지표인 90 이상논문비율 20% 이상을도시광산분야연구실이만족하고있으며지하수분야연구실은평균순위를적용한 200 년을제외하고만족하고있었다. This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided original work is properly cited. *Corresponding author: eyahn@kigam.re.kr 227
228 안은영 이와같이양적인논문수뿐만아니라논문의질적분석을통해해당연구실의기술수준을비교할수있었다. 세계수준의연구실이되기위해서는양적인 SCI 논문수의확대뿐만아니라논문의질적향상을위해노력해야할것이다. 주요어 : 계량서지학, 논문질적분석, 세계수준연구실, 표준화순위보정영향력지수. 서론많은정부출연연구원이세계수준의연구기관 (World Class Institute, WCI) 을위한기관비전을제시하고있으며, 성과평가에서연구개발의수월성 (excellence) 을제시하는것이정부출연연구원의중요한과제이다. 지질자원분야공공연구기관인한국지질자원연구원또한세계수준의연구기관 (WCI) 달성을위해 202년, 203 년세계수준의연구실 (World Class Department/ Laboratories) 육성전략을제시한바있다. 한국연구재단은기존에세계수준연구중심대학 (WCU, World Class University) 사업을지원한바있으며, 203년부터 BK2사업과통합하여 BK2플러스사업을시행하고있다. 203년도교육부의 WCU-BK2 후속사업기본계획 ( 안 ) 에따르면질중심의성과관리체계구축및학문분야 사업유형별지원방식과내용을차별화방향으로기획하였다. 학문분야별특성을고려한질적평가방식확대를위해단순히 SCI논문수만으로평가하는것이아니라, 학문분야별특성을반영한보정영향력지수및다양한지표를활용한다고하였다. 그리고사업유형및학문분야에따라대표논문에대한질적심사를실시한다고하였다. 203년시작한 WCU- BK2 후속사업평가에서는연구역량평가에서 단계 WCU사업보다질적평가방식을확대하였다. 질적평가를위해 단계평가에서영량력지수와대표논문에대한해외동료평가를도입하였다. 2단계평가에서는학문분야별특성을반영한보정영향력지수와 H index 등의지표를추가했다. 특히과학기술분야의경우 I유형 ( 연구경쟁력강화지원 ) 과 II 유형 ( 대학원생연구장학금지원 ) 모두보정영향력지수를반영해연구역량을평가한다. 이때적용하는보정영향력지수는연구자가제출한 SCI급논문에대해평균인용수를구한뒤, 이를연구자가속한학문분야에서상위 20% 에속하는저널의평균인용수로나눠서산출한다. H index는특정인용수이상의논문수로구하는방식이다. MSIP (203) 의연구개발성과평가개선종합대책에서는연구개발성과제고및과학기술혁신역량강화 를위해질적성과지표개발및보급확대, 목표달성도점검중심평가등을제시하고있다. 세계수준과비교한연구개발을제시하기위해서는국외전문가평가가필수적이며 SCI논문등연구실적에기반한정량평가도요구된다. 본연구는지질자원분야연구개발수월성을제시할수있는평가방법으로 SCI논문분석을통한질적평가방법에주목하였다. 질적논문분석을한국지질자원연구원의세계수준후보연구실의기술수준평가에적용한다. 2. 기존연구및연구방법 MSIP (203) 는우리나라연구개발의양적성과측면에서는 SCI급논문수로는 200년, 20년세계 위등으로상당한발전을이루어오고있으나, 연구개발양적성과에비해논문당평균피인용수등의질적성과수준이미흡하다고하였다. Cho (203) 에따르면 5년주기우리나라의논문별평균피인용수는 2004년-20년동안계속세계 30위수준 (2006년/ 2007년 3위 ) 으로, 세계적연구성과창출및노벨상수상등선진국수준의과학기술경쟁력확보에대한국민의기대감에부응하기위해서는선도형연구개발체계및질적성과중심의평가체계로전환이필요하다고하였다. Cho (203) 은질적성과지표로학술지영향력지수 (Impact Factor, IF) 및논문의피인용수를이용한분석방법론을제시하였다. 이는표준화된순위보정영향력지수 (Modified Rank Normalized Impact Factor, mrnif) 및논문피인용백분율지수를활용하여일반적연구능력지표와연구수월성지표를구분하여제시하였다. Heo et al. (2008) 은 SCI논문의질적평가를위해새로운계량지표로보완된순위보정영향력지수등을제시하였으며, Cho et al. (200) 는세계수준의연구중심대학 (WCU) 육성사업선정을위해상위 0% 저널게재논문수, 인당 / 편당피인용횟수, 편집위원참여실적, 특허등록실적등을제시한바있다. 본연구에서는학술지영향력지수 (Impact Factor, IF) 를활용한표준화된순위보정영향력지수 (mrnif) 를 6개지질자
논문질적평가를통한 KIGAM 세계수준후보연구실기술수준평가 229 원분야에적용, 연구개발의수월성을평가하고자한다. 기존의 IF를활용한 SCI 논문의질적접근방법은 IF를기준으로전체학술지숫자대비 IF 순위로나타내지는순위 (position) 지수였다. 이는상위 30%, 70% 이상논문등으로 SCI논문의질을구분하는지표로쓰였다. 본연구는 Cho (203) 의연구와같이표준화된순위보정영향력지수 (mrnif) 를활용하되, 기존에쓰였던순위 (position) 지수또한같이분석하여 KIGAM 세계수준후보연구실의 SCI논문성과를질적으로평가하였다. 학술지 IF는기준년도를제외한최근 2년간의해당학술지에수록된논문이기준년도에인용된횟수를논문수로나눈값이다. Cho (203) 에서제시한것과같이 202년 JCR IF는 200년, 20년학술지수록총논문이 202년에피인용된총수기준으로한것으로, Heo et al. (2008) 는 IF가 SCI 등재여부를결정하는기준중의하나로활용되고있다고하였다. 본연구에서는 202년 JCR IF를기준으로 SCI논문을분석하되필요시 20년 JCR IF와비교하였다. Heo et al. (2008) 은 SCI논문의질적평가를위해새로운계량지표로보완된순위보정영향력지수등을제시한바있다. Heo et al. (2008) 에서정리한것과같이, 논문성과의질은동료과학자들의인용에서출발한다는개념에서시작하여학술논문의계량서지학적지표로피인용수 (citation) 및 IF가널리쓰이고있다. IF는분야간편차가큰단점이있어분야별 IF 최대값혹은상위 5% IF 값을기준으로표준화한지수를제안하기도하였다 (Sen, 992; Marshakova-Shaikevich, 996). Pudovkin and Garfield (2004) 은아래식 () 과같이학술지의 IF 값을사용하지않고분야내학술지의순위를이용한순위보정영향력지수 (Rank Normalized Impact Factor, rnif) 를제시하였다. N R j rnif j =------------------ + () N 여기서 rnif j 는순위보정영향력지수, N 은해당분야내의학술지수, R j 는분야내특정학술지의순위이다. Heo et al. (2008) 는특정학술지의 rnif가 x라는값을가진다는말은 (-x) 00% 의학술지가해당학술지보다영향력지수기준으로상위에있음을의미한다고하였다. IF 기준으로특정학술지가분야내최상위인경우 rnif는 의값을가지게된다. 그리고최하위에있는경우 /N으로동일한최하위저널이라도분야내학술지수에따라달라지게된다. 따라서 Heo et al. (2008) 는최하위저널의순위보정영향력지수값이분야내학술지수에의존하는특성을보완하기위해, 최하위학술지인경우 0으로고정되는최소값 0, 최대값 00으로보정한표준화된순위보정영향력지수 (Modified Rank Normalized Impact Factor, Modified rnif, mrnif) 를제시하였다. 표준화된순위보정영향력지수 (mrnif) 의계산은아래식 (2) 과같다. mrnif j 00 N R j ----------- 00 N rnif j = = (2) N ------------------------- N Cho (203) 은표준화된순위보정영향력지수 (mrnif) 를활용하여표준화된순위보정영향력지수 (mrnif) 의평균으로 80 이상인경우 S등급으로 5등급평가기준의최상위등급으로평가하였다. 또한연구수월성지표로표준화된순위보정영향력지수 (mrnif) 90 이상논문비율이전체 20% 이상인경우 S등급의최상위등급으로제시하였다. 학문분야별상대비교및국가간비교분석을위해서는 Kim and Lee (202) 과같이상대적순위보정영향력지수 (Relatively Rank Normalized Impact Factor, R2nIF) 가더적합할수있다. 상대적순위보정영향력지수 (R2nIF) 는해당분야의표준화된순위보정영향력지수 (mrnif) 의세계평균대비해당학술지의표준화된순위보정영향력지수 (mrnif) 이다. 상대적순위보정영향력지수 (R2nIF) 가 보다크면학문분야의세계평균수준보다권위가높은학술지에논문이게재되었음을의미한다. SCIE DB를이용한지질자원분야전체학술지정보의접근에한계가있으므로, 본연구에서는상대적순위보정영향력지수 (R2nIF) 를통한세계평균과의비교를시행하지않는다. 참고로 Kim and Lee (202) 에서제시한 2009년지구과학, 공학, 재료과학분야의표준화된순위보정영향력지수 (mrnif) 의세계평균은각각 72.6, 72.5, 76.4와같다. 202년 KIGAM 세계수준연구실로지원하였던지하수, 선광, 희유자원활용, 자원탐사개발, 도시광산, 가스하이드레이트분야연구실을대상으로 2009년도부터게재한 SCI논문의질적분석을실시한다. 3. 연구결과 3.. 카테고리분석 SCI논문의질적분석을위해서는게재논문의순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 를도출해야한다. 하지만각분야별대표
230 안은영 Journal Citation Reports (JCR) 카테고리설정에따라표준화된순위보정영향력지수 (mrnif) 의수치가달라지므로카테고리의설정방법이중요하게된다. 지하수분야를대표로카테고리에따른게재논문의순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 산정방식을살펴본다. 지하수분야의경우, 202년도게재실적이있는 Applied Microbiology and Biotechnology, Chemical Engineering Journal, Chemosphere, Environmental Engineering Science, Environmental Science & Technology, Ground Water, Journal of Environmental Monitoring(203년 2월까지 SCI 등재 ), Journal of Hydrology, Journal of Radioanalytical and Nuclear Chemistry, Water Research의 0개학술지의 JCR 카테고리를살펴보면 Applied Microbiology and Biotechnology, Chemosphere 학술지를제외하고 2개이상의카테고리를가지고있는것을알수있다 (Table ). JCR 카테고리별학술지를살펴보면분석대상인총 0개학술지는 카테고리에 5 개학술지가속해있으며 Engineering-Environmental 에 4개, Water Resources에 3개, 및 Geosciences- Multidisciplinary 및 Chemistry-Analytical에 2개, 각각 Biotechnology & Applied Microbiology, Chemistry- Inorganic & Nuclear, Engineering-Chemical, Engineering-Civil, Nuclear Science & Technology 카테고리에 개학술지가속한것을알수있다. 분석대상으로 카테고리를선택하는경우 Water Research 학술지는해당카테고리 209개학술지중 2위로순위 (position) 지수 (Rank/Total) 가상위 5.74% 로계산되나, Water Resources 카테고리를선택하는경우 Water Research 학술지는해당카테고리 80개학술지중 위로순위 (position) 지수가상위.25% 로나타난다. 지하수분야한연구실의실적을대상으로분석하는경우에도카테고리의설정에따라학술지의순위 (position) 지수가달라지며, 그에따라표준화된순위보정영향력지수 (mrnif) 도달라짐을알수있다. Heo et al. (2008) 의경우는 Engineering-Geological, Agronomy, Physics-Multidisciplinary, Oncology 등 JCR 카테고리별로분석하여카테고리별표준화된순위보정영향력지수등을비교한바있다. 본연구는지하수, 선광, 희유자원활용, 자원탐사개발, 도시광산, 가 Table. Journals listed with KIGAM groundwater research papers in 202 Journal Title Applied Microbiology and Biotechnology Chemical Engineering Journal Chemosphere Environmental Engineering Science Environmental Science & Technology Ground Water Journal of Environmental Monitoring Journal of Hydrology Journal of Radio analytical and Nuclear Chemistry Water Research Category Biotechnology & Applied Microbiology Engineering, Chemical Engineering, Environmental Engineering, Environmental Engineering, Environmental Geosciences, Multidisciplinary Water Resources Chemistry, Analytical Engineering, Civil Geosciences, Multidisciplinary Water Resources Chemistry, Analytical Chemistry, Inorganic & Nuclear Nuclear Science & Technology Engineering, Environmental Water Resources
논문질적평가를통한 KIGAM 세계수준후보연구실기술수준평가 23 스하이드레이트의타분야비교를실시하지만, 각분야별대표 JCR 카테고리설정에따라표준화된순위보정영향력지수 (mrnif) 의수치가달라지므로특정 JCR 카테고리를선택하지않는다. 각학술지의카테고리최고순위및평균순위를적용하여각분야별게재논문의순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 를비교하였다. 지하수분야를대표로게재학술지의순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 를산정한결과는 Table 2 와같다. 3.2. 논문질적평가 202년질적분석결과는다음과같다. 기존에쓰였던방법인 IF의합계나편당 IF의경우는희유자원활용분야연구실이 67.50, 2.93으로가장높음을알수있다 (Table 3). 또한같은 202년도결과에 JCR 20, JCR 202의적용에따라, 타분야는근소한차 이가나나자원탐사개발분야와선광분야의경우크게차이나는것을확인할수있다. 앞서제시한연구방법과같이학술지의순위 (position) 를이용하여해당연구실의순위 (position) 지수의평균을구하여타분야와비교하였다. 또한해당연구실 / 팀의실적의수월성을나타내는지표로 Cho (203) 의연구와같이전체 SCI 논문실적중순위 (position) 지수상상위 20%, 0% 에해당하는논문비율을살펴보았다 (Table 3). 개별학술지분야별최고순위를적용한결과는지하수분야가순위 (position) 지수 5.60% 로 IF로설정한순위평균이가장낮아가장좋은결과를보임을알수있었다. 순위 (position) 지수로설정한상위 20% 이내논문비율, 상위 0% 이내논문비율또한각각 78.57%, 64.29% 로지하수분야연구실이가장높은수치로, 순위가높은학술지에논문을가장많이게재한것으로나타냈다. 평균순위를적용한결과는자원개발탐사분야가순위 (position) 지수 23.33% 로가장 Table 2. Journal Impact Factor (IF) analysis results in groundwater area Category Journal Title Total Rank Position ) IF 202 mrnif 2) Biotechnology & Applied Microbiology Chemistry, Analytical Chemistry, Inorganic & Nuclear Applied Microbiology and Biotechnology 59 29 8.24 3.69 82.28 Journal of Environmental Monitoring 75 34 45.33 2.09 55.4 Journal of Radioanalytical and Nuclear Chemistry 75 48 64.00.47 36.49 Journal of Radioanalytical and Nuclear Chemistry 43 25 58.4.47 42.86 Engineering, Chemical Chemical Engineering Journal 33 0 7.52 3.47 93.8 Engineering, Civil Journal of Hydrology 22 4 3.28 2.96 97.52 Engineering, Environmental Geosciences, Multidisciplinary Nuclear Science & Technology Chemical Engineering Journal 42 7 6.67 3.47 85.37 Environmental Engineering Science 42 29 69.05.5 3.7 Environmental Science & Technology 42 2 4.762 5.26 97.56 Water Research 42 3 7.4 4.66 95.2 Chemosphere 209 36 7.23 3.4 83.7 Environmental Engineering Science 209 4 67.46.5 32.69 Environmental Science & Technology 209 7 3.35 5.26 97.2 Journal of Environmental Monitoring 209 84 40.9 2.09 60.0 Water Research 209 2 5.74 4.66 94.7 Ground Water 70 54 3.77 2.3 68.64 Journal of Hydrology 70 27 5.88 2.96 84.62 Journal of Radioanalytical and Nuclear Chemistry 34 3 8.82.47 93.94 Ground Water 80 7 2.25 2.3 79.75 Water Resources Journal of Hydrology 80 5 6.25 2.96 94.94 Water Research 80.25 4.66 00 ) Total Rank ------------ 00, 2) ---------------------------- 00, Rank Normalized Impact Factor. Total Total
232 안은영 높았으며선광, 지하수분야순이었다. 평균순위를적용하였을때상위 20% 과 0% 비율은각각지하수, 도시광산분야가 50.00%, 33.33% 로가장높게나타났다. 각학술지의카테고리최고순위및평균순위를적용한결과를비교한결과, 도시광산분야와가스하이드레이트분야를제외한지하수, 선광, 희유자원활용, 자원탐사개발분야게재논문의상위 20%, 0% 이내비율이크게차이가나는것을알수있다. 표준화된순위보정영향력지수 (mrnif) 로 202년도 SCI논문분석을수행한결과는다음과같다 (Table 4). 개별학술지분야별지수의최고값을적용하였을때지하수분야연구실이표준화된순위보정영향력지수 (mrnif) 가 85.68로가장높았으며지수의평균을적용한결과는자원탐사개발분야가 77.80으로가장높았다. 지수의최고값을적용한지수 80 이상논문비율은 80.00% 로자원탐사개발분야연구실이가장높았으며, 지하수, 선광분야연구실순으로나타났다. 90 이상논문비율은지하수 64.29%, 선광 54.55%, 자원 Table 3. Qualitative analysis results with positions of research papers in 202 Area Sum of JCR 202 IF (JCR 20) 37.38 (36.23) 24.47 (2.72) 67.50 (68.04) 2.98 (.80) 5.23 (5.25) 2.45 (2.23) JCR 202 IF per paper (JCR 20) 2.67 (2.59) 2.22 (.97) 2.93 (2.96) 2.60 (2.36).69 (.69) 2.07 (2.04) Applied Highest Journal Rank Average Position ) (%) in 20% in 0% Applied Average Journal Rank Average Position (%) in 20% in 0% 5.60 78.57% 64.29% 27.53 50.00% 28.57% 7.92 63.64% 36.36% 27.05 36.36% 8.8% 23.89 52.7% 34.78% 32.06 34.78% 3.04% 8.06 60.00% 20.00% 23.33 40.00% 20.00% 23.2 44.44% 33.33% 32.6 33.33% 33.33% 32.7 33.33% 0.00% 36.85 33.33% 0.00% Table 4. Qualitative analysis results with mrnif of research papers in 202 Area Sum of JCR 202 IF (JCR 20) 37.38 (36.23) 24.47 (2.72) 67.50 (68.04) 2.98 (.80) 5.23 (5.25) 2.45 (2.23) JCR 202 IF per paper (JCR 20) 2.67 (2.59) 2.22 (.97) 2.93 (2.96) 2.60 (2.36).69 (.69) 2.07 (2.04) Applied Highest Journal Rank mrnif ) over 80 over 90 Applied Average Journal Rank mrnif over 80 over 90 Groundwater Mineral Processing Rare Metals Utilization Exploration Geophysics Urban Mining Gas Hydrate ) ------------ Rank 00 Total Groundwater 85.68 78.57% 64.29% 73.47 50.00% 28.57% Mineral Processing 83.57 63.64% 54.55% 74.06 36.36% 8.8% Rare Metals Utilization 77.25 52.7% 39.3% 68.76 34.78% 2.74% Exploration Geophysics 83.59 80.00% 40.00% 77.80 60.00% 40.00% Urban Mining 77.8 44.44% 33.33% 68.4 33.33% 33.33% Gas Hydrate 68.22 33.33% 0.00% 63.93 33.33% 0.00% Total Rank ) ---------------------------- 00, Rank Normalized Impact Factor Total
논문질적평가를통한 KIGAM 세계수준후보연구실기술수준평가 233 탐사 40.00% 순이었다. 지수의평균값을적용한 80 이상논문비율은지수최고값을적용한결과와동일한순서였고, 90 이상비율은자원탐사개발, 지하수, 희유자원활용분야연구실순이었다. 각학술지의최고지수및평균지수를적용한결과를비교한결과도도시광산분야와가스하이드레이트분야를제외한지하수, 선광, 희유자원활용, 자원탐사개발분야연구실의게재논문의상위 20%, 0% 이내비율이크게차이가나는것을알수있다. 순위 (position) 지수와표준화된순위보정영향력지수 (mrnif) 의결과를비교하였을때, 수월성지표인 80 이상비율, 90 이상비율에대해지하수, 도시광산, 가스하이드레이트분야연구실은차이가없었다. 선광분야는지수의최고값적용시 90 이상지수비율이 54.33% 으로기존의순위 (position) 지수로도출한상위 0% 이내비율인 36.36% 보다높아졌다. 희유자원활용분야연구실또한같은지표가 34.78% 에서 39.3% 로높아졌으며지수의평균값을적용하는경우도 90 이상비율이 2.74% 로기존의순위 (position) 지수에서상위 0% 이내비율인 3.04% 보다높아졌다. 자원탐사개발분야연구실의경우또한순위 (position) 보다표준화된 순위보정영향력지수 (mrnif) 를적용하였을때수월성지표가더높게나타났다. 이분야는모든수월성지표에서같은결과였으며, 논문의숫자가적어서비율상으로아주높은숫자변화를보였다. 시계열자료로각연구분야를비교한결과는다음과같다 (Fig. -5). 202년편당 IF는희유자원활용분야연구실이가장높았으나 JCR 202 적용시 2009 년-20년 (JCR 20 적용 2009년, 20년 ) 은지하수, JCR 20 적용시 200년은가스하이드레이트분야연구실이가장높았다 (Fig. ). 순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 는지하수분야연구실이 2009년, 20년실적이월등히좋으나다른연도의경우도시광산및자원탐사개발분야연구실이우수한실적을보이는것을알수있다 (Fig. 2-3). 전체게재논문중표준화된순위보정영향력지수 (mrnif) 가 80 이상인비율및 90 이상인비율로비교한결과 20년의경우지하수분야연구실이가장우수하였으나다른연도의경우지표별로순위가달라가장우수하다고보기어려웠다 (Fig. 4-5). Cho (203) 의최고등급연구수월성지표인 90 이상논문비율 20% 이상을도시광산분야연구실이만족하고있으며 Fig.. IF per paper (left: JCR 202 applied, right: JCR 20 applied). Fig. 2. Positions (left: highest journal rank, right: average journal rank).
234 안은영 Fig. 3. mrnif (left: highest journal rank, right: average journal rank). Fig. 4. over 80 mrnif (left: highest journal rank, right: average journal rank). Fig. 5. over 90 mrnif (left: highest journal rank, right: average journal rank). 지하수분야연구실은평균순위를적용한 200년을제외하고만족하고있었다. 4. 결론본연구에서지질자원분야연구개발수월성을제시할수있는평가방법인 SCI논문의질적평가지표를제시하고, 이를 KIGAM의세계수준연구실기술수준평가에적용했다. 기존에논문에대한질적수준평가는 IF나순위 (position) 지수를활용한방법이었다. 본연구에서 JCR 20, JCR 202의어떤시점의 IF를사용하는지에따라결과가달라지는것을확인할수있었으며, IF의합계나편당 IF가높은경우라도순위 (position) 지수와표준화된순위보정영향력지수 (mrnif) 가가장좋게나타나지않음을확인할수있었다. Cho (203) 의표준화된순위보정영향력지수 (mrnif) 를이용한연구수월성지표와기존에쓰였던순위 (position) 를활용한수월성지표를비교하였다. 2009-202년실적분석결과지하수, 도시광산, 가스하이드레이트분야연구실은순위 (position) 와표준화된순위보정영향력지수 (mrnif) 의결과는차이가없었으나자원탐사개발, 선광, 희유자원활용분야연구실실적의경우순위 (position) 보다표준화된순위보정영향력지수 (mrnif) 를적용하였을때수월성지표가더높게나타났다. 202년편당 IF는희유자원활용분야연구실이가장높았으나순위 (position) 지수및표준화된순위보정영향력지수 (mrnif) 는지하수 ( 최고순위적용 position/
논문질적평가를통한 KIGAM 세계수준후보연구실기술수준평가 235 mrnif), 자원탐사개발 ( 평균순위적용 position/mrnif) 분야가제일높게나타났다. 또한이전년도의편당 IF 의경우 JCR 202 적용시 2009년 -20년 (JCR 20 적용 2009년, 20년 ) 은지하수, JCR 20 적용시 200년은가스하이드레이트분야연구실이가장높았다. 순위 (position) 및표준화된순위보정영향력지수 (mrnif) 는지하수분야연구실이 2009년, 20년실적이월등이좋으나타년도의경우도시광산및자원탐사개발분야연구실이우수한실적을보이는것을알수있다. 수월성지표로전체게재논문중표준화된순위보정영향력지수 (mrnif) 가 80 이상인비율및 90 이상인비율로비교한결과, 20년의경우지하수분야연구실이가장우수하였으나다른연도의경우지표별로다른순위를보여가장우수하다고보기어려웠다. Cho (203) 의최고등급연구수월성지표인 90 이상논문비율 20% 이상을도시광산분야연구실이만족하고있으며지하수분야연구실은평균순위를적용한 200년을제외하고만족하고있었다. 기존에단순히 SCI논문의 IF를비교하였던방법에서논문순위 (position) 와표준화된순위보정영향력지수 (mrnif) 를이용한분석결과학문분야별차이를고려한질적분석이가능함을확인할수있었다. MSIP (203) 는추격형연구개발에서선도형연구개발로의방향의변화를요구하고있으며, 성공하기쉬운연구개발에서창의 도전적연구개발을강조한바있다. 본연구에서는 IF 순위를고려한질적평가를수행하였으나, SCI논문의질적평가를위한가장적절한지표는실제해당논문의피인용수일것이다. 양적 SCI 논문수의확대보다피인용수가높은논문성과창출을위해서는기존의선진국추격형및계량연구방향과다른원천연구가요구될것이다. 이를위해서는연구개발자가실패에대한불이익없이창의 도전적연구개발을수행할수있는연구환경조성이선행되어야할것이다. 사 사 이논문은한국지질자원연구원주요연구사업 지질자원기술핵심역량강화전략수립연구 (GP202-008) 에의해지원되었습니다. References Cho, Y.D. (203) Qualitative outcome index for different R&D goals and its application, First public hearing document for improvement of R&D outcome evaluation method, MSIP/KISTEP, p.23-34. Cho, Y.H., Woo, J.P., and Song, C.H. (200) Practical analysis of developed bibliometric indicators for evaluation of national R&D programs-case study of World Class University program-, Journal of Korea Technology Innovation Society, v.3, n.3, p.494-52. Heo, J.E., Kim, H.D., Cho, Y.D., Cho, S.M. and Cho, S.R. (2008) Developing Bibliometric Indicators for Analysis & Evaluation of National R&D Programs, Journal of Korea Technology Innovation Society, v., n.3, p.376-399. Kim, Y.J. and Lee, H.G. (202) Analysis of Relationship Between international joint research and research paper quality using Relatively Rank-normalized Impact Factor (R2nIF), Proceeding of Korea Technology Innovation Society, p.75-84. Marshakova-Shaikevich, I. (996) The Standard Impact Factor as an Evaluation Tool of Science and Scientific Journals, Scientometric, v.25, p.283-290. Ministry of Science, ICT, and Future Planning (MSIP) (203) First public hearing document for improvement of R&D outcome evaluation method, MSIP/ KISTEP, 48p. Pudovkin, A.I. and Garfield, E. (2004) Rank-Normalized Impact Factor: A Way to Compare Journal Performance Across Subject Categories, Proceedings of the 67th ASIS&T Annual Meeting, 4, p.507-55. Sen, B.K. (992) Normalized Impact Factor, Journal of Documentation, 48, p.38-329. 204 년 4 월 25 일원고접수, 204 년 5 월 29 일 차수정, 204 년 5 월 29 일게재승인