<BFACB1B8BAB8B0EDBCAD C3D6BAC0B4EB292E687770>

Transcription

1 연구보고서 58 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발 On fair evaluation of research accomplishment in various academic areas 2009 연구책임자 : 최 봉 대 (고려대학교 수학과 교수)

2 요약문 ⅰ Abstract ⅳ 1. 서론 1 2. 한림원 회원 심사의 역사와 문제점 회원심사제도 및 연구실적 평가의 변천 한림원 연구실적 평가 및 회원심사제도의 문제점 연구실적 평가의 문제점 회원심사제도의 문제점 8 3. 학부별 분과별 지원자의 연구 실적의 통계적 분석 수집된 자료의 조사 대상 조사 결과 분석 이학부 공학부 농수산학부 의약학부 정책학부 연구 실적의 다양한 기준 방안 분과간 특수성을 고려한 실적 평가를 위한 표준점수화 67

3 4.2 연구실적의 양적 평가에서 질적 평가의 강화 신입회원 연구실적의 최소 기준 표준점수 미국 한림원 합격자의 실적을 바탕으로 한 기준 H-지수를 바탕으로 한 기준 한림원 회원심사 시스템의 개선방안 연구실적 평가의 개선방안 분과간 특수성을 고려한 실적 평가를 위한 표준점수화 연구실적평가시 평가항목별 가중치의 효과적인 배분 분과별 인사위원회에서 동일 분과내의 각 세부분야의 전문가에 의한 실적 차이의 보정 및 실적의 질적인 평가 신입회원 지원자의 제출서류의 신빙성 확보 H-index의 활용 새로운 연구실적 평가를 위한 제도 개선방안 결론 92 부록 94 부록 1 한림원 회원심사용 업적물 제출요령 94 부록 2 회원 업적물 평가표(지원자용) 99 부록 3 회원 업적물 평가표(심사용) 100 부록 4 전문 학술 저서 및 역서 배점표 101 부록 5 한국과학기술한림원 신입회원 합격자의 실적 분석 102

4 요 약 문 한국과학기술한림원은 1994년 창립 당시부터 회원의 선출에 있어서 회 원후보 자격심사를 엄격히 하였고 선진국 과학한림원의 회원선출규정을 참 조하여 우리나라 실정에 맞는 회원선출절차를 제정하였다. 본 연구의 목적 은 과학 기술 분야 연구자의 연구 업적을 평가할 때 연구 세부 분야의 특 성을 반영할 수 있는 양적, 질적 평가 지표를 마련하고 이를 바탕으로 한국 과학기술한림원 신규 회원 선출 규정을 보다 합리적인 평가방식으로 개선 하는데 있다. 본 연구에서는 과학기술 연구 활동의 성과 평가를 위한 기준 마련을 위해 우리나라의 한국과학기술한림원과 미국의 과학한림원 (National Academy of Science, NAS), 공학한림원 (National Academy of Engineering, NAE) 신입회원의 연구 실적을 조사 하고 이를 바탕으로 학부 및 분과의 특성을 반영할 수 있는 보다 합리적인 평가 규정을 마련한다. 자료 조사 대상의 범위 우리나라의 경우는 2003년부터 2008년까지 6년간 한국과학기술한림원 신입회원 지원자들 (신입회원 합격자와 불합격자 포함) 415명을 대상으로 하였다. 한국 과학기술한림원의 신입 회원 지원자들의 통계적 데이터는 한 림원이 보유하고 있는 서류로부터 심사당시의 실적을 바탕으로 하였다. 미국의 경우는 2007년과 2008년 2년간의 과학한림원 신입회원 144명과 공학한림원 신입회원 128명 모두 272명을 대상으로 하였다. 그 중에서 각 신입회원의 개인홈페이지의 논문목록을 바탕으로 ISI Web of Knowledge의 자료와 비교하여 신뢰성이 확인된 166명을 대상으로 조사하였다. i

5 조사 자료의 내용 우리나라의 경우 과학기술한림원의 신입회원 지원자들이 가입 당시 제 출한 서류에서 SCI 논문 편수, SCI 논문 중 제1저자 및 교신저자에 해당하 는 논문 수, 비SCI 논문 편수, impact factor, 대표 논문 10편에 대한 인용 수, 단행본의 수, 특허의 수에 대한 통계 자료를 분석하였다. 미국의 경우 과학한림원(NAS)과 공학한림원(NAE)의 신입회원들의 개 인 홈페이지의 논문 목록을 바탕으로 ISI Web of Knowledge를 이용하여 SCI 논문 수, 전체논문의 인용횟수, h-index에 대한 통계자료를 분석하였다. 우리나라의 경우에는 조사 대상이 되는 각 신임 회원 지원자에 대하여 신청당시의 실적을 통계 자료로 이용하였고 미국의 경우에는 모든 조사 대 상에 대하여 2009년 3월 기준의 실적을 통계 자료로 이용하였다. 논문의 인 용 수는 우리나라의 경우에는 대표논문 10편에 대한 인용 수를 분석하였으 며 미국의 경우에는 전체 논문에 대한 인용 수를 분석하였다. 자료 분석의 결과 대부분의 평가 항목에 대하여 신임회원 지원자의 연구 실적이 지원 학 부별 및 분과별로 큰 차이가 있음을 알 수 있었다. 특히 SCI 논문 수, Impact factor의 총합, 대표 논문 10편의 인용 수 등 평가 점수의 배점이 큰 항목에서 지원 분과별 실적 차가 매우 크게 나타남을 확인하였다. 표준 점수 도입의 필요 통계 자료 분석을 통해 확인한 연구 실적의 분과별 차이를 보정하기 위해 우리나라 대학수학능력시험의 표준점수 산출에 이용되는 분야별 표준 점수 산출 방식을 도입한다. 표준점수를 산출 방식에 따르면 표준점수는 원 점수로부터 다음과 같이 구해진다. 원점수 분과평균 표준점수 분과표준편차 ii

6 단, 위 계산 결과가 100점 보다 높을 경우는 표준점수를 100점으로 한다. 위의 방식에 따라 SCI 논문 수, Impact factor, 인용 회수 등의 각 항목 에 대하여 표준점수를 산출하면 신임회원 지원자의 연구 분야의 특성을 반 영한 평가 지표를 얻을 수 있을 것이다. 질적 평가 강화 현재의 회원 업적물 평가 기준에 따르면 지원자의 SCI논문의 총논문 편수 등과 같은 양적 실적에 대한 평가 배점이 높으며 논문의 인용 수 등 의 질적 평가를 할 수 있는 항목에 대한 배점이 낮아 실질적인 질적 평가 에 어려움을 주고 있음을 알 수 있다. 따라서 논문의 인용 수 등에 대한 가 중치를 상향 조정하여 회원심사에 있어서 질적인 지표의 비중을 증가시킨 다. 조사 자료의 유지 관리 매년 한국과학기술한림원 지원자 및 합격자에 대한 연구 실적 자료를 추가하여 학부별 및 분과별 연구 실적에 대한 통계 자료의 신뢰성을 높여 가고, 표준점수의 기준이 되는 통계량을 새로운 값으로 수정할 수 있도록 통계 자료의 유지 및 지속적 관리가 필요하다. iii

7 Abstract The Korea Academy of Science and Technology(KAST) has established election system based on those of academies in other advanced countries and has been in accordance with strict rule in election of its new members from its foundation in The purpose of this research is to pave the way for establishing evaluation indicators for academic research achievement of scientists and engineers and more reasonable evaluation process for election of new members of KAST. To do this we make use of various data including academic achievement of members of KAST, NAS(National Academy of Science, USA), and NAE(National Academy of Engineering, USA). Based on these data we suggest reasonable evaluation process to reflect academic properties of each college and department. The Range of surveyed data For KAST we took account of applicants for new members from 2003 to 2008 including both successful and unsuccessful candidates. The statistical data for those applicants were based on academic achievements of applicants extracted from documents for application. For NAS and NAE, we considered 144 and 128 new members, respectively, from 2007 to We compared lists of papers in personal homepage and ISI Web of Knowledge to select 166 of those whose data were confirmed to be reliable. The content of surveyed data For KAST we analyzed statistical data of applicants for new iv

8 member, which contained the number of SCI papers, the number of SCI papers where the applicants played a role of the first or corresponding author, the number of non-sci papers, impact factors of journal where the papers were published, the cited numbers of representative papers, the number of independent volumes, and the number of patents. For NAS and NAE, we investigated personal homepages of new members and ISI Web of Knowledge to make analysis of those statistical data consisting of the number of SCI papers, total cited number, h-index. The results of analysis of data In most of evaluation items we found that there were big differences, in academic achievements of candidates of new members of KAST, which depended on the colleges and the departments which the candidates belonged to. Especially we were able to identify the departmental difference in important items in evaluation such as the number of SCI papers, total impact factor, total cited number of 10 representative papers. The necessity of introducing standard score We introduce the departmental standard score formula which is also used to compute the standard score for the national academic aptitude test for university admission in Korea. According to the formula the standard score can be obtained from the original score by original score - departmental average departmental standard deviation where the standard score is 100 if the above quantity is greater than 100. v

9 We can obtain a reasonable evaluation indicator reflecting peculiarities of research areas of candidates of new members if we use the standard score formula as stated above. Reinforcement of the quality of academic works According to the appraisal standard for academic achievement in KAST, higher score is allotted to quantitative accomplishment than qualitative one and this makes it difficult to evaluate the quality of academic works of candidates. Therefore it is necessary to elevate the weight for the total cited numbers to increase the rate of qualitative indicator. Maintenance and Management of the data To increase the reliability of the statistical data for departmental academic achievement, it is necessary to update the data each year to include information for new candidates and to adjust statistical data which are criteria of standard score, it is also necessary to continue to maintain and manage the data. vi

10 서 론 1장 매년 11월이 되면 한국과학기술한림원은 새로운 회원을 선출하여 발표한다. 한국과학기술한림원 회원은 우리나라 과학기술계에서 학문적 수월성의 표상으 로 국내외에 광범위하게 알려져 있으므로, 신문과 방송에서도 발표되는 등 우 리나라 전체의 관심이 집중된다. 그렇지만 이러한 회원을 새로이 뽑는 절차는 일반인은 물론이요, 과학기술자에게도 잘 알려져 있지 않고 베일에 가려져 있 다. 이러한 정보 부족은 물론 의도한 것은 아니지만, 회원선출 절차가 상당히 복잡하고 은밀한데 기인하는바 크다. 즉, 한림원 회원 선출은 그 절차에 있어 서, 개인이나 개인으로 구성된 소규모 그룹이 지나치게 큰 영향을 끼치지 못하 도록 만들어진 합의 절차이기 때문이다. 새로이 선출된 한국과학기술한림원 회원은 매년 11월 개최되는 총회의 인준 과 동시에 소개되며, 성대하고 따뜻한 환영을 받는다. 여기서 한국과학기술한림 원의 신규회원 선출절차에 이렇게 많은 시간과 노력을 드릴만큼 가치가 있느냐 에 의문을 나타내는 사람도 많다. 특히 신청 절차와 제출 서류의 복잡성에 대 하여 적의에 가까운 감정을 드러내는 사람도 종종 볼 수 있다. 이러한 중요한 질문에 대하여 적어도 세 가지의 해답을 드릴 수 있다. 첫째, 한국과학기술한림 원 회원 각자는 그들이 소속된 과학기술 분야의 과학기술자와 과학기술 후속세 대에 대한 학문적 수월성을 정의하는 역할모델(role model)이기 때문이다. 둘 째, 한국과학기술한림원의 우리나라 과학기술 정책에 대한 수립, 자문, 평가, 건 의를 하는 두뇌 집단으로서의 역할 때문이다. 이와 관련된 최근의 몇몇 논쟁점 은 고등교육과 과학기술의 연계성 으로부터 광우병의 진실 에 이르기 까지 매우 넓은 범위이다. 셋째는 한국과학기술한림원은 우리나라 과학기술분야의 국제협력 및 석학 교류사업을 효율적으로 집행하는 기관이기 때문이다. 현재 국제적으로 35개국 39개의 외국 과학기술한림원, 4개 국제한림원단체와 과학기 제 1장 서론 1

11 술협력 양해각서를 교환하고 구체적인 과학기술교류사업을 추진하고 있으며, 매년 노벨상 수상자를 초대하여 세계 최고수준의 학술교류를 수행하고 있다. 따라서 이러한 중차대한 임무와 역할을 해야 하는 한림원 회원의 선출에 많은 노력과 시간을 바쳐야하는 것은 어쩌면 당연할지 모른다. 한림원 신규 정회원 회원심사는 1994년 한림원의 출범이래 거의 매년 연례행 사로 이루어져 온 만큼, 매년의 심사 이후, 심사제도 자체에 문제점이 노정되면 그러한 문제점을 없애는 방향으로 계속 발전되어 현 심사제도의 골격과 절차를 갖추게 되었다. 그러나 그 동안 심사의 공정성과 학문적 수월성 확보에 너무 많은 비중을 둔 나머지 이에 따른 여러 가지 문제점이 노정되어 합리적인 개선 을 필요로 하고 있다. 그 중 중요한 것 몇 가지를 간추려 소개하면, 첫째 한국 과학기술한림원 5개 학부 내의 분과별로 연구 실적 차이가 매우 큼에도 불구하 고 현행 실적 평가 방식에는 그 차이가 반영되어 있지 않다. 둘째, 현행 연구실 적 평가 방법은 SCI 논문수와 Impact factor가 크게 반영되고 있으며 연구의 질을 그나마 잘 나타낸다고 하는 인용횟수의 반영 비율은 상대적으로 낮다. 셋 째, 회원심사 시 분과 내의 세부분야별 연구실적의 차이가 현행 심사 평가에는 반영되어 있지 않다. 넷째, 그동안 지원자의 연구업적 평가표는 지원자가 스스 로 작성하고, 한림원에서는 그 평가표를 바탕으로 실적을 산출하였다. 그러나 이 방법은 전적으로 지원자가 작성한 자료에 신뢰하는 방법으로써 객관적인 검 증절차가 없기 때문에 작성과정에서 작성자의 착오 또는 잘못된 인용회수 기재 등을 확인하기 어렵다. 그 외에 사소하지만 중요한 것으로는 부별 예비심사위 원회의 역할 미비, 회원심사위원회의 단계별 연계성 및 객관성 미비, 본 심사 위원 선정의 객관성, 신입회원 추천 및 발굴 미흡 등이 있다. 이 연구는 이와 같은 배경 하에 (1) 한림원 신규 회원 학부별, 분과별 지원자 의 연구 성과 통계 조사와 (2) 분야별 연구 수준 지표 적용 방안 연구의 두 부 분으로 나누어 수행하였다. 우선 최근 6년 간 한림원 신규 회원 지원자를 통계 표본 집단으로 하고, 조사대상 연구자가 제출한 회원심사 자료를 이용하여 6개 의 중요지표(SCI논문수, SCI 제1/교신저자 논문수, 비SCI논문수, 비SCI 제1/교 신저자 논문수, Impact factor의 총합, 대표논문 10편에 대한 피인용 수)에 대한 개인별 자료를 확보한다. 이와 같은 개인별자료에서 학부별, 분과별 6개 중요지 표에 대한 통계자료(평균과 분산)를 추출하고 이러한 통계자료를 이용하여 분 과별 학문적 특성에 기인한 차이를 없앨 수 있는 표준점수를 도입함으로서 앞 으로 한림원 회원심사 평가에 이용할 수 있도록 하였다. 특히 본 연구에서 중점적으로 추구하고자 하는 학부 내 학문 세부분야(한림 2 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

12 원에서는 분과로 나눔)별 학문적 특성에 따른 평가지표 개발은 한림원의 신규 회원 선출뿐 아니라 일반 대학 혹은 출연 연구소의 학과 및 연구 분야 간 특성 을 반영한 연구 업적 평가 기준으로 활용될 수 있으므로 꼭 필요한 연구이며, 앞으로 이 연구를 발판으로 좀 더 광범위하고 상세한 데이터베이스를 이용한 후속 연구가 이루어지기를 바란다. 이 연구의 목적은 최근 6개년 간 한림원 신규 회원 지원자들의 연구 업적을 표본으로 조사 분석하여 과학 기술 분야 연구자의 연구 업적을 평가할 때 연구 세부 분야의 특성을 반영할 수 있는 양적, 질적 평가 지표를 마련하는데 기초 자료를 제공하며, 아울러 이를 바탕으로 한림원 신규회원 선출에 대한 합리적 인 평가방식을 마련하는데 있다. 제 1장 서론 3

13 한림원 회원심사의 역사와 문제점 2장 2.1 회원심사제도 및 연구실적 평가의 변천 한국과학기술한림원(이하 한림원)은 1994년 창립 당시부터 회원의 선출에 있 어서 회원후보 자격심사를 엄격히 하였고 선진국 과학한림원의 회원선출규정을 참조하여 우리나라 실정에 맞는 회원선출절차를 제정하였다. 즉 정회원 후보 추천은 한림원 회원 또는 한림원이 지정하는 학회, 대학, 연구소 등의 장이 하 는 것으로 하였으나 후에 한림원 정회원 종신회원 3인 이상 추천으로 변경 되 었다. 추천된 후보는 해당분회의 예비심사위원회와 회원심사위원회의 심의를 거쳐 이사회와 총회의 승인을 받아 정회원으로 선출되었다. 또한 종신회원은 정회원 중에서 소정의 후보자 추천으로 해당분회의 예비심사위원회와 회원심사 위원회의 심의를 거쳐 이사회와 총회의 승인을 받아 정회원으로 선출되었다. 회원의 자격요건은 교육법에 의한 대학 또는 이와 동등 이상의 학교를 졸업 하고 해당 전공 분야에서 경력이 10년 이상인 자로서 과학기술에 현저한 업적 을 가진 자로 하였다. 종신회원은 정회원 중에서도 그 업적이 현격한 자로 하 였다. 원로회원은 정회원의 경우 운영위원회의 추천을 거쳐야 하며, 종신회원은 임기가 종료되면 자동으로 원로회원으로 추대 되게 되어있었다. 정원 외 회원 으로 명예회원, 협력회원 그리고 외국인회원이 있다. 한림원의 최초 정회원 및 종신회원 선정을 위한 심사는 그간의 업적에 대한 계량적 평가 보다는 이미 인정된 업적, 즉 국제적으로 인정받는 외국아카데미 의 회원, 학술원상 등 국내외 주요 학술상 수상자, 업적이 알려진 학술단체의 장 등이 주요 판단 근거가 되었다. 그러나 한림원의 위상과 발전의 결정적 요건이 엄격하고 공정한 회원선정이 4 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

14 란 점에 착안하여 한림원은 창립기념 학술대회에서 이 문제를 집중적으로 부각 하였다. 즉 학술대회에 참가한 각국 아카데미 대표로부터 회원선정 방법에 대 한 발표에 이어 구체적 문제점에 대한 충분한 토의가 있었다. 그 결과 특정인 의 학문적 업적을 가장 정확히 평가할 수 있는 전문가는 같은 세부전공분야의 동료라는 사실을 확인하였다. 따라서 전통 있는 선진 아카데미에서는 세부분과 에서 후보를 심사하고 추천하여 전 회원의 의견을 묻는 방법을 택하고 있음도 파악하였다. 그러나 우리나라처럼 이제 한림원의 시작단계에 있는 실정을 감안할 때, 우 리나라는 아직 전문가에 대한 전반적 객관적 평가가 제도화 되어있지 않았고, 또 세부 전문분야마다 최소한의 기본 인원 즉 이른바 임계인원(critical mass) 이 확보되지 못했기 때문에 처음부터 이들의 제도를 받아들이는 것은 불가능 하다고 판단되었다. 한편 우리나라 학자들이 작성한 논문에 대한 전문가의 객관적 평가가 어려운 상황에서, 국제적 평가 기준 으로 어느 정도 자리 잡은 이른바 Science Citation Index(이하 SCI) 에 등재된 학술지에 게재된 논문을 중요시하자는 의견 이 대두되었고, 이것이 동료(학술지의 논문심사위원)에게 의존한 객관적 업적평 가의 대안으로 제시되어 초창기에는 별 무리 없이 수용되었다. 결국 SCI등재 학술지에 몇 편의 논문을 게재하였는가가 한림원 회원 자격심사의 가장 중요한 잣대가 되었다. 그러나 학문분야에 따라서는 일찍이 국제화되어 외국잡지에 논문을 투고하는 것이 익숙한 분야가 있는가 하면, 연구의 내용이나 성질이 외국학술지 보다는 국내학술지에 게재하는 것이 더욱 권위 있는 경우도 있고, 또, 그 방면의 국제 학술지가 거의 없어 게재하고 싶어도 할 수 없는 분야도 있기 때문에 우리나라 중진 석학들의 세부 전문분야에 따른 평균 SCI논문 편수는 상당한 차이를 보였 다. 또 외국(주로 미국이나 유럽)에서 박사학위를 받고 귀국하여 국내 학술기 관에 근무하는 학자들은 국내에 머물며 학술활동을 해온 학자들에 비해 상대적 으로 SCI논문 편수가 많았다. 그뿐 아니라 학부별로 보면 이학부나 공학부가 의약학부나 농수산학 분야에 비해 상대적으로 SCI논문 편수가 많았기 때문에 SCI전체 논문편수로 결정하던 초창기 회원 심사에서는 수학분야를 제외한 이학 부, 특히 화학, 물리학, 분자생물학 분야, 그리고 건축이나 토목을 제외한 공학 부 분야에서 회원들이 많이 영입되었다. 그러나 시간이 흐르고, 우리나라 과학 분야의 국제화가 급속하게 이루어지면 서 SCI등재 논문편수만으로 모든 것이 결정되는 제도는 개선되어야겠다는 의견 제 2장 한림원 회원심사의 역사와 문제점 5

15 과 종신회원 심사가 너무 엄격하다는(출석위원 3/4이상 찬성)의견 등이 있어서 회원의 학부 간 배정원칙, 심사제도의 개선 등을 토의할 여건이 마련되었다. 이와 같은 토의는 회원심사위원회와 회원제도심사위원회를 통해 이루어졌다. 충분한 토의를 거쳐 몇 가지 보완책이 마련되었다. 그것은 대표논문제출, 논문 의 공헌도 반영, 복수저자의 경우 책임저자 여부, 논문이 게재된 학술지의 영향 력지수(impact factor), 해당 분야에서의 게재 학술지의 위상, 국제학술지 편집 위원의 경력 등을 점수화하여 계량화하는 방법 등이었다. 한편, SCI등재 학술지에 게재하는 것이 한림원 회원 자격뿐 아니라 대학이나 연구기관에서의 임용이나 승진은 물론 연구비 신청에 까지 영향을 미치게 되었 다. 이러한 경향은 상당히 빠른 속도로 전 과학 분야에 확산되었다. 이와 같 은 추세는 긍정적인 면도 있었으나 상대적으로 국내학술지의 위축을 가져오게 하였다. 따라서 한림원에서는 비SCI등재 국외 혹은 국내 학술지에 게재된 논 문도 평가 대상에 포함시켜 형평성을 확보하도록 노력하였다. 또 이른바 비인 기 전문분야에서의 업적과 분야에 따른 특수성을 감안하는 방안도 마련되었다. 이와 같이 개선을 위한 꾸준한 노력의 결과 전공분야에 따른 편차를 어느 정 도 해소시킬 수 있었고, 또 해마다 비약적으로 늘어나는 SCI논문에 대한 대책 으로 영향력지수 외에 해당 논문의 피인용 횟수를 고려함으로서, 현재는 비교 적 안정된 회원 선출 업무가 수행되고 있다. 그러나 아직도 세부 학문 분야에 따른 특수성의 표준화, 제1저자나 교신저자 에 대한 가산점, 피인용 횟수의 계량화, 단행본이나 특허 문제, 등 해결해야할 문제들이 많이 있다. 한편 나날이 발전하는 학문분야에 따른 학술논문의 증가 도 판단에 고려해야 할 대상이 되었다. 2.2 한림원 연구실적 평가 및 회원심사제도의 문제점 연구실적 평가의 문제점 가. 양적인 평가에 치우침 한림원 회원 지원자의 연구실적의 평가는 대체적으로 SCI 논문수, Impact Factor, 대표논문 10편에 대한 인용횟수를 중심으로 평가되고 있다. 그러나 전 6 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

16 체적인 평가점수를 파악해 보면 SCI 논문수와 impact factor의 비중이 매우 높 고 지원자에 대한 평가가 질적인 평가보다는 양적인 평가에 치우쳐 있다. 한림 원에 지원하는 과학기술분야의 학자들의 경우 대단히 많은 SCI 논문을 발표하 고 있다는 점에서 이같은 양적인 측면에서의 평가는 회원의 우수성을 분별해 내기가 어렵다. 특히 SCI급 저널에 있어서도 그 차이가 많다는 점을 감안하면 이같은 양적인 지표는 한림원 회원 심사에서 적합성이 떨어진다고 판단된다. 나. 학문간, 분과간 특수성 고려의 부족 한림원은 5개 부로 구성되어 있고, 정책학부를 제외한 4개의 부는 4-5개의 분 과로 구성되어 있다. 본 연구결과 이들 각 부별, 분과별 연구실적에 있어서 상 당한 차이가 있다. 그러나 그동안의 회원심사에서는 이와 같은 부별, 분과별 특 수성을 고려한 연구실적의 평가가 거의 이루어지지 않아 상대적으로 회원심사 에서 통과하기 어려운 부 및 분과들의 불만이 상당히 많았다. 예를 들어, 정책 학부는 기본적으로 과학기술정책 및 과학사 분야 등 사회과학 분야의 학자들로 구성되어 있는데 이들 사회과학분야에서는 SCI급 논문의 게재가 과학기술분야 에 비하여 대단히 어려운 것이 일반적이다. 아울러 동일 분과 내에서도 SCI급 논문 게재의 난이도가 분과별로 큰 차이를 보이고 있다. 이학부의 경우에는 제 1분과와 제 5분과의 SCI급 논문 게재가 상대적으로 어려우며, 공학부의 경우에 는 제 1분과가 상대적으로 어려우며, 농수산학부의 경우에는 제 1분과를 제외 한 모든 분과가 상대적으로 어렵다. 이와 같은 학부별, 분과별 차이는 지난 6년 간의 한림원 회원 심사실적을 분석한 본 연구결과에 의해서 극명하게 증명되는 데, 학부별, 분과별 평균 SCI논문 수에 있어서 상당한 차이가 있음을 알 수 있 다. 다. SCI논문 편수에 대한 높은 가중치 SCI 논문에 대한 가중치가 너무 높다. 현재의 회원 업적물 평가표에 따르면 회원들의 SCI논문의 총논문편수에 대한 가중치(배점)는 3점이며, 제1저자/교신 저자의 배점(가중치)은 편당 2점이다. 그 결과 전술한 바와 같이 회원들의 심사 가 질적인 심사가 아닌 양적인 심사로 이루어지게 되어 우수한 논문을 발표했 음에도 불구하고 평범한 논문을 많이 발표하지 않음으로 해서 우수한 학자가 회원심사에서 탈락하는 결과를 초래하고 있다. 따라서 인용횟수에 대한 가중치 를 상향 조정하여 회원심사에 있어서 질적인 지표의 비중을 증가시킬 필요가 제 2장 한림원 회원심사의 역사와 문제점 7

17 있다. 특히 노벨상 급의 수상을 한 학자들 중에는 많은 논문을 발표하기 보다 는 학문적 영향력이 높은 우수한 논문을 발표한 학자들이 많았던 점을 감안하 면 이같은 질적인 평가의 중요성은 매우 큰 것으로 판단된다. 라. 응모자가 제출하는 서류가 너무 많음 한림원 회원에 응모하는 지원자들이 제출하여야 하는 서류가 대단히 많다. 지원자는 학문의 길을 들어서서 회원심사 신청일까지 발간한 논문들에 대한 증 빙서류를 제출하여야 하는데 이는 대단히 번거로운 일이다. 이 점에서 대학에 서의 교수요원의 초빙에서와 같이 지난 5-6년간의 연구실적을 제출하게 하거나 혹은 10년 정도의 연구실적만을 제출하게 하는 것이 바람직 할 것으로 생각된 다. 마. 사무처 평가업무의 과중 매년 한림원의 회원 모집에는 평균 100명 이상의 지원자가 지원을 한다. 이 들 지원자들은 자신들의 평생업적을 평가표에 점수로 환산하고 증빙서류를 제 출하게 된다. 이 같은 자료는 대단히 방대하므로 10여명밖에 되지 않는 사무처 직원으로는 자료의 정리를 넘어서 증빙서류의 신뢰성을 확인하기에는 너무 업 무가 막중하다. 이와 같이 사무처 업무의 과중으로 인하여 제출된 서류의 정확 성과 신뢰성을 확보하기 어렵다. 이러한 서류 제출의 정확성과 신뢰성 확보는 해결해야 될 문제중의 하나이다 회원심사제도의 문제점 가. 우수한 신입회원 발굴을 위한 노력 부족 현재의 회원 심사는 일반적으로 기존회원 3인의 추천에 의하여 학자들이 한 림원 회원에 서류를 제출할 수 있다. 이는 대단히 수동적인 회원 발굴 방식으 로서 역량이 높은 회원의 선발이 이루어지지 않았다. 경우에 따라서는 기존 회 원들과의 친분을 통하여 한림원 회원에 추천되는 경우도 많았다. 한림원의 발 전과 한림원의 우리 사회에서의 역할의 정립은 우수한 회원의 발굴 및 이들의 한림원에서의 적극적인 활동에 달려있다는 점에서 한림원에서 우수한 회원을 발굴할 수 있는 보다 체계적인 노력이 필요하다. 8 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

18 나. 회원의 지역별, 기관별 편중의 심화 그동안 한림원 회원의 분포를 보면 일부 특정대학에 편중되어 있고, 서울 및 대전등 일부 지역에 편중되어 있다는 문제점이 있다. 물론 과거에는 우수한 석 학들이 이들 일부 기관들에 편중되었으나 우리나라 과학기술의 발전으로 인하 여 최근에는 우수한 학자들이 전국적으로 분산되어 있다. 이에 따라, 한림원의 보다 나은 발전과 국가과학기술발전에 다한 더 많은 기여를 촉진하기 위해서는 한림원 회원들의 지역별, 기관별 편중의 문제를 완화하여야 할 것이다. 특히 한 림원이 우리나라의 최고 석학들의 모임으로서 우리나라의 과학기술계를 지속적 으로 리드하고 국가발전을 선도하기 위해서는 한림원 회원의 지리적 분산이 대 단히 필요할 것이다. 이같은 회원의 지리적 분포는 결국 기관별 편중현상의 완 화를 의미하는 것으로서 이는 그동안 한림원이 추진해 왔던 한림원 지역별 교 류회의 활성화를 가져올 수 있을 것이다. 중장기적으로 지역별 기관별 회원 편 중 문제의 완화는 우리나라 과학기술 문화의 확산에도 많은 기여를 할 수 있을 것이다. 다. 부별 심사위원의 분과별 학문영역에서 실적의 차이를 인정하지 않고 있음 과학기술은 빠르게 발전하며 매우 복잡하게 연계되어 있다. 한림원의 회원심 사는 현재 부별 예비심사-본심사의 2단계로 실시되고 있는데, 이 제도로는 각 부의 다양한 세부 학문 분야의 연구업적의 객관적 평가가 매우 어렵다. 아울러 대부분의 학부들이 4-5개의 분과로 나누어져 있기 때문에 다양한 학문분야에서 지원하는 한림원 회원 후보의 연구업적의 객관적인 평가가 매우 어렵다. 이와 같은 학부내의 분과의 특성에 대한 이해의 부족은 회원 심사에 있어서 획일화 된 잣대로 심사를 하게 됨으로서 상대적으로 연구업적의 창출이 쉽지 않은 분 과에 대한 회원의 선정을 어렵게 하는 결과를 가져오고 있다. 이에 따라, 회원 심사에 있어서 분과별 실적의 차이를 보정하는 방법이 적극 도입되어야 할 것 이며, 더 나아가 회원심사 위원의 구성에 있어서도 회원후보자의 연구분야를 고려한 심사위원 선정이 필요하다. 라. 부별 심사위원의 독자적 선정 현재 회원심사를 위한 부별 심사위원을 각부가 독자적으로 선정하고 있다. 그 결과 심사위원의 선정에 있어서 부별 분야별 이기심이 작용하여 공정한 심 사를 기대하기 어렵다는 문제점이 있다. 이와 같은 부별 심사위원의 선정은 부 제 2장 한림원 회원심사의 역사와 문제점 9

19 내에서 회원 수를 상대적으로 많이 가지고 있는 분야의 이익을 대변할 심사위 원들의 선정확률이 높아지게 된다. 이에 따라, 상대적으로 회원 수가 적은 분야 는 한림원 회원이 될 수 있는 확률이 지속적으로 낮아질 수 있는 문제점이 있 다. 마. 부별 예비 심사에서 많은 지원자를 본심사에 추천 한림원의 회원심사는 부별 심사 본 심사 로 구성되어 있다. 일반적으로 부별심사 결과 각 부는 본 심사에서 선정된 회원 수의 2배 이상의 후보자를 선 정하여 추천하고 있다. 이는 부의 입장에서는 본 심사에서 항상 1/2정도의 추 천자가 탈락하고 있다는 점을 감안하여 추천을 하는 것이기도 하지만, 본심사 위원회의 입장에서 보면 각 부에서 추천된 후보자의 1/2정도를 반드시 탈락시 켜야 한다는 신호를 제공해 주는 폐단이 있다. 그 결과 우수한 회원후보가 이 같은 관행으로 인하여 회원에 선정되지 못하는 문제점이 있다. 이같이 본 심사 에서 추천된 후보의 상당한 부분을 탈락시키는 현재의 관행은 본 심사원들이 각 부의 현황 및 학문적 성격을 충분히 이해하지 못하는 가운에서 이루어지고 있다는 점에서 더 큰 문제가 있다. 이에 따라, 학부의 사정을 충분히 이해하기 어려운 구조적 문제점을 않고 있는 본 심사위원회에서는 부별 심사위원회에서 적절한 수를 추천하고, 또 추천된 후보자들이 특별한 하자가 없는 한 긍정적인 의사결정을 하는 관행을 마련할 필요가 있을 것이다. 바. 분과별 심사 부재 및 각 심사단계 간의 연계성 부족 현행 한림원 회원심사는 부별 심사 본 심사 의 2단계로 이루어져 있다. 이에 따라, 부별심사에 있어서 객관적이고 정확한 심사가 이루어지지 못한다는 구조적 문제점을 자기고 있다. 이에 따라, 회원심사 제도를 분과별 심사 부 별 심사 본 심사 의 3단계의 심사를 규정화 하여야 할 것이다. 아울러 현행 2단계 심사에서 예비심사인 부별 심사에 참여한 심사위원이 본 심사에 참여하 지 못하는 경우가 많기 때문에 부별심사 단계에서의 후보자에 대한 선정이유 등을 본 심사에 전달하지 못하여 부별 심사에서 선정한 우수한 후보자가 탈락 하는 사례가 많이 발생하는 문제가 있다. 이에 따라, 현행 2단계 심사이든 3단 계 심사이든 사전 단계에서의 심사위원이 다음 단계의 회원심사과정에 반드시 참석할 수 있는 제도적 방안을 마련할 필요가 있다. 또한 이들 사전 단계에서 심사에 참여한 위원들은 다음 단계의 회원심사에서 추천된 후보자에 대한 분과 10 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

20 및 부의 의견 및 추천 취지를 진솔하고 적극적으로 전달하여야 할 것이다. 사. 본 심사위원 선정의 객관성 및 다양성 부족 현재 본 심사위원의 선정은 각 부에서 추천한 위원들 중에서 운영위원회에서 선정하고 있다. 이에 따라, 본 심사위원의 선정에 있어서 객관성 및 다양성이 부족하다는 문제점이 있다. 아울러 이같은 본 심사위원의 구성에 있어서 구체 적인 요강이 마련되어 있지 못하여 매년 회원심사에 있어서 본 심사위원의 구 성에 있어서 일관성이 부족하다는 문제점도 있다. 한림원의 회원 여부가 결정 되는 본 심사위원의 구성은 매우 신중하고도 체계적으로 이루어져야 할 것이 다. 특히 여기에서는 전술한 부별 예비심사와 본 심사간의 연계성의 확보는 물 론 부의 이해를 배제할 수 있는 객관성 확보간의 균형을 잘 잡을 수 있는 방향 으로 본 심사 위원을 구성하여야 할 것이다. 이와 같은 본 심사위원의 구성 방 안은 보다 세밀하게 준비하여 체계적인 회원심사가 이루어져야 할 것이다. 아. 본 심사 통과에 필요한 득표 수의 하향 조정 현재 회원심사에 대한 최종 결정은 본심사위원회에서의 투표로 결정하는데, 현재 재적위원의 3/4의 찬성이 필요한 것으로 되어 있다. 이에 따라, 이같은 엄 격한 회원심사에 대한 최종 결정 요건으로 인하여 우수한 회원후보들이 탈락하 는 문제점이 대두되고 있다. 특히 본 심사에서 각 부별 심사의 취지나 내용을 충분히 숙지하고 있지 않은 상황에서는 이같은 엄격한 심사는 한림원의 발전에 필요한 우수한 회원후보를 탈락시킬 수 있는 문제점을 야기하고 있다. 또한 이 와 같은 엄격한 요건 하에서는 후보자의 학문적 우수성 보다는 본심사위원회의 분위기가 의사결정에 많은 영향을 미칠 수 있다는 문제점도 있다. 자. 준회원 제도의 개선 현재 한림원에서 준회원 제도를 운영하고 있지만 그 제도가 활성화 되어 있 지 못하다. 준회원이 되었다 하여도 한림원 총회에서 투표권도 없고 회원으로 서의 혜택이 전혀 없다고 해도 과언이 아니다. 아울러 준회원에 대한 심사는 정회원에 대한 심사와 비슷한 요건을 갖추고 있다는 점에서 그 심사 절차가 매 우 까다롭다. 이 점에서 준회원이 된 후 다시금 정회원이 되려면 또 다른 심사 절차를 거쳐야 한다는 문제점이 대두된다. 그 결과 준회원이 된 다는 것은 오 히려 정회원이 되는데 번거로운 절차로 여겨지고 있는 실정이다. 이에 따라, 준 제 2장 한림원 회원심사의 역사와 문제점 11

21 회원으로 선정되는 것이 영예로운 일로 여겨지고 정회원이 되는데 긍정적인 영 향을 미칠 수 있는 방안으로 준회원 제도를 개선하여야 할 것이다. 12 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

22 학부별 분과별 지원자의 연구 실적의 통계적 분석 3장 3.1 수집된 자료의 조사 대상 본 연구에서는 과학기술 연구 활동의 성과 평가를 위한 기준 마련을 위해 우 리나라의 한국과학기술한림원과 미국의 과학한림원 (National Academy of Science, NAS), 공학한림원 (National Academy of Engineering, NAE) 신입회 원의 연구 실적을 조사 하였다. 우리나라의 경우는 2003년부터 2008년까지 6년간 한국과학기술한림원 신입회 원 지원자들 (신입회원 합격자와 불합격자 포함) 415명을 대상으로 하였다. 부 록에 신입회원 합격자의 연구 실적의 자료가 첨부되어 있다. 한국 과학기술한 림원의 신입 회원 지원자들의 통계적 데이터는 한림원이 보유하고 있는 서류로 부터 심사당시의 실적을 바탕으로 하였다. 그러나 극소수의 지원자의 자료의 미비로 여기에 사용된 지원자들의 숫자는 실제보다 약간 작을 수 있다. 미국의 경우는 2007년과 2008년 2년간의 과학한림원 신입회원 144명과 공학 한림원 신입회원 128명 모두 272명을 대상으로 하였다. 그 중에서 각 신입회원 의 개인홈페이지의 논문목록을 바탕으로 ISI Web of Knowledge의 자료와 비 교하여 신뢰성이 확인된 166명을 대상으로 조사하였다. 각 신입회원의 개인 홈 페이지에 있는 논문 목록을 바탕으로 ISI Web of Knowledge에서 각 신입회원 의 연구실적인 총 논문 수, IF의 총합, h-index를 2009년 3월 기준으로 조사하 였다. 따라서 선정당시의 실적이 아닌 1~2년 후의 결과이므로 한림원의 신입회 원의 실적보다 조금 많을 수도 있다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 13

23 1) 수집된 자료의 내용 우리나라의 경우 과학기술한림원의 신입회원 지원자들이 가입 당시 제출한 서류에서 SCI 논문 편수, SCI 논문 중 제1저자 및 교신저자에 해당하는 논문 수, 비SCI 논문 편수, impact factor, 대표 논문 10편에 대한 인용 수, 단행본의 수, 특허의 수에 대한 통계 자료를 분석하였다. 2003년부터 2008년의 회원이 제출한 서류를 중심으로 지원자들의 개인정보를 누출 시키지 않고 철저히 보안을 유지하면서 데이터베이스를 만들었다. 그러나 극소수의 지원자들이 제출한 서류가 미비하여 분석에는 포함하지 않거나 수정 하였다. 미국의 경우 과학한림원(NAS)과 공학한림원(NAE)의 신입회원들의 개인 홈페 이지의 논문 목록을 바탕으로 ISI Web of Knowledge를 이용하여 SCI 논문 수, 전체논문의 인용횟수, h-index에 대한 통계자료를 분석하였다. 우리나라의 경우는 통계적 자료가 신청당시의 실적이고 (예를 들어 2004년의 회원은 2004년 이전까지의 실적) 미국의 경우는 통계적 자료가 2009년 3월 기 준의 실적 (예를 들어 2007년의 회원은 2009년 3월 이전까지의 실적) 임을 유 의하여야 하며, 논문의 인용 수는 우리나라의 경우 대표논문 10편에 대한 결과 이고 미국의 경우 전체 논문에 대한 결과이다. 2) 분과분류표 가. 이학부 제1분과 제2분과 제3분과 제4분과 제5분과 수학, 통계학 물리학, 천문학, 천체물리 화학, 생화학 생물학, 분자면역학, 형태학, 유전공학, 식물세포, 미생물학, 생물물리학, 영양학, 생태학, 생물과학 지질학, 지구물리, 대기환경, 생물환경과학, 기상학, 해양기상, 광물학, 수산자원, 관측천문학, 해양생태학, 생물해양학, 환경생물 14 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

24 나.공학부 제1분과 제2분과 제3분과 제4분과 제5분과 건축학, 도시공학, 자원공학, 토목공학, 조경학, 환경공학 기계공학, 산업공학, 원자핵공학, 조선 해양공학, 항공 우주공학 금속 공학, 요업공학, 재료공학 전기공학, 전자공학, 컴퓨터공학, 제어 계측공학 고분자공학, 공업화학, 생물화공, 섬유공학, 화학공학 다. 농수산학부 제1분과 제2분과 제3분과 제4분과 제5분과 육종학, 작물학, 원예학, 식물병리학, 곤충학, 잡초방제학, 농약학, 비료학, 식물영양학 축산학, 수의학 수산학, 해양생물학, 수산해양학, 해양토목학 식품학, 생화학, 분자생물학, 영양학, 농화학 농기계학, 농토목학, 토양학, 농공학, 환경생물, 환경화학, 임학, 임산공학, 천연섬유학, 의류학, 조경학 라. 의약학부 제1분과 제2분과 제3분과 제4분과 해부학, 조직학, 발생학, 전자현미경학, 생리학, 병리학, 약리학, 미생물 하학, 면역학, 기생충학, 예방의학, 법의학, 의사학, 의료관리학, 의료정 보학, 의공학, 의학유전학, 기형학 내과학, 순환기내과학, 호흡기내과학, 소화기내과학, 혈액종양내과학, 전 염병내과학, 내분비내과학, 신장내과학, 알레르기내과학, 소아외과학, 소 아과학, 신생아학, 산과학, 부인과학, 정신과학, 신경과학, 안과학, 이비 인후과학, 피부과학, 비뇨기과학, 마취과학, 재활의학, 진단방사선과학, 치료방사선과학, 임상병리학, 한의학 물리약학, 미생물 및 면역학, 병원약학, 병태생리학, 생화학, 약물학, 약 제학, 약품분석학, 위생약학, 천연물과학, 약품화학, 임상약학, 한의학 구강해부학, 구강생리학, 구강생화학, 구강미생물학, 예방치과학, 치과의 료관리학, 치과생체재료학, 구강병리학, 치과약리학, 치과보철학, 치과보 존학, 구강안면외과, 소아치과학, 치주과학, 치과교정학, 치과생체재료학, 간호학, 한의학 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 15

25 마. 정책학부 한국과학기술한림원의 신입회원 지원자들의 학부, 분과, 연도별 인원은 다음 과 같다. 3) 한국과학기술한림원 지원자들의 분포 가. 이학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 나. 공학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 다. 농수산학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

26 라. 의약학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 계 마. 정책학부 조사인원 분과 계 제1분과 ) 한국과학기술한림원 지원자들 중에서 합격자들의 분포 가. 이학부 조사인원 분과 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 위의 표에서 지난 6년간 이학부에서는 제3분과에서 상대적으로 많은 회원이 선정되고 제5분과는 적은 회원이 선정되었음을 알 수 있다. 이학부 전체 선정 인원 50명중에서 3분과의 신입회원이 16명으로 31%를 차지하고 있다. 미국의 경우 제3분과는 6/82 (7.3%)으로 특이한 사항이다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 17

27 나. 공학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 다. 농수산학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 26 위의 표에서 알 수 있듯이 지난 6년간 농수산학부에서는 제4분과가 14/26(54%)를 차지하고 있으며 제1분과와 제4분과가 각각 2/26(8%)를 차지하 고 있다. 라. 의약학부 분과 조사인원 계 제1분과 제2분과 제3분과 제4분과 계 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

28 위의 표에서 제 2분과가 24/49(50%)를 차지하고, 제 4분과는 4/49(8%)를 차 지하고 있다. 마. 정책학부 조사인원 분과 계 제1분과 ) 미국 과학한림원, 공학한림원 미국 과학한림원과 공학한림원의 신입회원들을 전공과 연구업적에 따라서 우 리나라 한림원의 학부 및 분과 기준으로 분류하였다. 미국 의학한림원(Institute of Medicine)의 경우 회원의 실적수집에 시간이 너무 많이 소요되고 신뢰성 있 는 실적수집이 어려워서 이번 연구에서 제외하였다. 그리고 미국 과학한림원과 공학한림원의 신입회원들을 우리나라 한림원의 학부별, 분과별 기준으로 분류 하였을 때 농수산학부에 해당되는 회원의 수는 4명, 의약학부에 해당되는 회원 의 수는 2명, 정책학부에 해당되는 회원의 수는 13명이 나왔다. 이들 학부에 대 해서는 해당 인원수가 너무 작으므로 통계자료 분석을 하지 않고 우리나라 한 림원 학부, 분과 분류 기준으로 이학부, 공학부, 정책학부에 대한 자료만 분석 하였다. 가. 이학부 조사인원 분과 2007년 2008년 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 19

29 위의 표에서 알 수 있듯이 이학부에서 제4분과에서 선정된 회원이 전체 82명 중 41명으로 50%가 된다. 나. 공학부 분과 조사인원 2007년 2008년 계 제1분과 제2분과 제3분과 제4분과 제5분과 계 위의 표에서 보듯이 자료의 특징은 공학부에서 제4분과에서 선정된 회원이 전체 65명중 33명으로 약 50%가 됨을 알 수 있다. 다. 농수산학부 미국 과학한림원과 공학한림원의 신입회원들을 우리나라 한림원의 학부별, 분과별 기준으로 분류하였을 때 농수산학부에 해당되는 회원의 수는 4명이 나 왔다. 그러나 통계자료를 분석을 하기에는 해당되는 회원수가 너무 적어서 농 수산학부의 경우에는 통계자료 분석을 하지 않았다. 라. 의약학부 우리나라 한림원 기준으로 NAS와 NAE의 신입회원 중에서 의약학부에 해당 되는 회원의 수는 2명이 나왔으며, 자료의 수가 너무 적어서 통계자료 분석을 하지 않았다. 마. 정책학부 우리나라 한림원 기준으로 정책학부에 해당되는 회원의 수는 13명이 나왔으 나 선정된 신입회원의 전공이 경제학 인류학 등으로 우리나라 정책학부에 속하 는 지가 분명하지 않지만 전반적인 비교를 위해 통계적 분석을 수행하였다. 20 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

30 3.2 조사 결과 분석 이학부 이학부의 각 분과별로 SCI 논문 수, 대표논문 10편의 인용횟수, 비 SCI 논문 수, 저서 또는 역서, 특허 수에 대한 통계값(평균, 표준편차, 최소, 최대)을 구하 였다. 이를 바탕으로 분과별 특성에 따른 실적 차이를 파악할 수 있다. 가. SCI 논문 1 논문 수 - 한국과학기술한림원 이학부 이학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 다음 표와 그림 x-x와 같다. 표 3-1. 한국과학기술한림원 이학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-1. 한국과학기술한림원 이학부 분과별 SCI 논문 수 1) 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 21

31 SCI 논문수의 분과별 차가 매우 큼을 알 수 있다. 제 2 분과의 평균 논문 수 가 가장 많으며, 다음으로 제 3분과, 제 4분과, 제 1분과 제 5분과의 순이다. 제 1분과를 1로 볼 때 분과별 평균 논문 수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 3.32 : 2.77 : 1.95 : 0.84 따라서 분과별로 논문수의 차이가 큼을 알 수 있고 신입회원 심사 기준으로 분야별 차이를 보정하는 표준점수가 필요함을 알 수 있다.. - 미국 이학부 이학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 다음 표와 그림 x-x와 같다. 표 3-2. 미국 과학, 공학한림원 이학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-2. 미국 과학, 공학한림원 이학부 분과별 SCI 논문 수 1) 그림에서 삼각형 표시는 해당 분과의 논문 수의 평균을 나타낸다. 선분의 위 끝점은 평균+표준편차를, 아래 끝점은 평균-표준편차를 나타낸다. 22 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

32 미국의 경우 제 3분과의 평균 논문 수가 가장 많고, 다음으로 제 2분과, 제 4 분과, 제 5분과 제 1분과의 순이다. 제 1분과를 1로 볼 때 분과별 평균 논문 수 의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 2.41 : 4.11 : 2.09 : 1.60 우리나라의 경우는 제 2분과의 논문 수가 가장 많으며, 다음으로 제 3 분과 의 순서이지만, 미국의 경우는 제 3 분과의 논문 수가 두드러지게 가장 많음을 알 수 있다. 미국의 경우에도 분야별로 논문수의 차이가 큼을 알 수 있다. 특히 제 3분과 가 상대적으로 논문 수가 매우 많음을 알 수 있다. 분과별로 한국 한림원의 1인당 평균 논문수를 1로 볼 때 미국 한림원의 1인당 평균 논문수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1.45 : 1.05 : 2.15 : 1.56 : 2.79 한국과 미국을 비교하면 제 1분과와 제 2분과는 큰 차이가 없으며, 제 3분과 와 제 5분과는 미국이 한국의 2배 이상임을 알 수 있다. 결론적으로 미국 한림원의 실적 기준으로도 표준점수를 이용해야 할 필요성 이 있음을 알 수 있다. - 한국과학기술한림원 이학부 (교신저자, 주저자) 표 3-3. 한국과학기술한림원 이학부 분과별 교신저자, 주저자 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 23

33 그림 3-3. 한국과학기술한림원 이학부 분과별 교신저자, 주저자 SCI 논문 수 표 x-x와 그림 x-x는 SCI 논문 중 교신저자와 주저자에 해당하는 논문들의 분과별 분포를 보여준다. 제 1분과를 1로 볼 때 분과별 논문 수의 비율은 다 음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 2.84 : 2.55 : 1.66 : 0.57 SCI 논문 중 교신저자와 주저자에 해당하는 논문만을 대상으로 한 경우의 논 문 수의 분과별 비는 SCI 논문 전체를 대상으로 한 경우와 크게 다르지 않음을 알 수 있다. 결론적으로 분야별 교신저자와 주저자의 논문수의 차이를 보정하는 것은 분 야별 SCI 논문 수의 표준점수를 이용하면 되므로 교신저자와 주저자의 논문 수 의 표준점수를 사용할 필요가 없음을 통계적으로 알 수 있다. 그러나 전체 분 과별 비교 평가를 위해서는 표준점수를 활용할 필요가 있다. 2 Impact Factor (IF) Impact factor는 각 신입회원의 전체 SCI 논문의 impact factor의 총합에 대 한 통계자료이다. - 한국과학기술한림원 이학부 24 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

34 표 3-4. 한국과학기술한림원 이학부 Impact Factor의 합 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-4. 한국과학기술한림원 이학부 Impact Factor의 합 제 1분과의 Impact factor 합이 다른 분과에 비해 매우 작음을 알 수 있다. 이 결과는 제 1분과의 1인당 SCI 논문 수가 제 2분과 및 제 3분과에 비해 작으 며, 제 1분과의 주 분야인 수학의 최상위권 저널의 Impact factor가 제2분과 및 제 3분과의 주 분야인 물리, 화학 분야의 최상위권 저널의 Impact factor의 1/10 수준임을 고려하면 적절한 수준의 결과로 보인다. 제 1분과를 1로 볼 때 분과별 IF의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : : : 9.81 : 2.43 따라서 분야별로 IF의 차이가 아주 큼을 알 수 있고, 심사 기준으로 IF를 표 준점수로 환산할 필요가 있음을 알 수 있다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 25

35 3 인용횟수 - 한국과학기술한림원 이학부 (대표논문 10편) 표 3-5. 한국과학기술한림원 이학부 분과별 SCI 논문의 인용횟수 2) 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-5. 한국과학기술한림원 이학부 분과별 SCI 논문의 인용횟수 대표논문 10편의 인용수는 제 2분과, 제 4분과, 제 3분과, 제 5분과의 순이다. 제 2분과의 인용수가 매우 많으며 제 1 분과의 인용수는 매우 적음을 알 수 있 다. 제 1분과를 1로 볼 때 분과별 평균 인용횟수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 5.87 : 4.22 : 4.40 : 2.06 따라서 분과별로 인용수의 차이가 큼을 알 수 있고, 심사 기준으로 인용횟수 2) 제 2분과의 지원자중에서 인용횟수가 예외적으로 큰 수인 3704로 나온 자료는 조사대상에서 제외하였다 26 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

36 를 표준점수로 환산할 필요가 있다. - 미국 과학한림원, 공학한림원 이학부 (SCI 논문 전체) 미국의 경우에는 대표논문 10편에 대한 자료가 없으므로 각 신입 회원의 전 체 SCI 논문에 대한 인용횟수의 총합을 조사하였다. 표 3-6. 미국 과학한림원, 공학한림원 이학부 SCI 논문의 인용횟수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-6. 미국 과학한림원, 공학한림원 이학부 SCI 논문의 인용횟수 미국의 경우, SCI 논문의 인용횟수는 제 3분과가 가장 많으며, 제 1분과가 가장 적음을 알 수 있다. 제 1분과를 1로 볼 때 평균 인용횟수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 4.85 : 7.64 : 5.70 : 1.80 따라서 첫째, 분과별로 인용횟수의 차이가 큼을 알 수 있고, 둘째, 한국과 미 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 27

37 국을 비교하면 제1분과가 상대적으로 한국이 저조하고 제 2분과가 상대적으로 한국이 우수함을 알 수 있다. 결론적으로, 분야별 그리고 한국과의 차이가 있으므로 앞으로의 심사기준으 로 미국의 실적을 바탕으로 하는 표준점수를 이용할 필요가 있다. 4 h-index h-index는 연구자가 발표한 논문의 발표량과 인용횟수를 측정해 양적 질적인 측면을 하나의 숫자로 수치화하기 때문에 객관적인 업적 평가가 가능하다. 예 를 들어 h-index가 30이라면 피인용 횟수가 30이상인 논문이 30편 이라는 것을 의미한다. 우리나라의 경우 한림원 신입회원의 논문에 대한 h-index 자료가 없 으므로 미국의 경우에만 h-index를 조사하였다 - 미국 과학한림원, 공학한림원 이학부 (h-index) 표 3-7. 미국 과학한림원, 공학한림원 이학부 h-index 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-7. 미국 과학한림원, 공학한림원 이학부 h-index 28 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

38 위의 표에서 제 3분과의 h-index의 값이 가장 크며, 다음으로 제 4분과, 제 2 분과 순서이며, 제 1분과의 h-index 값이 가장 작다는 것을 알 수 있다. 제 1분 과를 1로 볼 때 평균 h-index의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 2.46 : 3.35 : 2.72 : 1.61 결론적으로, h-index의 분과별 차가 매우 크므로, 이를 보정하기 위하여 표준 점수를 사용할 필요가 있다. 나. 비SCI 논문 수 - 한국과학기술한림원 이학부 (비SCI 논문 수) 표 3-8. 한국과학기술한림원 비SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-8. 한국과학기술한림원 비SCI 논문 수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 29

39 위의 표에서 알 수 있듯이 비SCI 논문 수는 분야별로 큰 차이가 없고, 이학 부는 논문의 질을 우선시하므로 평가 항목에서 제외하는 것이 바람직하다. 그 러나 전체 분과별 비교 평가를 위해서는 표준점수를 활용할 필요가 있다. - 한국과학기술한림원 이학부 (비SCI 논문제1/교신) 표 3-9. 한국과학기술한림원 이학부 비SCI 논문제1/교신 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 3-9. 한국과학기술한림원 이학부 비SCI 논문제1/교신 이학부의 경우 비SCI 제1/교신저자 논문에 대한 분야별 차이가 크지 않고 크게 의미있는 항목이 아니므로 평가 항목에서 제외하는 것이 바람직하다, 그 러나 전체 학부 및 분과별 비교 평가를 위해 표준점수를 이용하고자 한다. 다. 저서 또는 역서 1 국내 30 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

40 -한국과학기술한림원 이학부 표 한국과학기술한림원 국내 저서/역서의 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 국내 저서/역서의 수 2 국외 -한국과학기술한림원 이학부 표 한국과학기술한림원 국외 저서/역서의 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 31

41 그림 한국과학기술한림원 국외 저서/역서의 수 라. 특허 ➀ 국내 - 한국과학기술한림원 이학부 표 한국과학기술한림원 이학부 국내특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 이학부 국내특허 수 32 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

42 2 국외 - 한국과학기술한림원 이학부 표 한국과학기술한림원 이학부 국제특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 이학부 국제특허 수 공학부 공학부의 각 학부별로 SCI 논문수, 대표논문의 인용횟수, 비 SCI 논문수, 저 서 또는 역서, 특허수에 대한 통계값 (평균, 표준편차, 최소, 최대)을 구하였다. 이를 바탕으로 분과별 특성에 따른 실적의 차이를 파악할 수 있다. 가. SCI 논문 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 33

43 1 논문 수 - 한국과학기술한림원 공학부 공학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 다음 표와 그림 x-x와 같다. 표 한국과학기술한림원 공학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 분과별 SCI 논문 수 SCI 논문수의 분과별 차가 매우 큼을 알 수 있다. 제 5분과의 평균 논문 수 가 가장 많으며, 다음으로 제 3분과, 제 2분과, 제 4분과 제 1분과의 순이다. 제 1분과를 1로 볼 때 분과별 평균 논문 수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 1.4 : 2.58 : 1.13 : 2.71 따라서 분야별 논문 수의 차이가 큼을 알 수 있고 이러한 차이를 보정하기 위하여 표준점수를 이용할 필요가 있다. 34 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

44 - 미국 과학한림원, 공학한림원 (공학부) 공학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 그림 x-x와 같다. 표 미국 NAS와 NAE 공학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 미국 NAS와 NAE 공학부 분과별 SCI 논문 수 미국의 경우 제 3분과의 평균 논문 수가 가장 많고, 다음으로 제 5분과, 제 4 분과, 제 2분과 제 1분과의 순이다. 제 1분과를 1로 볼 때 분과별 평균 논문 수 의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 1.04 : 3.99 : 1.27 : 3.49 우리나라와 미국 모두 공통적으로 제 3분과와 제 5분과의 논문수가 두드러지 게 가장 많음을 알 수 있다. 따라서 첫째, 미국의 경우 분과별로 논문 수의 차 이가 큼을 알 수 있다. 둘째, 한국과 미국을 비교하면 제 2분과가 한국이 우수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 35

45 하고 다른 분과는 거의 비슷함을 알 수 있다. 결론적으로, 심사 기준으로 미국 의 실적을 바탕으로 하는 표준점수를 활용할 필요가 있음을 알 수 있다. - 한국과학기술한림원 공학부 (교신저자, 주저자) 표 한국과학기술한림원 공학부 분과별 교신저자, 주저자 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 분과별 교신저자, 주저자 SCI 논문 수 표 x-x와 그림 x-x는 SCI 논문 중 교신저자와 주저자에 해당하는 논문들의 분과별 분포를 보여준다. SCI 논문 중 교신저자와 주저자에 해당하는 논문만 을 대상으로 한 경우의 논문 수의 분과별 비는 SCI 논문 전체를 대상으로 한 경우와 약간의 차이가 나는 것을 알 수 있다. 제 3분과의 경우 SCI 논문수에서 는 가장 많았으나 교신저자와 주저자에 해당하는 논문수는 SCI 논문수에 비해 낮은 것이 특징이다. 제 1분과를 1로 볼 때 평균 논문수에 대한 분과별 비율은 다음과 같다. 36 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

46 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 1.8 : 2.64 : 1.44 : 3 따라서 분야별 논문 수의 차이가 큼을 알 수 있고 이러한 차이를 보정하기 위하여 표준점수를 이용할 필요가 있다. 2 Impact Factor Impact factor는 각 신입회원의 SCI 논문 전체의 impact factor의 총합에 대 한 통계자료이다. - 한국과학기술한림원 공학부 표 한국과학기술한림원 공학부 Impact Factor의 합 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 Impact Factor의 합 제 1분과와 제 2분과, 4분과의 IF의 합이 다른 분과에 비해 매우 작음을 알 수 있다. IF에 대한 각 분과별 분포는 SCI 논문 수에 대한 분과별 분포와 거의 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 37

47 유사한 양상을 보인다. 제 1분과를 1로 볼 때 분과별 평균 IF의 총합의 비율은 다음과 같다 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 0.73 : 2.82 : 1.06 : 3.88 위의 결과에서 각 분과별 IF의 총합의 차이가 큼을 알 수 있고, 제 3분과와 제 5분과가 두드러지게 크게 나타남을 알 수 있다. 따라서 심사 기준으로 IF를 표준점수로 환산할 필요가 있음을 알 수 있다. 3 인용횟수 - 한국과학기술한림원 공학부 (대표논문 10편) 표 한국과학기술한림원 공학부 대표논문의 인용횟수 3) 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 대표논문의 인용횟수 3) 제 4분과의 심임회원 중에서 예외적으로 인용횟수가 2240으로 나온 자료는 조사대상에서 제외하였다. 38 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

48 대표논문 10편의 인용수는 제 5분과가 두드러지게 가장 크며, 제 5분과, 제 3 분과, 제 2분과의 순이다. 제 1분과를 1로 볼 때 분과별 평균 인용횟수의 비율 은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 1.12 : 1.34 : 1.09 : 2.62 따라서 분과별 인용수의 차이가 큼을 알 수 있고, 심사 기준으로 인용횟수를 표준점수로 환산할 필요가 있다. - 미국 과학한림원, 공학한림원 공학부 (SCI 논문 전체) 미국의 경우에는 대표논문 10편에 대한 자료가 없으므로 각 신입 회원의 전 체 SCI 논문에 대한 인용횟수의 총합에 대한 통계 분석을 하였다. 표 미국 과학한림원, 공학한림원 공학부 SCI 논문의 인용횟수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 미국 과학한림원, 공학한림원 공학부 SCI 논문의 인용횟수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 39

49 미국의 경우, SCI 논문의 인용횟수는 제 3분과가 가장 많으며, 다음으로 제 5 분과, 그리고 제 2분과가 가장 적음을 알 수 있다. 제 2분과를 1로 볼 때 평균 인용횟수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1.08 : 1 : 7.13 : 2.41 : 5.78 따라서 첫째, 분과별로 인용횟수의 차이가 큼을 알 수 있고, 둘째, 한국과 미 국을 비교하면 한국의 경우 제 3분과가 상대적으로 낮았으나, 미국의 경우에는 제 3분과가 가장 높게 나타나는 것이 특징이다. 결론적으로, 분야별 그리고 한 국과의 차이가 있으므로 앞으로의 심사기준으로 미국의 실적을 바탕으로 하는 표준점수를 이용할 필요가 있다. 4 h-index - 미국 과학한림원, 공학한림원 공학부 (h-index) 표 미국 과학, 공학한림원 공학부 분과별 SCI 논문의 h-index 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 미국 과학, 공학한림원 공학부 분과별 SCI 논문의 h-index 40 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

50 위의 표에서 제 3분과의 h-index의 값이 가장 크며, 다음으로 제 5분과, 제 3 분과 순서이며, 제 2분과의 h-index 값이 가장 작다는 것을 알 수 있다. 제 1분 과를 1로 볼 때 평균 h-index의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1 : 0.98 : 3.13 : 1.52 : 2.77 결론적으로, h-index의 분과별 차가 매우 크므로, 이를 보정하기 위하여 표준 점수를 사용할 필요가 있다. 나. 비SCI 논문 수 - 한국과학기술한림원 공학부 (비SCI 논문 수) 표 한국과학기술한림원 공학부 비SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 비SCI 논문 수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 41

51 공학부의 경우 비SCI 논문수에 대한 분과별 차이가 크지 않고 비SCI 논문이 중요한 항목이 아니므로 평가 항목에서 제외하는 것이 바람직하다. 그러나 전 체 학부 및 분과별 비교 평가를 위해서는 표준점수를 이용할 필요가 있다. - 한국과학기술한림원 공학부 (비SCI 제1/교신) 표 한국과학기술한림원 공학부 비SCI 제1/교신 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 비SCI 제1/교신 논문 수 다. 저서 또는 역서 1 국내 - 한국과학기술한림원 공학부 (국내 저서 또는 역서) 42 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

52 표 한국과학기술한림원 공학부 국내저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 국내저서/역서 수 2 국외 - 한국과학기술한림원 공학부 (국외 저서 또는 역서) 표 한국과학기술한림원 공학부 국외저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 43

53 그림 한국과학기술한림원 공학부 국외저서/역서 수 라. 특허 ➀ 국내 - 한국과학기술한림원 공학부 표 한국과학기술한림원 공학부 국내특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 국내특허 수 44 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

54 2 국외 - 한국과학기술한림원 공학부 표 한국과학기술한림원 공학부 국제특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 공학부 국제특허 수 농수산학부 농수산학부의 각 학부별로 SCI 논문수, 대표논문의 인용횟수, 비 SCI 논문수, 저서 또는 역서, 특허수에 대한 통계값 (평균, 표준편차, 최소, 최대)을 조사 하 였다. 이를 바탕으로 분과별 특성에 따른 실적 차이를 파악할 수 있다. 가. SCI 논문 1 논문 수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 45

55 - 한국과학기술한림원 농수산학부 농수산학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 그림 x-x와 같다. 표 한국과학기술한림원 농수산학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 SCI 논문수 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 SCI 논문 수 4) SCI 논문수의 분과별 차가 매우 큼을 알 수 있다. 제 4 분과의 평균 논문 수 가 가장 많으며, 다음으로 제 2분과, 제 5분과, 제 1분과 제 3분과의 순이다. 제 3분과를 1로 볼 때 분과별 평균 논문 수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 1.65 : 2.95 : 1 : 3.20 : 2.14 따라서 분과별로 논문수의 차이가 큼을 알 수 있고 신입회원 심사 기준으로 4) 그림에서 삼각형 표시는 해당 분과의 논문 수의 평균을 나타낸다. 선분의 위 끝점은 평균+표준편차를, 아래 끝점은 평균-표준편차를 나타낸다. 46 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

56 분야별 차이를 보정하는 표준점수를 이용해야 한다. - 한국과학기술한림원 농수산학부 (교신저자, 주저자) 표 한국과학기술한림원 농수산학부 분과별 교신저자, 주저자 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 SCI논문 제1/교신 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 교신저자, 주저자 SCI 논문 수 표 x-x와 그림 x-x는 SCI 논문 중 교신저자와 주저자에 해당하는 논문들의 분과별 분포를 보여준다. 제 3분과를 1로 볼 때 분과별 논문 수의 비율은 다음 과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 2.14 : 4.43 : 1 : 3.73 : 3.63 SCI 논문 중 교신저자와 주저자에 해당하는 논문만을 대상으로 한 경우의 논 문 수의 분과별 비는 SCI 논문 전체를 대상으로 한 경우와 크게 다르지 않음을 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 47

57 알 수 있다. 결론적으로 분야별 교신저자와 주저자의 논문수의 차이를 보정하는 것은 분 야별 SCI 논문 수의 표준점수를 이용하면 되므로 교신저자와 주저자의 논문 수 의 표준점수를 사용할 필요가 없음을 통계적으로 알 수 있다. 그러나 전체 분 과별 비교 평가를 위해서는 표준점수를 활용할 필요가 있다. 2 Impact Factor Impact factor는 각 신입회원의 전체 SCI 논문의 impact factor의 총합에 대 한 통계자료이다. - 한국과학기술한림원 농수산학부 표 한국과학기술한림원 농수산학부 Impact Factor의 합 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 IF 총합 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 Impact Factor의 합 제 4분과와 제 5분과의 SCI 논문수는 52편, 35편이지만, 제 4분과와 제 5분과 의 Impact factor 합은 118.5, 37로 SCI 논문수의 비와는 다르게 제 4분과의 48 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

58 Impact factor합이 매우 큰 것을 확인할 수 있다. 제 3분과를 1로 볼 때 분과별 IF의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 2.14 : 3.05 : 1 : 4.72 : 1.50 따라서 분야별로 IF의 차이가 큼을 알 수 있고, 심사 기준으로 IF를 표준점수 로 환산할 필요가 있음을 알 수 있다. 3 인용횟수 - 한국과학기술한림원 농수산학부 (대표논문 10편) 표 한국과학기술한림원 농수산학부 대표논문의 인용횟수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 대표논문 인용횟수 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 대표논문의 인용횟수 대표논문 10편의 인용 수는 제 4분과, 제 1분과, 제 2분과, 제 5분과, 제 3분 과의 순이다. 제 1분과와 제 4분과의 인용수가 상대적으로 많으며 제 3분과의 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 49

59 인용 수는 적음을 알 수 있다. 제 3분과를 1로 볼 때 분과별 평균 인용횟수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 제 5분과 2.38 : 1.97 : 1 : 2.76 : 1.87 따라서 분과별로 인용수의 차이가 큼을 알 수 있고, 심사 기준으로 인용횟수 를 표준점수로 환산할 필요가 있다. 나. 비SCI 논문 수 - 한국과학기술한림원 농수산학부 (비SCI 논문수) 표 한국과학기술한림원 농수산학부 분과별 비SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 비 SCI 논문수 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 비SCI 논문 수 위의 표에서 알 수 있듯이 비SCI 논문 수는 분야별로 큰 차이가 없으므로 비 50 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

60 SCI 논문수는 평가 기준에서 표준점수로 변환할 필요가 없으며, 평가 항목에서 제외하는 것이 바람직하다. 그러나 전체 분과별 비교 평가를 위해서는 표준점 수를 활용할 필요가 있다. - 한국과학기술한림원 농수산학부 (비SCI 제1/교신) 표 한국과학기술한림원 농수산학부 분과별 비SCI 제1/교신 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 비SCI 제1/교신 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 비SCI 제1/교신 논문 수 다. 저서 또는 역서 1 국내 - 한국과학기술한림원 농수산학부 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 51

61 표 한국과학기술한림원 농수산학부 분과별 국내저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 국내저서/역서 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 국내저서/역서 수 2 국외 - 한국과학기술한림원 농수산학부 표 한국과학기술한림원 농수산학부 분과별 국외저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

62 농수산학부 국외저서/역서 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 국외저서/역서 수 라. 특허 ➀ 국내 - 한국과학기술한림원 농수산학부 표 한국과학기술한림원 농수산학부 분과별 국내특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 국내특허 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 국내특허 수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 53

63 2 국외 - 한국과학기술한림원 농수산학부 표 한국과학기술한림원 농수산학부 분과별 국제특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 제5분과 농수산학부 국제특허 제1분과 제2분과 제3분과 제4분과 제5분과 그림 한국과학기술한림원 농수산학부 분과별 국제특허 수 의약학부 의약학부의 각 학부별로 SCI 논문수, 대표논문의 인용횟수, 비 SCI 논문수, 저서 또는 역서, 특허수에 대한 통계값 (평균, 표준편차, 최소, 최대)을 조사하 였다. 이를 바탕으로 분과별 특성에 따른 실적 차이를 파악할 수 있다. 가. SCI 논문 1 논문 수 54 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

64 - 한국과학기술한림원 의약학부 의약학부의 각 분과에 따른 SCI 논문 편수를 분석한 결과는 다음 표와 그림 x-x와 같다. 표 한국과학기술한림원 의약학부 분과별 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 SCI 논문수 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 SCI 논문 수 5) 제 2분과, 제 3분과, 제 4분과의 SCI 논문수가 비슷하고, 1분과는 이에 비해 약 15편정도 적은 것을 알 수 있다. 제 1분과를 1로 볼 때 분과별 평균 논문 수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 1 : 1.44 : 1.32 : 1.27 이 결과를 보면 의약학부의 경우는 분과별로 논문수의 차이는 거의 없다. 그러 5) 그림에서 삼각형 표시는 해당 분과의 논문 수의 평균을 나타낸다. 선분의 위 끝점은 평균+표준편차를, 아래 끝점은 평균-표준편차를 나타낸다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 55

65 나 전체 학부 및 분과별 비교 평가를 위해서는 표준점수를 이용할 필요가 있다. - 한국과학기술한림원 의약학부 (교신저자, 주저자) 표 한국과학기술한림원 의약학부 분과별 교신저자, 주저자 SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 SCI 논문 제1/교신 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 교신저자, 주저자 SCI 논문 수 표 x-x와 그림 x-x는 SCI 논문 중 교신저자와 주저자에 해당하는 논문들의 분과별 분포를 보여준다. 제 1분과를 1로 볼 때 분과별 논문 수의 비율은 다 음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 1 : 1.61 : 1.23 : 1.69 SCI 논문 중 교신저자와 주저자에 해당하는 논문만을 대상으로 한 경우의 논 문 수의 분과별 비는 SCI 논문 전체를 대상으로 한 경우와 크게 다르지 않음을 알 수 있다. 56 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

66 결론적으로 분야별 교신저자와 주저자의 논문수의 차이를 보정하는 것은 분 야별 SCI 논문 수의 표준점수를 이용하면 되므로 교신저자와 주저자의 논문 수 의 표준점수를 사용할 필요가 없음을 통계적으로 알 수 있다. 그러나 전체 분 과별 비교 평가를 위해서는 표준점수를 활용할 필요가 있다. 2 Impact Factor Impact factor는 각 신입회원의 전체 SCI 논문의 impact factor의 총합에 대 한 통계자료이다. - 한국과학기술한림원 의약학부 표 한국과학기술한림원 의약학부 Impact Factor의 합 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 IF 총합 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 Impact Factor의 합 제 1분과를 1로 볼 때 분과별 IF의 비율은 다음과 같다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 57

67 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 1 : 1.10 : 1.37 : 1.24 이 결과를 보면 의약학부내의 분과별로 impact factor의 차이는 거의 없다. 그러나 전체 분과별의 차이가 있으므로 신입회원 심사 기준으로 분야별 차이를 보정하는 표준점수를 이용해야 한다. 3 인용횟수 - 한국과학기술한림원 의약학부 (대표논문 10편) 표 한국과학기술한림원 의약학부 대표논문의 인용횟수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 대표논문 인용횟수 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 대표논문의 인용횟수 대표논문 10편의 인용 수는 제 3분과, 제 4분과, 제 2분과, 제 1분과의 순이 다. 제 1분과를 1로 볼 때 분과별 평균 인용횟수의 비율은 다음과 같다. 제 1분과 : 제 2분과 : 제 3분과 : 제 4분과 : 1 : 1.11 : 1.46 : 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

68 이 결과를 보면 의약학부내의 분과별로 인용횟수의 차이가 조금 있다. 그러 나 전체 분과별의 차이가 있으므로 신입회원 심사 기준으로 분야별 차이를 보 정하는 표준점수를 이용해야 한다. 나. 비SCI 논문 수 - 한국과학기술한림원 의약학부 (비SCI 논문수) 표 한국과학기술한림원 의약학부 분과별 비SCI 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 비SCI 논문수 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 비SCI 논문 수 의약학부의 경우를 보면 위의 표에서 알 수 있듯이 비SCI 논문 수는 분야별 로 큰 차이 있으므로, 비SCI 논문수는 분과별 차이를 보정하는 표준점수를 이 용해야 한다. 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 59

69 - 한국과학기술한림원 의약학부 (비SCI 제1/교신 논문수) 표 한국과학기술한림원 의약학부 분과별 비SCI 제1/교신 논문 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 비 SCI 제1/교신 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 비SCI 제1/교신 논문 수 다. 저서 또는 역서 1 국내 - 한국과학기술한림원 의약학부 표 한국과학기술한림원 의약학부 분과별 국내저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

70 의약학부 국내 저서/역서 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 국내저서/역서 수 2 국외 - 한국과학기술한림원 의약학부 표 한국과학기술한림원 의약학부 분과별 국외저서/역서 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 국외 저서/역서 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 국외저서/역서 수 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 61

71 라. 특허 ➀ 국내 - 한국과학기술한림원 의약학부 표 한국과학기술한림원 의약학부 분과별 국내특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 의약학부 국내특허 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 국내특허 수 2 국외 - 한국과학기술한림원 의약학부 표 한국과학기술한림원 의약학부 분과별 국제특허 수 분과 평균 표준편차 최소 최대 제1분과 제2분과 제3분과 제4분과 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

72 의약학부 국제특허 제1분과 제2분과 제3분과 제4분과 그림 한국과학기술한림원 의약학부 분과별 국제특허 수 정책학부 가. SCI 논문 1 논문 수 - 한국과학기술한림원 정책학부 (SCI 논문수) 표 한국과학기술한림원 정책학부 SCI 논문 수 분과 sci 논문수 표준편차 최소 최대 정책학부 미국 과학한림원, 공학한림원 정책학부 (SCI 논문수) 표 미국 과학한림원, 공학한림원 정책학부 SCI 논문 수 학부 SCI 논문수 표준편차 최소값 최대값 정책학부 한국과학기술한림원 정책학부 (교신저자, 주저자) 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 63

73 표 한국과학기술한림원 정책학부 교신저자, 주저자 SCI 논문 수 분과 sci 논문 제1/교신 표준편차 최소 최대 정책학부 Impact Factor - 한국과학기술한림원 정책학부 표 한국과학기술한림원 정책학부 IF합 분과 IF 표준편차 최소 최대 정책학부 인용횟수 - 한국과학기술한림원 정책학부 표 한국과학기술한림원 정책학부 인용횟수 분과 인용횟수 표준편차 최소 최대 정책학부 미국 과학한림원, 공학한림원 정책학부 (전체 인용횟수) 표 미국 과학한림원, 공학한림원 정책학부 전체 인용횟수 학부 논문 인용횟수 표준편차 최소값 최대값 정책학부 h-index 표 미국 과학한림원, 공학한림원 정책학부 h-index 학부 H-INDEX 표준편차 최소값 최대값 정책학부 공정한 연구실적 평가를 위한 학문분야별 평가기준 개발

74 나. 비SCI 논문 수 - 한국과학기술한림원 정책학부 비SCI 논문수 표 한국과학기술한림원 정책학부 비SCI 논문 수 분과 비SCI 논문수 표준편차 최소 최대 정책학부 한국과학기술한림원 정책학부 비SCI 제1/교신저자 표 한국과학기술한림원 정책학부 비SCI 제1/교신저자 논문수 분과 비SCI 제1/교신 표준편차 최소 최대 정책학부 다. 저서 또는 역서 1 국내 - 한국과학기술한림원 정책학부 표 한국과학기술한림원 정책학부 국내 저서/역서 분과 국내저서/역서 표준편차 최소 최대 정책학부 국외 - 한국과학기술한림원 정책학부 표 한국과학기술한림원 정책학부 국외 저서/역서 분과 국외저서/역서 표준편차 최소 최대 정책학부 제 3장 학부별 분과별 지원자의 연구 실적의 통계적 분석 65