ETS TOEIC S&W 개발자에게 듣는다 TOEIC S&W 공정하고 객관적으로 평가됩니다 최근 우리 사회와 기업 환경에서 영어 말하기와 쓰기 능력의 중요성이 커지면서 TOEIC S&W(TOEIC 말하기 쓰기)에 응시하는 사 람들이 많이 증가하고 있다. 이와 함께 시험의 신뢰도를 좌우하는 시험 채점 과정과 채점 방식 등에 대해 TOEIC S&W를 개발한 ETS 시험개발부 수잔 하인스(Susan Hines) 부장으로부터 그 자세한 내용을 들어보았다. Q. 먼저, TOEIC S&W는 어떤 시험인지 간략히 말씀해주세요. TOEIC S&W는 영어로 말하고 쓸 수 있는 능력을 측정하기 위한 것입니 다. 시험 결과는 응시자의 영어 유창성을 보여줍니다. 하지만 더욱 중요 한 것은 응시자가 세계 경쟁사회 속에서 영어로 기본 의사소통 업무를 얼마나 효과적으로 이행할 수 있는지를 나타내준다는 것입니다. 시험은 컴퓨터로 시행됩니다. 수잔 하인스 (Susan Hines) ETS 시험개발부 부장 Q. 다른 영어 말하기 & 쓰기 시험과 비교해 TOEIC S&W의 가장 두드 러진 특징은 무엇입니까? ETS TOEIC S&W 시험개발부 부장인 수잔 하인스는 시험문제 개발 및 시험 답변 채점을 감독한다. 그동안 ETS에서 TOEFL Speaking & Listening Test 업무를 병행해 왔으며, 국제적인 교사 교육 워크숍도 지휘하 였다. ETS에서 근무하기 전에는 러시아와 멕 시코에서 EFL을, 캔자스대학교에서 ESL을 가르쳤다. 첫째, TOEIC S&W는 ETS의 시험 개발 전문가가 근거중심설계(ECD : Evidence Centered Design) 방식을 이용해 설계한 것입니다. 근거중심 설계 방식이란 영어 능력을 평가하는데 필요한 Data(Evidence) 수집을 시험 문제 개발의 중점에 두고 있는 기법으로 어떤 영어 능력을 평가할 것인가 라는 정의와 문제설계가 깊이 관련되어 있습니다. ETS의 시험 개발자들은 다음의 ECD기법을 준수하여 개발합니다. 1. TOEIC S&W에서 수험자의 어떠한 영어 능력을 평가하는가를 확정 한다. 2. 그 영어 능력을 평가하기 위해 필요한 Data(Evidence)는 어떠한 것 2I[WPIXXIV_ 04
TOEIC TOEIC Newsletter TOEIC Speaking and Writing _05
2. 시험 응시자들은 일상적인 사회생활과 직업적 상 시작하기 전에 검증 테스트를 거치게 함으로써 추 호 관계(명령하달, 정보전달, 해명 요청/제시, 구매 가적인 점수 채점 능력을 측정합니다. 일일 검증 성사, 인사 및 소개 등)를 이행하기에 적절한 언어 테스트는 평가자가 특정한 날 채점 할 준비가 되어 를 선택할 수 있다. 있는지를 평가합니다. 일일 검증 테스트에 통과하 3. 시험 응시자들은 전형적인 직장 생활에 알맞은 일관 되고 지속적인 회화를 할 수 있다. 지 못한 평가자는 그날 채점을 할 수 없습니다. 3. 몇몇 경험이 있는 평가자들에게는 평가자의 채점 Writing의 경우, 시험 문제들은 다음의 세 가지 명확한 능력을 감독하는 리더 역할을 부여합니다. 이들의 주장을 지원하도록 설계되었습니다. 주요 업무 중 하나는 평가자들이 채점 가이드를 엄 1. 시험 응시자들은 문법에 맞는 문장을 쓸 수 있다 격하게 따르고 있는지를 확인하는 것입니다. 2. 시험 응시자들은 여러 문장으로 구성된 텍스트를 4. ETS 시험 개발 전문가들은 모든 채점 세션을 감독 작성하여 정보, 질문, 지침, 이야기 등을 똑바로 전 합니다. 이것은 ETS 시험 개발 전문가들이 채점 달할 수 있다. 당일 내내 언제든지 질문에 답할 수 있으며 필요한 3. 시험 응시자들은 여러 단락으로 구성된 텍스트를 작성하여 적절한 이유, 근거, 확장 설명 등으로 복 잡한 의견을 표현할 수 있다. 지침을 제공할 수 있다는 것을 의미합니다. 5. 평가자들은 말하기 시험의 11개 질문과 쓰기 시험 의 8개 질문 각각에 익명으로 자체 점수를 산출합 니다. 이 유일한 채점 방식은 개인 평가자의 편견 Q. ETS에서 TOEIC S&W 채점 방식에 대해 궁금해 하는 한국 응시자들이 많습니다. ETS의 채점과정과 방식에 대해 설명해주시겠습니까? ETS의 채점과정은 매우 명백합니다. 우리는 누가 답변 을 최소화하고 채점 결과에 대한 신뢰도를 보증하 기 위한 것입니다. Q. OSN(Online Scoring Network)에 대해 자세히 설명해주시겠습니까? 을 채점하며 어떻게 점수를 부여하는지를 모든 점수 이 용자와 응시자들이 이해하기를 바랍니다. 모든 과정은 최고의 채점결과를 보장하기 위한 것입니다. ETS는 OSN을 이용하여 질문에 대한 답변을 채점합니 다. 시험이 종료된 후 각 시험센터에서는 시험 응시자 1. TOEIC Speaking과 TOEIC Writing 성적을 채점 들의 답변을 개별적으로 모아 이를 ETS의 OSN 시스 하기 위해 필요한 자격을 갖춘 평가자들을 모집합 템으로 전송합니다. OSN은 각 응답을 평가자 네트워 니다. 다시 말해 어떤 평가자도 두 시험 모두를 채 크에 임의로 분배하며, 한 평가자는 한 번에 한 개 답변 점할 수 없습니다. 이것은 두 가지 시험을 모두 치 만 채점하고 다른 질문에 대한 그 응시자의 채점 결과 른 응시자에 대해 최소한 세 명의 평가자가 는 알지 못합니다. 최종 시험 점수는 각 질문의 점수를 TOEIC Speaking 점수를 채점하고, 또 다른 세 명 모두 합한 것입니다. 최고의 채점 결과와 신뢰도를 유 의 평가자가 TOEIC Writing 점수를 채점한다는 지하기 위해 ETS는 최종 시험 점수를 내는 데 최소 다 것을 의미합니다. 른 세 명의 평가자가 채점할 수 있도록 합니다. OSN은 2. 모든 평가자는 채점 능력이 있는지 테스트하는 한 평가자가 개별 응시자의 답변 중 몇 개를 채점했는 Speaking 또는 Writing 인증시험에 통과해야 합 지에 대한 기록을 보유합니다. 이러한 채점 방식의 큰 니다. 또한 ETS는 인증된 평가자가 채점 세션을 장점은 각 평가자의 편견을 최소화하여 채점 방식의 객 2I[WPIXXIV_ 06
TOEIC Newsletter (IGIQFIV TOEIC Newsletter 3GXSFIV 이러한 채점 방식의 큰 장점은 각 평가자의 편견을 최소화하여 채점 방식의 객관성을 최대화하고, 이를 통해 시험의 신뢰도를 최대화하는 것입니다. 관성을 최대화하고, 이를 통해 시험의 신뢰도 인 방식으로 평가되기 때문에 이 채점 방식은 를 최대화하는 것입니다. 평가자들은 자신들 객관적입니다. 또한 어떤 한 평가자가 한 응시 이 평가하고 있는 응시자에 대한 정보를 알지 자의 시험 점수에 전반적인 영향을 미칠 수 없 못하며, 응시자의 답변은 개별적이고 독립적 기 때문에 신뢰할 수 있습니다. OSN (Online Scoring Network) 시스템 2I[WPIXXIV_ 07
Q. ETS 평가자들이 TOEIC S&W 채점 시 중요시하는 기준은 무엇입니까? 요한지 이해하는 것이 중요하다고 생각합 니다. 언어를 학습하려면 꾸준한 노력과 헌 신, 수양이 필요합니다. TOEIC S&W 채점 기준은 채점 가이드 언어 능력이 분리되어 사용되는 경우는 매 (Scoring Guides)에 명확하게 명시되어 있 우 드물기 때문에, 네 가지 능력을 모두 개 습니다. 이 채점 가이드는 평가자들이 사용 발하려고 노력해야 합니다. 뛰어난 언어 프 하는 것과 동일하며 누구든 원할 때 언제든 로그램 과정에 등록하는 것도 매우 중요합 지 이용할 수 있습니다. TOEIC Speaking 니다. Test의 처음 두 문제(Read a text aloud : 수업에 등록하면 유능한 강사로부터 특별 문장읽기)는 분석적으로 채점됩니다. 여기 한 피드백을 받을 수 있는 기회가 생깁니 에서 시험 응시자는 발음(단어의 강세) 및 다. 또한 수업 이외의 시간에도 학습에 적 억양, 강세(문장의 강세)에 대한 특별한 피 극적인 태도를 보이는 것이 중요합니다. 드백을 받습니다. 이 두 문제를 제외한 나 강사가 여러분을 대신해 영어를 학습할 수 머지 모든 문제들은 전체적으로 평가되기 는 없으므로, 강사와 함께 수업 이외의 개 때문에 질문에 잘 대답하기 위해서는 듣기, 인 학습 계획이나 프로젝트를 만들어보도 읽기, 쓰기 능력을 조합하여 정확하고 효과 록 하십시오. 적으로 정보를 전달해야 할 것입니다. 이러한 활동으로는 규칙적으로 영어 저널 시험은 답변 내용에 기초하기 때문에, 응시 을 읽거나 매일 신문 기사를 읽고, 이메일 자들은 각 질문에 대해 묻고 있는 것과 관련 이나 대화를 통해 학습한 새로운 단어를 사 있는 정보를 정확히 답변하는 것이 중요합 용하려고 노력하는 것이 될 수 있습니다. 니다. TOEIC S&W 응시자들이 전달한 정 또한 친구와 라디오 프로그램을 듣고 들은 보의 전체적인 정확성에 더욱 초점을 맞춥 내용을 논의해보는 것도 좋을 것입니다. 니다. Q. 마지막으로, 말하기, 쓰기, 듣기, 읽기를 포함해 영어 실력을 향상시키고자 하는 한 국 응시자들을 위한 조언을 부탁드립니다. 교사 경험이 있는 저는 모든 응시자들이 학 습에 적극적으로 참여하는 것이 얼마나 중 2I[WPIXXIV_ 08