45th International Philological Research Conference

Стандартизация измерительных материалов в контексте общеевропейской языковой политики

Светлана Эдуардовна Шевченко
Докладчик
заведующий отделом
Центр лингводидактического тестирования СПбГУ
Елена Федоровна Прохорова
Докладчик
директор
Центр лингводидактического тестирования СПбГУ

2-У
2016-03-14
17:00 - 17:30

Ключевые слова, аннотация

В центре внимания — вопросы теории и практики соотнесения уровня сложности стандартизованного теста с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции. Проблема рассматривается на материале результатов международной экспертизы по соотнесению Теста второго сертификационного уровня по английскому языку СПбГУ с уровнем В2 Общеевропейской шкалы. В рамках поставленной проблемы дается характеристика процедуры Совета Европы по соотнесению языковых экзаменов с Общеевропейской шкалой; анализируются подходы к оценке надежности работы экспертных групп.

Тезисы

В рамках проблемы стандартизации измерительных материалов вопросы содержательной валидности и установления уровня сложности теста являются ключевыми.
С начала 2000-х гг. ведущие экзаменационные системы Европы решают эту проблему через процесс соотнесения измерительных материалов с Общеевропейской шкалой иноязычной коммуникативной компетенции [1].
Объединив усилия ведущих специалистов Общеевропейской ассоциации языкового тестирования, Департамент языковой политики Европы разработал и утвердил процедуру соотнесения языковых тестов/экзаменов с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции [2].
В российской образовательной системе такую процедуру впервые прошел Тест Санкт-Петербургского государственного университета. В результате независимой международной экспертизы было установлено соответствие Теста второго сертификационного уровня СПбГУ уровню В2 Общеевропейской шкалы.
Валидность и надежность полученного результата была определена в рамках независимой международной экспертизы, в которой участвовали эксперты пяти стран.
Статистические данные, полученные по результатам анализа работы экспертных групп (RAI: 0,75–0,94; Cronbach`s Alpha: 0,89–0,99) показали высокую степень согласованности и надежности работы экспертов. Ключевым этапом установления соответствия любого теста уровню Общеевропейской шкалы является этап установления стандарта проходного балла теста. С целью обеспечения надежности установленного стандарта проходного балла в рецептивных и продуктивных видах речевой деятельности было использовано три подхода:
  • две независимые группы экспертов использовали два разных метода;
  • две независимых группы экспертов использовали один и тот же метод;
  • обе группы независимых экспертов использовали различные версии тестов.
Валидность и надежность установленного стандарта проходного балла во многом определяется возможностью выбранного метода объединять субъективную оценку эксперта с объективными статистическими данными.полученными по результатам экзамена (Livingston & Zieky, 1982; Jaeger, 1991; Linn, 2003 и др.). Согласно Zieky (2011) использование этих двух видов информации при установлении стандарта проходного балла может позволить избежать влияния субъективного фактора. По этой причине в рамках стандартизации Теста второго сертификационного уровня был использован метод Голландской версии закладок (Cito Variation on the Bookmark Method).

[1] Council of Europe. 2001. Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge: Cambridge University Press.
[2] Council of Europe (2009) Relating Examinations to the Common European Framework of Referencefor Languages: Learning, teaching, assessment (CEFR). A Manual. http://www.coe.int/t/dg4/linguisti.