Стандартизация измерительных материалов в контексте общеевропейской языковой политики
Светлана Эдуардовна Шевченко
Докладчик
заведующий отделом
Центр лингводидактического тестирования СПбГУ
Центр лингводидактического тестирования СПбГУ
Елена Федоровна Прохорова
Докладчик
директор
Центр лингводидактического тестирования СПбГУ
Центр лингводидактического тестирования СПбГУ
2-У
2016-03-14
17:00 -
17:30
Ключевые слова, аннотация
В центре внимания — вопросы теории и практики
соотнесения уровня сложности стандартизованного теста с уровнями
Общеевропейской шкалы иноязычной коммуникативной компетенции. Проблема
рассматривается на материале результатов международной экспертизы по
соотнесению Теста второго сертификационного уровня по английскому языку СПбГУ с
уровнем В2 Общеевропейской шкалы. В рамках поставленной проблемы дается
характеристика процедуры Совета Европы по соотнесению языковых экзаменов с
Общеевропейской шкалой; анализируются подходы к оценке надежности работы
экспертных групп.
Тезисы
В рамках проблемы стандартизации
измерительных материалов вопросы
содержательной валидности и установления уровня сложности теста являются ключевыми.
С начала 2000-х гг. ведущие экзаменационные системы Европы решают эту проблему через процесс соотнесения измерительных материалов с Общеевропейской шкалой иноязычной коммуникативной компетенции [1].
Объединив усилия ведущих специалистов Общеевропейской ассоциации языкового тестирования, Департамент языковой политики Европы разработал и утвердил процедуру соотнесения языковых тестов/экзаменов с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции [2].
В российской образовательной системе такую процедуру впервые прошел Тест Санкт-Петербургского государственного университета. В результате независимой международной экспертизы было установлено соответствие Теста второго сертификационного уровня СПбГУ уровню В2 Общеевропейской шкалы.
Валидность и надежность полученного результата была определена в рамках независимой международной экспертизы, в которой участвовали эксперты пяти стран.
Статистические данные, полученные по результатам анализа работы экспертных групп (RAI: 0,75–0,94; Cronbach`s Alpha: 0,89–0,99) показали высокую степень согласованности и надежности работы экспертов. Ключевым этапом установления соответствия любого теста уровню Общеевропейской шкалы является этап установления стандарта проходного балла теста. С целью обеспечения надежности установленного стандарта проходного балла в рецептивных и продуктивных видах речевой деятельности было использовано три подхода:
С начала 2000-х гг. ведущие экзаменационные системы Европы решают эту проблему через процесс соотнесения измерительных материалов с Общеевропейской шкалой иноязычной коммуникативной компетенции [1].
Объединив усилия ведущих специалистов Общеевропейской ассоциации языкового тестирования, Департамент языковой политики Европы разработал и утвердил процедуру соотнесения языковых тестов/экзаменов с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции [2].
В российской образовательной системе такую процедуру впервые прошел Тест Санкт-Петербургского государственного университета. В результате независимой международной экспертизы было установлено соответствие Теста второго сертификационного уровня СПбГУ уровню В2 Общеевропейской шкалы.
Валидность и надежность полученного результата была определена в рамках независимой международной экспертизы, в которой участвовали эксперты пяти стран.
Статистические данные, полученные по результатам анализа работы экспертных групп (RAI: 0,75–0,94; Cronbach`s Alpha: 0,89–0,99) показали высокую степень согласованности и надежности работы экспертов. Ключевым этапом установления соответствия любого теста уровню Общеевропейской шкалы является этап установления стандарта проходного балла теста. С целью обеспечения надежности установленного стандарта проходного балла в рецептивных и продуктивных видах речевой деятельности было использовано три подхода:
- две независимые группы экспертов использовали два разных метода;
- две независимых группы экспертов использовали один и тот же метод;
- обе группы независимых экспертов использовали различные версии тестов.
[1] Council
of Europe. 2001. Common European Framework of Reference for Languages:
Learning, teaching, assessment. Cambridge: Cambridge University Press.
[2] Council of Europe (2009) Relating Examinations to the Common European
Framework of Referencefor Languages: Learning, teaching, assessment (CEFR). A
Manual. http://www.coe.int/t/dg4/linguisti.