Модель Г. Раша и анализ тестов по РКИ
Наталия Михайловна Марусенко
Докладчик
доцент
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Александр Олегович Гребенников
Докладчик
доцент
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
У-2
2019-03-20
16:40 -
17:00
Ключевые слова, аннотация
Модель Раша, тест, русский как иностранный, надежность теста, сложность вопроса, дискриминационный коэффициент.
Тезисы
В докладе представлены результаты статистического анализа тестов, которые сдают иностранцы в России. Проанализированы тесты по русскому как иностранному (тесты 1-го и 2-го сертификационного уровней, тест на
гражданство, тест на получение вида на жительство, тест на разрешение на работу, тест на разрешен на временное проживание)
с точки зрения установления соответствия между сложностью теста и уровнем
обучающегося с использованием двухпараметрической модели Г. Раша. Исследованы выборки по 100 тестируемых
из пяти стран СНГ, причем рассматриваются как результаты первичной, так и повторной
сдачи тестов.
Установлено, что для тестов 1-го и 2-го сертификационного уровней стабильный результат 0,5 как для всех сегментов тестов, так и теста в целом, а также для всех тестируемых в группах, показывает идеальное соответствие трудности заданий уровню обучающегося.
Остальные тесты демонстрируют крайне высокие значения модели Раша, и, соответственно, являются более чем простыми для испытуемых, с аналогичными результатами для всех субтестов. При этом значения меньше 0,5 в большинстве случаев соответствуют испытуемым, не прошедшим тестирование, что вполне закономерно с точки зрения используемой модели. Наиболее адекватным представляется тест на гражданство, так как его результаты практически не дают пустых ячеек таблиц — т. е. случаев, когда модель Раша не применима из-за полного отсутствия ошибок — т. е. крайней элементарности тестового задания для испытуемого. Тест на разрешение на работу также представляется достаточно адекватным.
Полученные результаты коррелируют с результатами, полученными с использованием традиционных статистических методов оценки тестов (надежность, коэффициент сложности и коэффициента дискриминации).
Установлено, что для тестов 1-го и 2-го сертификационного уровней стабильный результат 0,5 как для всех сегментов тестов, так и теста в целом, а также для всех тестируемых в группах, показывает идеальное соответствие трудности заданий уровню обучающегося.
Остальные тесты демонстрируют крайне высокие значения модели Раша, и, соответственно, являются более чем простыми для испытуемых, с аналогичными результатами для всех субтестов. При этом значения меньше 0,5 в большинстве случаев соответствуют испытуемым, не прошедшим тестирование, что вполне закономерно с точки зрения используемой модели. Наиболее адекватным представляется тест на гражданство, так как его результаты практически не дают пустых ячеек таблиц — т. е. случаев, когда модель Раша не применима из-за полного отсутствия ошибок — т. е. крайней элементарности тестового задания для испытуемого. Тест на разрешение на работу также представляется достаточно адекватным.
Полученные результаты коррелируют с результатами, полученными с использованием традиционных статистических методов оценки тестов (надежность, коэффициент сложности и коэффициента дискриминации).
Таким образом, в рамках рассматриваемого материала, валиднымы можно признать только тесты по русскому как иностранному 1-го и 2-го сертификационного уровней. Остальные рассмотренные тесты не являются валидными.