50-я Международная научная филологическая конференция имени Людмилы Алексеевны Вербицкой

Сравнительный анализ распознавания по речи состояния и возраста детей человеком и машиной

Елена Евгеньевна Ляксо
Докладчик
профессор
Санкт-Петербургский государственный университет
Алексей Сергеевич Григорьев
Докладчик
доцент
Санкт-Петербургский государственный университет
Антон Юрьевич Матвеев
Докладчик
аспирант
Национальный исследовательский университет ИТМО
Ольга Владимировна Фролова
Докладчик
научный сотрудник
Санкт- Петербургский Государственный Университет
Юрий Николаевич Матвеев
Докладчик
профессор
Национальный исследовательский университет ИТМО
Александр Сергеевич Николаев
Докладчик
аспирант
Санкт- Петербургский Государственный Университет

25 (онлайн, ZOOM)
2022-03-15
17:00 - 17:20

Ключевые слова, аннотация

Перцептивный эксперимент; речь детей; автоматическое распознавание; психоневрологическое состояние; эмоциональное состояние; возраст


Тезисы

Для изучения речевого онтогенеза и дизонтогенеза создана база данных «AD_CHILD.RU», содержащая речевой материал 392 детей в возрасте 4-16 лет с диагнозами: с расстройствами аутистического спектра (РАС), синдромом Дауна (СД), смешанными специфическими расстройствами психологического развития (ССР), интеллектуальными нарушениями – умственной отсталостью (УО), детским церебральным параличом, легкими неврологическими нарушениями и типично развивающихся (ТР) детей (контроль). Объем базы составляет 1,5 Тб. Проведены серии перцептивных экспериментов, осуществляемых взрослыми, и машинное распознавание психоневрологического и эмоционального состояния ТР детей, детей с РАС и СД, их возраста. Речевой материал детей отобран из базы «AD_CHILD.RU». В исследовании приняли участие 400 аудиторов - носителей русского языка. Для перцептивного исследования подготовлено 20 тестовых последовательностей. При определении психоневрологического статуса детей аудиторы определяют речевой материал ТР детей как принадлежащий детям с типичным развитием, детей с СД и РАС – как сигналы детей с нарушением развития, при более точном определении состояния детей с СД. Автоматическая классификация показала правильное отнесение речевого материала к РАС (полнота - 0,658; точность – 0,424), к СД – 60 (полнота - 0,5; точность - 0,619) , к ТР (полнота - 0,733; точность – 0,885). Автоматически типичное развитие определяется с большей точностью, чем атипичное. Сравнение распознавания эмоционального состояния «комфорт – нейтральное - дискомфорт» детей 6-12 лет человеком и машиной показало сходную зависимость в отношении распознавания комфортного состояния: у ТР детей определяется хуже, чем детей с РАС и СД. В отношении состояния дискомфорта – в перцептивном эксперименте лучшее распознавание было по речи детей с РАС и СД, в автоматическом – по речи ТР детей. В целом эмоциональное состояние детей с РАС распознается машиной с большей точностью и полнотой, по сравнению с эмоциональным состоянием ТР детей и детей с СД. Возраст детей (7-10 лет) аудиторы определяют плохо, указывая на более низкий, чем реальный, при лучшем определении возраста ТР детей и худшем – детей с СД. При автоматическом распознавании, младший возраст - 7-8 лет определяется лучше (точность – 0,792), чем возраст детей - 9-10 лет (точность – 0,799). В исследовании впервые на материале русского языка проведено автоматическое распознавание психоневрологического состояния детей с атипичным развитием, их эмоционального состояния и возраста по спонтанной речи. В дальнейшем используемый подход может быть положен в основу разработки обучающих систем для детей с атипичным развитием и использоваться в качестве дополнительного метода диагностики.