Сравнительный анализ распознавания по речи состояния и возраста детей человеком и машиной
Елена Евгеньевна Ляксо
Докладчик
профессор
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Алексей Сергеевич Григорьев
Докладчик
доцент
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Антон Юрьевич Матвеев
Докладчик
аспирант
Национальный исследовательский университет ИТМО
Национальный исследовательский университет ИТМО
Ольга Владимировна Фролова
Докладчик
научный сотрудник
Санкт- Петербургский Государственный Университет
Санкт- Петербургский Государственный Университет
Юрий Николаевич Матвеев
Докладчик
профессор
Национальный исследовательский университет ИТМО
Национальный исследовательский университет ИТМО
Александр Сергеевич Николаев
Докладчик
аспирант
Санкт- Петербургский Государственный Университет
Санкт- Петербургский Государственный Университет
25 (онлайн, ZOOM)
2022-03-15
17:00 -
17:20
Ключевые слова, аннотация
Перцептивный эксперимент; речь детей; автоматическое распознавание; психоневрологическое состояние; эмоциональное состояние; возраст
Тезисы
Для изучения речевого онтогенеза и
дизонтогенеза создана база данных «AD_CHILD.RU», содержащая речевой материал
392 детей в возрасте 4-16 лет с диагнозами: с расстройствами аутистического
спектра (РАС), синдромом Дауна (СД), смешанными специфическими расстройствами
психологического развития (ССР), интеллектуальными нарушениями – умственной
отсталостью (УО), детским церебральным параличом, легкими неврологическими
нарушениями и типично развивающихся (ТР) детей (контроль). Объем базы
составляет 1,5 Тб. Проведены серии перцептивных экспериментов, осуществляемых
взрослыми, и машинное распознавание психоневрологического и эмоционального состояния ТР детей, детей с
РАС и СД, их возраста. Речевой материал детей отобран из базы «AD_CHILD.RU». В
исследовании приняли участие 400 аудиторов - носителей русского языка. Для
перцептивного исследования подготовлено 20 тестовых последовательностей. При
определении психоневрологического статуса детей аудиторы определяют речевой
материал ТР детей как принадлежащий детям с типичным развитием, детей с СД и
РАС – как сигналы детей с нарушением развития, при более точном определении
состояния детей с СД. Автоматическая классификация показала правильное
отнесение речевого материала к РАС (полнота
- 0,658; точность – 0,424), к СД – 60
(полнота - 0,5; точность - 0,619) , к ТР (полнота - 0,733; точность – 0,885).
Автоматически типичное развитие определяется с большей точностью, чем
атипичное. Сравнение распознавания эмоционального состояния «комфорт –
нейтральное - дискомфорт» детей 6-12 лет
человеком и машиной показало сходную зависимость в отношении распознавания
комфортного состояния: у ТР детей определяется хуже, чем детей с РАС и СД. В отношении состояния дискомфорта – в
перцептивном эксперименте лучшее распознавание было по речи детей с РАС и СД, в
автоматическом – по речи ТР детей. В целом эмоциональное состояние детей с
РАС распознается машиной с большей точностью и полнотой, по сравнению с
эмоциональным состоянием ТР детей и детей с СД. Возраст детей (7-10 лет)
аудиторы определяют плохо, указывая на более низкий, чем реальный, при лучшем
определении возраста ТР детей и худшем – детей с СД. При автоматическом
распознавании, младший возраст - 7-8 лет определяется лучше (точность – 0,792),
чем возраст детей - 9-10 лет (точность – 0,799). В исследовании впервые на
материале русского языка проведено автоматическое распознавание
психоневрологического состояния детей с атипичным развитием, их эмоционального
состояния и возраста по спонтанной речи.
В дальнейшем используемый подход может быть положен в основу разработки
обучающих систем для детей с атипичным развитием и использоваться в качестве
дополнительного метода диагностики.