Ключевые слова: когнитивная нагрузка; фонетические характеристики речи; анализ лицевых движений; cистема кодирования лицевых движений (СКЛиД)

Когнитивная нагрузка — это нагрузка на рабочую память человека. Рабочая память обеспечивает временное хранение и обработку информации. Так как объем рабочей памяти ограничен, для эффективной умственной работы нужно контролировать когнитивную нагрузку [Sweller, 1988]. Распознавание когнитивной нагрузки по речи применяется во многих сферах, в том числе в образовании и в информационных технологиях. Показателями когнитивной нагрузки в речи могут быть повышение частоты основного тона (ЧОТ) и интенсивности голоса, изменение темпа речи и скорости артикуляции [Yap, 2012]. Для распознавания когнитивной нагрузки по видеоизображению важны направление взгляда, положение головы и выражение лица [Шишов, 2018].

Целью данной работы является изучение фонетических и визуальных характеристик когнитивной нагрузки. Материалом для исследования послужили аудио- и видеозаписи речи 15 информантов при прохождении симулятора вождения. Одновременно с игрой испытуемые отвечали на вопросы, направленные на проверку уровня общих знаний (кругозор). Полученные видеозаписи были обработаны с помощью инструментария OpenFace. Из видеозаписей были извлечены визуальные признаки: направление взгляда, положение головы, двигательные единицы (Action Units [Ekman, Friesen, 1978]). Кроме того, была проведена ручная разметка видеозаписей в программе ELAN, так как область лица не во всех случаях была обнаружена с помощью OpenFace.

Результаты показали, что маркерами когнитивной нагрузки в речи являются увеличение длительности отдельных звуков, восходящие интонационные контуры, увеличение диапазона ЧОТ. Наиболее частотным визуальным показателем когнитивной нагрузки является изменение направление взгляда. Чаще всего информанты отводили взгляд вправо вверх. 

Были получены данные о синхронизации речевых и визуальных характеристик. Одновременное выражение когнитивной нагрузки в речи и мимике наблюдалось у всех информантов (с разной частотностью). Заполненные паузы хезитации часто возникали вместе со сменой направления взгляда. Повышение ЧОТ совпадало по времени с направлением взгляда вверх у большинства испытуемых. В этом случае можно сделать вывод об одинаковом направлении изменения речевых и визуальных характеристик. 

В речи 11 из 15 информантов визуальные и речевые маркеры когнитивной нагрузки совпадали по времени начала. Количество случаев одновременного проявления этих показателей у данных дикторов составляло от 33% до 50% от общего числа сегментов, где наблюдалась когнитивная нагрузка. Вторым по частотности временным соотношением был случай, когда мимические характеристики наблюдались в конце речевых проявлений когнитивной нагрузки или после них.

Литература:

Шишов Б. А. Оценка когнитивной загруженности оператора на основе видеоинформации с помощью рекуррентных нейронных сетей // Проблемы управления. 2018. № 2. C. 58—65.

Ekman P., Friesen W. V. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Palo Alto, 1978.

Sweller J. Cognitive load during problem solving: Effects on learning // Cognitive Sciences. 1988. Vol. 12. P. 257—285.

Yap T. F. Speech Production Under Cognitive Load: Effects and Classification: PhD thesis. Sydney, 2012.