Распознавание высокоэмоциональной акцентной речи остается слабоизученной частью области речевых технологий. Часто для обучения моделей распознавания речи и проверки их качества используются корпусы начитанной речи. В последние годы, высокое качество распознавания достигнуто и на корпусах спонтанной речи [Baevski, 2020], но число работ по распознаванию речи, затрудненной спектром речевых особенностей, остается ограниченным, несмотря на значимость исследований по оцифровке архивных аудиоматериалов с пожилыми людьми, пережившими значимые исторические события. В данном докладе ставится цель по распознаванию русской речи свидетелей Холокоста, на материале видеоинтервью, представленных фондом Яд Вашем [Bukreeva, 2023].
Материал содержит 24 интервью. Приблизительная длительность материала составляет 26 часов. Возраст интервьюируемых варьируется от 82 до 98 лет. Для 44% выборки русский не является первым языком. Отмечается интерференция с такими языками как: идиш, украинский и др. Встречаются речевые особенности, вызванные возрастными изменениями.
Материал был предварительно обработан, интервью были сегментированы в соответствии с субтитрами. Удалялись записи короче 1 секунды и длиннее 10 секунд, а также записи с пустыми субтитрами. Разработан корпус акцентной высокоэмоциональной речи свидетелей Холокоста. Корпус поделен на 3 выборки: обучающую — 70%, валидационную — 15% и тестовую — 15%. Интервьюируемые в выборках не пересекаются и сбалансированы по полу.
Для распознавания решено использовать нейросетевую модель Wav2Vec 2.0 предварительно обученную на русском языке [Bondarenko, 2022]. Данная модель выбрана, поскольку она показывает высокие результаты точности на слитной спонтанной речи и может быть дообучена на меньших объемах данных для получения более высоких результатов точности.
Проведены эксперименты по распознаванию высокоэмоциональной и акцентированной речи с помощью нейросетевой модели Wav2vec 2.0. Получены достойные результаты. Наряду с общепринятой метрикой для систем распознавания речи WER (Word Error Rate), мы также оценили CER (Character Error Rate), чтобы получить более четкое представление о производительности нашей модели. Полученные оценки WER и CER — 35 % и 21 % соответственно для модели, прошедшей настройку на нашем материале.

Литература:
Bukreeva L. Emotional Speech Recognition of Holocaust Survivors with Deep Neural Network Models for Russian Language // Speech and Computer. SPECOM 2023. Lecture Notes in Computer Science. V. 14338. Springer; Cham, 2023. P. 68­—76.