Выражение иронии в речи, жестах и мимике
Полина Евгеньевна Васильева
Докладчик
магистрант 1 курса
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Ключевые слова, аннотация
В докладе рассматривается взаимодействие акустических и визуальных ключей в иронических высказываниях. Исследование строится на материале мультимедийного корпуса иронической речи, разработанного на кафедре фонетики СПбГУ. В результате исследования было выявлено, что при восприятии иронии аудиторы опираются в первую очередь на акустические ключи. Мимика и жесты имеют характер параллелизма.
Тезисы
Ключевые слова: ирония-отрицание; жесты и мимика; акустические ключи; перцептивные эксперименты
Мультимодальность устной речи является популярным направлением исследований в настоящий момент. Ирония является одной из модальностей, распознавание которой необходимо для корректной интерпретации сообщения. Она представляет собой комплексное явление и выражается на разных уровнях: лексическом, грамматическом, стилистическом, фонетическом и паралингвистическом. В ситуации, когда опора на контекст или лексические маркеры невозможна, важную роль для распознавания иронии играют паралингвистические средства (жесты и мимика) и акустические ключи.
Главной целью данного исследования является выявление взаимосвязи между акустическими ключами иронии-отрицания (антифразиса) в речи и жестами и мимикой, а также наличия или отсутствия синхронизации между паралингвистическими средствами и интонационным центром.
Материалом для исследования послужил корпус иронической речи, разработанный на кафедре фонетики СПбГУ. В корпус вошли аудио- и видеозаписи омонимичных высказываний, включенных в иронические и нейтральные контексты, прочитанные носителями русского языка в лабораторных условиях.
Для определения характера взаимодействия акустических ключей и видеоряда в лабораторной иронической и неиронической речи были проведены три перцептивных эксперимента. В первом эксперименте участникам были предъявлены аудиофрагменты, во втором — видеофрагменты без звука, в третьем — видеофрагменты со звуком. Каждый эксперимент включал в себя 18 фрагментов из фраз, содержащих иронию, и 18 фрагментов из нейтральных фраз. Для экспериментов были отобраны записи 6 дикторов: 3 мужчин и 3 женщин. Дикторы отбирались по степени яркости мимики и просодии. Аудитору было необходимо прослушать или посмотреть фрагмент и ответить, является ли он частью иронического или нейтрального высказывания. Все аудиторы являлись носителями русского языка.
Результаты исследования показали, что нейтральные фрагменты распознаются дикторами хуже иронических (распознано 55% высказываний). Эмоциональная мимика воспринимается аудиторами как маркер иронии. Аудио- и видеофрагменты иронических высказываний со звуком были одинаково хорошо распознаны аудиторами (61% аудиторов). Видеофрагменты иронических высказываний без звука были распознаны хуже — 56% аудиторов. В большинстве хорошо опознанных отрывков яркое фонетическое оформление и яркая мимика и жестикуляция носили характер параллелизма. При этом синхронизация жестов и мимики с интонационным центром высказывания наблюдалось реже, чем в аналогичном исследовании на материале актерской речи [Kochetkova et al., 2022].
Мультимодальность устной речи является популярным направлением исследований в настоящий момент. Ирония является одной из модальностей, распознавание которой необходимо для корректной интерпретации сообщения. Она представляет собой комплексное явление и выражается на разных уровнях: лексическом, грамматическом, стилистическом, фонетическом и паралингвистическом. В ситуации, когда опора на контекст или лексические маркеры невозможна, важную роль для распознавания иронии играют паралингвистические средства (жесты и мимика) и акустические ключи.
Главной целью данного исследования является выявление взаимосвязи между акустическими ключами иронии-отрицания (антифразиса) в речи и жестами и мимикой, а также наличия или отсутствия синхронизации между паралингвистическими средствами и интонационным центром.
Материалом для исследования послужил корпус иронической речи, разработанный на кафедре фонетики СПбГУ. В корпус вошли аудио- и видеозаписи омонимичных высказываний, включенных в иронические и нейтральные контексты, прочитанные носителями русского языка в лабораторных условиях.
Для определения характера взаимодействия акустических ключей и видеоряда в лабораторной иронической и неиронической речи были проведены три перцептивных эксперимента. В первом эксперименте участникам были предъявлены аудиофрагменты, во втором — видеофрагменты без звука, в третьем — видеофрагменты со звуком. Каждый эксперимент включал в себя 18 фрагментов из фраз, содержащих иронию, и 18 фрагментов из нейтральных фраз. Для экспериментов были отобраны записи 6 дикторов: 3 мужчин и 3 женщин. Дикторы отбирались по степени яркости мимики и просодии. Аудитору было необходимо прослушать или посмотреть фрагмент и ответить, является ли он частью иронического или нейтрального высказывания. Все аудиторы являлись носителями русского языка.
Результаты исследования показали, что нейтральные фрагменты распознаются дикторами хуже иронических (распознано 55% высказываний). Эмоциональная мимика воспринимается аудиторами как маркер иронии. Аудио- и видеофрагменты иронических высказываний со звуком были одинаково хорошо распознаны аудиторами (61% аудиторов). Видеофрагменты иронических высказываний без звука были распознаны хуже — 56% аудиторов. В большинстве хорошо опознанных отрывков яркое фонетическое оформление и яркая мимика и жестикуляция носили характер параллелизма. При этом синхронизация жестов и мимики с интонационным центром высказывания наблюдалось реже, чем в аналогичном исследовании на материале актерской речи [Kochetkova et al., 2022].
Литература:
Interplay of Visual and Acoustic Cues of Irony Perception: A Case Study of Actor’s Speech / Kochetkova U., Evdokimova V., Skrelin P., German R., Novoselova D. // Artificial Intelligence and Natural Language, V. 1731, Springer Nature, Cham, 2022. P. 82—94.