К вопросу о стратегиях описания изображений
Павел Павлович Гостев
Докладчик
аспирант
Московский государственный университет им. М. В. Ломоносова
Московский государственный университет им. М. В. Ломоносова
184
2016-03-17
12:00 -
12:30
Ключевые слова, аннотация
Объект исследования — экспериментально
полученные описания изображений. В докладе характеризуются три стратегии,
использованные респондентами при описании изображений: буквальная, расширенная
и ассоциативная. Результаты исследования могут быть применены для корректировки
ассоциативных словарей, для изучения передачи невизуальных смыслов с помощью
изображений, для исследования языковых проявлений творческой способности.
Тезисы
Классификация
паттернов восприятия визуальной информации и их семантическое отражение при «оязыковлении» изображений — актуальная задача, результаты решения которой могут быть
использованы в прикладной и фундаментальной психологии, когнитивной и
вычислительной лингвистике, системах автоматического описания изображений.
Традиционно в экспериментах по описанию изображений от испытуемого требуется ответ на вопрос «Что Вы видите?». Несмотря на его интуитивную простоту, испытуемые «понимают его по-своему», выбирая различные стратегии описания. Исследования «оязыковление» изображений типа «Картина на стене» [Гостев, Сидорова 2015] и изображений животных в естественной среде [Сидорова, Гостев 2016], позволили выделить три таких типовых стратегии: буквальную (нацелена на вербализацию объектного содержания изображения), расширенную (дополнение изображения за счет стереотипического обобщения визуальной информации) и ассоциативную (нацелена на вербализацию не предметного содержания картинки, а реакции респондента).
При таком подходе описание изображения через абстрактные лексемы (Тишина, покой, безмятежность) является реализацией одной из стратегий говорящего (ассоциативной), которую он избирает при получении задания, а не ошибкой описания. Выбор стратегии зависит как от индивидуальных особенностей респондента, так и от свойств изображения, а также прайминг- и контекст-эффекта.
Полученные данные во многом соответствуют дополнительным результатам экспериментов по исследованию цветообозначений [Фрумкина 2001]. Также они соотносимы с типами описаний изображений, выделенными в [Hodosh et al. 2013]. Результаты можно использовать для корректировки данных ассоциативных словарей, изучения воздействия на человека с помощью изображений, исследования языковых проявлений творческой способности [Kuznetsova et al. 2013].
Литература
1. Гостев П. П., Сидорова М. Ю. Индексирование и именование изображений: проблемы вне русской грамматики или для русской грамматики? // Structures & Functions: Studies in Russian Linguistics, 2015. Т. 2, № 1. С. 94–138
2. Сидорова М. Ю., Гостев П. П. Коммуникативные стратегии описания изображений: от предметности к ассоциативности // Язык, Сознание, Коммуникация, 2016. Т. 53. К 85-летию В. Н. Телия (в печати).
3. Фрумкина Р. М. Психолингвистика: Учебник для студентов высших учебных заведений. М., 2001.
4. Hodosh M., Young P., Hockenmaier J. Framing image description as a ranking task: data, models and evaluation metrics // Journal of Artificial Intelligence Research, 2013. Т. 47. Pp. 853–899.
5. Kuznetsova P., Chen J., Choi Y. Understanding and Quantifying Creativity in Lexical Composition // EMNLP, 2013. Pp. 1246–1258.
Традиционно в экспериментах по описанию изображений от испытуемого требуется ответ на вопрос «Что Вы видите?». Несмотря на его интуитивную простоту, испытуемые «понимают его по-своему», выбирая различные стратегии описания. Исследования «оязыковление» изображений типа «Картина на стене» [Гостев, Сидорова 2015] и изображений животных в естественной среде [Сидорова, Гостев 2016], позволили выделить три таких типовых стратегии: буквальную (нацелена на вербализацию объектного содержания изображения), расширенную (дополнение изображения за счет стереотипического обобщения визуальной информации) и ассоциативную (нацелена на вербализацию не предметного содержания картинки, а реакции респондента).
При таком подходе описание изображения через абстрактные лексемы (Тишина, покой, безмятежность) является реализацией одной из стратегий говорящего (ассоциативной), которую он избирает при получении задания, а не ошибкой описания. Выбор стратегии зависит как от индивидуальных особенностей респондента, так и от свойств изображения, а также прайминг- и контекст-эффекта.
Полученные данные во многом соответствуют дополнительным результатам экспериментов по исследованию цветообозначений [Фрумкина 2001]. Также они соотносимы с типами описаний изображений, выделенными в [Hodosh et al. 2013]. Результаты можно использовать для корректировки данных ассоциативных словарей, изучения воздействия на человека с помощью изображений, исследования языковых проявлений творческой способности [Kuznetsova et al. 2013].
Литература
1. Гостев П. П., Сидорова М. Ю. Индексирование и именование изображений: проблемы вне русской грамматики или для русской грамматики? // Structures & Functions: Studies in Russian Linguistics, 2015. Т. 2, № 1. С. 94–138
2. Сидорова М. Ю., Гостев П. П. Коммуникативные стратегии описания изображений: от предметности к ассоциативности // Язык, Сознание, Коммуникация, 2016. Т. 53. К 85-летию В. Н. Телия (в печати).
3. Фрумкина Р. М. Психолингвистика: Учебник для студентов высших учебных заведений. М., 2001.
4. Hodosh M., Young P., Hockenmaier J. Framing image description as a ranking task: data, models and evaluation metrics // Journal of Artificial Intelligence Research, 2013. Т. 47. Pp. 853–899.
5. Kuznetsova P., Chen J., Choi Y. Understanding and Quantifying Creativity in Lexical Composition // EMNLP, 2013. Pp. 1246–1258.