XLV Международная филологическая научная конференция

К вопросу о стратегиях описания изображений

Павел Павлович Гостев
Докладчик
аспирант
Московский государственный университет им. М. В. Ломоносова

184
2016-03-17
12:00 - 12:30

Ключевые слова, аннотация

Объект исследования — экспериментально полученные описания изображений. В докладе характеризуются три стратегии, использованные респондентами при описании изображений: буквальная, расширенная и ассоциативная. Результаты исследования могут быть применены для корректировки ассоциативных словарей, для изучения передачи невизуальных смыслов с помощью изображений, для исследования языковых проявлений творческой способности.

Тезисы

Классификация паттернов восприятия визуальной информации и их семантическое отражение при «оязыковлении» изображений — актуальная задача, результаты решения которой могут быть использованы в прикладной и фундаментальной психологии, когнитивной и вычислительной лингвистике, системах автоматического описания изображений.
Традиционно в экспериментах по описанию изображений от испытуемого требуется ответ на вопрос «Что Вы видите?». Несмотря на его интуитивную простоту, испытуемые «понимают его по-своему», выбирая различные стратегии описания. Исследования «оязыковление» изображений типа «Картина на стене» [Гостев, Сидорова 2015] и изображений животных в естественной среде [Сидорова, Гостев 2016], позволили выделить три таких типовых стратегии: буквальную (нацелена на вербализацию объектного содержания изображения), расширенную (дополнение изображения за счет стереотипического обобщения визуальной информации) и ассоциативную (нацелена на вербализацию не предметного содержания картинки, а реакции респондента).
При таком подходе описание изображения через абстрактные лексемы (Тишина, покой, безмятежность) является реализацией одной из стратегий говорящего (ассоциативной), которую он избирает при получении задания, а не ошибкой описания. Выбор стратегии зависит как от индивидуальных особенностей респондента, так и от свойств изображения, а также прайминг- и контекст-эффекта.
Полученные данные во многом соответствуют дополнительным результатам экспериментов по исследованию цветообозначений [Фрумкина 2001]. Также они соотносимы с типами описаний изображений, выделенными в [Hodosh et al. 2013]. Результаты можно использовать для корректировки данных ассоциативных словарей, изучения воздействия на человека с помощью изображений, исследования языковых проявлений творческой способности [Kuznetsova et al. 2013].

Литература


1. Гостев П. П., Сидорова М. Ю. Индексирование и именование изображений: проблемы вне русской грамматики или для русской грамматики? // Structures & Functions: Studies in Russian Linguistics, 2015. Т. 2, № 1. С. 94–138
2. Сидорова М. Ю., Гостев П. П. Коммуникативные стратегии описания изображений: от предметности к ассоциативности // Язык, Сознание, Коммуникация, 2016. Т. 53. К 85-летию В. Н. Телия (в печати).
3. Фрумкина Р. М. Психолингвистика: Учебник для студентов высших учебных заведений. М., 2001.
4. Hodosh M., Young P., Hockenmaier J. Framing image description as a ranking task: data, models and evaluation metrics // Journal of Artificial Intelligence Research, 2013. Т. 47. Pp. 853–899.
5.
Kuznetsova P., Chen J., Choi Y. Understanding and Quantifying Creativity in Lexical Composition // EMNLP, 2013. Pp. 1246–1258.