Построение диалоговой системы для инклюзии с помощью нейросетей с архитектурой «Transformer»
Виктория Игоревна Фирсанова
Докладчик
аспирант
Санкт-Петербургский государственный университет
Санкт-Петербургский государственный университет
Ключевые слова, аннотация
Исследование освещает особенности разработки диалоговых систем для инклюзии людей с расстройствами аутистического спектра (РАС) и синдромом Аспергера. Цель исследования — выявить релевантность использования архитектуры «Transformer» для построения систем такого рода. Поскольку при построении описываемых диалоговых систем важнейшую роль играет безопасность моделей, основное внимание в исследовании уделено измерению вероятности генерации ответов, которые потенциально могут искажать информацию, вводить в заблуждение или вызывать негативные эмоции.
Тезисы
Диалоговые системы, например, чат-боты, вопросно-ответные модели и виртуальные ассистенты, сегодня активно используются в качестве инструментов для ведения бизнеса. Однако, по мнению автора, внедрение подобных приложений в работу некоммерческих и благотворительных организаций может оказаться не менее эффективным. Настоящее исследование освещает возможность применения автоматических вопросно-ответных систем для поддержки инклюзии людей с расстройствами аутистического спектра (РАС) и синдромом Аспергера в частности. Модели диалоговых систем, описанные в исследовании, в ходе дальнейшей разработки могут послужить основой для построения приложений, которые позволят нейротипичным и нейроотличным пользователям задавать вопросы об особенностях взаимодействия в инклюзивном коллективе и мгновенно получать ответы, содержащие достоверную информацию.
Цель исследования заключается в том, чтобы выявить релевантность использования архитектуры “Transformer” в качестве инструмента построения диалоговых систем для инклюзии. Основной проблемой при построении системы, описанной в исследовании, стала контролируемость результатов работы модели. При разработке систем для инклюзии, несомненно, большую роль играет связность текста, генерируемого языковой моделью, которая измеряется перплексией. Не менее важно обеспечить информативность и полноту генерируемых ответов; в вопросно-ответных моделях и системах машинного чтения эти параметры принято измерять F1-мерой. Однако в первую очередь системы для инклюзии должны быть безопасными. Измерение уровня безопасности и проведение соответствующего анализа — основные задачи данного исследования. Основным критерием определения безопасности стало измерение вероятности генерации ответов, которые потенциально могут искажать информацию, вводить пользователя в заблуждение или вызывать негативные эмоции.
Новизна исследования заключается в том, что описывается конкретное приложение обработки естественного языка в области социальной политики и здравоохранения. Исследование фокусируется на двух подходах к построению вопросно-ответных систем. Для осуществления первого подхода, генеративного, использовалась нейросеть типа «Transformer» GPT-2, в основе которой — алгоритмы классического моделирования языка (генерации последующего токена для заданной последовательности). Для осуществления второго подхода, на основе извлечения информации, использовалась нейросеть «Transformer» BERT. В основе BERT — моделирование маскированного языка (воспроизведение недостающего, замаскированного токена в заданной последовательности). Для обучения моделей использовался датасет, собранный автором исследования Autism Spectrum Disorder QA (ASD QA). Исходный код и результаты исследования доступны в репозитории проекта https://github.com/vifirsanova/ASD-QA.
Цель исследования заключается в том, чтобы выявить релевантность использования архитектуры “Transformer” в качестве инструмента построения диалоговых систем для инклюзии. Основной проблемой при построении системы, описанной в исследовании, стала контролируемость результатов работы модели. При разработке систем для инклюзии, несомненно, большую роль играет связность текста, генерируемого языковой моделью, которая измеряется перплексией. Не менее важно обеспечить информативность и полноту генерируемых ответов; в вопросно-ответных моделях и системах машинного чтения эти параметры принято измерять F1-мерой. Однако в первую очередь системы для инклюзии должны быть безопасными. Измерение уровня безопасности и проведение соответствующего анализа — основные задачи данного исследования. Основным критерием определения безопасности стало измерение вероятности генерации ответов, которые потенциально могут искажать информацию, вводить пользователя в заблуждение или вызывать негативные эмоции.
Новизна исследования заключается в том, что описывается конкретное приложение обработки естественного языка в области социальной политики и здравоохранения. Исследование фокусируется на двух подходах к построению вопросно-ответных систем. Для осуществления первого подхода, генеративного, использовалась нейросеть типа «Transformer» GPT-2, в основе которой — алгоритмы классического моделирования языка (генерации последующего токена для заданной последовательности). Для осуществления второго подхода, на основе извлечения информации, использовалась нейросеть «Transformer» BERT. В основе BERT — моделирование маскированного языка (воспроизведение недостающего, замаскированного токена в заданной последовательности). Для обучения моделей использовался датасет, собранный автором исследования Autism Spectrum Disorder QA (ASD QA). Исходный код и результаты исследования доступны в репозитории проекта https://github.com/vifirsanova/ASD-QA.