Аналитический обзор методов автоматического распознавания вовлеченности пользователя в виртуальную коммуникацию

Аннотация

Введение: решение автоматическими средствами задачи распознавания и оценивания степени вовлеченности пользователя в процесс человеко-машинного взаимодействия или телекоммуникации является актуальным в области компьютерного распознавания состояний человека. Это необходимо для проектирования приложений дистанционного обучения, бизнеса и развлечений. Цель: провести сравнительный анализ существующего информационного обеспечения и методов в области автоматического распознавания и оценивания вовлеченности пользователя в процесс человеко-машинного взаимодействия или виртуальной коммуникации и обосновать методологию построения корпуса данных, основанного на идее многомодальной коммуникации. Результаты: выполненный анализ работ показал, что в большей части известных корпусов (data sets) отсутствуют данные по онлайн-коммуникации в естественных условиях и не всегда учитываются разные модальности взаимодействия в системе «человек – машина – человек». Для многоуровневой классификации, определяющей степень вовлеченности, важны, помимо видеомодальности, также акустическая и текстовая информация. Перспективным оказывается учет «языка тела» пользователя: мимика, движения тела, рук и головы. Кроме того, для правильной оценки вовлеченности в корпусе данных должна содержаться метаинформация по психоэмоциональным состояниям коммуникантов. Наиболее перспективным подходом для автоматического оценивания степени вовлеченности следует признать нейросетевой. Практическая значимость: на основании полученных аналитических выводов планируется разработка оригинальной программной системы для автоматического распознавания вовлеченности и формирование набора данных для обучения ее вероятностных моделей. Также представленный обзор позволяет сформулировать основные требования к подобным системам и является вкладом в решение задачи автоматического распознавания психоэмоциональных состояний человека. Обсуждение: анализ работ позволяет сделать вывод, что понятие вовлеченности в контексте распознавания эмоций отличается от распространенного в психологии. Вовлеченность пользователя (коммуниканта) в информационно-коммуникационной сфере – проявление различной степени эмоциональной, когнитивной и поведенческой составляющих психической активности человека в процессе взаимодействия с собеседником или компьютерной системой, имеющее динамический характер.