Аналитический обзор моделей и методов автоматического распознавания жестов и жестовых языков
Ключевые слова:
жестовые языки, жестовый корпус, распознавание жестов, геометрия рук, машинное обучение, компьютерное зрение, нейросетевая модель, цифровая обработка, морфологическая обработка, информативные признакиАннотация
Введение: распознавание жестов и жестовых языков является одной из наиболее развивающихся областей компьютерного зрения и прикладной лингвистики. Результаты исследований автоматического распознавания жестов находят применение в самых разных областях ― от сурдоперевода до жестовых интерфейсов. В связи с этим разрабатываются разнообразные системы и методы для анализа жестовых данных. Цель: выполнить подробный обзор методов и провести сравнительный анализ существующих подходов в области автоматического распознавания жестов и жестовых языков. Результаты: проделанный анализ работ показал, что основными проблемами в области распознавания жестов являются детектирование артикуляторов (в первую очередь рук), распознавание их конфигурации и сегментация жестов в потоке речи. Сформулирован вывод о перспективности применения двухпоточных сверточных и рекуррентных архитектур нейросетей для эффективного извлечения и обработки пространственных и темпоральных признаков жеста, а также для решения проблемы автоматического распознавания динамических жестов и коартикуляций в потоке речи. При этом решение указанной проблемы напрямую зависит от качества и доступности наборов данных. Практическая значимость: представленый обзор рассматривается как вклад в изучение быстро развивающихся подходов к решению задачи распознавания жестовых данных независимо от материалов конкретных естественных жестовых языков. Результаты работы могут быть использованы при проектировании программных систем для автоматического распознавания жестов и жестовых языков.
