Метод сжатия глубоких нейронных сетей, основанный на геометрически контролируемом прореживании

Аннотация

Введение: высокие вычислительные ресурсы, энергозатраты и время для решения задач с применением технологий глубокого обучения обусловили поиск решений сжатия моделей нейронных сетей без существенной потери качества результата. Цель: разработать метод сжатия глубоких нейронных сетей – сокращения вычислительной сложности и числа параметров сверточных нейронных сетей без существенной потери точности решения задачи классификации. Результаты: разработан новый метод геометрически контролируемого прореживания модели нейронной сети, основанный на жадном отборе кандидатов структурного прореживания с контролем изменения геометрии представлений. Предложена метрика контролирования сохранения геометрии представлений в виде матрицы межклассовых сходств, вычисляемой по центроидам классов в пространстве признаков. Введен параметр допустимого бюджета деформации геометрии представлений и предложен подход к его выбору на основе оценки шумового порога геометрической метрики. Результаты эксперимента показали, что предложенный метод сжатия моделей нейронных сетей обеспечивает сохранение точности классификации после дообучения, сопоставимой с базовой моделью без прореживания при сокращении вычислительной сложности на ~8 % и числа параметров на ~12 % на примере архитектуры ResNet-50 и набора данных CIFAR-100. Дополнительно показана переносимость разработанного метода на архитектуры глубоких нейронных сетей ResNet-18 и MobileNetV2. Практическая значимость: разработанный метод может найти применение при решении задачи классификации на мобильных и встраиваемых устройствах в реальном времени.