Алгоритмы непрерывного управления для маршрутизации конвейера на основе мультиагентного глубокого обучения с подкреплением

Аннотация

Введение: при перемещении грузов в конвейерной системе необходимо минимизировать не только время транспортировки, но и энергию, затрачиваемую на это перемещение. Энергия перемещения является не декомпозируемой по ребрам функцией, что не позволяет применить к означенной задаче классические алгоритмы маршрутизации. Цель: разработать алгоритм маршрутизации, адаптивный к изменениям в топологии графа маршрутизации и способный оптимизировать время доставки и затрачиваемую электроэнергию. Результаты: предложен алгоритм на основе мультиагентного глубокого обучения с подкреплением, помещающий агентов в вершины графа конвейерной сети, использующий новую функцию ценности состояний. Алгоритм имеет два настраиваемых параметра: длину пути, по которой считается функция ценности состояния, и коэффициент обучения. Благодаря подбору параметров выявлено, что оптимальными значениями являются 2 и 1 соответственно. На основе экспериментального исследования алгоритма с использованием симуляционной модели установлено, что его использование позволяет свести к нулю число столкновений перемещаемых объектов, обеспечивая достижение устойчивых результатов работы по обоим оптимизируемым функционалам, а также приводит к меньшему потреблению электроэнергии в сравнении с референтным алгоритмом. Практическая значимость: предложенный алгоритм может быть использован для уменьшения времени и энергии доставки при управлении конвейерными системами.