Застосування засобів нейроеволюції в технічних системах автоматизації керування

Abstract

Навчання з підкріпленням – галузь машинного навчання, що базується на тому, як програмним агентам слід виконувати дії у середовищі з метою максимізації поняття кумулятивної винагороди. В даній роботі запропоновано нове застосування техніки машинного навчання з підкріпленням у формі нейроеволюції наростаючих топологій для розв’язування задач автоматизації керування на одному з прикладів моделювання задач керування технічними системами. Використовується набір інструментів для розробки та порівняння алгоритмів навчання з підкріпленням OpenAI Gym, повноцінна реалізація з відкритим програмним кодом генетичного алгоритму нейроеволюції NEAT під назвою SharpNEAT, та проміжне програмне забезпечення для оркестрації зазначених компонентів. Алгоритм нейроеволюції наростаючих топологій демонструє знаходження ефективних нейронних мереж на прикладі вирішення простих стандартних галузевих задач з системами з неперервним керуванням з набору OpenAI Gym.

Reinforced learning is a field of machine learning based on how software agents should perform actions in the environment to maximize the concept of cumulative reward. This paper proposes a new application of machine reinforcement learning techniques in the form of neuroevolution of augmenting topologies to solve control automation problems using modeling control problems of technical systems. Key application components include OpenAI Gym toolkit for developing and comparing reinforcement learning algorithms, full-fledged open-source implementation of the NEAT genetic algorithm called SharpNEAT, and intermediate software for orchestration of these components. The algorithm of neuroevolution of augmenting topologies demonstrates the finding of efficient neural networks on the example of a simple standard problem with continuous control from OpenAI Gym.