Neural network synthesis based on evolutionary optimization

Abstract

The evolutionary approach for neural network structural synthesis is considered in this paper. The new method of multimodal evolutionary search with a chromosome clustering is offered. The developed method is based on the idea of simultaneous search of several optimums, thus chromosomes are grouped in clusters on their arrangement in a search space. So stable subpopulations in different clusters are formed, diversity of search is provided, and convergence to different local minima is reached that allows to find closer to optimal architectures of neural networks. Software implementing proposed method is developed. The experiments with proposed method in practical problem solving were conducted.

У статті розглянуто еволюційний підхід для структурного синтезу нейронних мереж. Запропоновано новий метод мультимодального еволюційного пошуку з кластеризацією хромосом. Розроблений метод заснований на ідеї одночасного пошуку декількох оптимумів, при якому хромосоми групуються у кластери за їхнім розташуванням у просторі пошуку. Таким чином формуються стабільні субпопуляції в різних кластерах, забезпечується різноманітність пошуку і досягається збіжність до різних локальних мінімумів , що дозволяє знайти архітектуру нейронної мережі, близьку до оптимальної. Розроблено програмне забезпечення, що реалізує запропонований метод, а також проведено експерименти з його дослідження при вирішенні практичних завдань.

В статье рассмотрен эволюционный подход для структурного синтеза нейронных сетей. Предложен новый метод мультимодального эволюционного поиска с кластеризацией хромосом. Разработанный метод основан на идее одновременного поиска нескольких оптимумов, при котором хромосомы группируются в кластеры по их расположению в пространстве поиска. Таким образом формируются стабильные субпопуляции в различных кластерах, обеспечивается разнообразие поиска и достигается сходимость к различным локальным минимумам, что позволяет найти архитектуру нейронной сети, близкую к оптимальной. Разработано программное обеспечение, реализующее предложенный метод, а также проведены эксперименты по его исследованию при решении практических задач.