Нове геометричне подання простору «станів-дій» Q-learning алгоритму в проблемі передбачення третинної структури білка

Abstract

Розроблено новітнє подання простору станів та дій для алгоритму машинного навчання з підкріпленням Q-learning. Застосування Q-learning алгоритму з пропонованим поданням простору станів та дій досліджується на задачі передбачення третинної структури білків. Особливість пропонованого подання полягає в урахуванні геометричних властивостей результуючого ланцюга в кубічній ґратці. Ефективність такого підходу підтверджується експериментально на широко-розповсюдженому в світі наборі тестових даних.

Цель роботы. Анализ существующих подходов к представлению пространств состояний и действий для алгоритма Q-learning для задачи предсказания трехмерной структуры белков, выявление их преимуществ и недостатков, предложение нового геометрического представления пространства «состояние-действие». Дальше необходимо сравнить существующие и предлагаемые подходы, сделать выводы и описать возможные будущие шаги дальнейших исследований.

The purpose of the article is to analyze existing approaches of different states and actions spaces representations for Q-learning algorithm for protein structure folding problem, reveal their advantages and disadvantages and propose the new geometric “state-space” representation. Afterwards the goal is to compare existing and the proposed approaches, make conclusions with also describing possible future steps of further research.