Testing simple neuron models with dendrites for sparse binary image representation

Abstract

This paper deals with the problem of information representation into a form that allows to make associations, measure similarity and integrate new information with respect to previously stored. Several simple models for encoding information into sparse distributed representation are explored. These models based on the idea that information about stimuli is stored in the population, not an individual neuron, thus each neuron learns many partial features. Results show formation of a sparse representation of image data with high overlap for similar images. Each cell develops multiple receptive fields that together create a population receptive field. It was possible due to incorporation of dendritic tree into standard neuron model. Also, models were tested on a classification of handwritten digits from MNIST dataset. Results from unsupervised representation show poor accuracy compared to the state-of-the-art supervised methods, however, due to the presence of interesting properties further development of an idea should be continued.

Стаття розглядає проблему представлення інформації у формі, яка дозволяє створювати асоціації, вимірювати схожість та інтегрувати нову інформацію відносно раніше збереженої. Досліджуються декілька простих моделей для кодування інформації у розріджено розподіленому представленні. Моделі ґрунтуються на ідеї, що інформація про стимули зберігається в популяції, а не в окремому нейроні, тому кожен нейрон навчається на багато часткових ознак. Результати показують формування розрідженого представлення зображення з високим перекриттям для подібних зображень. Кожна клітина формує кілька рецептивних полів, які разом утворюють популяційне рецептивне поле. Це стало можливим завдяки включенню дендритного дерева в стандартну модель нейрона. Також моделі були перевірені на здатність до класифікації рукописних цифр з набору даних MNIST. Результати для навчання без учителя мають погану точність у порівнянні з сучасними методами для навчанням з учителем, однак завдяки наявності цікавих властивостей подальший розвиток ідеї має бути продовжений.