Memory capacity of neural networks learning within bounds

Abstract
We present a model of long term memory : learning within irreversible bounds. The best bound values and memory capacity are determined numerically. We show that it is possible in general to calculate analytically the memory capacity by solving the random walk problem associated to a given learning rule. Our estimations - done for several learning rules - are in excellent agreement with numerical and analytical statistical mechanics results.

Résumé
Nous présentons un modèle de mémoire à long terme : apprentissage avec bornes irréversibles. Les meilleures valeurs des bornes et la capacité de mémoire sont déterminés numériquement. Nous montrons qu'il est possible en général de calculer analytiquement la capacité de mémoire si l'on résout le problème de marche aléatoire associé à chaque règle d'apprentissage. Nos estimations - faites pour plusieurs règles d'apprentissage - sont en excellent accord avec les résultats numériques et de mécanique statistique.