J. Phys. France 50, 2333-2345 (1989)
DOI: 10.1051/jphys:0198900500170233300

Stability-capacity diagram of a neural network with Ising bonds

E. Amaldi¹ et S. Nicolis<sup>2

1</sup>  Caltech Concurrent Computation Program, California Institute of Technology, Pasadena, CA 91125, U.S.A.
²  Dipartimento di Fisica, Universita di Roma, « La Sapienza », piazzale Aldo Moro 2, Roma 00185, Italy

Abstract
The stability-capacity diagram of a fully connected neural network, whose bonds take the values 1 and -1 with equal probability, is determined numerically. Two different optimization methods (simulated annealing and tabu search) are used and their relevant features are discussed. The results indicate the existence of a region, in the stability-capacity plane, where replica-symmetry should be broken, within the replica-symmetric phase found by previous, analytical, computations. The critical capacity, consistent with simple arguments on information storage, is found to be less than one.

Résumé
Le diagramme stabilité - capacité d'un réseau de neurones totalement connecté, dont les liens synaptiques ne peuvent prendre que deux valeurs 1 ou - 1, avec la même probabilité, est déterminé par simulations numériques. Deux différentes méthodes d'optimisation ont été utilisées (recuit simulé et recherche tabou) et nous discutons leurs aspects les plus importants. Les résultats indiquent l'existence d'une région, dans le plan stabilité - capacité, où la symétrie des répliques devrait être brisée, à l'intérieur de la phase symétrique trouvée précédemment par des calculs analytiques. La capacité critique, en accord avec des arguments simples, est trouvée inférieure à un.

PACS
0550 - Lattice theory and statistics (Ising, Potts, etc.).
0270 - Computational techniques.

Key words
Ising model -- neural nets -- optimisation -- phase diagrams -- stability