J. Phys. France 48, 741-755 (1987)
DOI: 10.1051/jphys:01987004805074100

Zero temperature parallel dynamics for infinite range spin glasses and neural networks

E. Gardner¹, B. Derrida² et P. Mottishaw<sup>2

1</sup>  Department of Physics, University of Edinburgh, Edinburgh EH9, 3JZ, U.K.
²  Service de Physique Théorique, CEN Saclay, 91191 Gif-sur-Yvette, France

Abstract
We present the results of analytical and numerical calculations for the zero temperature parallel dynamics of spin glass and neural network models. We use an analytical approach to calculate the magnetization and the overlaps after a few time steps. For the long time behaviour, the analytical approach becomes too complicated and we use numerical simulations. For the Sherrington-Kirkpatrick model, we measure the remanent magnetization and the overlaps at different times and we observe power law decays towards the infinite time limit. When one iterates two configurations in parallel, their distance d(∞) in the limit of infinite time depends on their initial distance d(0). Our numerical results suggest that d(∞) has a finite limit when d(0) → 0. This result can be regarded as a collective effect between an infinite number of spins. For the Little-Hopfield model, we compute the time evolution of the overlap with a stored pattern. We find regimes for which the system learns better after a few time steps than in the infinite time limit.

Résumé
Nous présentons les résultats de calculs analytiques et numériques pour une dynamique parallèle à température nulle de modèles de verres de spin et de réseaux de neurones. Nous utilisons une approche analytique pour calculer l'aimantation et les recouvrements après quelques pas de temps. Dans la limite des temps longs, cette approche analytique devient trop compliquée et nous utilisons des méthodes numériques. Pour le modèle de Sherrington-Kirkpatrick, nous mesurons l'aimantation rémanente et les recouvrements à des temps différents et nous observons des décroissances en loi de puissance. Quand on itère deux configurations différentes, leur distance d(∞) au bout d'un temps infini dépend de leur distance initiale d(0). Nos résultats numériques suggèrent que d(∞) a une limite finie quand d(0) → 0. Ce résultat signifie qu'il y a un effet collectif entre un nombre infini de spins. Pour le modèle de Little-Hopfield, nous calculons l'évolution temporelle du recouvrement avec une pattern mémorisée. Nous observons un régime pour lequel le système retient mieux après quelques pas de temps que dans la limite des temps longs.

PACS
0520 - Classical statistical mechanics.
7540 - Critical-point effects, specific heats, short-range order.

Key words
neural nets -- spin glasses