J. Phys. France 50, 121-134 (1989)
DOI: 10.1051/jphys:01989005002012100

Perceptron beyond the limit of capacity

P. Del Giudice¹, S. Franz² et M. A. Virasoro<sup>2

1</sup>  Istituto Superiore di Sanità-Laboratorio di Fisica, Viale Regina Elena 299-Roma, Italy
²  Dipartimento di Fisica dell' Università di Roma « la Sapienza », Piazzale Aldo Moro 4-Roma, Italy

Abstract
An input-output map in which the patterns are divided into classes is considered for the perceptron. The statistical mechanical analysis with a finite number of classes turns out to give the same results as the case of only one class of patterns ; the limit of capacity and the relevant order parameters are calculated in a mean field approach. The analysis is then extended to the Derrida Gardner canonical ensemble in which the perceptron can be studied beyond the limit of capacity. We complete the analysis with numerical simulations with the perceptron learning rule. The relevance of those results to the possible emergence of spontaneous categorization is finally discussed.

Résumé
Nous considérons une application entrée-sortie pour un perceptron dans laquelle les formes sont divisées en classes. L'analyse par la mécanique statistique dans le cas d'un nombre fini de classes donne les mêmes résultats que pour une seule classe ; nous calculons la limite de capacité et les paramètres d'ordre pertinents en champ moyen. Nous généralisons ensuite l'analyse à l'ensemble canonique de Derrida-Gardner dans lequel le perceptron peut être étudié au-delà de sa limite de capacité. Nous complétons l'analyse en étudiant numériquement la règle d'apprentissage du perceptron. Nous discutons finalement la relevance de ces résultats à l'émergence possible d'une catégorisation spontanée.

PACS
0270 - Computational techniques.
8710 - General theory and mathematical aspects.

Key words
learning systems -- neural nets