The ultrametric organization of memories in a neural network

Abstract
In the original formulation of Hopfield's memory model, the learning rule setting the interaction strengths is best suited for orthogonal words. From the point of view of categorization, this feature is not convenient unless we reinterpret these words as primordial categories. But then one has to complete the model so as to be able to store a full hierarchical tree of categories embodying subcategories and so on. We use recent results on the spin glass mean field theories to show that this completion can be done in a natural way with a minimal modification of Hebb's rule for learning. Categorization emerges naturally from an encoding stage structured in layers.

Résumé
Dans le modèle de mémoire humaine proposé par Hofpield, les mots à emmagasiner doivent être orthogonaux. Du point de vue de la catégorisation, cette condition est peu commode à moins que ces mots ne soient des prototypes appartenant à des catégories primordiales différentes. Dans ce cas, le modèle doit être complété de façon à pouvoir emmagasiner tout l'arbre hiérarchique : des sous-catégories appartenant à une même catégorie, des éléments appartenant à une sous-catégorie, et ainsi de suite. Nous utilisons des résultats récents sur la théorie du champ moyen des verres de spin pour démontrer que cette réalisation est possible avec une modification mini-male de la règle de Hebb. On trouve que la catégorisation est une conséquence naturelle d'une étape de précodage structurée en couches.