Fast recognition of real objects by an optimized hetero-associative neural network

Abstract
We have developed and realized a concept which is very well suited for a quick recognition of highly correlated patterns. For a hetero-associative memory we used a minimal optimized output code (index memory). We constructed a tree structure in which the assignment of indices has been optimized by simulated annealing. Thus the algorithm for optimal stability of the learned patterns works most effectively. Special care was taken of recognizing « real » objects, e.g. scanned letters. Here the characteristic noise is very anisotropic. We have slightly modified the minimal overlap strategy of Krauth and Mezard [1] by training with this specific noise, and could improve the performance of our network. In order to get insight into the network and its behaviour we used a measure called constructivity which shows clearly the anisotropic effects. We trained a network to recognize a scanned text and to produce the associated text file. Due to the architecture of the network many processes can be treated in parallel. Therefore we used transputers for the implementation.

Résumé
Un concept très bien adapté à la reconnaissance rapide de structures fortement corrélées est développé et réalisé. Nous utilisons comme mémoire hétéro-associative un code de sortie optimisé de façon minimale. Nous construisons une arborescence dont l'indiçage est déterminé par recuit simulé. De cette façon, l'algorithme de stabilisation des structures mémorisées fonctionne de façon optimale. La reconnaissance d'objets « réels », tels des lettres, est étudiée soigneusement. Dans ce cas, les bruits caractéristiques sont fortement anisotropes. Une légère modification de la stratégie de recouvrement minimal de Krauth et Mézard, par entraînement à ce bruit spécifique, permet d'améliorer les performances de notre réseau. Afin d'étudier le réseau et son comportement, nous utilisons une mesure baptisée « constructivité » qui met clairement en évidence les effets d'anisotropie. Un réseau est entraîné à reconnaître un texte et à produire le fichier correspondant. Grâce à son architecture, de nombreux processus peuvent être traités en parallèle et des « transputers » sont uilisés pour sa réalisation.