Rev. Phys. Appl. (Paris) 22, 1321-1325 (1987)
DOI: 10.1051/rphysap:0198700220100132100

Information retrieval in neural networks. - I. Eigenproblems in neural networks

A.D. Maruani, R.C. Chevallier et G.Y. Sirat

Ecole Nationale Supérieure des Télécommunications, Groupe Optique des Matériaux, 46, rue Barrault, 75634 Paris Cedex 13, France

Abstract
Consideration of the eigenproblem of the synaptic matrix in Hopfield's model of neural networks suggests to introduce a matrix built up from an orthogonal set, orthogonal to the original memories. With this new scheme, capacity storage is significantly enhanced and robustness at least conserved.

Résumé
Nous étudions le problème des vecteurs propres et des valeurs propres de la matrice synaptique correspondant au modèle d'Hopfield. Nous montrons en particulier que les vecteurs propres se laissent ranger en deux sous-espaces orthogonaux : le premier espace est celui des mémoires prototypes ; la dispersion des valeurs propres correspondantes autour de leur valeur moyenne donne une mesure de l'orthogonalité de ces prototypes. Le second espace est quant à lui totalement dégénéré. En outre, nous montrons une similitude entre l'algorithme de mémoire associative et l'algorithme d'orthonormalisation de Gram-Schmidt. A partir de ces résultats, nous développons un modèle de matrice synaptique dont nous évaluons numériquement les performances en les comparant à celles d'un processeur d'Hopfield fonctionnant dans les mêmes conditions.

PACS
1230 - Artificial intelligence.
1290L - Systems theory applications in biology and medicine.

Key words
eigenvalues and eigenfunctions -- neural nets -- information retrieval -- neutral networks -- eigenproblem -- synaptic matrix -- Hopfield's model -- orthogonal set -- capacity storage -- robustness