Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
NETWORK OF ARTIFICIAL NEURONES BASED ON COMPLEMENTARY MEMRISTIVE DEVICES
Document Type and Number:
WIPO Patent Application WO/2013/000940
Kind Code:
A1
Abstract:
The invention relates to a network of neurones comprising a plurality of artificial neurones (101,102,103,104,510,530) and a plurality of artificial synapses (501), each inlet neurone (101,102,103,104) being connected to each outlet neurone (510, 530) by means of an artificial synapse, said network being characterised in that each synapse (501) consists of a first memristive device (511) connected to a first inlet of an outlet neurone (510), and a second memristive device (521) mounted opposite said first device (511) and connected to a second complemented inlet of said outlet neurone (510) such that said outlet neurone (510) integrates the difference between the currents from the first (511) and second (521) devices.

Inventors:
BICHLER OLIVIER (FR)
DESALVO BARBARA (FR)
GAMRAT CHRISTIAN (FR)
SURI MANAN (FR)
Application Number:
PCT/EP2012/062422
Publication Date:
January 03, 2013
Filing Date:
June 27, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
COMMISSARIAT ENERGIE ATOMIQUE (FR)
BICHLER OLIVIER (FR)
DESALVO BARBARA (FR)
GAMRAT CHRISTIAN (FR)
SURI MANAN (FR)
International Classes:
G06N3/063; G06N3/08
Foreign References:
US20100299297A12010-11-25
FR2919410A12009-01-30
US20100299296A12010-11-25
US20100299297A12010-11-25
Other References:
HE M ET AL: "Mixed analog-digital design of a learning nano-circuit for neuronal architectures", DESIGN AND TECHNOLOGY OF INTEGRATED SYSTEMS IN NANOSCALE ERA, 2008. DTIS 2008. 3RD INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 25 March 2008 (2008-03-25), pages 1 - 5, XP031270364, ISBN: 978-1-4244-1576-2
DJAAFAR CHABI ET AL: "Robust neural logic block (NLB) based on memristor crossbar array", NANOSCALE ARCHITECTURES (NANOARCH), 2011 IEEE/ACM INTERNATIONAL SYMPOSIUM ON, IEEE, 8 June 2011 (2011-06-08), pages 137 - 143, XP031956430, ISBN: 978-1-4577-0993-7, DOI: 10.1109/NANOARCH.2011.5941495
MANAN SURI ET AL: "Phase change memory as synapse for ultra-dense neuromorphic systems: Application to complex visual pattern extraction", ELECTRON DEVICES MEETING (IEDM), 2011 IEEE INTERNATIONAL, IEEE, 5 December 2011 (2011-12-05), pages 4.4.1 - 4.4.4, XP032095880, ISBN: 978-1-4577-0506-9, DOI: 10.1109/IEDM.2011.6131488
Attorney, Agent or Firm:
LUCAS, Laurent et al. (FR)
Download PDF:
Claims:
REVENDICATIONS

Réseau de neurones comportant une pluralité de neurones artificiels (101 ,102,103,104,510,530) et une pluralité de synapses artificielles (501 ) chaque neurone d'entrée (101 ,102,103,104) étant connecté à chaque neurone de sortie (510,530) par l'intermédiaire d'une synapse artificielle, ledit réseau étant caractérisé en ce que chaque synapse (501 ) est constituée d'un premier dispositif memristif (51 1 ) connecté à une première entrée d'un neurone de sortie (510) et d'un second dispositif memristif (521 ), monté en opposition dudit premier dispositif (51 1 ) et connecté à une seconde entrée, complémentée, dudit neurone de sortie (510) de sorte que ledit neurone de sortie (510) intègre la différence entre les courants provenant des premier (51 1 ) et second (521 ) dispositifs.

Réseau de neurones selon la revendication 1 caractérisé en ce que lesdits dispositifs memristifs (51 1 ,512) sont destinés à recevoir une impulsion pré-synaptique émise par le neurone d'entrée (101 ) auquel ils sont connectés en amont et/ou une impulsion post-synaptique émise par le neurone de sortie (510) auquel ils sont connectés en aval, lesdites impulsions étant configurées de sorte à provoquer une augmentation, une diminution ou une stagnation de la conductance équivalente de la synapse (501 ) constituée desdits dispositifs (51 1 ,512), une augmentation de la conductance équivalente de la synapse (501 ) étant provoquée par une augmentation de la conductance réelle du premier dispositif (51 1 ) ou une diminution de la conductance réelle du second dispositif (521 ) et une diminution de la conductance équivalente de la synapse (501 ) étant provoquée par une augmentation de la conductance réelle du second dispositif (521 ) ou une diminution de la conductance réelle du premier dispositif (51 1 ). Réseau de neurones selon l'une des revendications 1 ou 2 caractérisé en ce qu'un dispositif memristif (51 1 ,512) a une conductance qui varie progressivement dans un premier sens, d'augmentation ou de diminution, lorsque la tension à ses bornes est supérieure à un premier seuil Vth+, Vth- prédéterminé et comprise dans une première plage d'amplitude immédiatement supérieure audit premier seuil, varie brutalement dans un second sens, opposé au premier sens de variation, pour atteindre un extrema lorsque la tension à ses bornes est supérieure à un second seuil Vth-, Vth+ et comprise dans une seconde plage d'amplitude immédiatement supérieure audit second seuil, et reste sensiblement constante lorsque la tension à ses bornes présente une amplitude inférieure au plus petit des deux seuils Vth-, Vth+.

Réseau de neurones selon la revendication 3 caractérisé en ce que :

• l'amplitude VP des impulsions pré-synaptiques et post-synaptiques est configurée de sorte à être inférieure, en valeur absolue, audit premier seuil Vth+, Vth- et de sorte que le double 2VP de sa valeur dépasse ledit seuil Vth+, Vth- et est situé dans la plage de valeurs de tension immédiatement supérieure audit seuil Vth+, Vth- qui permet de provoquer une variation progressive, dans ledit premier sens de variation, de la conductance dudit dispositif memristif (51 1 ,512),

• la polarité d'une impulsion post-synaptique transmise par un neurone de sortie (510) en direction dudit premier dispositif memristif (51 1 ) d'une synapse (501 ) est négative si ledit premier sens de variation est une augmentation et positive si ledit premier sens de variation est une diminution,

• la polarité d'une impulsion post-synaptique transmise par un neurone de sortie (510) en direction dudit second dispositif memristif (521 ) d'une synapse (501 ) est opposée à celle de l'impulsion transmise en direction dudit premier dispositif memristif (51 1 ), • la polarité d'une impulsion pré-synaptique transmise par un neurone d'entrée (101 ) est positive pour provoquer une augmentation de la conductance équivalente d'une synapse (501 ) et négative pour provoquer une diminution de ladite conductance équivalente.

Réseau de neurones selon la revendication 3 caractérisé en ce que :

• l'amplitude VP des impulsions pré-synaptiques et post-synaptiques est configurée de sorte à être inférieure, en valeur absolue, audit premier seuil Vth+, Vth- et de sorte que le double 2VP de sa valeur dépasse ledit seuil Vth+, Vth- et soit situé dans la plage de valeurs de tension immédiatement supérieure audit seuil Vth+, Vth- qui permet de provoquer une variation progressive, dans ledit premier sens de variation, de la conductance dudit dispositif memristif (51 1 ,512),

• l'amplitude d'une impulsion post-synaptique transmise par un neurone de sortie (510) en direction dudit premier dispositif memristif (51 1 ) d'une synapse (501 ) si ledit premier sens de variation est une augmentation ou en direction dudit second dispositif memristif (521 ) d'une synapse (501 ) si ledit premier sens de variation est une diminution, est égale à l'amplitude VP d'une impulsion pré-synaptique et sa polarité est négative,

• l'amplitude d'une impulsion post-synaptique transmise par un neurone de sortie (510) dudit premier dispositif memristif (51 1 ) d'une synapse (501 ) si ledit premier sens de variation est une diminution ou en direction dudit second dispositif memristif (521 ) d'une synapse (501 ) si ledit premier sens de variation est une augmentation, est égale au double de l'amplitude VP d'une impulsion pré-synaptique et sa polarité est positive,

• la polarité d'une impulsion pré-synaptique transmise par un neurone d'entrée (101 ) est positive. Réseau de neurones selon l'une des revendications 3 à 5 caractérisé en ce qu'il comporte en outre une commande rétro-active (600) connectée en entrée à chaque neurone de sortie (510,530) et en sortie à chaque neurone d'entrée (1 10,120,130,140) et adaptée à activer au moins un neurone d'entrée (1 10,120) lorsque le courant intégré par un neurone de sortie (510) dépasse un seuil d'activation prédéterminé, une impulsion pré-synaptique étant émise consécutivement à l'activation d'un neurone d'entrée (1 10,120).

Réseau de neurones selon l'une des revendications 3 à 6 caractérisé en ce qu'il comporte en outre une unité de contrôle (700) adaptée à piloter l'ensemble des neurones dudit réseau pour réaliser une réinitialisation des conductances desdits dispositifs memristifs (51 1 ,521 ) d'une synapse (501 ) en exécutant au moins les étapes suivantes, pour au moins un neurone d'entrée (101 ) :

• Transmettre une impulsion d'activation vers les dispositifs memristifs (51 1 ,521 ) connectés audit neurone d'entrée, l'impulsion étant configurée de sorte à ne pas modifier la conductance des dispositifs (51 1 ,521 ),

• Propager ladite impulsion d'activation vers les neurones de sortie (510) connectés en aval desdits dispositifs memristifs (51 1 ,521 ),

• Mesurer, à partir de l'impulsion d'activation reçue par lesdits neurones de sortie (510), la conductance des dispositifs (51 1 ,521 ) et sauvegarder ces valeurs,

• Transmettre, à partir des neurones de sortie (510) vers lesdits dispositifs memristifs (51 1 ,521 ), une impulsion de réinitialisation post-synaptique d'amplitude VRST configurée de sorte qu'à réception de ladite impulsion, la conductance desdits dispositifs est réinitialisée à sa valeur minimale ou maximale, • Transmettre, à partir des neurones de sortie (510), une succession d'impulsions post-synaptique vers le dispositif (51 1 ) dont la conductance mesurée est la plus élevée si ledit premier sens de variation est une augmentation ou la plus faible si ledit premier sens de variation est une diminution, de sorte à modifier sa conductance à une valeur sensiblement égale à la différence mesurée entre les conductances des deux dispositifs (51 1 ,521 ) que comporte une synapse (501 ). 8. Réseau de neurones selon la revendication 7 caractérisé en ce que :

• l'impulsion de réinitialisation post-synaptique est configurée de sorte que son amplitude VRST est supérieure audit second seuil VTH- Vth+ desdits dispositifs memrisitifs (51 1 ,521 ), sa polarité est négative lorsque l'impulsion est transmise vers lesdits premiers dispositifs (51 1 ) et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits seconds dispositifs (521 ) et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits premiers dispositifs (51 1 ) et ledit premier sens de variation est une diminution, sa polarité est négative lorsque l'impulsion est transmise vers lesdits seconds dispositifs (521 ) et ledit premier sens de variation est une diminution,

• ledit réseau comporte en outre des moyens adaptés à désactiver provisoirement toutes les synapses connectées aux autres neurones d'entrée (102,103,104).

9. Réseau de neurones selon la revendication 8 caractérisé en ce que la désactivation des synapses est réalisée au moyen de transistors à effet de champ (713,723) appariés à chaque dispositif memristif (513,523), dont le drain est connecté au terminal d'entrée dudit dispositif (513), la source est connectée à la jonction communicante qui relie ledit dispositif (513) audit neurone d'entrée (103) et la grille est connectée, par l'intermédiaire d'une commande de désactivation, audit neurone d'entrée (103).

10. Réseau de neurones selon la revendication 7 caractérisé en ce que :

• lesdits premier Vth+ et second seuils Vth- desdits dispositifs memristifs vérifient l'inégalité suivante | Vth+-Vth-| < min(| Vth+| , |Vth-|),

• l'impulsion de réinitialisation post-synaptique est configurée de sorte que :

i. son amplitude VRST est inférieure audit premier seuil Vth+, VTH- et que le double de sa valeur 2 VRST est supérieur audit second seuil VTH-I VTH+,

ii. sa polarité est négative lorsque l'impulsion est transmise vers lesdits premiers dispositifs (51 1 ) et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits seconds dispositifs (521 ) et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits premiers dispositifs (51 1 ) et ledit premier sens de variation est une diminution, sa polarité est négative lorsque l'impulsion est transmise vers lesdits seconds dispositifs (521 ) et ledit premier sens de variation est une diminution,

• simultanément, ledit neurone d'entrée(101 ) émet une impulsion de réinitialisation pré-synaptique constituée d'une première impulsion de polarité négative suivie d'une seconde impulsion de polarité positive, les deux impulsions ayant une amplitude égale, en valeur absolue, à celle des impulsions de réinitialisation post-synaptique.

1 1 . Réseau de neurones selon la revendication 1 0 caractérisé en ce que, pour respecter l'inégalité | Vth+-Vth-| < min(| Vth+|, |Vth-|), ledit réseau comporte en outre une pluralité de diodes montées en série avec chaque synapse artificielle et configurées de sorte que lesdits premier et second seuils Vth+, Vth- sont augmentés de la tension de seuil de la diode Vd.

12. Réseau de neurones selon l'une des revendications 7 à 1 1 caractérisé en ce que l'unité de contrôle (700) déclenche une réinitialisation à un instant estimé au bout duquel la conductance d'un dispositif memristif a atteint un extrema.

13. Réseau de neurones selon l'une des revendications précédentes caractérisé en ce que les dispositifs memristifs (51 1 ,521 ) sont des dispositifs unipolaires ou bipolaires.

14. Réseau de neurones selon l'une des revendications précédentes caractérisé en ce que les dispositifs memristifs (51 1 ,521 ) sont des mémoires PCM.

Description:
Réseau de neurones artificiels à base de dispositifs memristifs

complémentaires

L'invention concerne le domaine des réseaux de neurones artificiels et plus particulièrement les réseaux de neurones impulsionnels. Ces réseaux sont schématiquement inspirés des réseaux de neurones biologiques dont ils imitent le fonctionnement.

L'invention concerne également la mise en œuvre de réseaux de neurones artificiels sous forme de circuits électroniques conçus à l'aide de dispositifs memristifs. En particulier, l'invention concerne les dispositifs memristifs de type PCM « Phase-Change Memory » qui sont adaptés à la réalisation de synapses artificielles mais dont la conductance ne varie de façon progressive que dans un seul sens (augmentation ou diminution).

L'invention concerne également le domaine des méthodes d'apprentissage non supervisé mises en œuvre par un réseau de neurones artificiel, c'est-à-dire les méthodes d'apprentissage automatique permettant l'extraction de connaissance organisée à partir de données réelles ou simulées. Les données considérées comme les plus similaires sont rassemblées dans un même groupe alors que les données considérées comme différentes sont réparties dans des groupes distincts.

Les réseaux de neurones artificiels sont composés essentiellement de neurones interconnectés entre eux par des synapses, qui sont classiquement implémentées par des mémoires numériques, mais qui peuvent être également implémentées par des composants résistifs dont la conductance varie en fonction de la tension appliquée à leurs bornes.

Une règle d'apprentissage classiquement utilisée par les réseaux de neurones impulsionnels est la règle STDP « Spike Timing Dépendent Plasticity ». Il s'agit d'une règle d'inspiration biologique dont l'objectif est de reproduire le fonctionnement de l'apprentissage réalisé par les neurones et synapses biologiques. Pour qu'une telle règle soit mise en œuvre, la conductance des synapses doit varier en fonction des instants d'arrivée relatifs des impulsions pre et post synaptiques transmises par les neurones connectés respectivement en entrée et en sortie. Selon la règle STDP, la conductance d'une synapse est augmentée si son neurone post synaptique est activé après son neurone pré synaptique et diminuée dans le cas inverse. En outre, la variation de conductance dépend également du délai précis entre les impulsions générées suite à l'activation des neurones. Typiquement plus le délai est important, moins la conductance va varier.

Pour mettre en œuvre une règle STDP ou toute autre méthode d'apprentissage non supervisé, il est nécessaire que la conductance des composants memristifs qui modélisent les synapses artificielles du réseau puisse varier de façon progressive, en fonction de la tension appliquée à leurs bornes, à la fois dans le sens de l'augmentation et de la diminution. En outre, il est désirable que cela puisse se faire sans connaissance préalable de l'état de conductance de la synapse.

Les composants de type PCM ne vérifient pas cette propriété tout en présentant par ailleurs des caractéristiques adaptées à la réalisation pratique de réseaux de neurones, en particulier une densité d'intégration élevée, une rapidité des changements d'états et une consommation diminuée.

On connaît les demandes de brevet US 2010/0299296 et US 2010/0299297 qui décrivent une implémentation de la règle STDP à partir de dispositifs unipolaires de type PCM. Ces demandes enseignent une implémentation d'un réseau de neurones artificiels associé à la règle d'apprentissage STDP avec des dispositifs memristifs unipolaires de type PCM. Cependant, parce qu'elle cherche à imiter la fonction STDP biologique, la méthode proposée nécessite la mise en œuvre de signaux de programmation complexes, qui en outre ne tiennent pas compte de l'absence de diminution progressive de la conductance en valeur relative d'un tel dispositif. La présente invention vise à proposer un réseau de neurones artificiels dont les synapses peuvent être réalisées à partir de composants memristifs de type PCM et qui est adapté à la mise en œuvre d'une règle d'apprentissage exploitant l'augmentation et la diminution alternatives de la conductance des synapses en fonction de l'état des neurones auxquels elles sont connectées.

L'invention a ainsi pour objet un réseau de neurones comportant une pluralité de neurones artificiels et une pluralité de synapses artificielles chaque neurone d'entrée étant connecté à chaque neurone de sortie par l'intermédiaire d'une synapse artificielle, ledit réseau étant caractérisé en ce que chaque synapse est constituée d'un premier dispositif memristif connecté à une première entrée d'un neurone de sortie et d'un second dispositif memristif, monté en opposition dudit premier dispositif et connecté à une seconde entrée, complémentée, dudit neurone de sortie de sorte que ledit neurone de sortie intègre la différence entre les courants provenant des premier et second dispositifs.

Dans une variante de réalisation de l'invention, lesdits dispositifs memristifs sont destinés à recevoir une impulsion pré-synaptique émise par le neurone d'entrée auquel ils sont connectés en amont et/ou une impulsion post-synaptique émise par le neurone de sortie auquel ils sont connectés en aval, lesdites impulsions étant configurées de sorte à provoquer une augmentation, une diminution ou une stagnation de la conductance équivalente de la synapse constituée desdits dispositifs, une augmentation de la conductance équivalente de la synapse étant provoquée par une augmentation de la conductance réelle du premier dispositif ou une diminution de la conductance réelle du second dispositif et une diminution de la conductance équivalente de la synapse étant provoquée par une augmentation de la conductance réelle du second dispositif ou une diminution de la conductance réelle du premier dispositif.

Dans une variante de réalisation de l'invention, un dispositif memristif a une conductance qui varie progressivement dans un premier sens, d'augmentation ou de diminution, lorsque la tension à ses bornes est supérieure à un premier seuil V th+ , V th- prédéterminé et comprise dans une première plage d'amplitude immédiatement supérieure audit premier seuil, varie brutalement dans un second sens, opposé au premier sens de variation, pour atteindre un extrema lorsque la tension à ses bornes est supérieure à un second seuil V th-i V th+ et comprise dans une seconde plage d'amplitude immédiatement supérieure audit second seuil, et reste sensiblement constante lorsque la tension à ses bornes présente une amplitude inférieure au plus petit des deux seuils V t h-, N

Dans une variante de réalisation de l'invention :

• l'amplitude V P des impulsions pré-synaptiques et post-synaptiques est configurée de sorte à être inférieure, en valeur absolue, audit premier seuil V th+ , V th- et de sorte que le double 2V P de sa valeur dépasse ledit seuil V th+ , V th- et est situé dans la plage de valeurs de tension immédiatement supérieure audit seuil V t h + , V t h- qui permet de provoquer une variation progressive, dans ledit premier sens de variation, de la conductance dudit dispositif memristif,

• la polarité d'une impulsion post-synaptique transmise par un neurone de sortie en direction dudit premier dispositif memristif d'une synapse est négative si ledit premier sens de variation est une augmentation et positive si ledit premier sens de variation est une diminution,

• la polarité d'une impulsion post-synaptique transmise par un neurone de sortie en direction dudit second dispositif memristif d'une synapse est opposée à celle de l'impulsion transmise en direction dudit premier dispositif memristif,

• la polarité d'une impulsion pré-synaptique transmise par un neurone d'entrée est positive pour provoquer une augmentation de la conductance équivalente d'une synapse et négative pour provoquer une diminution de ladite conductance équivalente.

Dans une variante de réalisation de l'invention : • l'amplitude V P des impulsions pré-synaptiques et post-synaptiques est configurée de sorte à être inférieure, en valeur absolue, audit premier seuil V t h + , V t h- et de sorte que le double 2V P de sa valeur dépasse ledit seuil V t h + , V t h- et soit situé dans la plage de valeurs de tension immédiatement supérieure audit seuil V th+ , V th- qui permet de provoquer une variation progressive, dans ledit premier sens de variation, de la conductance dudit dispositif memristif,

• l'amplitude d'une impulsion post-synaptique transmise par un neurone de sortie en direction dudit premier dispositif memristif d'une synapse si ledit premier sens de variation est une augmentation ou en direction dudit second dispositif memristif d'une synapse si ledit premier sens de variation est une diminution, est égale à l'amplitude V P d'une impulsion pré-synaptique et sa polarité est négative,

· l'amplitude d'une impulsion post-synaptique transmise par un neurone de sortie dudit premier dispositif memristif d'une synapse si ledit premier sens de variation est une diminution ou en direction dudit second dispositif memristif d'une synapse si ledit premier sens de variation est une augmentation, est égale au double de l'amplitude V P d'une impulsion pré-synaptique et sa polarité est positive,

• la polarité d'une impulsion pré-synaptique transmise par un neurone d'entrée est positive.

Dans une variante de réalisation, le réseau de neurones selon l'invention comporte en outre une commande rétro-active connectée en entrée à chaque neurone de sortie et en sortie à chaque neurone d'entrée et adaptée à activer au moins un neurone d'entrée lorsque le courant intégré par un neurone de sortie dépasse un seuil d'activation prédéterminé, une impulsion pré-synaptique étant émise consécutivement à l'activation d'un neurone d'entrée. Dans une variante de réalisation, le réseau de neurones selon l'invention comporte en outre une unité de contrôle adaptée à piloter l'ensemble des neurones dudit réseau pour réaliser une réinitialisation des conductances desdits dispositifs memristifs d'une synapse en exécutant au moins les étapes suivantes, pour au moins un neurone d'entrée :

• Transmettre une impulsion d'activation vers les dispositifs memristifs connectés audit neurone d'entrée, l'impulsion étant configurée de sorte à ne pas modifier la conductance des dispositifs,

• Propager ladite impulsion d'activation vers les neurones de sortie connectés en aval desdits dispositifs memristifs,

• Mesurer, à partir de l'impulsion d'activation reçue par lesdits neurones de sortie, la conductance des dispositifs et sauvegarder ces valeurs,

• Transmettre, à partir des neurones de sortie vers lesdits dispositifs memristifs, une impulsion de réinitialisation post-synaptique d'amplitude V RS T configurée de sorte qu'à réception de ladite impulsion, la conductance desdits dispositifs est réinitialisée à sa valeur minimale ou maximale,

• Transmettre, à partir des neurones de sortie, une succession d'impulsions post-synaptique vers le dispositif dont la conductance mesurée est la plus élevée si ledit premier sens de variation est une augmentation ou la plus faible si ledit premier sens de variation est une diminution, de sorte à modifier sa conductance à une valeur sensiblement égale à la différence mesurée entre les conductances des deux dispositifs que comporte une synapse.

Dans une variante de réalisation de l'invention,

• l'impulsion de réinitialisation post-synaptique est configurée de sorte que son amplitude V RS T est supérieure audit second seuil V t h- V th+ desdits dispositifs memrisitifs, sa polarité est négative lorsque l'impulsion est transmise vers lesdits premiers dispositifs et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits seconds dispositifs et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits premiers dispositifs et ledit premier sens de variation est une diminution, sa polarité est négative lorsque l'impulsion est transmise vers lesdits seconds dispositifs et ledit premier sens de variation est une diminution,

• ledit réseau comporte en outre des moyens adaptés à désactiver provisoirement toutes les synapses connectées aux autres neurones d'entrée.

Dans une variante de réalisation de l'invention, la désactivation des synapses est réalisée au moyen de transistors à effet de champ appariés à chaque dispositif memristif, dont le drain est connecté au terminal d'entrée dudit dispositif, la source est connectée à la jonction communicante qui relie ledit dispositif audit neurone d'entrée et la grille est connectée, par l'intermédiaire d'une commande de désactivation, audit neurone d'entrée.

Dans une variante de réalisation de l'invention,

• lesdits premier V th+ et second seuils V th- desdits dispositifs memristifs vérifient l'inégalité suivante | V th+ -V th -| < min(| V th+ |,|V th -|),

• l'impulsion de réinitialisation post-synaptique est configurée de sorte que :

i. son amplitude V RS T est inférieure audit premier seuil V TH+I V TH- et que le double de sa valeur 2 V RS T est supérieur audit second seuil V t h-, V t h + ,

ii. sa polarité est négative lorsque l'impulsion est transmise vers lesdits premiers dispositifs et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits seconds dispositifs et ledit premier sens de variation est une augmentation, sa polarité est positive lorsque l'impulsion est transmise vers lesdits premiers dispositifs et ledit premier sens de variation est une diminution, sa polarité est négative lorsque l'impulsion est transmise vers lesdits seconds dispositifs et ledit premier sens de variation est une diminution,

• simultanément, ledit neurone d'entrée émet une impulsion de réinitialisation pré-synaptique constituée d'une première impulsion de polarité négative suivie d'une seconde impulsion de polarité positive, les deux impulsions ayant une amplitude égale, en valeur absolue, à celle des impulsions de réinitialisation post-synaptique.

Dans une variante de réalisation de l'invention, pour respecter l'inégalité | V t h + -V t h-| < min(| V t h + |,|V t h-|), ledit réseau comporte en outre une pluralité de diodes montées en série avec chaque synapse artificielle et configurées de sorte que lesdits premier et second seuils V th+ , V th- sont augmentés de la tension de seuil de la diode V d .

Dans une variante de réalisation de l'invention, l'unité de contrôle déclenche une réinitialisation à un instant estimé au bout duquel la conductance d'un dispositif memristif a atteint un extrema.

Dans une variante de réalisation de l'invention, les dispositifs memristifs sont des dispositifs unipolaires ou bipolaires.

Dans une variante de réalisation de l'invention, les dispositifs memristifs sont des mémoires PCM.

D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit faite en regard de dessins annexés qui représentent :

- la figure 1 , un synoptique fonctionnel d'un réseau de neurones artificiel selon l'art antérieur,

- la figure 2, un schéma d'un exemple de réalisation pratique d'une matrice de synapses permettant de réaliser un réseau de neurones artificiel, - la figure 3a, une illustration du principe d'apprentissage dans un réseau de neurones par application d'une règle biologique STDP,

- la figure 3b, un diagramme représentant la variation théorique de la conductance d'une synapse selon la règle biologique STDP, - les figures 4a et 4b, deux diagrammes représentant la variation de conductance d'un dispositif memristif unipolaire de type PCM en fonction de la tension appliquée à ses bornes,

- la figure 4c, un diagramme représentant la variation de conductance d'un dispositif memristif bipolaire en fonction de la tension appliquée à ses bornes,

- la figure 5, un synoptique fonctionnel d'un réseau de neurones artificiel selon un premier mode de réalisation de l'invention,

- la figure 6, un synoptique fonctionnel d'un réseau de neurones artificiel selon un deuxième mode de réalisation de l'invention, - la figure 7, un synoptique fonctionnel d'un réseau de neurones artificiel selon un troisième mode de réalisation de l'invention,

- la figure 8, un synoptique fonctionnel d'un réseau de neurones artificiel selon un quatrième mode de réalisation de l'invention,

- la figure 9, une illustration du principe de réinitialisation mis en œuvre par un réseau de neurones selon les troisième ou quatrième modes de réalisation de l'invention.

La figure 1 représente un synoptique fonctionnel d'un réseau de neurones artificiel selon l'art antérieur.

Une pluralité de neurones d'entrée 101 ,102,103,104 sont connectés à une pluralité de neurones de sortie 1 10,120 par l'intermédiaire d'une pluralité de synapses artificielles 1 1 1 ,1 12,1 13,1 14,121 ,122,1 23,124. Une synapse artificielle peut être réalisée au moyen d'un dispositif memristif dont la conductance varie en fonction du courant ou de la tension appliquée à ses bornes. Une synapse 1 1 1 a l'un de ses terminaux connecté à un neurone d'entrée 101 et l'autre terminal connecté à un neurone de sortie 1 10. Un neurone artificiel est un composant actif qui peut présenter simultanément ou séparément les fonctions de neurone d'entrée et/ou de neurone de sortie. Un neurone artificiel est appelé neurone d'entrée lorsqu'il est connecté en aval à une synapse et neurone de sortie lorsqu'il est connecté en amont à une synapse. Les neurones artificiels peuvent être actifs ou inactifs. Sur la figure 1 , à titre d'exemple, les neurones d'entrée 101 ,102 sont considérés actifs et les neurones d'entrée 103,104 inactifs. De même le neurone de sortie 1 10 est actif alors que le neurone de sortie 120 est inactif. Un neurone est actif lorsqu'à l'instant considéré, il émet une impulsion. La durée de son état « actif » peut être prédéterminée.

La figure 2 illustre sur un schéma, un exemple de réalisation pratique du réseau de neurones de la figure 1 utilisant des dispositifs memristifs.

Un dispositif memristif est un composant électronique à deux terminaux qui se comporte comme une résistance ou une conductance, dont la valeur change dynamiquement avec l'application d'un courant ou d'une tension à ses bornes. Un dispositif de ce type peut être caractérisé par les équations suivantes :

i = G.v

dG

= f (v, G)

dt

où G est la conductance du dispositif qui relie son courant d'entrée i à la tension à ses bornes v.

Une famille de dispositifs memristifs particulièrement adaptée à la réalisation de synapses artificielles dans un réseau de neurones est celle pour laquelle la caractéristique f(v,G) est non linéaire. Parmi ces familles, on peut citer en particulier les dispositifs de type MIM (Metal-Insulator-Metal) qui constituent la cellule de base de plusieurs technologies de mémoires non volatiles telles que RRAM « Résistive Random Access Memory » et CBRAM « Conductive- Bridging RAM ». Un réseau de neurones artificiel peut être réalisé, comme illustré à la figure 2, en utilisant de tels dispositifs memristifs en tant que synapses artificielles et en les intégrant dans une structure de type « crossbar ». Une synapse 210 est réalisée par un isolant 201 , de type oxyde, électrolyte solide ou matériau organique, encadré par deux électrodes 202,203. Une des électrodes 202 est reliée à une première couche de métal 220 et l'autre électrode 203 est reliée à une seconde couche de métal 230. Les deux couches de métal 220,230 sont agencées de manière à former des bandes de métal parallèles entre elles. Une bande de métal d'une des deux couches de métal permet de relier un neurone de sortie à une pluralité de neurones d'entrée par l'intermédiaire d'une pluralité de synapses. De même une bande de métal de la seconde couche permet de relier un neurone d'entrée à une pluralité de neurones de sortie par l'intermédiaire d'une pluralité de synapses.

La figure 2 illustre un exemple simple d'une réalisation pratique d'un réseau de neurones artificiels. La structure d'un tel réseau peut être plus complexe. En particulier les deux couches de métal 220,230 ne sont pas forcément planaires et peuvent être prendre la forme de réalisations structurelles plus complexes tout en offrant la même fonctionnalité qui est de réaliser une jonction communicante entre les synapses et les neurones.

Un neurone artificiel est un composant actif qui est modélisé en s'inspirant du fonctionnement d'un neurone biologique. Dans le cadre de l'invention, un neurone artificiel est un composant capable de générer une impulsion électrique ou en anglais « spike » correspondant à une transition électrique de courte durée entre deux états distincts. Lorsqu'un neurone émet une impulsion en direction d'une synapse à laquelle il est connecté en aval on parle d'impulsion pre-synaptique. Lorsqu'un neurone émet une impulsion en direction d'une synapse à laquelle il est connecté en amont on parle d'impulsion post-synaptique. Une impulsion pre-synaptique se propage vers les synapses auxquelles le neurone d'entrée est connecté, son amplitude est éventuellement modifiée en fonction de la conductance ou poids de la synapse puis est propagée jusqu'aux neurones de sortie. Un neurone de sortie réalise une intégration des courants ou tensions d'entrée au cours du temps. Lorsque cette intégration dépasse un seuil prédéterminé, le neurone de sortie est activé et génère alors une impulsion post-synaptique qui est rétropropagée vers les synapses auxquelles il est connecté. En outre, un courant de fuite est le plus souvent présent dans le neurone, ce qui implique une diminution progressive de l'intégration dans le neurone lorsqu'aucun signal n'est appliqué à son entrée. Une modélisation possible mais non limitative du fonctionnement d'un neurone est donnée par l'équation différentielle suivante :

du

U + Î teak— = ° >

dt

où u est la variable d'intégration du neurone (tension ou courant) et Ti eak est un paramètre homogène à la durée au bout de laquelle l'intégration u devient nulle lorsqu'aucun signal n'est produit en entrée du neurone.

L'état de la variable d'intégration est mis à jour à la réception de chaque nouvelle impulsion pre-synaptique, à un instant t spike , en additionnant le poids w de l'impulsion ce qui se traduit par une modélisation de la variable d'intégration u sous la forme suivante : u— u. exp(- tspike tlas '- spike + W j où tiast-spike et t spike sont les instants de réception

^leak

par le neurone de deux impulsions pre-synaptiques successives.

Lorsque la variable d'intégration u dépasse un seuil prédéterminé, une nouvelle impulsion post-synaptique est créée et transmise à toutes les synapses connectées. Dans le cas où un neurone de sortie est également un neurone d'entrée pour d'autres synapses, il génère également une impulsion pre-synaptique lorsque son seuil est dépassé. Lorsque la ou les impulsions sont envoyées, la variable d'intégration u est remise à 0 ou à une valeur initiale prédéterminée.

D'autres paramètres de modélisation peuvent être pris en compte comme la période réfractaire T refra ct 0 ry pendant laquelle la variable d'intégration reste à 0 ou la période d'inhibition latérale T in hibition pendant laquelle tous les autres neurones sont désactivés, c'est-à-dire que leur mécanisme interne d'intégration est arrêté, lorsqu'un neurone transmet une impulsion. Pour permettre à un neurone de sortie de réaliser une inhibition latérale, il convient d'introduire dans le réseau de neurones, des moyens de communication entre neurones de sortie qui ne sont pas représentés sur le schéma de la figure 1 .

Les impulsions pre et post synaptiques envoyées par les neurones d'entrée et de sortie en direction d'une synapse vont donc agir sur la variation de sa conductance. De façon classique, on parle de phases ou états LTD, de l'anglais « Long Term Dépression », pour désigner un événement correspondant à une diminution de la conductance d'une synapse suite à la transmission d'une ou plusieurs impulsions. De même le terme LTP pour « Long Term Potentiation » désigne les phases ou états correspondant à une augmentation de la conductance d'une synapse.

La figure 3a illustre, sur plusieurs diagrammes tension-temps, les états LTD et LTP dans le cadre d'une règle d'apprentissage classique de type STDP mise en œuvre par un réseau de neurones. Le principe de la règle d'apprentissage STDP « Spike Timing Dépendent Plasticity » consiste à faire évoluer le poids d'une synapse en fonction de la distance temporelle entre les impulsions pre et post-synaptiques.

Lorsqu'une impulsion pre-synaptique, d'amplitude +/- V pre est reçue par une synapse à un instant t pre et qu'une impulsion post-synaptique d'amplitude +/- V pos t est reçue par cette même synapse à un instant ultérieur tpost, alors la tension aux bornes de la synapse, qui est égale à V pre - V pos t devient supérieure en valeur absolue au seuil V th+ de potentialisation de la synapse pour lequel la conductance va augmenter. Inversement si l'impulsion post-synaptique est reçue par la synapse à un instant antérieur à l'impulsion pre-synaptique, dans ce cas la tension aux bornes de la synapse devient supérieure en valeur absolue au seuil V t h- pour lequel la conductance va diminuer.

L'état LTD correspond à l'état de dépression de la synapse, c'est-à- dire un état pendant lequel la conductance de la synapse diminue. La phase LTD a une durée donnée qui correspond à la durée pendant laquelle la conductance de la synapse diminue. De même l'état LTP correspond à l'état de potentialisation de la synapse et la phase LTP a une durée donnée correspondant à la durée pendant laquelle la conductance de la synapse augmente. Dans le cas d'une règle d'apprentissage STDP classique, la variation de la conductance de la synapse dépend des instants d'arrivée relatifs des deux impulsions.

La figure 3b illustre, sur un diagramme, la variation ξ, exprimée en pourcentage, de la conductance d'une synapse en fonction de l'écart temporel ΔΤ = t pre - t pos t, exprimé en ms, entre les instants d'arrivée respectifs des impulsions pre-synaptiques et post-synaptiques en entrée de la synapse. La courbe de la figure 3b est typique de la règle d'apprentissage biologique STDP.

Pour obtenir un fonctionnement correct, la conductance des synapses d'un réseau de neurones artificiel doit pouvoir être augmentée et diminuée progressivement sans connaissance préalable de leur conductance. Or certains types de nano-dispositifs memristifs, de la famille des mémoires PCM « Phase-Change Memory », ne satisfont pas cette propriété. En effet, leur conductance ne peut varier progressivement, par l'application d'impulsions de tension identiques, que dans le sens de l'augmentation. Ces technologies sont cependant recherchées pour l'implémentation de synapses artificielles du fait de leur densité d'intégration et de leurs propriétés permettant de réaliser des calculs directement dans la mémoire. Les figures 4a et 4b représentent, sur deux diagrammes, la variation de conductance d'un dispositif memristif unipolaire de type PCM en fonction de la tension appliquée à ses bornes.

La figure 4a représente une modélisation de la caractéristique du 1 er ordre d'un dispositif de type PCM permettant uniquement une potentialisation, c'est-à-dire une augmentation, progressive de sa conductance avec une pente β, lorsque la tension à ses bornes est située dans une plage de valeurs donnée supérieure à une tension de seuil V th+ . Pour des tensions inférieures au seuil de potentialisation V th+ , la conductance du dispositif est sensiblement constante ou augmente très faiblement avec une pente a très inférieure à β. Pour des tensions supérieures à un second seuil V t h- de dépression, la conductance diminue brusquement pour atteindre une valeur qui ne dépend que du niveau de tension et pas de la valeur précédente de la conductance ni de la durée de l'impulsion. La diminution non progressive de la conductance, pour ce type de dispositif, entraine une impossibilité de réaliser un état LTD pour une synapse mise en œuvre avec ce dispositif PCM sans connaissance préalable de la conductance du dispositif.

La figure 4b représente une modélisation de la caractéristique du 1 er ordre d'un dispositif de type PCM pour lequel les seuils de potentialisation V t h + et de dépression V t h- sont inversés. Dans ce cas de figure, une tension située dans une plage de valeurs donnée supérieure au seuil de dépression V th- permet de diminuer brusquement la conductance du dispositif alors qu'une tension située dans une plage de valeurs donnée supérieure au seuil de potentialisation V t h + permet d'augmenter la conductance du dispositif de façon progressive.

De façon similaire, non représentée, une mémoire de type PCM peut également présenter uniquement une dépression progressive. La figures 4c représente une modélisation de la caractéristique du 1 er ordre d'un dispositif memristif bipolaire respectivement pour un seuil de potentialisation V th+ supérieur au seuil de dépression V th- et inversement.

Dans le reste de la description, les exemples de réalisation du réseau selon l'invention se limitent aux cas des dispositifs unipolaires vérifiant les propriétés des figures 4a et 4b. L'invention s'applique de façon identique pour des dispositifs bipolaires.

Par convention, dans les exemples des figures 4a à 4c, le seuil de potentialisation V t h+ est toujours positif.

La mise en œuvre d'une méthode d'apprentissage non supervisé, par exemple à partir d'une règle STDP, pour un réseau de neurones artificiels dont les synapses sont réalisées par des mémoires PCM dont les propriétés vérifient celles énoncées ci-dessus à l'appui des figures 4a et 4b, n'est donc pas triviale car elle nécessite un comportement alternatif de dépression ou de potentialisation des synapses.

Afin de pallier ce problème, la présente invention propose un réseau de neurones adapté à l'utilisation de mémoires PCM fonctionnellement décrit à la figure 5.

Les neurones de sortie 510,530 comportent, à la différence de ceux du réseau de l'art antérieur, deux terminaux d'entrée qui permettent de les relier à deux séries de dispositifs memristifs 51 1 ,512,513,514,521 ,522,523,524. Chaque dispositif est par ailleurs connectée, à son entrée, à un neurone d'entrée 101 ,102,103,104. Chaque couple de neurone d'entrée 101 et neurone de sortie 510 est ainsi interconnecté à l'aide de deux dispositifs memristifs 51 1 ,521 qui forment ensemble une synapse artificielle 501 . L'un des dispositifs 51 1 que comporte la synapse 501 est désigné dispositif LTP car il a pour fonction de contribuer à une augmentation globale de la conductance de la synapse 501 , l'autre dispositif 521 est désigné dispositif LTD car il a pour fonction de contribuer à une diminution globale de la conductance de la synapse 501 . Les dispositifs memristifs sont préférentiellement des mémoires de type PCM mais peuvent également être des dispositifs memristifs bipolaires ou unipolaires de type CBRAM ou RRAM. Dans chaque synapse 501 , les dispositifs LTP 51 1 et LTD 521 sont montés en opposition, c'est-à-dire que si l'un est monté en sens direct, l'autre est monté en sens inverse. Le terminal d'entrée d'un réseau de neurone 51 0 relié à un dispositif LTD 521 est complémenté. Ainsi, un neurone de sortie 51 0 intègre la différence I LTP-I LTD entre les courants provenant des dispositifs LTP et ceux provenant des dispositifs LTD.

L'architecture du réseau de neurones selon l'invention permet de réaliser une méthode d'apprentissage avec alternance d'états LTP et LTD et ce malgré l'impossibilité de réaliser une diminution progressive relative de la conductance d'un dispositif PCM. En effet, l'augmentation ou la diminution globale de la synapse 501 est obtenue à partir de la seule augmentation de la conductance d'un des deux dispositifs memristifs qui la composent.

En effet, une synapse 501 est dans un état LTP lorsque sa conductance globale augmente, ce qui se traduit par une augmentation de la conductance du dispositif LTP et indirectement une augmentation de l'intensité du courant I L TP qui va contribuer à activer le neurone de sortie 51 0. Inversement, une synapse 501 est dans un état LTD lorsque sa conductance globale diminue, ce qui se traduit par une augmentation de la conductance du dispositif LTD et indirectement une augmentation de l'intensité du courant I LTD ce qui va contribuer à diminuer le courant globalement intégré par le neurone de sortie 51 0. La conductance globale ou équivalente d'une synapse 501 peut être modélisée comme étant égale à la différence des conductances du dispositif LTP 51 1 et du dispositif LTD 521 correspondants.

Le réseau de neurones selon l'invention, décrit à la figure 5, permet de mettre en œuvre une méthode d'apprentissage non supervisé basée sur la succession de potentialisation (état LTP) ou dépression (état LTD) d'une synapse artificielle. Dans le cas d'une règle d'apprentissage de type STDP, l'état LTP d'une synapse est obtenu par le recouvrement temporel d'une impulsion post-synaptique qui succède à une impulsion pre-synaptique. Inversement l'état LTD est obtenu par le recouvrement temporel d'une impulsion post- synaptique qui précède une impulsion pre-synaptique.

Pour mettre en œuvre une telle règle avec des synapses réalisées par des mémoires PCM dont les caractéristiques peuvent être modélisées par la courbe de la figure 4a, c'est-à-dire pour des dispositifs memristifs dont la conductance ne peut qu'augmenter, les neurones du réseau se comportent de la façon suivante.

Le paragraphe suivant, associé à la figure 5, décrit un exemple de réalisation correspondant à l'utilisation de dispositifs memristifs unipolaires dont la caractéristique est du type de celle de la figure 4a, c'est-à-dire pour lesquelles le seuil de potentialisation est inférieur au seuil de dépression.

Les neurones d'entrée 101 ,102, qui sont actifs et dans un état LTP transmettent, vers les synapses 51 1 ,521 ,512,522 auxquels ils sont connectés, une impulsion pre-synaptique d'amplitude prédéterminée V P et de polarité positive. L'amplitude V P est configurée de sorte qu'elle soit inférieure, en valeur absolue, au seuil V th+ de potentialisation d'un dispositif memristif mais que le double de sa valeur 2V P soit supérieur audit seuil V th+ , inférieur au seuil V t h- de dépression du dispositif et situé dans la plage de valeurs de tension immédiatement supérieure au seuil V t h + qui permet d'augmenter la conductance du dispositif memristif. Cette impulsion seule n'induit aucun changement de la conductance des synapses qui la reçoivent. Elle est ensuite propagée vers les neurones de sortie 510 connectés auxdites synapses qui intègrent la différence de courants provenant des dispositifs LTP et des dispositifs LTD.

Lorsqu'un neurone de sortie 510 est activé, il génère une impulsion post-synaptique de même amplitude V p et de polarité négative. L'impulsion est rétro-propagée vers les dispositifs memristifs LTP 51 1 ,512,513,514 connectés à la première entrée du neurone de sortie 510. Simultanément, une impulsion de même amplitude mais de polarité inversée, donc positive, est générée sur la seconde entrée complémentée du neurone de sortie 510 et rétro-propagée vers les dispositifs memristifs LTD 521 ,522,523,524 auxquels il est connecté.

Le recouvrement temporel des impulsions pre et post synaptiques induit, aux bornes des dispositifs LTP 51 1 ,51 2 une tension égale à deux fois l'amplitude V p d'une impulsion, ce qui a ainsi pour conséquence d'augmenter la conductance des dispositifs LTP 51 1 ,51 2. En effet, la tension aux bornes d'un dispositif LTP est égale à V pre -Vp 0S t où V pre est la tension relevée sur le terminal connecté au neurone d'entrée et V pos t la tension relevée sur le terminal connecté au neurone de sortie. Lorsque les deux impulsions se rejoignent au niveau du dispositif LTP, la tension à ses bornes devient égale à 2V P .

Au contraire, l'impulsion post-synaptique, d'amplitude positive, transmise vers les dispositifs LTD 521 ,522 s'annule lorsqu'elle rencontre l'impulsion pre-synaptique de même amplitude et de polarité identique ce qui a pour effet de ne pas modifier la conductance des dispositifs LTD 521 ,522.

Ainsi, la conductance globale de la synapse 501 augmente. Une dépression des synapses 501 est obtenue de façon similaire, en remplaçant l'impulsion pre-synaptique émise par un neurone d'entrée 103, 1 04 actif et dans un état LTD, par une impulsion d'amplitude V p et de polarité négative. Ainsi le recouvrement temporel des impulsions pre et post synaptiques induit une augmentation de la conductance des dispositifs LTD 523,524 et ne modifie pas celle des dispositifs LTP 51 3,514. En effet, un dispositif LTD étant monté en sens inverse d'un dispositif LTP, la tension aux bornes d'un dispositif LTD est égale à V post -V pre où V pre est la tension relevée sur le terminal connecté au neurone d'entrée et V post la tension relevée sur le terminal connecté au neurone de sortie. Lorsque les deux impulsions se rejoignent au niveau du dispositif LTD, la tension à ses bornes devient égale à 2V P . Lorsque les dispositifs memristifs utilisés présentent uniquement une propriété de diminution de leur conductance, la règle d'apprentissage STDP décrite ci-dessus s'applique de la même façon en inversant la polarité des impulsions post-synaptiques transmises par un neurone de sortie 510,530 vers les dispositifs LTD et LTP ou en inversant le rôle des dispositifs LTD et LTP.

Dans une variante de réalisation du réseau de neurones selon l'invention, décrite à la figure 6, tous les neurones de sortie 510,530 sont en outre reliés à l'ensemble des neurones d'entrée 101 ,102,103,104 par exemple par l'intermédiaire d'une porte logique OU 600 qui produit en sortie un signal actif si au moins l'une de ses entrées est active. Le rôle de cette commande rétro-active est d'informer chaque neurone d'entrée de l'activation d'un neurone de sortie. Tout moyen équivalent à la porte logique OU 600 et réalisant la même fonction en vue du même résultat peut lui être substitué sans sortir du cadre de l'invention.

La commande rétro active 600 permet de modifier légèrement le comportement des neurones d'entrée. Pour activer un neurone de sortie, les impulsions générées par les neurones d'entrée peuvent être d'amplitude plus faible que l'amplitude V P configurée pour interagir avec une impulsion post- synaptique dans le but de modifier la conductance d'une synapse. On peut alors distinguer une impulsion d'activation, d'amplitude quelconque inférieure à V P> de l'impulsion pre-synaptique qui est générée uniquement lorsqu'un neurone de sortie dépasse son seuil d'intégration, est activé et transmet cette information au moyen de la commande rétro active 600.

Le réseau de neurones selon l'invention, tel que décrit aux figures 5 et 6 permet également de mettre en œuvre des méthodes d'apprentissage non supervisé qui ne se basent pas sur la règle biologique STDP. Pour une règle STDP, la dépression des synapses (état LTD) est obtenue par l'interaction entre une impulsion post-synaptique transmise par un neurone de sortie et une impulsion pre-synaptique spécifique transmise par un neurone d'entrée dans un état LTD. Cette impulsion pre-synaptique spécifique diffère de l'impulsion pre-synaptique transmise par ce même neurone d'entrée lorsqu'il se trouve dans un état LTP et que l'objectif visé est la potentialisation de la synapse.

Une autre règle d'apprentissage peut consister à n'utiliser qu'un seul type d'impulsion pre-synaptique, apte à engendrer une potentialisation des synapses et appliquer systématiquement une dépression (état LTD) aux synapses qui ne reçoivent qu'une impulsion post-synaptique.

Pour mettre en œuvre cette règle, la configuration des impulsions post-synaptiques est modifiée comme suit. Lorsqu'un neurone de sortie est activé, il transmet vers les dispositifs LTP auxquels il est connecté, une impulsion d'amplitude V P égale, en valeur absolue, à celle de l'impulsion pre- synaptique mais de polarité opposée. L'amplitude V P est configurée de sorte à ce qu'elle ne dépasse pas, en valeur absolue, le seuil V t h + de potentialisation d'un dispositif memristif LTP ou LTD.

L'impulsion post-synaptique transmise aux dispositifs LTD est, quant à elle, configurée de sorte que sa polarité est positive et que son amplitude est égale au double de l'amplitude V P de l'impulsion pre-synaptique de façon à dépasser le seuil V t h + de potentialisation desdits dispositifs memristifs sans dépasser leur seuil V th- de dépression et de façon à être située dans la plage de valeurs de tension immédiatement supérieure au seuil V th+ qui permet d'augmenter la conductance du dispositif memristif.

Ainsi, lorsqu'un dispositif LTP 51 1 reçoit simultanément une impulsion pre-synaptique, d'amplitude V P et de polarité positive et une impulsion post- synaptique, d'amplitude V P et de polarité négative, la tension à ses bornes devient égale à 2V P et la conductance du dispositif LTP augmente.

Simultanément, le dispositif LTD 521 associé présentera une tension à ses bornes égale à 2V P -V P = V P> qui ne permet pas de déclencher une potentialisation dudit dispositif. Le dispositif LTD 521 voit donc sa conductance inchangée, et la synapse 501 voit sa conductance globale augmenter.

Par ailleurs, lorsque le neurone d'entrée 103,104 n'a émis aucune impulsion pre-synaptique et que les synapses auxquels il est connecté sont uniquement impactées par une impulsion post-synaptique, elles subissent une diminution de leur conductance globale. En effet, le dispositif LTP 513 atteint par une impulsion post-synaptique d'amplitude V P verra sa conductance non modifiée alors que le dispositif LTD 523 présentera une tension à ses bornes égale à 2V P et donc verra sa conductance diminuée. Il en résulte que la conductance globale de la synapse est diminuée.

Le réseau de neurones selon l'invention, tel que décrit aux figures 5 et 6 pour le cas de dispositifs memristifs unipolaires du type de ceux caractérisés à la figure 4a est mis en œuvre de façon similaire pour le cas de dispositifs memristifs unipolaires du type de ceux caractérisés à la figure 4b à la différence suivante prêt.

Dans le cas où le seuil V t h + de potentialisation d'un dispositif memristif est supérieur à son seuil V th- de dépression (cas de la figure 4b), l'amplitude V P de l'impulsion pré-synaptique est configurée de façon à ce qu'elle soit inférieure, en valeur absolue, au seuil V t h + de potentialisation d'un dispositif memristif, que le double de sa valeur 2 V P soit supérieur audit seuil V t h + et qu'elle soit supérieure au seuil V th- de dépression sans être située dans la plage de valeurs de tension permettant de diminuer la conductance du dispositif.

Le réseau de neurones selon l'invention s'applique également pour des dispositifs memristifs bipolaires.

On décrit à présent un mode de réalisation particulier de l'invention qui concerne la réinitialisation des conductances des dispositifs memristifs du réseau selon l'invention. Ce mode de réalisation est décrit pour le cas de dispositifs PCM unipolaires respectant la caractéristique de la figure 4a. De façon analogue au mode de réalisation principal de l'invention, les cas des figures 4b et 4c ainsi que les cas pour lesquels les dispositifs memristifs ne présentent qu'une dépression progressive de leur conductance et non pas une augmentation progressive se déduisent aisément.

Comme décrit précédemment, les dispositifs memristifs utilisés pour réaliser les synapses artificielles du réseau de neurones ont la particularité de ne permettre une variation progressive de la conductance que dans un seul sens. Les états LTP et LTD des synapses sont obtenus en jouant sur la différence entre les conductances des deux dispositifs memristifs dont elles sont constituées. Ainsi, dans le cas où une synapse est fréquemment potentialisée ou dépréciée, la conductance de ses dispositifs LTP et/ou LTD peut atteindre une valeur plafond maximale G ma x ou minimale G m in- Lorsqu'une telle valeur est atteinte, les méthodes d'apprentissage non supervisé décrites précédemment ne peuvent plus fonctionner correctement. Dans un tel cas, il est nécessaire de pouvoir réinitialiser la conductance de la synapse.

A cet effet, le réseau de neurones selon l'invention comporte en outre, tel que cela est décrit à la figure 7, une unité de contrôle 700 adaptée à communiquer avec l'ensemble des réseaux de neurones d'entrée 101 ,102,103,104 et des neurones de sortie 510,530 et à mettre en œuvre le procédé de réinitialisation comportant les étapes suivantes.

A un instant prédéterminé au bout duquel une réinitialisation est estimée nécessaire, l'unité de contrôle 700 sélectionne un des neurones d'entrée 101 , en commençant par le premier, et désactive toutes les synapses connectées aux autres neurones d'entrée 102,103,104. Une telle désactivation est, par exemple, réalisée au moyen de transistors à effet de champ 713,723 appariés à chaque dispositif memristif 513,523. Le drain d'un transistor 713 est connecté au terminal d'entrée du dispositif 513, sa source est connectée à la jonction communicante qui relie le dispositif 513 à un neurone d'entrée 103 et sa grille est connectée, par l'intermédiaire d'une commande de désactivation, au neurone d'entrée 103. Ainsi, lorsqu'un neurone d'entrée 103 est sélectionné par l'unité de contrôle 700, seules les synapses auxquelles il est connecté peuvent être activées.

Le neurone d'entrée 103 sélectionné transmet ensuite une impulsion d'activation aux terminaux pré-synaptiques des dispositifs LTP 513 et LTD 523 des synapses 503. Cette impulsion est configurée de sorte à ne pas modifier la conductance des dispositifs qu'elle traverse et est propagée jusqu'aux neurones de sortie 510.

L'unité de contrôle 700 communique avec le neurone de sortie 510 pour mesurer, à partir de l'impulsion reçue, la conductance globale de la synapse 503 qui est égale à la différence des conductances des dispositifs LTP 513 et LTD 523. Cette mesure est sauvegardée par l'unité de contrôle.

Une impulsion de réinitialisation est ensuite transmise, par le neurone de sortie 510, vers les dispositifs LTP 513 et LTD 523 auxquels il est connecté. Cette impulsion est configurée de sorte que son amplitude V RS T dépasse, en valeur absolue, le seuil de dépression V t h- des dispositifs LTP et LTD. De façon analogue, si les dispositifs LTP et LTD ne présentent qu'une dépression progressive et non une potentialisation progressive, l'amplitude VRST est configurée pour ne pas dépasser, en valeur absolue, le seuil de potentialisation V t h + . L'impulsion transmise vers le dispositif LTP est de polarité négative alors que l'impulsion transmise vers le dispositif LTD est de polarité positive relativement à V RS T- Ainsi, lorsque la synapse 503 reçoit simultanément les deux impulsions de réinitialisation, la conductance des deux dispositifs est remise à sa valeur minimum. Seule la synapse 503 connectée au neurone d'entrée 103 sélectionné par l'unité 700 étant active, les autres synapses qui reçoivent une impulsion post-synaptique ne voient pas leur conductance être modifiée.

Enfin, une succession d'impulsions post-synaptique est transmise, par le neurone de sortie 510, vers celui des dispositifs LTP 513 ou LTD 523 dont la conductance mesurée avant la réinitialisation était la plus élevée. Les impulsions post-synaptiques transmises sont configurées de sorte que la conductance du dispositif LTP 513 ou LTD 523 soit augmentée pour atteindre la valeur de conductance globale mémorisée par l'unité de contrôle 700.

Les étapes mises en œuvre pour réinitialiser une synapse sont réitérées pour chaque neurone d'entrée, à chaque fois toutes les synapses connectées aux autres neurones d'entrée sont désactivées.

La figure 9 représente sur un diagramme l'évolution de la conductance des dispositifs LTP 513 et LTD 523. A un instant T reset , la conductance GLTP du dispositif LTP ayant atteint une valeur proche de la valeur maximale G max , une réinitialisation est déclenchée. Les conductances G L TP et G L TD des deux dispositifs sont d'abord remises à leur valeur minimum G m in puis la conductance du dispositif LTP 513 est augmentée jusqu'à atteindre une valeur égale à la différence G L TP - G L TD des deux conductances préalablement mémorisées.

Dans un autre exemple (non décrit), si la conductance GLTD du dispositif LTD atteint une valeur proche de sa valeur maximale avant le dispositif LTP alors c'est la conductance du dispositif LTD qui est augmentée jusqu'à atteindre une valeur égale à la différence G L TD - G L TP des deux conductances.

Dans le cas où les dispositifs LTD et LTP ne présentent qu'une dépression progressive et non une potentialisation progressive, les conductances des deux dispositifs sont réinitialisées à leur valeur maximum Gmax puis la conductance du dispositif dont la conductance était la plus faible est diminuée jusqu'à atteindre une valeur égale à la différence des deux conductances préalablement mémorisées.

L'instant de déclenchement d'une réinitialisation peut être déterminé de différentes manières. En particulier, il peut être prédéterminé de façon à estimer le temps au bout duquel la conductance d'un dispositif memristif atteindra sa valeur maximale. Par exemple, une réinitialisation peut être déclenchée après un nombre donné N d'activations d'un neurone de sortie. Ce nombre N étant déterminé comme étant le nombre moyens d'impulsions permettant de faire évoluer la conductance d'un dispositif vers sa valeur maximale. Une réinitialisation peut également être déclenchée après une durée prédéterminée correspondant à la durée nécessaire pour réaliser N activations d'un neurone de sortie.

Dans une variante de réalisation de l'invention, si la différence G L TP- GLTD est inférieure à un seuil prédéterminé, les deux dispositifs LTP et LTD sont réinitialisés comme indiqué précédemment, dans le cas contraire seule la conductance du dispositif, parmi les deux dispositifs LTP et LTD, présentant au moment de la réinitialisation la conductance la plus faible, est remise à sa valeur minimum. Dans une autre variante de réalisation de l'invention, décrite à la figure

8, la désactivation de toutes les synapses connectées à un neurone d'entrée non sélectionné par l'unité de contrôle 700 est rendue optionnelle. Cette variante est applicable aux dispositifs memristifs qui vérifient l'inégalité suivante :

| Vth + -V t h-| < min(| V th+ |, |V th -|), où min désigne la fonction minimum.

Dans un tel cas de figure, il est possible de configurer l'amplitude V RS T de l'impulsion de réinitialisation de sorte qu'elle soit inférieure au seuil de potentialisation V th+ et que sa valeur doublée soit supérieure au seuil de dépression V th-.

Le procédé de réinitialisation mis en œuvre par l'unité de contrôle 700 est alors modifié comme suit. Simultanément à l'émission d'une impulsion de réinitialisation post-synaptique, un neurone d'entrée 103 sélectionné par l'unité 700 transmet une impulsion de réinitialisation pré-synaptique vers les synapses 503 auxquels il est connecté en amont. Cette impulsion est constituée d'une première impulsion de polarité négative suivie d'une seconde impulsion de polarité positive, les deux impulsions ayant une amplitude égale, en valeur absolue, à celle des impulsions de réinitialisation post-synaptique.

Ainsi, un dispositif recevant uniquement une impulsion de réinitialisation provenant d'un neurone d'entrée ou d'un neurone de sortie ne sera pas affecté, sa conductance ne sera pas modifiée. A l'opposé, la réception simultanée d'une impulsion de réinitialisation pré-synaptique et d'une impulsion de réinitialisation post-synaptique assure, par le recouvrement temporel des deux impulsions, qu'une tension égale au double de l'amplitude V RS T est appliquée à l'entrée du dispositif memristif concerné, ce qui provoquera la remise à sa valeur minimum G m in de sa conductance.

La réinitialisation de l'ensemble des synapses connectées à un même neurone d'entrée peut être réalisée simultanément ce qui présente l'avantage de ne nécessiter qu'une seule impulsion d'activation (cas de la figure 7) ou une seule impulsion de réinitialisation pré-synaptique.

Dans une variante de réalisation de l'invention, non schématisée, les transistors à effet de champ utilisés aux fins de désactiver les dispositifs memristifs auxquels ils sont connectés peuvent être supprimés et remplacés par une diode montée en série avec chaque dispositif memristif et configurée de sorte à respecter l'inégalité | V t h + -V t h-| < min(| V t h + |,|V t h-|). Si V D est la tension de seuil de la diode, les seuils d'activation V t h + ,V t h- du dispositif sont augmentés de cette tension V D et l'inégalité à respecter devient

I V th+ -V th -| < min(| V th+ |,|V th -|) + V D , ce qui est moins contraignant. La diode est montée de façon à être polarisée en sens direct pour toutes les tensions effectives traversant le dispositif. Si ce montage n'est pas possible, une diode bidirectionnelle peut également être utilisée.

Le réseau de neurones selon l'invention peut également être exploité au sein d'un réseau dit multi-couches qui comporte plusieurs structures neuronales en série. Les neurones de sortie d'une couche constituent les neurones d'entrée de la couche suivante. Une telle architecture permet d'améliorer les performances d'apprentissage.

Le réseau de neurones selon l'invention permet de mettre en œuvre les méthodes d'apprentissage non supervisé précédemment décrites. Ces méthodes trouvent leur application notamment dans les domaines suivants :

- l'extraction et la classification de séquences corrélées temporellement, telles des trajectoires d'objets mobiles, au sein de données vidéo,

- l'extraction et la classification de séquences corrélées temporellement, telles des sons, syllabes ou mots, au sein de données audio,

- la reconnaissance de formes au sein de données image ou vidéo,

- l'extraction et la classification de molécules ou agents chimiques au sein de données biologiques produites par des capteurs chimiques.