représentations sémantiques unifiées Domaine de l'invention

La présente invention concerne un procédé et dispositif automatisé apte à assurer l'invariance perceptive d'un événement spatio-temporel dynamiquement en vue d'en extraire des représentations sémantiques unifiées et de les mémoriser en association à un label spécifique. Elle concerne également un système de mémorisation simplifiée des apprentissages de réseaux de populations neuronales. L'invention permet d'assurer une relation bijective entre l'espace de l'événement, sa représentation contextuelle et sa représentation propre.

L'invention s'applique notamment pour la simplification des traitements de populations neuronales implémentées sur silicium pour l'analyse de signaux divers, y compris des signaux multidimensionnels comme la représentation sémantique de perception d'images, de son ou d'autres modalités perçues indépendamment ou simultanément par exemple. Etat de la technique

La mémoire de l'être humain est fondamentalement associative : on retient mieux lorsqu'on peut relier la nouvelle information à des connaissances déjà acquises et solidement ancrées dans notre mémoire. Et ce lien sera d'autant plus efficace qu'il a une signification pour nous. Plutôt que la simple évocation de traces fixes, la mémoire est donc aujourd'hui considérée comme un processus continuel de récatégorisation découlant d'un changement continu des voies antagonistes neuronales et du traitement en parallèle de l'information dans le cerveau. L'invariance perceptive assure une simplification de la catégorisation à mémoriser en y inscrivant qu'une seule représentation. La remémoration d'un événement, d'une scène ou d'un objet fait appel à la fonction d'invariance inverse en remettant en situation l'information mémorisée.

La technique tend à rattraper ce que l'évolution a mis en œuvre avec le temps, ainsi ci-joint trois brevets présentant l'état de l'art : • Le brevet US2005097068 dénommé « invariant pattern récognition » publié le 5 mai 2005 fait état d'une transformation d'invariance non linéaire pour apprendre un classificateur efficace qui reconnaît de manière satisfaisante les modèles, même en présence de transformations connues qui ne modifient pas la classe du motif.

• Le brevet US2012308136 dénommé "apparatus and methods for puise-code invariant object récognition" publié le 6 décembre 2012 décrit un procédé bioinspiré à base de potentiel d'action. L'information est encodée dans une variante en tant que motif de latences d'impulsions par rapport à une occurrence d'un événement temporel; Par exemple, l'apparition d'un nouveau cadre visuel ou d'un mouvement de l'image. Le motif des impulsions avantageusement est sensiblement insensible aux paramètres d'image tels que la taille, la position et l'orientation, de sorte que l'identité de l'image peut être facilement décodée.

• Le brevet US2015227849 dénommé "apparatus and methods for invariant pattern récognition" utilise une nouvelle factorisation d'une machine Boltzmann de troisième ordre, présentant un apprentissage multicouches et non supervisé de transformations arbitraires et apprenant des fonctionnalités riches et complexes même en l'absence de données marquées. Ces caractéristiques sont ensuite utilisées pour classer les modèles d'entrées inconnus, pour effectuer la réduction de la dimension ou la compression.

Toutes ces approches d'invariance perceptive ne permettent pas la mémorisation par association unifiée et un fonctionnement concomitant dans les deux sens (bottom up and top-down) existant dans le vivant en permettant le bouclage dynamique de l'information. D'autre part, les éléments mémorisés ne sont pas transférables simplement d'un support à un autre support, car non invariants.

Une autre approche a été abordée par P. Pirim, auteur de cette présente invention, dans le but de pallier ces inconvénients dans une publication : "Perceptive Invariance and Associative Memory Between Perception and Semantic Représentation, USER a Universal Semantic Représentation Implemented in a System on Chip (SoC)" publié dans Living Machines 2016, LNAI 9793, pp. 275-287, 201 6. Cette première approche succincte, a été suivie de nombreuses améliorations décrites dans cette invention. Le procédé d'invariance perceptive de l'invention a pour but de ne générer qu'une seule représentation sémantique de l'élément perçu afin d'en optimiser la quantité d'informations de mémorisation et de pouvoir en rappeler le contenu hors ou dans son contexte. Le dispositif associé de l'invention s'appuie sur la perception automatique de bords et courbures décrit dans le brevet FR2858447, dont l'inventeur est le même que la présente demande, « procédé et dispositif automatisé de perception avec détermination et caractérisation de bords et de frontières d'objets, d'un espace, construction de contours et applications » et dans lequel des signaux numériques représentant par des paramètres des objets d'un espace sont analysés par un ensemble d'unités ou modules élémentaires de calcul d'histogrammes de même type, aujourd'hui bilinéaires et appelé « attracteur dynamique ». Ce dispositif permet une intégration des divers processus en un composant électronique.

Objectif de l'invention

L'invention concerne donc un procédé automatisé apte à calculer l'invariance perceptive d'un événement intervenant dans un espace, représenté par des pixels formant ensemble un espace x,y multidimensionnel, évoluant dans le temps à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B),... numériques constituées d'une suite A _xyt , B _xyt ,... de nombre binaire de a bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position x,y dans cet espace, auquel les signaux A _xy t, B _xyt ,... reçu à un instant donné, par rapport à au moins un paramètre pour le calcul d'invariance dudit événement, selon l'invention :

a) l'on réalise d'une manière paramétrable un changement d'échelle de facteur k sur l'espace x,y durant un moment T,

b) l'on réalise un calcul d'extraction élémentaire de bords orientés et de courbure associée à partir des résultats du changement d'échelle de l'étape précédente sur l'espace i=x/k, j=y/k durant le même moment T,

c) l'on réalise un calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de bords orientés et de courbures associées calculés précédemment, afin d'en repérer une zone d'intérêt de l'espace, lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T : a. une valeur médiane de bord orienté bo ₀ et de courbure cb ₀ ,

b. une valeur de position de barycentre du nuage de points i ₀ , jo, c. une valeur dimensionnelle du nuage de point ap ₀ , bp ₀ ,

d) l'on réalise, si nécessaire, un calcul du paramètre k en fonction de la valeur médiane de courbure cb ₀ défini à l'étape précédente.

e) l'on réalise, si nécessaire, un asservissement, par itération en fin de moment T, par mise à jour du paramètres de changement d'échelle k en étape a) afin de maintenir la valeur de courbure médiane cb ₀ entre deux bornes croissantes La et Lb,

f) l'on sélectionne une zone d'intérêt dans le référentiel amont x,y, avant changement d'échelle k, en lui attribuant un référentiel X, Y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i ₀ , k.j ₀ et une rotation du référentiel d'un angle bo ₀ , tel que:

avec -k.apo≤ X < k.ap ₀ et -k.bp ₀ ≤ Y < k.bp ₀

g) l'on adapte l'échelle de cette zone d'intérêt afin qu'elle s'ajuste dans un carré centré de 2 ^Z pixels de côté, en tronquant le nombre de bit u constituant la plage k.ap ₀ ou k.bp ₀ la plus grande, afin de ne conserver que les z bits de poids fort de cette plage. Le rapport 1 /2 ^(u"z) constitue le rapport d'homothétie, h) l'on utilise les données définies dans ce carré de 2 ^Z pixels de côté et de référentiel X1 =X.1 /2 ^(U"Z) , Y1 =Y.1 /2 ^(U"Z) en vue d'en extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement.

l'on réalise d'une manière paramétrable le changement d'échelle de facteur k par un calcul de filtrage gaussien de taille 2w+1 , la valeur w étant le paramètre de la matrice de filtrage, en association à une fonction de décimation de facteur k sur l'espace x, y durant un moment T,

l'on réalise un calcul des paramètres w et k en fonction de la valeur médiane de courbure cb ₀ défini à l'étape précédente d), en comparant la nouvelle valeur de courbure médiane cb ₀ à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max, tel que : a. cbo < La la valeur de w est augmentée d'une unité. Flag Val=0 b. La < cbo≤ Lb la valeur de w reste inchangée. Flag Val=1

c. cb ₀ > Lb la valeur de w est diminuée d'une unité. Flag Val=0

d. Une fonction affine du paramètre w recalcule la valeur k, tel que k=0,81 w+1 ,09,

l'on réalise un asservissement par itération, en fin de chaque moment T, d'une mise à jour des paramètres de filtrage gaussien w et de décimation k en étape a) afin de maintenir la valeur de courbure médiane cb ₀ entre deux bornes croissantes La et Lb,

l'on réalise d'une manière paramétrable le changement d'échelle de facteur k par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T,

l'on sélectionne une zone d'intérêt dans le référentiel amont x, y, par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T, en lui attribuant une dimension de zone k.ap ₀ par k.bp ₀ dans un référentiel X, Y, de cet espace x,y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i ₀ , k.j ₀ une rotation du référentiel d'un angle bo ₀ , et un rapport d'homothétie 1 /2 ^(u"z) ,

pour extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement à partir des données définies dans ce carré de 2 ^Z pixels de côté,

a) l'on transforme chacune de ces données en type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 ,

b) l'on réalise un calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 calculés précédemment, afin d'en repérer une zone d'intérêt intégré dans un carré de de dimension 2 ^Z de côté de l'espace, représentant une partie de l'événement, en fonction des critères statistiques globale, dynamique et structurelle à un paramètre spatial de référentiel X1 , Y1 , afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :

a. une valeur médiane de bord orienté boi et de courbure cbi,

b. une valeur de position de barycentre du nuage de points h , ji, c. une valeur dimensionnelle du nuage de point api, bp-i, c) l'on réitère un nouveau calcul d'histogramme spatio-temporel bilinéaire bouclé, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2 ^Z de côté non inhibé, jusqu'à n séquences de calcul ou bien lorsque une zone restante, non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :

a. une valeur médiane de bord orienté bo _n et de courbure cb _n , b. une valeur de position de barycentre du nuage de points i _n , j _n , c. une valeur dimensionnelle du nuage de point ap _n , bp _n ,

d) l'on transmet toutes ces valeurs de représentations sémantiques élémentaires à une mémoire associative en vue d'une reconnaissance de label.

L'invention concerne également un dispositif de calcul d'invariance perceptive automatique d'un événement intervenant dans un espace, représenté par des pixels formant ensemble un espace x, y multidimensionnel, évoluant dans le temps à une succession de moments T, lesdites données associées chacune à un paramètre temporel A, B,... étant sous la forme de signaux DATA(A), DATA(B),... numériques constituées d'une suite Axyt, Bxyt,... de nombre binaire de a bits associés à des signaux de synchronisation permettant de définir le moment T de l'espace et la position x, y dans cet espace, auquel les signaux Axyt, Bxyt,... reçu à un instant donné, par rapport à au moins un paramètre pour le calcul d'invariance dudit événement. Le dispositif de calcul d'invariance perceptive automatique selon l'invention comporte :

a) une unité de calcul de changement d'échelle de facteur k sur l'espace x, y durant un moment T,

b) une unité de calcul d'extraction élémentaire de bords orientés et de courbure associée à partir des résultats du changement d'échelle de l'étape précédente sur l'espace i=x/k, j=y/k durant le même moment T,

c) une unité de calcul d'histogramme spatio-temporel bilinéaire bouclé, à partir des résultats élémentaires de bords orientés et de courbures associées calculés précédemment, afin d'en repérer une zone d'intérêt de l'espace, lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial, afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T:

a. une valeur médiane de bord orienté bo ₀ et de courbure cb ₀ , b. une valeur de position de barycentre du nuage de points i ₀ , jo, c. une valeur dimensionnelle du nuage de point ap ₀ , bp ₀ ,

une unité de calcul du paramètre k en fonction de la valeur médiane de courbure cb ₀ défini à l'étape précédente, mise œuvre si nécessaire.

Une unité d'asservissement, mise œuvre si nécessaire, par itération en fin de chaque moment T, par mise à jour du paramètres de changement d'échelle k en étape a) afin de maintenir la valeur de courbure médiane cb ₀ entre deux bornes croissantes La et Lb,

Une unité de sélection d'une zone d'intérêt dans le référentiel amont x, y au changement d'échelle k, en lui attribuant un référentiel X, Y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i ₀ , k.j ₀ et une rotation du référentiel d'un angle bo ₀ , tel que:

avec -k.apo≤ X < k.ap ₀ et -k.bp ₀ ≤ Y < k.bp ₀ g) une unité d'adaptation de l'échelle de cette zone d'intérêt afin qu'elle s'ajuste dans un carré centré de 2 ^Z pixels de côté, en tronquant le nombre de bit u constituant la plage k.ap ₀ ou k.bp ₀ la plus grande, afin de ne conserver que les z bits de poids fort de cette plage. Le rapport 1 /2 ^(u"z) constitue le rapport d'homothétie,

h) un port de sortie de ces données définies dans ce carré de 2 ^Z pixels de côté et de référentiel X1 =X.1 /2 ^(U"Z) , Y1 =Y.1 /2 ^(U"Z) en vue d'en extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement.

Il comporte, d'une manière paramétrable, l'unité de calcul de changement d'échelle de facteur k soit constituée d'un calcul de filtrage gaussien de taille 2w+1 , la valeur w étant le paramètre de la matrice de filtrage, en association à une fonction affine du paramètre w de décimation de facteur k sur l'espace x, y durant un moment T, Il comporte, l'unité de calcul des paramètres w et k soit fonction de la valeur médiane de courbure cbO défini à l'étape précédente d), en comparant la nouvelle valeur de courbure médiane cbO à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max, tel que :

a) cb ₀ < La la valeur de w est augmentée d'une unité. Flag Val=0 b) La < cb ₀ ≤ Lb la valeur de w reste inchangée. Flag Val=1

c) cb ₀ > Lb la valeur de w est diminuée d'une unité. Flag Val=0 d) Une fonction affine du paramètre w recalcule la valeur k, tel que k=0,81 w+1 ,09,

II comporte, l'unité d'asservissement, par itération en fin de chaque moment T, mette à jour des paramètres de filtrage gaussien w et de décimation k en étape a) afin de maintenir la valeur de courbure médiane cb ₀ entre deux bornes croissantes La et Lb,

Il comporte, l'unité de changement d'échelle de facteur k, d'une manière paramétrable, soit réalisé par l'utilisation d'un capteur dédié sur l'espace x, y durant un moment T,

Il comporte, l'unité de sélection de zone d'intérêt dans le référentiel amont x, y, soit faite par l'utilisation d'un capteur dédié sur l'espace x, y durant une séquence trame, en lui attribuant une dimension de zone k.ap ₀ par k.bp ₀ dans un référentiel X, Y, de cet espace x,y, tel que ces nouvelles coordonnées soient définies en fonction des anciennes coordonnées x, y, par une translation de l'origine k.i ₀ , k.j ₀ une rotation du référentiel d'un angle bo ₀ , et un rapport d'homothétie 1 /2 ^(u"z) ,

Il comporte, pour extraire et reconnaître des représentations sémantiques élémentaires invariantes dudit événement à partir des données définies dans ce carré de 2 ^Z pixels de côté, soit employé :

a) une unité de traduction transformant chacune de ces données en type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 , b) une unité de calcul d'histogramme spatio-temporel bilinéaire bouclé, calculant, à partir des résultats élémentaires de type globale, dynamique et structurelle positionnées dans le référentiel X1 , Y1 calculés précédemment, afin d'en repérer une zone d'intérêt intégré dans un carré de de dimension 2 ^Z de côté de l'espace, représentant une partie de l'événement, en fonction des critères statistiques globale, dynamique et structurelle à un paramètre spatial de référentiel X1 , Y1 , afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :

a. une valeur médiane de bord orienté boi et de courbure cb-i,

b. une valeur de position de barycentre du nuage de points h , ji , c. une valeur dimensionnelle du nuage de point api, bpi,

c) l'on réitère l'introduction de nouvelles unités de calcul d'histogramme spatiotemporel bilinéaire bouclées, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2 ^Z de côté non inhibé, jusqu'à n séquences de calcul ou bien lorsque une zone restante, non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique afin d'en récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, au moins, une représentation sémantique structurale :

a. une valeur médiane de bord orienté bo _n et de courbure cb _n ,

b. une valeur de position de barycentre du nuage de points i _n , j _n , c. une valeur dimensionnelle du nuage de point ap _n , bp _n ,

d) Un port de sortie transmettant toutes ces valeurs de représentations sémantiques élémentaires à une mémoire associative en vue d'une reconnaissance de label.

En application, le dispositif comporte des moyens de mémorisation associative entre la représentation sémantique assurant l'invariance et son label associé, le label représentant l'événement de manière unifié, et la représentation de la zone d'intérêt repérée, son contexte. Description de l'invention

La présente invention va maintenant être exemplifiée dans la description qui suit, sans pour autant en être limitée, et en relation avec les figures suivantes :

la figure 1 est une représentation, dans sa généralité, du procédé d'invariance perceptive automatisé permettant l'extraction invariante des représentations sémantiques perçues de l'événement dans son contexte selon l'invention,;

la figure 2 est une représentation, dans sa généralité, du dispositif d'invariance perceptive selon l'invention ;

la figure 3, est une description détaillée du processus de calcul des paramètres permettant l'invariance perceptive par l'utilisation d'un attracteur dynamique ; la figure 4, est une application intégrant l'invariance perceptive visuelle par mise en œuvre opto-mécanique de deux capteurs visuels ;

La figure 5, est une utilisation d'un dispositif de vision intégrant deux unités de représentations sémantiques, contexte et locale d'un label (100), en relation avec une mémoire associative (10) ;

la figure 6, est un exemple d'unité de représentation sémantique d'un label (100) à base de mémoire associative (10) en combinaison d'unités attracteurs dynamiques (80_i) associés à une unité de transfert de traduction (71 ) ;

les figures 7a et 7b, sont des illustrations de la fonction de transfert de l'unité de traduction (71 ) ;

les figures 8a à 8d, sont des illustrations de l'organisation des calculs d'histogrammes bilinéaires de l'unité attracteur dynamique (80_i) ;

La figure 9, est une illustration de l'extraction, par un attracteur dynamique (80_0), des représentations sémantiques contextuelles d'un élément perçu du dispositif de vision de la figure 5.

Description détaillée de l'invention

La figure 1 décrit le procédé générique d'invariance perceptive à partir d'un exemple de gestion dynamique, en séquences, de l'interaction entre l'événement, signal (HD) référencé (x,y), son contexte, signal (MAP1 ) référencé (i,j), et sa représentation, signal (MAP2) référencé (X,Y).

L'événement (90), intervenant dans un espace par rapport à au moins un paramètre consistant à le digitaliser et à le fournir en entrée à une unité de calcul d'invariance perceptive et en déduire le résultat désiré, est décrit par un flot de données a ₍ xy _t ) associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, les données parvenant à l'unité de calcul sous forme d'un signal (HD) numérique sous forme d'une suite a ₍ xy _t ) de nombre binaire de a bits associé à des signaux de synchronisation permettant de définir le moment T donné de l'espace et la position du pixel dans cet espace, modifié par une unité de filtrage bidimensionnelle de type gaussien de taille 2w+1 , paramétré par la valeur w, et décimé suivant les deux dimensions par une valeur k, fonction affine du paramètre w, (k=0,81 w+1 ,09). Ce résultat défini un flot de données bidimensionnelles (MAP1 ) de moment T identique au flot précédent. Un premier moment T démarre au temps (tO) par la représentation de l'événement dans son contexte qui se doit d'être globale, comme une région homogène convexe de courbure générale (cb ₀ ) suffisante. Le paramètre de filtrage w égal à zéro défini le flot de sortie (MAP1 ) qui est analysé un calcul d'histogrammes bilinéaires bouclés correspondant à un attracteur dynamique (80_0) et en déduit en fin de moment T une valeur de courbure (cb ₀ ). Cette valeur de courbure (cb ₀ ) est comparée à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max :

• cb ₀ < La la valeur de w est augmentée d'une unité. Flag Val=0

• La < cb ₀ ≤ Lb la valeur de w reste inchangée. Flag Val=1

· cb ₀ > Lb la valeur de w est diminuée d'une unité. Flag Val=0

Les valeurs de w et k associée sont misent à jour pour le moment T suivant.

Au moment T suivant (t1 ), un filtrage gaussien est opéré par une matrice 3x3, (w=1 ) et k=1 . Le résultat (cb ₀ < La) entraine une augmentation de la valeur de w d'une unité et k prend la valeur 2.

Le moment T suivant (t2) démarre avec w=2 et k=2, forçant un lissage gaussien par convolution d'une matrice gaussienne 5x5 avec les données et, une décimation par 2 du flot de sortie (MAP1 ). Le résultat cb ₀ , compris entre les deux bornes La et Lb, maintient la valeur w à 2, met le flag Val à un et déclenche le calcul du flot invariant (MAP2), de dimension 2 ^z x2 ^z , égal à :

· Une translation du point de centre x ₀ = k.i ₀ et y ₀ = k.j ₀ dans le repère (HD)

• Une rotation, à ce point de centre, des coordonnées d'un angle égal à bo ₀

• Une homothétie correspondant à la dimension la plus grande de la zone d'intérêt de l'attracteur dynamique (ap ₀ ) ou (bp ₀ ) multiplié par la valeur du coefficient de décimation (k) et mise à l'échelle par la validation des z premiers bits du résultat précédant.

Cette convergence étant stabilisée, signalé par le flag Val à 1 , la suite des moments T (t3) à (t5) font intervenir des attracteurs dynamiques par recrutement dynamique afin de récupérer, pour la zone d'intérêt ainsi repérée en fin de moment T, une représentation sémantique structurale, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2 ^Z de côté non inhibé.

Le premier attracteur dynamique (80_1 ) en moment T (t3), se focalise sur le cumul de points le plus important, ici la courbure cbi et son orientation boi du chiffre « 2 » sa position χ-ι , ^ et sa dimension ap-i , bp-i , puis, en inhibant les informations de la zone principale précédemment repérée, en moment T (t4), un second attracteur dynamique (80_2) extrait sa base horizontale, courbure cb ₂ et son orientation bo ₂ , sa position x ₂ , y ₂ et sa dimension ap ₂ , bp ₂ , le premier attracteur dynamique reste accroché et enfin, en moment T (t5), un troisième attracteur dynamique (80_3) extrait sa partie oblique courbure cb ₃ et son orientation bo ₃ , sa position x ₃ , y ₃ et sa dimension ap ₃ , bp ₃ .

La zone restante du chiffre « 2 » non inhibé, de cet espace ne produit plus de zone correspondant audit critère statistique, la séquence s'arrête et les résultats (RSin_1 ), (RSin_2), et (RSin_3) respectivement des trois attracteurs dynamiques (80_1 ), (80_2) et (80_3) correspondent au message MEin introduit dans la mémoire associative (10) afin d'en délivrer par celle-ci le label « deux ».

La figure 2 représente le dispositif d'invariance perceptive en association au procédé décrit précédemment en figure 1 , et comporte les unités suivante :

L'unité de transduction (130)

Un événement (90) est perçu par un transducteur (130) qui débite un flot de données (HD _xyt ), associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, lesdites données associées chacune à un paramètre temporel HD, étant sous la forme de signaux DATA(HD), numériques constituées d'une suite (HD _xyt ), de nombre binaire de a bits synchronisées par une horloge (Ck) et les positions x, y, de dimension respectivement de o et p bits, d'un séquenceur de données (150). Ce flot (HDx _y t) est connecté à l'entrée d'une unité de filtrage gaussien (200) et à l'entrée d'une mémoire tampon (600).

L'unité de décimation (Dec) est composée:

• d'une unité séquenceur de données (150) générant les adresses x et y ainsi que des signaux de synchronisation des données ce cette unité de décimation (Dec),

• d'une unité de filtrage gaussien (200) synchronisée par une horloge (Ck) et les positions x, y d'un séquenceur de données (150) et paramétré par la valeur de filtrage (w). Cette unité assure une fonction de filtrage bidimensionnel de type gaussien par convolution d'une matrice gaussienne de taille 2w+1 sur les données d'entrée, le résultat est un flot de données bidimensionnelles lmG( _Xy t), débité en séquence vers une unité de décimation (300). • d'une unité de décimation (300) recevant le flot entrée lmG _(Xyt) et débitant en sortie le flot de données bidimensionnelles ΜΑΡΙ ^ vers l'unité de calcul de bords orientés (350), en sélectionnant suivant les deux dimensions x et y, un élément tous les k éléments. Par exemple, pour k égal à 1 , tous les éléments sont sélectionnés, pour k égal à 2, c'est un sur deux éléments, en suivant, qui sont sélectionnés dans les deux dimensions, la séquence débite donc quatre fois moins de données que reçu, et ainsi de suite pour k croissant. Cette unité génère une nouvelle séquence de position i, j tel que i=x/k et j=y/k.

L'unité de conversion (71 ') est composée:

· d'une unité de calcul de bords orientés (350) transformant chaque donnée entrante, codé sur a bits, position i,j, du flot MAP1 _(i jt) en valeur angulaire Bo, position i,j, correspondant à la présence d'un bord signalé par le flag (Valide) à un ou en une valeur neutre le cas contraire, flag (Valide) à zéro. Ces valeurs constitue le flot ImBo(ijt) codé sur a bits,

· d'une unité de calcul de courbure (360), recevant flot ImBo(ijt), afin d'en calculer une notion de courbure (Cb), position i,j, correspondant aux variations locales angulaires trouvées ou en une valeur neutre le cas contraire, flag (Valide) à zéro. Ces valeurs constitue le flot ImCb(ijt) codé sur a bits,

• L'association de ces deux flots ImBo(ijt), ImCb(ijt), tronqué chacun de a bits à z bits de poids fort par une unités (540) constitue le flot bidimensionnel structural entrant dans l'attracteur dynamique (80_0).

• Le flot spatial (i,j) en association d'amplitude respectivement xmax/k et ymax/k et o/k, p/k bits est tronqué de u bits correspondant au nombre de bits constituant la valeur o/k ou p/k la plus grande moins les z bits de poids fort, constitue le flot bidimensionnel spatial entrant dans l'attracteur dynamique (80_0)

L'attracteur dynamique (80_0)

L'attracteur dynamique (80_0), décrit plus précisément en figure 3, calcule des histogrammes bidimensionnels spatio-temporel à chaque moment élémentaire validé par le flag (Valid) à un sur les couples de données tronquées instantanées i, j, et Bo, Cb, chaque couple comportant 2z bits comme un ensemble permettant un calcul d'histogrammes bidimensionnels spatio-temporel délivrant en fin de moment T un résultat, si présence de l'élément, • d'une position de barycentre de l'élément i ₀ , jo, et un signal binaire de zone Z_ROI

• d'une dimension du nuage de points ap ₀ , bp ₀ ainsi que sa représentation spatiale (Z_ROI) et,

· d'une orientation bo ₀ et courbure cb ₀ générales.

L'unité de calcul de l'invariance perceptive (Inv) comporte :

• Une unité de calcul de filtrage gaussien (400), paramétré suivant la valeur (w), recevant en fin de moment T la nouvelle valeur de courbure générale (cb ₀ ) qui est comparée à deux bornes de valeurs croissantes La et Lb, pour 0 < w < w_max :

· cb ₀ < La la valeur de w est augmentée d'une unité. Flag Val=0

• La < cb ₀ ≤ Lb la valeur de w reste inchangée. Flag Val=1

• cb ₀ > Lb la valeur de w est diminuée d'une unité. Flag Val=0

• Une fonction affine du paramètre w recalcule la valeur k, (k=0,81 w+1 ,09).

Les valeurs de w et k associées sont transmises pour le moment T suivant, (w) à l'unité (200) et (k) à l'unité (300).

• Une unité de sélection de la région d'intérêt (510) reçoit les coordonnées du barycentre i ₀ , jo, le coefficient k de décimation, l'orientation angulaire bo ₀ , et les coordonnées x, y du flot (HD _(xyt) ), et en calcule de nouvelles coordonnées X0, Y0 suivant la fonction :

avec -k.apo≤ X < k.ap ₀ et -k.bp ₀ ≤ Y < k.bp ₀

Un multiplexeur d'adresses (520) transfère les adresses précédemment calculées, pour la zone d'intérêt (Z_ROI) valide, au port d'adresses de la mémoire tampon (600). Ce signal (Z_ROI), validé par le signal Val valide (ET booléen (550)) correspondant à une valeur de décimation correcte, sert de commande d'écriture (Wr) de la mémoire tampon (600) pour les données du flot (HD _(X y _t) ) présentées sur son port entrée (In).

Un séquenceur d'adresses mémoire (530) génère un flot d'adresses X1 , Y1 qui passe au travers du multiplexeur d'adresses (520) et va servir de lecture séquentielle de la mémoire tampon (600), en tant que flot de données (MAP2), hors temps d'écriture sur une plage correspondant à et Yi=k.bp ₀ . L'unité ROI comporte :

• Une unité de mise à l'échelle (542) tronquant les valeurs X1 et Y1 sur les z bits de poids fort afin de générer une adresse X et Y chacune sur une plage de 2 ^Z valeurs, correspondant à la taille du carré de 2 ^Z de côté.

· Le flot de données (MAP2) issu de la lecture de la mémoire (600) en adresse X, Y, correspondant aux informations invariantes de l'élément perçu.

La figure 3a décrit le processus de calcul des paramètres permettant l'invariance perceptive par l'utilisation d'un attracteur dynamique (80_0) constitué de deux ensembles d'unités de calcul d'histogrammes bilinéaires (81_S) et (81_P) recevant les signaux et produisant chacun une valeur de classification dont le produit (V) sert de validation des calculs :

• le premier sous-ensemble (81 _S) recevant deux signaux porteur des paramètres temporels Bo,Cb et,

· le deuxième sous-ensemble (81_P) recevant deux signaux spatiaux i,j,

• la valeur de classification du premier sous-ensemble (83) validant un groupe de points de l'espace traité par ce sous-ensemble, le nombre desdits points étant n1 qui se doit d'être supérieur à une valeur de seuil afin d'être pris en compte,

• la valeur de classification du second sous-ensemble (83) validant les valeurs de paramètres traités par ce second sous-ensemble,

• les deux sous-ensembles produisant conjointement un signal binaire Z_ROI représentant une zone d'intérêt et un signal binaire BC représentant la valeur du paramètre temporel de cette zone,

• un opérateur ET 86 combinant les signaux binaires de sortie Z_ROI et BC, la sortie de cet opérateur servant de signal de validation (78) de calcul des ensembles d'unités de calcul d'histogrammes bilinéaires,

• un séquenceur externe initialisant les mémoires de ces ensembles d'unités de calcul d'histogrammes bilinéaires au démarrage du moment T, puis validant le calcul durant le moment T, pour repérer une zone d'intérêt de l'espace lié à l'événement, en fonction des critères statistiques de courbure et bord orienté appliqués à un paramètre spatial et en fin de moment T, récupérant pour la zone d'intérêt ainsi repérée:

a) une valeur médiane de bord orienté bo ₀ et de courbure cb ₀ , b) une valeur de position de barycentre du nuage de points i ₀ , jo, c) une valeur dimensionnelle du nuage de point ap ₀ , bp ₀ ,

• une série de registres mémoire (RSi-5) à (RSi-8) mémorisant ces valeurs récupérées afin de préserver la validité de ces informations durant le moment T+1 en vue d'une utilisation future.

• Chaque ensemble d'unité de calcul d'histogrammes bilinéaires (81_S) et (81_P) comporte :

• Une unité mémoire d'analyse (82) comportant des mémoires avec des adresses, chacune associée à des valeurs possibles des nombres de 2.2 ^Z bits du signal Bo,Cb pour l'unité (81_S) et i,j pour l'unité (81_P) et dont l'écriture est contrôlée par un signal « Write »

• Une unité de classification (83), pour l'unité (81 _S), comprenant une mémoire destinée à recevoir les critères A, B, C, D de sélection des paramètres Bo,Cb, recevant les paramètres Bo,Cb, en entrée et fournissant, en sortie, un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal Bo avec les critères A, B de sélection et Cb, avec les critères C, D de sélection. Pour l'unité (81_P), l'unité de classification (83) opère de la même façon par remplacement des paramètres Bo,Cb, par i,j. Le signal binaire de classification est validé si le premier paramètre est compris entre les critères A et B, et en même temps si le second paramètre est compris entre les critères C et D.

• Une mise à jour de l'unité de classification (83), par écriture mémoire des critères A, B, C, D par analyse, en fin de moment T, des éléments calculés par la mémoire histogramme pour un niveau de la valeur n1 suffisant.

La figure 3b représente le résultat structurel de l'élément calculé par les histogrammes bilinéaires spatio-temporels durant le moment T. Le couple de paramètres Bo et Cb forment une représentation 2D, avec pour origine le coin haut gauche d'un carré horizontal de dimension 2 ^Z -1 , Bo sur un axe et Cb sur l'autre axe. Un troisième axe vertical représente le cumul de chaque couple. Le maximum de cumul est représenté par le couple de valeurs bo ₀ , cb ₀ .

La figure 3c représente le résultat spatial de l'élément calculé par les histogrammes bilinéaires spatio-temporels durant le moment T. Le couple de paramètres i et j forment une représentation 2D, avec pour origine le coin haut gauche d'un carré horizontal de dimension 2 ^Z -1 , i sur un axe et j sur l'autre axe. Un troisième axe vertical représente le cumul de chaque couple. Le maximum de cumul est représenté par le couple de valeurs i ₀ , jo- La plage spatiale de l'élément a pour dimension apO et bpO centré sur i ₀ , jo, et orienté d'un angle égal à bo ₀ centré en i ₀ , jo- La figure 3d représente la région d'intérêt ROI, résultat spatial de l'élément calculé précédemment reporté sur le référentiel amont x,y. La plage de la région d'intérêt ROI de l'élément a pour dimension k.apO et k.bpO centré sur x=k.i ₀ , y=k.j ₀ , et orienté d'un angle égal à bo ₀ centré en sur x=k.i ₀ , y=k.j ₀ . Les données de cette zone d'intérêt ROI sont définies suivant les coordonnées X et Y, origine au centre de la zone d'intérêt et de dimension -k.ap ₀ ≤ X < k.ap ₀ et -k.bp ₀ ≤ Y < k.bp ₀ .

La figure 4 décrit un dispositif générique d'invariance perceptive d'un événement (90) à partir de deux caméras couplées, la première caméra C1 sortant un signal MAP1 de faible résolution associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T, sur un grand champ et la seconde caméra C2 mobile par rapport à la première de haute résolution sur un champ étroit sortant un signal MAP2 associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments T. Une première unité de représentation sémantique d'un label (100_1 ), décrit en détail en figure 6, reçoit le signal MAP1 et une seconde unité de représentation sémantique d'un label (100_2) reçoit le signal MAP2, les sorties de l'information label de chaque unité de représentation sémantique d'un label (100_1 ) et (100_2) sont connectées à une mémoire associative (10) qui en sort une information représentant l'événement dans son contexte.

L'événement perçu par la caméra C1 est analysé globalement par l'unité de représentation sémantique d'un label (100_1 ) qui en fourni des informations,

• de courbure générale cbO à un effecteur (96) qui en déduit un coefficient k' de zoom et,

· de position centrale i ₀ , jo, avec dimensionnement ap ₀ et bp ₀ , et orientation de la zone d'intérêt bo ₀ incluant l'événement dans le référentiel de base perçu. Ces informations, ainsi que la valeur k', sont transmises à un effecteur (97), qui commande la mise en position et le grandissement de la caméra C2, tel que son axe optique pointe sur la position centrale de la zone d'intérêt, le grandissement soit adapté à la dimension de ladite zone d'intérêt, et que l'axe principal perpendiculaire à l'axe optique soit tourné d'un angle correspondant à la valeur de bord orienté délivrée.

L'événement perçu par la caméra C2 est analysé en détail, en tant qu'événement invariant par l'unité de représentation sémantique d'un label (100_2) qui, en séquence, en déduit des représentations sémantiques élémentaires caractérisant l'événement qui sont présentées à une mémoire associative afin d'en reconnaître un label. La figure 5 décrit un dispositif générique d'invariance perceptive à partir d'une seule caméra de très haute résolution à champ large sortant un signal HD. C'est une extension et généralisation du dispositif décrit en figure 2.

La partie identique.

Même événement (90), même transducteur (130) avec même flot (HD) en liaison avec l'unité de décimation (Dec) et l'unité (ROI), tous deux pilotés par l'unité de calcul d'invariance (Inv).

L'extension.

L'unité de représentation sémantique générique (100_0), décrit en détail en figure 6, reçoit, en entrée, le signal ΜΑΡΙ ^, sa position (i,j) et incorpore une unité de mémoire associative (10) en association à :

• une unité de transfert de traduction (71 ) qui inclus l'unité (71 ') et est étendue à la perception globale et dynamique, décrit en détail en figure 7a et,

• une unité attracteur dynamique (80_0) qui inclus, à la description faite en figure 2,

o deux unités de traitement statistique (81 _G) pour une perception dite globale, et (81_D) pour une perception dite dynamique, décrit en détail en figure 6 et,

o un classifieur (84) dans chaque unité de traitement statistique.

Cette unité de représentation sémantique générique (100_0) délivre, en fin de moment T, les informations à l'unité de calcul d'invariance comme précédemment décrit en figure 2 ainsi qu'à une unité de mémoire associative en y adjoignant des informations complémentaires de représentations sémantiques élémentaires globale et dynamique, l'ensemble de ces représentations forme un message qui est lue par la mémoire associative (10) et en délivre une valeur de label (Loutj). Inversement, cette valeur de label peut être réintroduit dans cette même mémoire associative (10) en tant que valeur Lin i, la sortie de cette mémoire fourni alors un message, qui a été précédemment appris, qui pilote les classifieurs (84) en vue d'une confirmation des informations acquises.

L'unité de représentation sémantique générique (100_1 ) reçoit, en entrée, le signal MAP2 ₍ xYt), sa position (X,Y) et possédant n unités attracteurs dynamiques, délivre jusqu'à n sous-messages à une mémoire associative (10) qui en déduit, si déjà connu, un label (LoutJ). Comme décrit précédemment, une fonction inverse, qui introduit le label (LinJ) dans la mémoire associative (10) de l'unité (100_2), pilote les classifieurs (84) en vue d'une confirmation des informations acquises.

La figure 6 illustre un exemple d'utilisation de la mémoire associative (10) en combinaison d'unités attracteurs dynamiques (80_i) et d'une unité de transfert de traduction (71 ) définissant l'unité de représentation sémantique d'un label (100). Pour plus de clarté, les signaux de séquencement ont été omis.

L'unité de transfert de traduction (71).

Des données spatio-temporelles (70) issues d'un élément amont, récepteur (92) ou résultats de traitement d'unité de mémoire associative (10), ici non représenté, sont délivrées sur le port entrée (E, P(i,j)) d'une unité de transfert de traduction (71 ) qui débite à son tour d'une manière synchrone, cadencé par un signal d'horloge (Ck), des représentations sémantiques élémentaires référencées en position sur ses ports de sorties (G), (D), (S), et (P). Chaque port de sortie (G), (D), (S), et (P) est connecté indépendamment et respectivement, sur le bus G (72), le bus D (73), le bus S (74) et le bus P (75), tous de taille identique de 2z bits. Les n unités attracteur dynamique (80_1 ) à (80_n) se connectent à ces quatre bus, respectivement sur leur port d'entrée (G), (D), (S), et (P).

L'unité attracteur dynamique (80_1)

L'unité attracteur dynamique (80_1 ) est représentée plus en détail afin d'en expliciter le fonctionnement, sachant que toutes les unités attracteurs dynamiques (80_1 ) à (80_n) sont de constitution identiques. Cette unité attracteur dynamique (80_1 ) inclut :

• quatre unités traitement statistique (81 _G), (81 _D), (81 _S), et (81 _P) identiques.

Chaque unité traitement statistique (81_x) comporte :

o une unité de calcul histogramme bilinéaire (82), comportant ^■ Une entrée donnée (x) correspondant à (G) ou (D) ou (S) ou (P) suivant l'unité traitement statistique (81 _x),

^■ Une unité de registres résultats (R),

^■ Une entrée de validation du calcul d'histogramme bilinéaire (V) et,

^■ une unité de séquencement, ici non représentée, dépendant du mode de fonctionnement, soit par séquence soit par nombre d'événements, qui assure, cycliquement en séquence, la phase d'initialisation, la phase calcul histogramme, la phase mise à jour registres (R) et la phase classification automatique.

La phase d'initialisation consiste à mettre à zéro la mémoire de stockage des calculs d'histogramme et à initialiser les divers registres de calcul.

Durant la phase calcul histogramme, à chaque donnée (x) présentée correspond un signal d'entrée (V) qui valide ou non le calcul.

En fin de séquence ou dès que la valeur maximale de l'histogramme dépasse un seuil paramétré extérieurement, suivant le mode utilisé, les registres (R) sont actualisés ainsi que les registres de l'unité de classification automatique (83). Les valeurs calculées sont, le nombre de calcul (NBPTS), la médiane (Med), la valeur du maximum (RMAX), sa position (PosRMX) et les bornes de classification (A), (B), (C), et (D).

o deux unités de classification, automatique (83) et requête (84), reçoivent chacune les données codées sur 2z bits du port d'entrée (x) et délivrent chacune un signal binaire de classification valide pour les z bits de poids fort compris entre ses bornes de classification (A) et (B) et pour les z bits de poids faible compris entre ses bornes de classification (C) et (D),

o une unité booléenne de validation de classification (85) reçoit les signaux binaires de classification des deux unités de classification automatique (83) et requête (84). Le ET logique entre ces deux signaux binaires de classification est transmis hors de l'unité traitement statistique (81 _x).

Une unité booléenne de classification spatio-temporelle (86) reçoit les signaux binaires de classification des quatre unités traitement statistique (81 _G), (81 _D), (81_S), et (81_P) pour en faire un ET logique qui est transmis à l'unité de validation de calcul d'histogramme (87).

Une unité de validation de calcul d'histogramme (87) comprend une unité logique ET à deux entrées dont une inversés (88) et une unité logique OU à deux entrées (89). L'unité logique ET (88) reçoit en direct le signal binaire issu de l'unité logique ET (86) et en inverse le signal binaire entrée (Cin) de l'unité (80_1 ) et délivre un signal binaire de validation de calcul d'histogramme sur l'entrée (V) de chaque unité traitement statistique (81_G), (81_D), (81 _S), et (81_P).

L'unité logique OU (89) reçoit le signal binaire entrée (Cin) de l'unité (80_1 ) et le signal binaire de validation de calcul d'histogramme de l'unité logique ET (88) et délivre un signal binaire d'inhibition sur le port de sortie (Cout) de l'unité (80_1 ).

• Une unité de registres de sortie (76) comporte les registres (RSi-1 ) à (RSi-q) mis à jour à chaque dépassement de la valeur (NBPTS) par rapport à un seuil paramétré extérieurement. L'ordre des registres (RSi-1 ) à (RSi-p) correspond aux valeurs de médianes (Med-ι, Med ₂ ) et à la plage de classification (P-i , P ₂ ) défini par l'écart entre les bornes de classification (B) moins (A) et (D) moins (C) pour chaque unités traitement statistique (81_G), (81_D), (81 _S), et (81_P). Soit pour (RSi-1 ) et (RSi-2), respectivement les médianes du mode globale (MedG-i , MedG ₂ ) et leur plages respectives (PG-i, PG ₂ ), de même pour le mode dynamique, structurale et leur position (MedP-ι, MedP ₂ ) correspondant au barycentre énergétique et (PP-i, PP ₂ ) à son étendu. Dans cet exemple l'unité de registres de sortie (76) comporte les registres (RSi-1 ) à (RSi-8). En général un certain nombre de registres (RSi-x) ne sont pas exploités car non pertinent. Par exemple la perception visuelle d'un texte possède un mode global uniforme (même couleurs et non déplacement), seul l'aspect structurant apporte une information pertinente, ce qui réduit les huit registres de départ à trois : barycentre, dimension et structure.

• Une unité de registres d'entrée (77) comporte les registres (RSo-1 ) à (RSo-q) représentant la même organisation que celle de l'unité de registres de sortie (76).

Soit pour (RSo-1 ) et (RSo-2) respectivement les médianes du mode globale (MedGi, MedG ₂ ) et leur plages respectives (PG-i, PG ₂ ), qui sont transformés en bornes de classification (A), (B), (C), (D) tel que la borne (A) soit égale à (MedG-i) - (PG-i/2), la borne (B) à (MedG ₂ ) + (PG ₂ /2), de même pour les bornes (C) et (D) dans le même ordre.. Ces bornes (A), (B), (C), (D) de classification sont écrites dans l'unité de classification de requête (84). La même opération est répétée pour les autres unités de classification de requête (84) des unités (81_D), (81_S) et (81 _P). Pour une information de z bits plus grand que quatre bits, il est préférable d'étendre la plage de classification en diminuant la borne basse de classification d'une valeur de 1 à 2 bits et en augmentant la borne haute de classification d'une valeur de 1 à 2 bits afin d'élargir la requête.

La Mémoire Associative (10)

L'unité Mémoire Associative (10), décrit dans les figures précédentes, dans sa mise en œuvre générique a pour interface avec les unités attracteurs dynamiques (80_1 ) à (80_n) le message (MEin_i) constitué de n sous-messages (RSin_1 ) à (RSin_n) et le message (MEoutJ) constitué de n sous-messages (RSout_1 ) à (RSout_n).

Le sous-message (RSin_1 ) est transmis de l'unité de registres de sortie (76) de l'unité attracteur dynamique (80_1 ) au port d'entrée (In) de la sous-unité mémoire (2_1 ) de l'unité Mémoire Associative (10). De même, le sous-message (RSin_2) est transmis de l'unité de registres de sortie (76) de l'unité attracteur dynamique (80_2) au port d'entrée (In) de la sous-unité mémoire (1_2) de l'unité mémoire associative (10), et la transmission continue dans le même ordre jusqu'au rang n.

En inverse, le sous-message (RSout_1 ) est transmis du port de sortie (Out) de la sous-unité mémoire (2_1 ) de l'unité mémoire associative (10) à l'unité de registres d'entrée (77) de l'unité attracteur dynamique (80_1 ). De même, le sous-message (RSout_2) est transmis du port de sortie (Out) de la sous-unité mémoire (1_2) de l'unité mémoire associative (10) à l'unité de registres d'entrée (77) de l'unité attracteur dynamique (80_2), et la transmission continue dans le même ordre jusqu'au rang n.

L'unité mémoire associative (10) comporte :

• un premier ensemble composé de n sous-unités mémoires, composée chacune de 2 ^m mots de m bits, notées de (2_1 ) à (2_n), et recevant chacune sur leur port d'entrée (In) respectivement le sous-message (RSin_1 ) pour la sous-unité mémoire (2_1 ) jusqu'au sous-message (RSin_n) pour la sous-unité mémoire (2_n),

• un second ensemble composé d'une sous-unité mémoire de 2 ^V mots de v bits (1 ) recevant sur le port d'entrée (In) le label (LinJ) et,

• une unité de calcul de maximum de vraisemblance (4) afin de sélectionner la valeur r, s ou autre la plus représentée. Cette unité (4) reçoit du port de sortie

(Cadr) de chaque sous-unité mémoire (2_1 ) à (2_n) une valeur r, ou autre s respectivement sur un port entré (L_i) à (L_n) avec leur signal binaire respectif de validation sur l'entré respectivement (V_1 ) à (V_n). Le séquencement interne est assuré par un signal horloge (CK) introduit dans l'unité (4). Le choix du maximum de vraisemblance est positionné sur le port de sortie (L_i), un bus de v bits transmet cette valeur au port entrée (Adr) de la sous-unité mémoire (1 ) qui délivre sur son port de sortie (Out) la valeur du label (Lout_i).

Dans le sens label vers message, la présentation de (LinJ) sur le port entrée (In) de la sous-unité mémoire (1 ) entraine la délivrance de la valeur j sur son port de sortie (Cadr), cette valeur j est transmise au bus (AB) au travers d'une unité de choix de valeur de lien (10) et est présentée à toutes les sous-unités mémoire (2_1 ) à (2_n) qui délivre chacune sur son port de sortie (Out) le sous-message respectivement (RSout_1 ) à (RSout_n) qui, ensemble, forme le message (MEoutJ).

Dans le sens inverse, message vers label, les sous-messages (RSin_1 ) à (RSin_n), correspondant au message (MEin_i), sont présentés respectivement sur le port entrée (In) de chaque sous-unité mémoire (2_1 ) à (2_n) qui délivrent chacune une valeur r, ou autres sur leur port de sortie (Cadr) respectif en association à un signal binaire de validation débité par la sortie (M) de la même sous-unité mémoire. Dans le cas où le sous-message présenté est absent de la sous-unité mémoire, celle-ci délivre sur sa sortie (M) un signal binaire de non validation, la valeur présente sur son port de sortie (Cadr) est alors ignorée.

Décomposition des messages.

Chaque message reçu (MEin) de n.m bits est composé de n sous-messages (RSin_x) de m bits, x variant de 1 à n. De même chaque message (MEout) de n.m bits délivré par la mémoire associative est composé de n sous-messages (RSout_x) de m bits, x variant de 1 à n.

Chaque sous-message est segmenté en q éléments (RSi_x) entrant ou (RSo_x) sortant de z bits correspondant à m/q bits dont le rang de l'élément correspond à une notion de position, dimensionnement et de caractérisation.

• La position est définie par son référentiel (Ref), variant généralement de un à trois, souvent égale à deux pour un couple d'éléments par exemple x et y représentant une relation entre deux distances dans le référentiel (Ref), ou t et f représentant une relation entre temps et fréquence dans le référentiel (Ref). D'une manière générale, c'est la position du barycentre du nuage de données représentant la caractérisation ci-dessus défini par ses éléments du sous- message.

• Le dimensionnement caractérise l'étendu du nuage de données, généralement sa dimension, donc un élément (RSi_x), dans chacun des axes du référentiel (Ref). • La caractérisation est généralement une représentation sémantique élémentaire de type :

• Globale, par exemple non limitatif, une couleur est définie par une tente et une saturation, une voie d'enfant est défini par un fondamental, etc.

· Dynamique, par exemple non limitatif, un mouvement est défini par sa vitesse et son orientation, c'est aussi la prosodie d'une voix, etc.

• Structurelle, par exemple non limitatif, un bord est défini par son orientation et sa courbure, un phonème est défini par la répartition de ses formants dans le temps, etc.

Le label se compose d'un mot de v bits, la quantité de labels mémorisable est de 2 ^V - 1 , le label « zéro » étant exclus.

La définition du label est donnée par le message entrant qui peut être incomplet et/ou erroné, d'où une difficulté de retrouver le label. L'utilisation d'un mode ternaire sur certains éléments (RSi_x), correspondant à masque d'un champ de bits appliqué à une partie du message d'entrée (17) de (RSinj), permet de résoudre ce problème. La figure 7-a explicite le fonctionnement de l'unité de transfert de traduction (71 ) à partir des données spatio-temporelles (70) (Données temporelles E et position P(i,j)) issues d'un capteur externe, non représenté. Chaque donnée spatio-temporelle (70), entrante dans cette unité (71 ), est traduite et délivrée sur quatre ports de sortie, d'une manière synchrone par un signal (Ck), en trois représentations sémantiques élémentaires distinctes, (G), (D), (S), positionnées en (P). Chaque port de sortie (G), (D), (S), et (P) est connecté indépendamment et respectivement, sur le bus G (72), le bus D (73), le bus S (74) et le bus P (75).

La figure 7-b est une représentation imagée, montrant la régistration des différentes données (G), (D), (S), et (P). La donnée entrante est représentée dans son mode global sortie (G), dynamique sortie (D), et structural sortie (S), et en position (i,j) déterminée par la donnée (P), suivant trois plans registrés en mode 2D. La position (P) est exprimée en fonction de la dimension de sa base. Généralement 2D pour des données visuelles (x, y) ou auditives (t, f), elle peut être étendue à du 3D ou réduite à 1 D, des dimensions supérieures sont possibles mais rédhibitoires par la taille mémoire dévolue.

La figure 8 illustre l'organisation des résultats des calculs des quatre histogrammes bilinéaires de l'unité attracteur dynamique (80_i) à partir des données (G), (D), (S), et (P) de 2z bits issues de l'unité de transfert de traduction (71 ). La donnée entrante traitée dans cet exemple est de type vision 2D. L'unité (71 ) traduit cette donnée en

• représentation globale (G) : suivant deux axes, teinte (T) et saturation (S).

Histogramme (H_G) sur 2 ^2z valeurs, figure 8a.

· représentation dynamique (D) : suivant deux axes, direction (Dir) et vitesse de déplacement (Vit). Histogramme (H_D) sur 2 ^2z valeurs, figure 8b.

• représentation structurale (S) : suivant deux axes, bord orienté (Bo) et courbure (Cb). Histogramme (H_S) sur 2 ^2z valeurs, figure 8c.

• représentation en position (P) : suivant deux axes (X) et (Y). Histogramme (H_P) sur 2 ^2z valeurs, figure 8d.

Chaque donnée entrante est codée en mot de 2z bits donnant une représentation matricielle 2 ^Z x 2 ^Z du calcul d'histogramme, les z bits premiers représentant un axe et les z bits restant le second axe de la matrice.

Pour illustrer le procédé perceptif de représentations sémantiques élémentaires, une portion de bord d'un objet (Ob) est visualisée en figure 8d par sa représentation en position (P), valeurs grisées correspondant aux résultats classés, par l'unité de classification (83), du calcul d'histogramme bilinéaire de la matrice (H_P). Le résultat de ce calcul d'histogramme est transmis à l'unité de registres de sortie (76) avec pour valeur, son barycentre en position de 2z bits (x, y) et sa plage en dimension de 2z bits (ap, bp).

L'orientation et la courbure locale perçu de l'objet (Ob), figure 8c, est délivré par le calcul de l'histogramme bilinéaire (H_S) dont le résultat du calcul est transmis à l'unité de registres de sortie (76) avec pour valeur, son barycentre, donc sa représentation sémantique d'orientation et de courbure de 2z bits (bo, cb) et sa tolérance de 2z bits (as, bs).

La figure 8a indique, par le résultat du calcul d'histogramme bilinéaire (H_G) la couleur dominante de la partie de l'objet (Ob) représentée par sa valeur de teinte et de saturation de 2z bits (t, s) avec sa valeur de tolérance de 2z bits (ag, bg), transmis à l'unité de registres de sortie (76).

De même la figure 8b indique, par le résultat du calcul d'histogramme bilinéaire (H_D) le déplacement locale de la partie de l'objet (Ob) représentée par sa valeur de direction de mouvement et sa vitesse sur 2z bits (dir, vit) avec sa valeur de tolérance de 2z bits (ad, bd), transmis à l'unité de registres de sortie (76). En inverse, l'unité de registres d'entrée (77) actualise, dans le même ordre, les bornes de classification des unités de classification requête (84) de chaque unité de traitement statistique (81 _G), (81 _D), (81 _S), et (81 _P).

Ce procédé perceptif assure un asservissement entre les données perçues, représentées et interprétées en tant que label appris.

Dans cet exemple d'application, le sous-message entrant (RSin_x) de la mémoire associative (10) est composé des résultats (t, s, ag, bg) pour le sous message (RSi- 1 ) et (RSi-2), (dir, vit, ad, bd) pour le sous message (RSi-3) et (RSi-4), (bo, cb, as, bs) pour le sous message (RSi-5) et (RSi-6), et (x, y, ap, bp) pour le sous message (RSi-7) et (RSi-8). De même pour le sous message sortant (RSout_x) de la Mémoire Associative (10).

Ce sous-message (RSin_x) est une représentation sémantique élémentaire globale, dynamique, structurale (réponse à la question Quoi ?) et positionnée (réponse à la question Ou ?). Les n sous-messages (RSin_x), x variant de 1 à n, définissent le message MEin_i représentant en sortie de la mémoire associative (10) le label (Loutj).

La figure 5 représente une application utilisant l'invariance perceptive visuelle avec extraction de représentations sémantiques élémentaires enregistrées dans une mémoire associative (10).

Une scène (1 10) comportant un symbole, en l'occurrence un chiffre deux écrit sur une surface plane, est perçue par une caméra (120) placée en face qui délivre un signal vidéo haute densité (HD), par exemple 20 Mp (Méga pixel) à 50 fps (50 images de 20 million de pixels par seconde).

Ce signal (HD) est délivré, conjointement à :

· une unité de décimation (Dec) qui transforme par décimation spatiale ce signal (HD) en un signal (MAP1 ) de faible résolution représentant le même point de vue, par exemple un format VGA à 0,3 Mp et de même fréquence image 50 fps, et, • une unité d'extraction de région d'intérêt (ROI) qui découpe ce signal (HD) en un signal (MAP2) de même résolution spatiale sur une plage correspondant à et transmis à même fréquence image 50 fps ou à un multiple de la fréquence image, par exemple 8 fois.

Le signal vidéo (MAP1 ) est introduit dans une unité générique de représentation sémantique (100_1 ) qui perçoit le symbole écrit en tant que tache. L'attracteur dynamique (80_0) de cette unité (1 00_1 ), voir figure 9, délivre les représentations sémantiques élémentaires :

• globale (G_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de couleur ; barycentre teinte et saturation (t ₀ , s ₀ ) et de plage de répartition des données suivant les deux axes T et S (ag ₀ , bg ₀ ) correspondant respectivement aux sous-messages (RSin-1 ) et (RSin-2).

• dynamique (D_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de mouvement ; barycentre direction et vitesse de mouvement (dir ₀ , vit ₀ ) et de plage de répartition des données suivant les deux axes Dir et Vit (ad ₀ , bd ₀ ) correspondant respectivement aux sous-messages (RSin-3) et (RSin-4).

• structurelle (S_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de forme ; barycentre bord orienté et courbure (bo ₀ , cb ₀ ) et de plage de répartition des données suivant les deux axes Bo et Cb (as ₀ , bs ₀ ) correspondant respectivement aux sous-messages (RSin-5) et (RSin-6).

· position (P_1 ) mots de 2z bits transformés en représentation sémantique élémentaire de position ; barycentre position X et Y (x ₀ , yo) et de plage de répartition des données suivant les deux axes X et Y (ap ₀ , bp ₀ ), orienté d'un angle ccO égal à la valeur bo ₀ , correspondant respectivement aux sous-messages (RSin-7) et (RSin-8).

L'ensemble des éléments (RSin_1 ) à (RSin-8) constitue le sous-message (RSin_0). Ce message donne une représentation sémantique de l'élément perçu dans son ensemble, dans cet exemple l'élément est de couleur (t ₀ , s ₀ ), immobile (ado, bd ₀ )=0,0, centré en (x ₀ , yo), orienté d'un angle bo ₀ , et de taille (k.ap ₀ , k.bp ₀ ). C'est une représentation contextuelle.

L'unité de calcul d'invariance (Inv) lit au travers du bus de communication (S_MA), les informations de bord orienté et de courbure (bo ₀ , cb ₀ ) et calcule le coefficient de filtrage w et de décimation k qui est transmis à l'unité (Dec). Cette boucle, adapte dynamiquement la décimation du signal (HD) vers (MAP1 ) afin de maintenir le résultat cb ₀ entre les deux bornes La et Lb, met le flag Val à un et, déclenche le calcul du flot invariant (MAP2), de dimension 2 ^z x2 ^z , égal à :

• Une translation du point de centre x ₀ = k.i ₀ et y ₀ = k.j ₀ dans le repère (HD)

• Une rotation, à ce point de centre, des coordonnées d'un angle égal à bo ₀ • Une homothétie correspondant à la dimension la plus grande de la zone d'intérêt de l'attracteur dynamique (ap ₀ ) ou (bp ₀ ) multiplié par la valeur du coefficient de décimation (k) et mise à l'échelle par la validation des z premiers bits du résultat précédant.

Cette convergence étant stabilisée, signalé par le flag Val à 1 , la suite des moments T font intervenir des attracteurs dynamiques par recrutement dynamique afin de récupérer, pour la zone d'intérêt (ROI) ainsi repérée en fin de moment T, une représentation sémantique structurale, en inhibant les informations des zones principales précédemment repérées de façon à repérer d'autres zones d'intérêts à l'intérieur d'une zone de l'espace carré de 2 ^Z de côté non inhibé. Cette zone image référencée en position (ΜΑΡ2 ₍ χ γ ₎ ) forment le signal vidéo (MAP2) qui est introduit dans une unité générique de représentation sémantique (100_2) afin de percevoir le symbole écrit dans son intégrité. Les attracteurs dynamiques (80_1 ), (80_2), et (80_3), de cette unité (100_2), voir figure 1 , délivre chacun, des représentations sémantiques élémentaires structurales et de position, par ordre décroissant de nombre de pixels perçus dans la trame vidéo. Dans cet exemple, la courbure du chiffre deux comporte le plus grand nombre de pixels perçus et est donc représentée par l'attracteur dynamique (80_1 ) qui délivre un sous-message (RSin_1 ) de m bits composé des éléments de bord orienté et courbure associée (bo-ι , cb-ι) de 2z bits, des éléments de position (x-i , y-ι) de 2z bits, de dimension (api , bpi) de 2z bits et, d'orientation ai égal à bo-i . Le recrutement dynamique d'un second attracteur dynamique (80_2), qui reçoit l'inhibition du traitement précèdent, perçoit le nombre de pixels le plus important correspondant à la partie horizontale du chiffre deux et, délivre un sous-message (RSin_2) de m bits composé des éléments de bord orienté et courbure associée (bo ₂ , cb ₂ ) de 2z bits, des éléments de position (x ₂ , y ₂ ) de 2z bits, de dimension (ap ₂ , bp ₂ ) de 2z bits et, d'orientation cc ₂ égal à bo ₂ . La séquence continue avec le recrutement dynamique d'un troisième attracteur dynamique (80_3) qui, reçoit l'inhibition des traitements précédents, perçoit le nombre de pixels le plus important correspondant à la partie oblique du chiffre deux et, délivre un sous- message (RSin_3) de m bits composé des éléments de bord orienté et courbure associée (bo ₃ , cb ₃ ) de 2z bits, des éléments de position (x ₃ , y ₃ ) de 2z bits, de dimension (ap ₃ , bp ₃ ) de 2z bits et, d'orientation cc ₃ égal à bo ₃ . Le nombre de pixels restant non traités étant inférieur à un seuil de qualification (valeur (NBPTS) inférieure à un seuil), la séquence de recrutement d'un nouvel attracteur dynamique s'arrête.

Le message (MEin_i) se compose des sous-messages (RSin_1 ), (RSin_2), et (RSin_3), soit une combinaison de 3 mots de 6z bits. Pour une faible précision de 6%, valeur donnée entrante z codée sur 4 bits, 2 ^6z vaut 2 ²⁴ soit près de 1 6 million de valeurs, et la combinatoire pour n=3 et ME=16x10 ⁶ vaut:

₌ ME! _ME ⁿ _ (16x10 ⁶ ) ³ ^ ₆ ,8x1 Q ²⁰

UME (w-n)!.n! n! 6

Ce message (MEin_i) est associé au label (Lin i) valant « deux », dans ce cas, et est mémorisé dans la mémoire associative (10) de l'unité de représentation sémantique (100_2).

L'unité de séquencement (Sec) contrôle, au travers des bus de communication (S_P2) entre l'unité de représentation sémantique d'un label (100_2) et le séquenceur (Sec) et (S_MA) entre l'unité mémoire associative (10) et le séquenceur (Sec), l'organisation des messages perçus.

Une mémoire associative (10) associe le label (LoutJ) issu de l'unité (100_1 ) et le label (Loutj) issu de l'unité (100_2) afin de sortir un label (Lout_k) correspondant à la valeur du chiffre « deux » dans son contexte. Par exemple ce dispositif permet de valider le chiffre « un », contextuellement positionné à droite du chiffre « deux » précédemment perçu afin de former le nombre « vingt et un ».

D'un point de vue applicatif, le descriptif du dispositif de calcul d'invariance perceptive automatique d'un événement décrit en figure 5, peut être avantageusement intégré en un module électronique et être utilisé en tant que pilotage intelligent d'un effecteur (97) à partir de signaux issus d'un transducteur (130), dans le domaine de l'internet des objets.

Référence nombres et symboles

1 Sous-unité mémoire associative de 2 ^V mots de v bits

2_i sous-unité (i) mémoire associative de 2 ^V mots de m bits

4 unité de sélection de maximum de vraisemblance

10 unité Mémoire Associative

70 données spatio-temporelles entrantes

71 unité de transfert de traduction 71 ' unité simplifiée de transfert de traduction

72 bus G

73 bus D

74 bus S

5 75 bus P

76 unité de registres de sortie

77 unité de registres d'entrée

78 signal binaire de validation de calcul d'histogramme

80 unité attracteur dynamique

îo 81_G, 81_D, 81_S, et 81_P unités traitement statistique

82 unité de calcul histogramme bilinéaire

83 unités de classification automatique

84 unités de classification requête

85 unité ET booléenne à deux entrées de validation de classification

15 86 unité ET booléenne à quatre entrées de classification spatio-temporelle

87 unité de validation de calcul d'histogramme

88 unité ET booléenne à une entrée inversé

89 unité OU booléenne

90 élément d'une scène

20 100 unité de représentation sémantique d'un label

110 scène perçue

120 capteur vision

130 transducteur de données

150 unité de séquencement données entrées

25 200 unité de filtrage gaussien de facteur w

300 unité de décimation de facteur k

400 unité de calcul des facteurs de filtrage w et de décimation k

520 unité de multiplexage d'adresses

530 unité de séquencement données invariantes

30 540 unité de troncature a bits sur les z bits de poids fort

541 unité de troncature o/k ou p/k bits le plus grand sur les z bits de poids fort

542 unité de troncature k.ap ₀ ou k.bp ₀ le plus grand sur les z bits de poids fort 550 unité ET booléen

600 unité mémoire tampon A _xy t nombre binaire de a bits

AB bus commun de v bits

Adr port entrée adresse mémoire

Cadr port de sortie adresse du contenu mémoire sélectionné par son port entrée (In) des sous-unités (2_1 ) à (2_n) et (1 )

Cin commande entrée inhibition dynamique

Cout commande sortie inhibition dynamique

Ck horloge de séquencement

Cor entrée signal de commande de correction du message d'entrée (RSin_i)

Cpt port de sortie de l'unité de comptage (3)

Cpt[v-1 :0] valeur binaire de sortie de l'unité de comptage (3)

D représentation sémantique élémentaire dynamique

Dec unité de décimation

E entrée données de l'unité (71 )

En entrée validation fonction des sous-unités mémoires associatives (1_i) et (1 )

G représentation sémantique élémentaire globale

HD flux vidéo à grande définition spatiale

i,j référentiel MAP1

In port d'entrée des sous-unités mémoire (2_1 ) à (2_n) et (1 )

Inv unité de calcul d'invariance

L_i valeur de lien entre les mémoires (1 ) et (1 )

Lout_i Label en sortie

LinJ Label en entrée

m dimension du message

M signal en sortie validant la valeur binaire du port de sortie (Cadr) associée

MA, MB, MC, MD, ME messages entrant et sortant

MAP1 flux vidéo décimé

MAP2 flux vidéo ROI

MEin_i message entrant regroupant n sous-messages (RSin_1 ) à (RSin_n)

MEoutJ message sortant regroupant n sous-messages (RSout_1 ) à (RSout_n) n nombre de sous-messages entrée (RSin_i) ou sortie (RSout_i)

Ob portion de bord d'un objet

Out port de sortie des sous-unités mémoire (2_1 ) à (2_n)) et (1 )

P position des représentations sémantiques élémentaires G, D, et S q nombre d'éléments constituant un sous-message

ROI région d'intérêt des données

S représentation sémantique élémentaire structurale

S_ROI bus de communication entre l'unité (Inv) et la région d'intérêt

S_Dec bus de communication entre l'unité (Inv) et la décimation des données

S_MA bus de communication entre l'unité (Inv) et la mémoire associative

S_P1 bus de communication entre l'unité (Inv) et l'unité de représentation sémantique 1

S_P2 bus de communication entre l'unité (Inv) et l'unité de représentation sémantique 2

Sec séquenceur de l'unité de représentation sémantique

Wr signal de commande écriture des sous-unités mémoires (1 ) et (1 )

Wre entrée signal de sélection écriture de l'unité Mémoire Associative (1 0)

RSi_x élément du sous message entrant RSin_i de z bits

RSo-x élément du sous message sortant RSout_i de z bits

RSin_i sous-message (i) en entrée mémoire

RSout_i sous-message (i) en sortie mémoire

X,Y référentiel invariant

ΧΟ,ΥΟ référentiel

X1 ,Y1 référentiel

V_i entrée validation valeur (L_i)

w paramètre de matrice gaussienne

Wr signal de commande écriture mémoire

ΙΛ signal binaire de 1 bit

/a nombre de bit du nombre binaire A _xyt

/v bus signal binaire de v bit

/z bus signal binaire de z bit