Nouvelles

Les applications de traitement de données du monde réel nécessitent des systèmes informatiques compacts, à faible latence et à faible consommation.Grâce à des capacités informatiques basées sur les événements, les architectures neuromorphiques memristives hybrides métal-oxyde-semi-conducteur complémentaires constituent une base matérielle idéale pour de telles tâches.Pour démontrer tout le potentiel de tels systèmes, nous proposons et démontrons expérimentalement une solution complète de traitement de capteurs pour les applications de localisation d'objets du monde réel.En nous inspirant de la neuroanatomie de la chouette effraie, nous avons développé un système de localisation d'objets bioinspiré et piloté par des événements qui combine un transducteur micromécanique piézoélectrique de pointe avec une mémoire résistive neuromorphique basée sur un graphique informatique.Nous montrons les mesures d'un système fabriqué qui comprend un détecteur de coïncidence résistif basé sur une mémoire, des circuits de ligne à retard et un transducteur ultrasonique entièrement personnalisable.Nous utilisons ces résultats expérimentaux pour calibrer les simulations au niveau du système.Ces simulations sont ensuite utilisées pour évaluer la résolution angulaire et l'efficacité énergétique du modèle de localisation d'objets.Les résultats montrent que notre approche peut être plusieurs ordres de grandeur plus économe en énergie que des microcontrôleurs effectuant la même tâche.
Nous entrons dans une ère d’informatique omniprésente où le nombre d’appareils et de systèmes déployés augmente de façon exponentielle pour nous aider dans notre vie quotidienne.Ces systèmes devraient fonctionner en continu, consommant le moins d'énergie possible tout en apprenant à interpréter les données qu'ils collectent à partir de plusieurs capteurs en temps réel et à produire une sortie binaire à la suite de tâches de classification ou de reconnaissance.L’une des étapes les plus importantes nécessaires pour atteindre cet objectif consiste à extraire des informations utiles et compactes à partir de données sensorielles bruyantes et souvent incomplètes.Les approches d'ingénierie conventionnelles échantillonnent généralement les signaux des capteurs à un rythme constant et élevé, générant de grandes quantités de données même en l'absence d'entrées utiles.De plus, ces méthodes utilisent des techniques complexes de traitement du signal numérique pour prétraiter les données d’entrée (souvent bruyantes).Au lieu de cela, la biologie propose des solutions alternatives pour traiter les données sensorielles bruitées en utilisant des approches économes en énergie, asynchrones et basées sur les événements (pics)2,3.L'informatique neuromorphique s'inspire des systèmes biologiques pour réduire les coûts de calcul en termes d'énergie et de mémoire par rapport aux méthodes traditionnelles de traitement du signal4,5,6.Récemment, des systèmes cérébraux innovants à usage général mettant en œuvre des réseaux neuronaux impulsionnels (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) ont été démontrés.Ces processeurs fournissent des solutions à faible consommation et à faible latence pour l'apprentissage automatique et la modélisation des circuits corticaux.Pour exploiter pleinement leur efficacité énergétique, ces processeurs neuromorphiques doivent être directement connectés à des capteurs événementiels12,13.Cependant, il n’existe aujourd’hui que quelques appareils tactiles qui fournissent directement des données événementielles.Des exemples marquants sont les capteurs visuels dynamiques (DVS) pour les applications de vision telles que le suivi et la détection de mouvements14,15,16,17, la cochlée en silicium18 et les capteurs auditifs neuromorphiques (NAS)19 pour le traitement du signal auditif, les capteurs olfactifs20 et de nombreux exemples21,22 de toucher..capteurs de textures.
Dans cet article, nous présentons un nouveau système de traitement auditif événementiel appliqué à la localisation d'objets.Ici, pour la première fois, nous décrivons un système de bout en bout pour la localisation d'objets obtenu en connectant un transducteur ultrasonique micro-usiné piézoélectrique (pMUT) de pointe avec un graphe informatique basé sur une mémoire résistive neuromorphique (RRAM).Les architectures informatiques en mémoire utilisant la RRAM constituent une solution prometteuse pour réduire la consommation d'énergie23,24,25,26,27,28,29.Leur non-volatilité inhérente (ne nécessitant pas de consommation d'énergie active pour stocker ou mettre à jour les informations) s'adapte parfaitement à la nature asynchrone et événementielle de l'informatique neuromorphique, ce qui entraîne une consommation d'énergie quasiment nulle lorsque le système est inactif.Les transducteurs ultrasoniques piézoélectriques micro-usinés (pMUT) sont des transducteurs ultrasoniques miniaturisés et peu coûteux à base de silicium, capables d'agir comme émetteurs et récepteurs30,31,32,33,34.Pour traiter les signaux reçus par les capteurs intégrés, nous nous sommes inspirés de la neuroanatomie de la chouette effraie.L'effraie des clochers Tyto alba est connue pour ses remarquables capacités de chasse nocturne grâce à un système de localisation auditive très efficace.Pour calculer l'emplacement de la proie, le système de localisation de la chouette effraie code le temps de vol (ToF) lorsque les ondes sonores de la proie atteignent chacune des oreilles ou des récepteurs sonores de la chouette.Compte tenu de la distance entre les oreilles, la différence entre les deux mesures ToF (Interaural Time Difference, ITD) permet de calculer analytiquement la position azimutale de la cible.Bien que les systèmes biologiques soient peu adaptés à la résolution d’équations algébriques, ils peuvent résoudre très efficacement les problèmes de localisation.Le système nerveux de la chouette effraie utilise un ensemble de neurones détecteurs de coïncidences (CD)35 (c'est-à-dire des neurones capables de détecter des corrélations temporelles entre des pointes qui se propagent vers le bas jusqu'à des terminaisons excitatrices convergentes)38,39 organisés en graphiques informatiques pour résoudre les problèmes de positionnement.
Des recherches antérieures ont montré que le matériel complémentaire métal-oxyde-semi-conducteur (CMOS) et le matériel neuromorphique basé sur RRAM inspiré du colliculus inférieur (« cortex auditif ») de la chouette effraie sont une méthode efficace pour calculer la position à l'aide de l'ITD13, 40, 41, 42, 43, 44, 45, 46. Cependant, le potentiel de systèmes neuromorphiques complets reliant les signaux auditifs aux graphiques informatiques neuromorphiques n'a pas encore été démontré.Le principal problème réside dans la variabilité inhérente aux circuits CMOS analogiques, qui affecte la précision de la détection des correspondances.Récemment, des implémentations numériques alternatives des estimations ITD47 ont été démontrées.Dans cet article, nous proposons d'utiliser la capacité de la RRAM à modifier la valeur de conductance de manière non volatile pour contrecarrer la variabilité des circuits analogiques.Nous avons mis en œuvre un système expérimental composé d'une membrane émettrice pMUT fonctionnant à une fréquence de 111,9 kHz, de deux membranes réceptrices pMUT (capteurs) simulant les oreilles d'effraie des clochers et d'une.Nous avons caractérisé expérimentalement le système de détection pMUT et le graphique informatique ITD basé sur RRAM pour tester notre système de localisation et évaluer sa résolution angulaire.
Nous comparons notre méthode avec une implémentation numérique sur un microcontrôleur effectuant la même tâche de localisation en utilisant des méthodes conventionnelles de formation de faisceaux ou neuromorphiques, ainsi qu'un réseau de portes programmables par l'utilisateur (FPGA) pour l'estimation ITD proposé dans la référence.47. Cette comparaison met en évidence l’efficacité énergétique compétitive du système neuromorphique analogique basé sur la RRAM proposé.
L’un des exemples les plus frappants d’un système de localisation d’objets précis et efficace se trouve dans la chouette effraie des clochers35,37,48.Au crépuscule et à l'aube, la chouette effraie des clochers (Tyto Alba) s'appuie principalement sur une écoute passive, recherchant activement de petites proies telles que des campagnols ou des souris.Ces experts auditifs peuvent localiser les signaux auditifs des proies avec une précision étonnante (environ 2°)35, comme le montre la Fig. 1a.Les effraies des clochers déduisent l'emplacement des sources sonores dans le plan azimutal (horizontal) à partir de la différence du temps de vol entrant (ITD) entre la source sonore et les deux oreilles.Le mécanisme informatique ITD a été proposé par Jeffress49,50 et repose sur la géométrie neuronale et nécessite deux composants clés : un axone, la fibre nerveuse d'un neurone agissant comme une ligne à retard et un ensemble de neurones détecteurs de coïncidence organisés en un système informatique.graphique comme le montre la figure 1b.Le son atteint l'oreille avec un délai dépendant de l'azimut (ITD).Le son est ensuite converti en un motif de pointes dans chaque oreille.Les axones des oreilles gauche et droite agissent comme des lignes à retard et convergent vers les neurones CD.Théoriquement, un seul neurone dans un ensemble de neurones appariés recevra une entrée à la fois (où le délai s'annule exactement) et se déclenchera au maximum (les cellules voisines se déclencheront également, mais à une fréquence plus basse).L'activation de certains neurones code la position de la cible dans l'espace sans convertir davantage l'ITD en angles.Ce concept est résumé dans la figure 1c : par exemple, si le son provient du côté droit lorsque le signal d'entrée de l'oreille droite parcourt un trajet plus long que celui de l'oreille gauche, en compensant le nombre d'ITD, par exemple, lorsque le neurone 2 correspond.En d’autres termes, chaque CD répond à un certain ITD (également appelé délai optimal) dû au retard axonal.Ainsi, le cerveau convertit les informations temporelles en informations spatiales.Des preuves anatomiques de ce mécanisme ont été trouvées37,51.Les neurones du macronoyau à phase verrouillée stockent des informations temporelles sur les sons entrants : comme leur nom l'indique, ils se déclenchent à certaines phases du signal.Les neurones détecteurs de coïncidence du modèle de Jeffress se trouvent dans le noyau laminaire.Ils reçoivent des informations des neurones macronucléaires, dont les axones agissent comme des lignes à retard.L'ampleur du retard fourni par la ligne à retard peut s'expliquer par la longueur de l'axone, ainsi que par un autre modèle de myélinisation qui modifie la vitesse de conduction.Inspirés du système auditif de la chouette effraie, nous avons développé un système biomimétique de localisation d'objets.Les deux oreilles sont représentées par deux récepteurs pMUT.La source sonore est l'émetteur pMUT situé entre eux (Fig. 1a) et le graphe informatique est formé d'une grille de circuits CD basés sur RRAM (Fig. 1b, vert), jouant le rôle de neurones CD dont les entrées sont retardées.à travers le circuit, les lignes à retard (bleues) agissent comme des axones dans la contrepartie biologique.Le système sensoriel proposé diffère par sa fréquence de fonctionnement de celui du hibou, dont le système auditif fonctionne dans la plage de 1 à 8 kHz, mais des capteurs pMUT fonctionnant à environ 117 kHz sont utilisés dans ce travail.Le choix d'un transducteur ultrasonore est réfléchi selon des critères techniques et d'optimisation.Premièrement, limiter la bande passante de réception à une seule fréquence améliore idéalement la précision des mesures et simplifie l’étape de post-traitement.De plus, le fonctionnement par ultrasons présente l'avantage que les impulsions émises ne sont pas audibles et ne dérangent donc pas les personnes, puisque leur plage auditive est d'environ 20 à 20 kHz.
la chouette effraie reçoit les ondes sonores d'une cible, dans ce cas une proie en mouvement.Le temps de vol (ToF) de l’onde sonore est différent pour chaque oreille (sauf si la proie se trouve directement devant le hibou).La ligne pointillée montre le chemin emprunté par les ondes sonores pour atteindre les oreilles de la chouette effraie.Les proies peuvent être localisées avec précision dans le plan horizontal en fonction de la différence de longueur entre les deux trajets acoustiques et de la différence de temps interaurale (ITD) correspondante (image de gauche inspirée de la réf. 74, copyright 2002, Society for Neuroscience).Dans notre système, l'émetteur pMUT (bleu foncé) génère des ondes sonores qui rebondissent sur la cible.Les ondes ultrasonores réfléchies sont reçues par deux récepteurs pMUT (vert clair) et traitées par le processeur neuromorphique (à droite).b Un modèle informatique ITD (Jeffress) décrivant comment les sons entrant dans les oreilles de la chouette effraie sont d'abord codés sous forme de pointes verrouillées en phase dans le grand noyau (NM), puis en utilisant une grille disposée géométriquement de neurones détecteurs appariés dans le noyau lamellaire.Transformation (Pays-Bas) (à gauche).Illustration d'un graphique informatique neuroITD combinant des lignes à retard et des neurones détecteurs de coïncidences, le système de biocapteur hibou peut être modélisé à l'aide de circuits neuromorphiques basés sur RRAM (à droite).c Schéma du mécanisme principal de Jeffress, en raison de la différence de ToF, les deux oreilles reçoivent des stimuli sonores à des moments différents et envoient des axones des deux extrémités vers le détecteur.Les axones font partie d'une série de neurones détecteurs de coïncidence (CD), dont chacun répond sélectivement à des entrées fortement corrélées au temps.En conséquence, seuls les CD dont les entrées arrivent avec la plus petite différence de temps sont excités au maximum (ITD est exactement compensé).Le CD encodera ensuite la position angulaire de la cible.
Les transducteurs ultrasoniques micromécaniques piézoélectriques sont des transducteurs ultrasoniques évolutifs qui peuvent être intégrés à la technologie CMOS avancée31,32,33,52 et ont une tension initiale et une consommation d'énergie inférieures à celles des transducteurs volumétriques traditionnels53.Dans notre travail, le diamètre de la membrane est de 880 µm et la fréquence de résonance est distribuée dans la plage de 110 à 117 kHz (Fig. 2a, voir Méthodes pour plus de détails).Dans un lot de dix appareils de test, le facteur de qualité moyen était d'environ 50 (réf. 31).La technologie a atteint sa maturité industrielle et n’est pas bioinspirée en soi.La combinaison d'informations provenant de différents films pMUT est une technique bien connue, et les informations d'angle peuvent être obtenues à partir des pMUT en utilisant, par exemple, des techniques de formation de faisceaux31,54.Cependant, le traitement du signal requis pour extraire les informations d’angle n’est pas adapté aux mesures à faible puissance.Le système proposé combine le circuit de prétraitement de données neuromorphiques pMUT avec un graphe informatique neuromorphique basé sur RRAM inspiré du modèle Jeffress (Figure 2c), fournissant une solution matérielle alternative économe en énergie et aux ressources limitées.Nous avons réalisé une expérience dans laquelle deux capteurs pMUT ont été placés à environ 10 cm l'un de l'autre pour exploiter les différents sons ToF reçus par les deux membranes réceptrices.Un pMUT agissant comme un émetteur se trouve entre les récepteurs.La cible était une plaque de PVC de 12 cm de large, située à une distance D devant le dispositif pMUT (Fig. 2b).Le récepteur enregistre le son réfléchi par l'objet et réagit autant que possible lors du passage de l'onde sonore.Répétez l'expérience en changeant la position de l'objet, déterminée par la distance D et l'angle θ.Inspiré d'un lien.55, nous proposons un prétraitement neuromorphique des signaux bruts pMUT pour convertir les ondes réfléchies en pics afin d'entrer un graphique informatique neuromorphique.Le ToF correspondant à l'amplitude du pic est extrait de chacun des deux canaux et codé comme le timing exact des pics individuels.Sur la fig.2c montre les circuits nécessaires pour interfacer le capteur pMUT avec un graphique informatique basé sur la RRAM : pour chacun des deux récepteurs pMUT, le signal brut est filtré passe-bande pour lisser, rectifier, puis transmis à l'intégrateur qui fuit en mode de dépassement.le seuil dynamique (Fig. 2d) crée un neurone d'événement de sortie (pic) et de déclenchement (LIF): le temps de pointe de sortie code le temps de vol détecté.Le seuil LIF est calibré par rapport à la réponse pMUT, réduisant ainsi la variabilité pMUT d'un appareil à l'autre.Avec cette approche, au lieu de stocker l’intégralité de l’onde sonore en mémoire et de la traiter plus tard, nous générons simplement un pic correspondant au ToF de l’onde sonore, qui constitue l’entrée du graphe informatique de la mémoire résistive.Les pointes sont envoyées directement aux lignes à retard et parallélisées avec des modules de détection de correspondance dans des graphiques de calcul neuromorphiques.Comme ils sont envoyés aux grilles des transistors, aucun circuit d'amplification supplémentaire n'est requis (voir la Fig. 4 supplémentaire pour plus de détails).Pour évaluer la précision angulaire de localisation fournie par pMUT et la méthode de traitement du signal proposée, nous avons mesuré l'ITD (c'est-à-dire la différence de temps entre les événements de pointe générés par deux récepteurs) lorsque la distance et l'angle de l'objet variaient.L'analyse ITD a ensuite été convertie en angles (voir Méthodes) et tracée en fonction de la position de l'objet : l'incertitude de l'ITD mesurée a augmenté avec la distance et l'angle par rapport à l'objet (Fig. 2e, f).Le principal problème est le rapport crête sur bruit (PNR) dans la réponse pMUT.Plus l'objet est éloigné, plus le signal acoustique est faible, réduisant ainsi le PNR (Fig. 2f, ligne verte).Une diminution du PNR entraîne une augmentation de l'incertitude dans l'estimation de l'ITD, entraînant une augmentation de la précision de la localisation (Fig. 2f, ligne bleue).Pour un objet situé à 50 cm de l'émetteur, la précision angulaire du système est d'environ 10°.Cette limitation imposée par les caractéristiques du capteur peut être améliorée.Par exemple, la pression envoyée par l'émetteur peut être augmentée, augmentant ainsi la tension pilotant la membrane pMUT.Une autre solution pour amplifier le signal transmis consiste à connecter plusieurs émetteurs 56. Ces solutions augmenteront la portée de détection au prix d'une augmentation des coûts énergétiques.Des améliorations supplémentaires peuvent être apportées du côté de la réception.Le bruit de fond du récepteur du pMUT peut être considérablement réduit en améliorant la connexion entre le pMUT et l'amplificateur du premier étage, ce qui se fait actuellement avec des connexions filaires et des câbles RJ45.
a Image d'un cristal pMUT avec six membranes de 880 µm intégrées au pas de 1,5 mm.b Schéma du dispositif de mesure.La cible est située à la position azimutale θ et à la distance D. L'émetteur pMUT génère un signal de 117,6 kHz qui rebondit sur la cible et atteint deux récepteurs pMUT avec un temps de vol (ToF) différent.Cette différence, définie comme la différence de temps inter-auriculaire (ITD), code la position d'un objet et peut être estimée en estimant la réponse maximale des deux capteurs récepteurs.c Schéma des étapes de prétraitement pour convertir le signal pMUT brut en séquences de pointes (c'est-à-dire entrée dans le graphe de calcul neuromorphique).Les capteurs pMUT et les graphiques informatiques neuromorphiques ont été fabriqués et testés, et le prétraitement neuromorphique est basé sur une simulation logicielle.d Réponse de la membrane pMUT à la réception d'un signal et sa transformation en domaine Spike.e Précision angulaire de localisation expérimentale en fonction de l'angle de l'objet (Θ) et de la distance (D) par rapport à l'objet cible.La méthode d’extraction ITD nécessite une résolution angulaire minimale d’environ 4°C.f Précision angulaire (ligne bleue) et rapport crête/bruit correspondant (ligne verte) par rapport à la distance de l'objet pour Θ = 0.
La mémoire résistive stocke les informations dans un état conducteur non volatile.Le principe de base de la méthode est que la modification du matériau au niveau atomique provoque une modification de sa conductivité électrique57.Ici, nous utilisons une mémoire résistive à base d'oxyde constituée d'une couche de 5 nm de dioxyde de hafnium prise en sandwich entre des électrodes supérieure et inférieure en titane et en nitrure de titane.La conductivité des dispositifs RRAM peut être modifiée en appliquant une forme d'onde courant/tension qui crée ou brise des filaments conducteurs de lacunes d'oxygène entre les électrodes.Nous avons co-intégré de tels dispositifs58 dans un processus CMOS standard de 130 nm pour créer un circuit neuromorphique reconfigurable fabriqué mettant en œuvre un détecteur de coïncidence et un circuit de ligne à retard (Fig. 3a).La nature non volatile et analogique du dispositif, combinée à la nature événementielle du circuit neuromorphique, minimise la consommation d'énergie.Le circuit dispose d'une fonction marche/arrêt instantané : il fonctionne immédiatement après sa mise sous tension, permettant de couper complètement l'alimentation lorsque le circuit est inactif.Les principaux éléments constitutifs du schéma proposé sont présentés sur la fig.3b.Il se compose de N structures parallèles à transistor unique (1T1R) qui codent des poids synaptiques à partir desquels des courants pondérés sont prélevés, injectés dans la synapse commune d'un intégrateur différentiel de paires (DPI)59, et enfin injectés dans la synapse avec intégration et fuite.neurone 60 activé (LIF) (voir Méthodes pour plus de détails).Les surtensions d'entrée sont appliquées à la grille de la structure 1T1R sous la forme d'une séquence d'impulsions de tension d'une durée de l'ordre de plusieurs centaines de nanosecondes.La mémoire résistive peut être placée dans un état hautement conducteur (HCS) en appliquant une référence positive externe à Vtop lorsque Vbottom est mis à la terre, et réinitialisée à un état faiblement conducteur (LCS) en appliquant une tension positive à Vbottom lorsque Vtop est mis à la terre.La valeur moyenne de HCS peut être contrôlée en limitant le courant de programmation (conformité) du SET (ICC) par la tension grille-source du transistor série (Fig. 3c).Les fonctions de la RRAM dans le circuit sont doubles : elles dirigent et pondèrent les impulsions d'entrée.
Image au microscope électronique à balayage (MEB) d'un dispositif RRAM HfO2 1T1R bleu intégré en technologie CMOS 130 nm avec transistors sélecteurs (largeur 650 nm) en vert.b Éléments de base du schéma neuromorphique proposé.Les impulsions de tension d'entrée (pics) Vin0 et Vin1 consomment du courant Iweight, qui est proportionnel aux états de conduction G0 et G1 de la structure 1T1R.Ce courant est injecté dans les synapses DPI et excite les neurones du LIF.Les RRAM G0 et G1 sont installées respectivement dans HCS et LCS.c Fonction de densité de conductance cumulée pour un groupe de dispositifs RRAM 16K en fonction de l'adaptation de courant ICC, qui contrôle efficacement le niveau de conduction.d Mesures du circuit en (a) montrant que G1 (dans le LCS) bloque efficacement l'entrée de Vin1 (vert), et qu'en effet la tension de membrane du neurone de sortie ne répond qu'à l'entrée bleue de Vin0.La RRAM détermine efficacement les connexions dans le circuit.e Mesure du circuit en (b) montrant l'effet de la valeur de conductance G0 sur la tension de membrane Vmem après application d'une impulsion de tension Vin0.Plus la conductance est élevée, plus la réponse est forte : ainsi, le dispositif RRAM implémente une pondération des connexions E/S.Des mesures ont été effectuées sur le circuit et démontrent la double fonction de la RRAM, de routage et de pondération des impulsions d'entrée.
Premièrement, puisqu'il existe deux états de conduction de base (HCS et LCS), les RRAM peuvent bloquer ou manquer les impulsions d'entrée lorsqu'elles sont respectivement dans les états LCS ou HCS.En conséquence, la RRAM détermine efficacement les connexions dans le circuit.C’est la base pour pouvoir reconfigurer l’architecture.Pour démontrer cela, nous décrirons une implémentation de circuit fabriqué du bloc de circuit sur la figure 3b.La RRAM correspondant à G0 est programmée dans le HCS, et la seconde RRAM G1 est programmée dans le LCS.Les impulsions d'entrée sont appliquées à la fois à Vin0 et Vin1.Les effets de deux séquences d'impulsions d'entrée ont été analysés dans les neurones de sortie en collectant la tension de la membrane neuronale et le signal de sortie à l'aide d'un oscilloscope.L'expérience a réussi lorsque seul le dispositif HCS (G0) était connecté à l'impulsion du neurone pour stimuler la tension membranaire.Ceci est démontré sur la figure 3d, où le train d'impulsions bleu provoque l'accumulation de tension de membrane sur le condensateur à membrane, tandis que le train d'impulsions vert maintient la tension de membrane constante.
La deuxième fonction importante de la RRAM est la mise en œuvre des poids de connexion.Grâce au réglage de conductance analogique de la RRAM, les connexions E/S peuvent être pondérées en conséquence.Dans la deuxième expérience, le dispositif G0 a été programmé sur différents niveaux de HCS et l'impulsion d'entrée a été appliquée à l'entrée VIn0.L'impulsion d'entrée tire un courant (Iweight) de l'appareil, qui est proportionnel à la conductance et à la chute de potentiel correspondante Vtop - Vbot.Ce courant pondéré est ensuite injecté dans les synapses DPI et les neurones de sortie LIF.La tension membranaire des neurones de sortie a été enregistrée à l'aide d'un oscilloscope et affichée sur la figure 3d.Le pic de tension de la membrane neuronale en réponse à une seule impulsion d'entrée est proportionnel à la conductance de la mémoire résistive, démontrant que la RRAM peut être utilisée comme élément programmable du poids synaptique.Ces deux tests préliminaires montrent que la plateforme neuromorphique proposée basée sur la RRAM est capable d'implémenter les éléments de base du mécanisme de Jeffress de base, à savoir la ligne à retard et le circuit détecteur de coïncidence.La plate-forme de circuit est construite en empilant des blocs successifs côte à côte, tels que les blocs de la figure 3b, et en connectant leurs portes à une ligne d'entrée commune.Nous avons conçu, fabriqué et testé une plateforme neuromorphique composée de deux neurones de sortie recevant deux entrées (Fig. 4a).Le schéma de circuit est présenté sur la figure 4b.La matrice RRAM supérieure 2 × 2 permet de diriger les impulsions d'entrée vers deux neurones de sortie, tandis que la matrice inférieure 2 × 2 permet des connexions récurrentes de deux neurones (N0, N1).Nous démontrons que cette plate-forme peut être utilisée avec une configuration de ligne à retard et deux fonctions de détecteur de coïncidence différentes, comme le montrent les mesures expérimentales sur les figures 4c-e.
Schéma de circuit formé de deux neurones de sortie N0 et N1 recevant deux entrées 0 et 1. Les quatre dispositifs supérieurs du réseau définissent des connexions synaptiques de l'entrée à la sortie, et les quatre cellules du bas définissent des connexions récurrentes entre les neurones.Les RRAM colorées représentent les appareils configurés dans le HCS à droite : les appareils du HCS autorisent les connexions et représentent les poids, tandis que les appareils du LCS bloquent les impulsions d'entrée et désactivent les connexions aux sorties.b Schéma du circuit (a) avec huit modules RRAM surlignés en bleu.c Les lignes à retard sont formées en utilisant simplement la dynamique des synapses DPI et des neurones LIF.La RRAM verte est réglée sur une conductance suffisamment élevée pour pouvoir induire un problème à la sortie après le délai d'entrée Δt.d Illustration schématique de la détection CD insensible à la direction de signaux dépendant du temps.Le neurone de sortie 1, N1, se déclenche sur les entrées 0 et 1 avec un court délai.e Circuit CD sensible à la direction, un circuit qui détecte lorsque l'entrée 1 s'approche de l'entrée 0 et arrive après l'entrée 0. La sortie du circuit est représentée par le neurone 1 (N1).
La ligne à retard (Figure 4c) utilise simplement le comportement dynamique des synapses DPI et des neurones LIF pour reproduire le pic d'entrée de Vin1 à Vout1 en retardant Tdel.Seule la RRAM G3 connectée à Vin1 et Vout1 est programmée en HCS, le reste des RRAM est programmé en LCS.Le dispositif G3 a été programmé pour 92,6 µs pour garantir que chaque impulsion d'entrée augmente suffisamment la tension de membrane du neurone de sortie pour atteindre le seuil et générer une impulsion de sortie retardée.Le délai Tdel est déterminé par les constantes de temps synaptiques et neuronales.Les détecteurs de coïncidence détectent l'apparition de signaux d'entrée corrélés dans le temps mais distribués dans l'espace.Le CD insensible à la direction repose sur des entrées individuelles convergeant vers un neurone de sortie commun (Figure 4d).Les deux RRAM connectant Vin0 et Vin1 à Vout1, G2 et G4 respectivement sont programmées pour une conduction élevée.L'arrivée simultanée de pics sur Vin0 et Vin1 augmente la tension de la membrane du neurone N1 au-dessus du seuil requis pour générer le pic de sortie.Si les deux entrées sont trop éloignées dans le temps, la charge sur la tension de membrane accumulée par la première entrée peut avoir le temps de décroître, empêchant le potentiel de membrane N1 d'atteindre la valeur seuil.G1 et G2 sont programmés pour environ 65 µs, ce qui garantit qu'une seule surtension d'entrée n'augmente pas suffisamment la tension de la membrane pour provoquer une surtension de sortie.La détection de coïncidences entre des événements répartis dans l'espace et dans le temps est une opération fondamentale utilisée dans un large éventail de tâches de détection telles que l'évitement d'obstacles basé sur le flux optique et la localisation de sources sonores.Ainsi, le calcul de CD sensibles et insensibles à la direction constitue un élément fondamental pour la construction de systèmes de localisation visuelle et audio.Comme le montrent les caractéristiques des constantes de temps (voir la Fig. 2 supplémentaire), le circuit proposé met en œuvre une plage appropriée d'échelles de temps de quatre ordres de grandeur.Ainsi, il peut répondre simultanément aux exigences des systèmes visuels et sonores.Le CD directionnel est un circuit sensible à l'ordre spatial d'arrivée des impulsions : de droite à gauche et vice versa.Il s’agit d’un élément fondamental du réseau de détection de mouvement de base du système visuel de la drosophile, utilisé pour calculer les directions de mouvement et détecter les collisions62.Pour obtenir un CD sensible à la direction, deux entrées doivent être dirigées vers deux neurones différents (N0, N1) et une connexion directionnelle doit être établie entre eux (Fig. 4e).Lorsque la première entrée est reçue, NO réagit en augmentant la tension aux bornes de sa membrane au-dessus de la valeur seuil et en envoyant une surtension.Cet événement de sortie, à son tour, déclenche N1 grâce à la connexion directionnelle surlignée en vert.Si un événement d'entrée Vin1 arrive et excite N1 alors que sa tension de membrane est encore élevée, N1 génère un événement de sortie indiquant qu'une correspondance a été trouvée entre les deux entrées.Les connexions directionnelles permettent au N1 d'émettre une sortie uniquement si l'entrée 1 vient après l'entrée 0. G0, G3 et G7 sont programmés respectivement à 73,5 µS, 67,3 µS et 40,2 µS, garantissant qu'un seul pic sur l'entrée Vin0 provoque un retard. pic de sortie, tandis que le potentiel de membrane de N1 n'atteint le seuil que lorsque les deux salves d'entrée arrivent en synchronisation..
La variabilité est une source d'imperfection dans les systèmes neuromorphiques modélisés63,64,65.Cela conduit à un comportement hétérogène des neurones et des synapses.Des exemples de tels inconvénients incluent une variabilité de 30 % (écart type moyen) du gain d’entrée, de la constante de temps et de la période réfractaire, pour n’en citer que quelques-uns (voir Méthodes).Ce problème est encore plus prononcé lorsque plusieurs circuits neuronaux sont connectés ensemble, comme un CD sensible à l'orientation composé de deux neurones.Pour fonctionner correctement, les constantes de temps de gain et de décroissance des deux neurones doivent être aussi similaires que possible.Par exemple, une grande différence de gain d’entrée peut provoquer une réaction excessive d’un neurone à une impulsion d’entrée alors que l’autre neurone répond à peine.Sur la fig.La figure 5a montre que des neurones sélectionnés au hasard répondent différemment à la même impulsion d'entrée.Cette variabilité neuronale est pertinente, par exemple, pour le fonctionnement des CD sensibles à la direction.Dans le schéma montré à la fig.5b, c, le gain d'entrée du neurone 1 est bien supérieur à celui du neurone 0. Ainsi, le neurone 0 nécessite trois impulsions d'entrée (au lieu de 1) pour atteindre le seuil, et le neurone 1, comme prévu, a besoin de deux événements d'entrée.La mise en œuvre d’une plasticité biomimétique dépendant du temps (STDP) est un moyen possible d’atténuer l’impact des circuits neuronaux et synaptiques imprécis et lents sur les performances du système43.Nous proposons ici d'utiliser le comportement plastique de la mémoire résistive comme moyen d'influencer l'amélioration de l'entrée neuronale et de réduire les effets de variabilité dans les circuits neuromorphiques.Comme le montre la fig.4e, les niveaux de conductance associés à la masse synaptique RRAM modulaient efficacement la réponse en tension de la membrane neurale correspondante.Nous utilisons une stratégie de programmation itérative RRAM.Pour une entrée donnée, les valeurs de conductance des poids synaptiques sont reprogrammées jusqu'à obtenir le comportement cible du circuit (voir Méthodes).
a Mesures expérimentales de la réponse de neuf neurones individuels sélectionnés au hasard à la même impulsion d'entrée.La réponse varie selon les populations, affectant le gain d'entrée et la constante de temps.b Mesures expérimentales de l'influence des neurones sur la variabilité des neurones affectant la CD sensible à la direction.Les deux neurones de sortie CD sensibles à la direction répondent différemment aux stimuli d'entrée en raison de la variabilité neurone à neurone.Le neurone 0 a un gain d'entrée inférieur à celui du neurone 1, il faut donc trois impulsions d'entrée (au lieu de 1) pour créer un pic de sortie.Comme prévu, le neurone 1 atteint le seuil avec deux événements d'entrée.Si l'entrée 1 arrive Δt = 50 µs après le déclenchement du neurone 0, CD reste silencieux car Δt est supérieur à la constante de temps du neurone 1 (environ 22 µs).c est réduit de Δt = 20 µs, de sorte que l'entrée 1 atteint son maximum lorsque le déclenchement du neurone 1 est encore élevé, ce qui entraîne la détection simultanée de deux événements d'entrée.
Les deux éléments utilisés dans la colonne de calcul ITD sont la ligne à retard et le CD insensible à la direction.Les deux circuits nécessitent un étalonnage précis pour garantir de bonnes performances de positionnement des objets.La ligne à retard doit fournir une version retardée avec précision du pic d'entrée (Fig. 6a) et le CD doit être activé uniquement lorsque l'entrée tombe dans la plage de détection cible.Pour la ligne à retard, les poids synaptiques des connexions d'entrée (G3 sur la figure 4a) ont été reprogrammés jusqu'à ce que le retard cible soit obtenu.Définissez une tolérance autour du délai cible pour arrêter le programme : plus la tolérance est petite, plus il est difficile de définir avec succès la ligne de retard.Sur la fig.La figure 6b montre les résultats du processus d'étalonnage de la ligne à retard : on peut voir que le schéma proposé peut fournir exactement tous les retards requis dans le schéma de conception (de 10 à 300 μs).Le nombre maximum d'itérations d'étalonnage affecte la qualité du processus d'étalonnage : 200 itérations peuvent réduire l'erreur à moins de 5 %.Une itération d'étalonnage correspond à une opération de réglage/réinitialisation d'une cellule RRAM.Le processus de réglage est également essentiel pour améliorer la précision de la détection instantanée des événements de fermeture du module CD.Il a fallu dix itérations d'étalonnage pour atteindre un taux de vrais positifs (c'est-à-dire le taux d'événements correctement identifiés comme pertinents) supérieur à 95 % (ligne bleue sur la figure 6c).Cependant, le processus de réglage n’a pas affecté les événements faussement positifs (c’est-à-dire la fréquence des événements identifiés par erreur comme pertinents).Une autre méthode observée dans les systèmes biologiques pour surmonter les contraintes de temps liées aux voies d'activation rapide est la redondance (c'est-à-dire que de nombreuses copies du même objet sont utilisées pour remplir une fonction donnée).Inspirés par la biologie66, nous avons placé plusieurs circuits CD dans chaque module CD entre les deux lignes à retard pour réduire l'impact des faux positifs.Comme le montre la fig.6c (ligne verte), le placement de trois éléments CD dans chaque module CD peut réduire le taux de fausses alarmes à moins de 10–2.
a Effet de la variabilité neuronale sur les circuits de lignes à retard.b Les circuits de lignes à retard peuvent être adaptés à des retards importants en réglant les constantes de temps des neurones LIF et des synapses DPI correspondants sur des valeurs élevées.L'augmentation du nombre d'itérations de la procédure de calibrage RRAM a permis d'améliorer significativement la précision du retard cible : 200 itérations ont réduit l'erreur à moins de 5 %.Une itération correspond à une opération SET/RESET sur une cellule RRAM.Chaque module CD du modèle c Jeffress peut être implémenté en utilisant N éléments CD parallèles pour une plus grande flexibilité en ce qui concerne les pannes du système.d Plus d'itérations d'étalonnage RRAM augmentent le taux de vrais positifs (ligne bleue), tandis que le taux de faux positifs est indépendant du nombre d'itérations (ligne verte).Placer davantage d'éléments CD en parallèle évite la fausse détection des correspondances de modules CD.
Nous évaluons maintenant les performances et la consommation d'énergie du système de localisation d'objets intégré de bout en bout illustré à la figure 2 en utilisant des mesures des propriétés acoustiques du capteur pMUT, du CD et des circuits de ligne à retard qui composent le graphe informatique neuromorphique.Modèle Jeffress (Fig. 1a).Quant au graphe de calcul neuromorphique, plus le nombre de modules CD est grand, meilleure est la résolution angulaire, mais aussi plus l'énergie du système est élevée (Fig. 7a).Un compromis peut être atteint en comparant la précision des composants individuels (capteurs pMUT, neurones et circuits synaptiques) avec la précision de l'ensemble du système.La résolution de la ligne à retard est limitée par les constantes de temps des synapses et des neurones simulés, qui dans notre schéma dépassent 10 µs, ce qui correspond à une résolution angulaire de 4° (voir Méthodes).Des nœuds plus avancés dotés de la technologie CMOS permettront la conception de circuits neuronaux et synaptiques avec des constantes de temps plus faibles, ce qui entraînera une plus grande précision des éléments de ligne à retard.Cependant, dans notre système, la précision est limitée par l'erreur pMUT dans l'estimation de la position angulaire, soit 10° (ligne horizontale bleue sur la figure 7a).Nous avons fixé le nombre de modules CD à 40, ce qui correspond à une résolution angulaire d'environ 4 °, c'est-à-dire la précision angulaire du graphique de calcul (ligne horizontale bleu clair sur la figure 7a).Au niveau du système, cela donne une résolution de 4° et une précision de 10° pour les objets situés à 50 cm devant le système de capteurs.Cette valeur est comparable aux systèmes de localisation sonore neuromorphiques rapportés dans la réf.67. Une comparaison du système proposé avec l'état de l'art figure dans le tableau supplémentaire 1. L'ajout de pMUT supplémentaires, l'augmentation du niveau du signal acoustique et la réduction du bruit électronique sont des moyens possibles d'améliorer encore la précision de la localisation.) est estimé à 9,7.nz.55. Étant donné 40 unités CD sur le graphique informatique, la simulation SPICE a estimé l'énergie par opération (c'est-à-dire l'énergie de positionnement de l'objet) à 21,6 nJ.Le système neuromorphique est activé uniquement lorsqu'un événement d'entrée arrive, c'est-à-dire lorsqu'une onde acoustique atteint un récepteur pMUT et dépasse le seuil de détection, sinon il reste inactif.Cela évite une consommation d'énergie inutile lorsqu'il n'y a pas de signal d'entrée.En considérant une fréquence d'opérations de localisation de 100 Hz et une période d'activation de 300 µs par opération (ITD maximum possible), la consommation électrique du graphe de calcul neuromorphique est de 61,7 nW.Avec le prétraitement neuromorphique appliqué à chaque récepteur pMUT, la consommation électrique de l'ensemble du système atteint 81,6 nW.Pour comprendre l'efficacité énergétique de l'approche neuromorphique proposée par rapport au matériel conventionnel, nous avons comparé ce nombre à l'énergie requise pour effectuer la même tâche sur un microcontrôleur moderne de faible consommation utilisant une compétence de formation de faisceaux neuromorphique ou conventionnelle68.L'approche neuromorphique considère un étage de convertisseur analogique-numérique (ADC), suivi d'un filtre passe-bande et d'un étage d'extraction d'enveloppe (méthode Teeger-Kaiser).Enfin, une opération de seuil est effectuée pour extraire le ToF.Nous avons omis le calcul de l'ITD basé sur ToF et la conversion en position angulaire estimée puisque cela se produit une fois pour chaque mesure (voir Méthodes).En supposant un taux d'échantillonnage de 250 kHz sur les deux canaux (récepteurs pMUT), 18 opérations de filtre passe-bande, 3 opérations d'extraction d'enveloppe et 1 opération de seuil par échantillon, la consommation électrique totale est estimée à 245 microwatts.Celui-ci utilise le mode basse consommation du microcontrôleur69, qui s'active lorsque les algorithmes ne s'exécutent pas, ce qui réduit la consommation d'énergie à 10,8 µW.La consommation électrique de la solution de traitement du signal par formation de faisceau proposée dans la référence.31, avec 5 récepteurs pMUT et 11 faisceaux uniformément répartis dans le plan azimut [-50°, +50°], est de 11,71 mW (voir la section Méthodes pour plus de détails).De plus, nous rapportons la consommation électrique d'un codeur de différence de temps (TDE) basé sur FPGA47 estimée à 1,5 mW en remplacement du modèle Jeffress pour la localisation d'objets.Sur la base de ces estimations, l'approche neuromorphique proposée réduit la consommation d'énergie de cinq ordres de grandeur par rapport à un microcontrôleur utilisant des techniques classiques de formation de faisceaux pour les opérations de localisation d'objets.L'adoption d'une approche neuromorphique du traitement du signal sur un microcontrôleur classique réduit la consommation d'énergie d'environ deux ordres de grandeur.L'efficacité du système proposé peut s'expliquer par la combinaison d'un circuit analogique asynchrone à mémoire résistive capable d'effectuer des calculs en mémoire et par l'absence de conversion analogique-numérique requise pour percevoir les signaux.
a Résolution angulaire (bleu) et consommation électrique (vert) de l'opération de localisation en fonction du nombre de modules CD.La barre horizontale bleu foncé représente la précision angulaire du PMUT et la barre horizontale bleu clair représente la précision angulaire du graphique informatique neuromorphique.b Consommation d'énergie du système proposé et comparaison avec les deux implémentations de microcontrôleurs discutées et l'implémentation numérique du Time Difference Encoder (TDE) 47 FPGA.
Pour minimiser la consommation d'énergie du système de localisation de cible, nous avons conçu, conçu et mis en œuvre un circuit neuromorphique efficace basé sur la RRAM et piloté par les événements, qui traite les informations de signal générées par les capteurs intégrés pour calculer la position de l'objet cible en temps réel. temps..Alors que les méthodes de traitement traditionnelles échantillonnent en permanence les signaux détectés et effectuent des calculs pour extraire des informations utiles, la solution neuromorphique proposée effectue des calculs de manière asynchrone à mesure que les informations utiles arrivent, maximisant ainsi l'efficacité énergétique du système de cinq ordres de grandeur.De plus, nous mettons en évidence la flexibilité des circuits neuromorphiques basés sur la RRAM.La capacité de la RRAM à modifier la conductance de manière non volatile (plasticité) compense la variabilité inhérente des circuits synaptiques et neuronaux du DPI analogique à très faible consommation.Cela rend ce circuit basé sur RRAM polyvalent et puissant.Notre objectif n’est pas d’extraire des fonctions ou des modèles complexes à partir de signaux, mais de localiser des objets en temps réel.Notre système peut également compresser efficacement le signal et éventuellement l'envoyer vers d'autres étapes de traitement pour prendre des décisions plus complexes si nécessaire.Dans le cadre d'applications de localisation, notre étape de prétraitement neuromorphique peut fournir des informations sur la localisation des objets.Ces informations peuvent être utilisées, par exemple, pour la détection de mouvements ou la reconnaissance de gestes.Nous soulignons l’importance de combiner des capteurs à très faible consommation tels que les pMUT avec une électronique à très faible consommation.Pour cela, les approches neuromorphiques ont été essentielles car elles nous ont conduit à développer de nouvelles implémentations de circuits de méthodes informatiques biologiquement inspirées telles que le modèle de Jeffress.Dans le contexte des applications de fusion de capteurs, notre système peut être combiné avec plusieurs capteurs basés sur des événements différents pour obtenir des informations plus précises.Bien que les hiboux soient excellents pour trouver des proies dans l’obscurité, ils ont une excellente vue et effectuent une recherche combinée auditive et visuelle avant d’attraper une proie70.Lorsqu'un neurone auditif particulier se déclenche, le hibou reçoit les informations dont il a besoin pour déterminer dans quelle direction commencer sa recherche visuelle, concentrant ainsi son attention sur une petite partie de la scène visuelle.Une combinaison de capteurs visuels (caméra DVS) et d'un capteur d'écoute proposé (basé sur pMUT) devrait être explorée pour le développement de futurs agents autonomes.
Le capteur pMUT est situé sur un PCB avec deux récepteurs distants d'environ 10 cm, et l'émetteur est situé entre les récepteurs.Dans ce travail, chaque membrane est une structure bimorphe suspendue constituée de deux couches de nitrure d'aluminium piézoélectrique (AlN) de 800 nm d'épaisseur prises en sandwich entre trois couches de molybdène (Mo) de 200 nm d'épaisseur et recouvertes d'une couche de 200 nm d'épaisseur.la couche supérieure de SiN passivant comme décrit dans la référence.71. Les électrodes intérieures et extérieures sont appliquées sur les couches inférieure et supérieure de molybdène, tandis que l'électrode centrale en molybdène est sans motif et utilisée comme masse, ce qui donne une membrane avec quatre paires d'électrodes.
Cette architecture permet l'utilisation d'une déformation de membrane commune, ce qui se traduit par une sensibilité d'émission et de réception améliorée.Un tel pMUT présente généralement une sensibilité d’excitation de 700 nm/V en tant qu’émetteur, fournissant une pression de surface de 270 Pa/V.En tant que récepteur, un film pMUT présente une sensibilité aux courts-circuits de 15 nA/Pa, directement liée au coefficient piézoélectrique de l'AlN.La variabilité technique de la tension dans la couche d'AlN entraîne une modification de la fréquence de résonance, qui peut être compensée en appliquant une polarisation continue au pMUT.La sensibilité DC a été mesurée à 0,5 kHz/V.Pour la caractérisation acoustique, un microphone est utilisé devant le pMUT.
Pour mesurer l'impulsion d'écho, nous avons placé une plaque rectangulaire d'une superficie d'environ 50 cm2 devant le pMUT pour réfléchir les ondes sonores émises.La distance entre les plaques et l'angle par rapport au plan pMUT sont contrôlés à l'aide de supports spéciaux.Une source de tension Tectronix CPX400DP polarise trois membranes pMUT, réglant la fréquence de résonance à 111,9 kHz31, tandis que les émetteurs sont pilotés par un générateur d'impulsions Tectronix AFG 3102 réglé sur la fréquence de résonance (111,9 kHz) et un rapport cyclique de 0,01.Les courants lus sur les quatre ports de sortie de chaque récepteur pMUT sont convertis en tensions à l'aide d'une architecture spéciale de courant et de tension différentiels, et les signaux résultants sont numérisés par le système d'acquisition de données Spektrum.La limite de détection a été caractérisée par l'acquisition du signal pMUT dans différentes conditions : nous avons déplacé le réflecteur à différentes distances [30, 40, 50, 60, 80, 100] cm et modifié l'angle de support pMUT ([0, 20, 40] o ) La figure 2b montre la résolution temporelle de détection ITD en fonction de la position angulaire correspondante en degrés.
Cet article utilise deux circuits RRAM disponibles dans le commerce.Le premier est un réseau de 16 384 (16 000) dispositifs (128 × 128 dispositifs) dans une configuration 1T1R avec un transistor et une résistance.La deuxième puce est la plate-forme neuromorphique illustrée à la figure 4a.La cellule RRAM est constituée d'un film HfO2 de 5 nm d'épaisseur intégré dans un empilement TiN/HfO2/Ti/TiN.La pile RRAM est intégrée au back-of-line (BEOL) du processus CMOS standard de 130 nm.Les circuits neuromorphiques basés sur la RRAM présentent un défi de conception pour les systèmes électroniques entièrement analogiques dans lesquels les dispositifs RRAM coexistent avec la technologie CMOS traditionnelle.En particulier, l'état de conduction du dispositif RRAM doit être lu et utilisé comme variable de fonction pour le système.À cette fin, un circuit a été conçu, fabriqué et testé qui lit le courant provenant du dispositif lorsqu'une impulsion d'entrée est reçue et utilise ce courant pour pondérer la réponse d'une synapse d'intégrateur de paires différentielles (DPI).Ce circuit est représenté sur la figure 3a, qui représente les éléments de base de la plate-forme neuromorphique de la figure 4a.Une impulsion d'entrée active la porte du dispositif 1T1R, induisant un courant à travers la RRAM proportionnel à la conductance G du dispositif (Iweight = G(Vtop – Vx)).L'entrée inverseuse du circuit amplificateur opérationnel (ampli-op) a une tension de polarisation continue constante Vtop.La rétroaction négative de l'ampli-op fournira Vx = Vtop en fournissant un courant égal à partir de M1.Le poids I actuel récupéré de l’appareil est injecté dans la synapse DPI.Un courant plus fort entraînera une dépolarisation accrue, de sorte que la conductance RRAM met en œuvre efficacement les poids synaptiques.Ce courant synaptique exponentiel est injecté à travers le condensateur membranaire des neurones à fuite d'intégration et d'excitation (LIF), où il est intégré sous forme de tension.Si la tension de seuil de la membrane (la tension de commutation de l'onduleur) est dépassée, la partie sortie du neurone est activée, produisant un pic de sortie.Cette impulsion revient et shunte le condensateur membranaire du neurone vers la masse, provoquant sa décharge.Ce circuit est ensuite complété par un expanseur d'impulsions (non représenté sur la figure 3a), qui façonne l'impulsion de sortie du neurone LIF en fonction de la largeur d'impulsion cible.Des multiplexeurs sont également intégrés à chaque ligne, permettant d'appliquer une tension aux électrodes supérieure et inférieure du dispositif RRAM.
Les tests électriques comprennent l'analyse et l'enregistrement du comportement dynamique des circuits analogiques, ainsi que la programmation et la lecture des dispositifs RRAM.Les deux étapes nécessitent des outils spéciaux, tous connectés en même temps à la carte capteur.L'accès aux dispositifs RRAM dans les circuits neuromorphiques s'effectue à partir d'outils externes via un multiplexeur (MUX).Le MUX sépare la cellule 1T1R du reste du circuit auquel elle appartient, permettant à l'appareil d'être lu et/ou programmé.Pour programmer et lire les périphériques RRAM, une machine Keithley 4200 SCS est utilisée conjointement avec un microcontrôleur Arduino : le premier pour une génération d'impulsions et une lecture de courant précises, et le second pour un accès rapide aux éléments 1T1R individuels dans la matrice de mémoire.La première opération consiste à former le périphérique RRAM.Les cellules sont sélectionnées une par une et une tension positive est appliquée entre les électrodes supérieure et inférieure.Dans ce cas, le courant est limité à l'ordre de quelques dizaines de microampères du fait de la fourniture de la tension de grille correspondante au transistor sélecteur.La cellule RRAM peut ensuite alterner entre un état faiblement conducteur (LCS) et un état hautement conducteur (HCS) à l'aide des opérations RESET et SET, respectivement.L'opération SET est réalisée en appliquant une impulsion de tension rectangulaire d'une durée de 1 μs et une tension de crête de 2,0 à 2,5 V à l'électrode supérieure, et une impulsion de synchronisation de forme similaire avec une tension de crête de 0,9 à 1,3 V à la grille du transistor sélecteur.Ces valeurs permettent de moduler la conductance RRAM à des intervalles de 20 à 150 µs.Pour RESET, une impulsion de crête de 3 V de 1 µs de large est appliquée à l'électrode inférieure (ligne de bit) de la cellule lorsque la tension de grille est comprise entre 2,5 et 3,0 V. Les entrées et sorties des circuits analogiques sont des signaux dynamiques. .Pour l'entrée, nous avons entrelacé deux générateurs d'impulsions HP 8110 avec des générateurs de signaux Tektronix AFG3011.L'impulsion d'entrée a une largeur de 1 µs et un front montant/descendant de 50 ns.Ce type d'impulsion est supposé être un problème typique dans les circuits analogiques basés sur des problèmes.Quant au signal de sortie, le signal de sortie a été enregistré à l'aide d'un oscilloscope Teledyne LeCroy 1 GHz.Il a été prouvé que la vitesse d'acquisition d'un oscilloscope n'est pas un facteur limitant dans l'analyse et l'acquisition des données de circuit.
Utiliser la dynamique de l’électronique analogique pour simuler le comportement des neurones et des synapses constitue une solution élégante et efficace pour améliorer l’efficacité informatique.L’inconvénient de cette sous-couche informatique est qu’elle varie d’un schéma à l’autre.Nous avons quantifié la variabilité des neurones et des circuits synaptiques (Fig. Supplémentaire 2a, b).De toutes les manifestations de la variabilité, celles associées aux constantes de temps et au gain d’entrée ont le plus grand impact au niveau du système.La constante de temps du neurone LIF et de la synapse DPI est déterminée par un circuit RC, où la valeur de R est contrôlée par une tension de polarisation appliquée à la grille du transistor (Vlk pour le neurone et Vtau pour la synapse), déterminant la taux de fuite.Le gain d'entrée est défini comme la tension maximale atteinte par les condensateurs à membrane synaptique et neuronale stimulés par une impulsion d'entrée.Le gain d'entrée est contrôlé par un autre transistor de polarisation qui module le courant d'entrée.Une simulation Monte Carlo calibrée sur le processus 130 nm de ST Microelectronics a été réalisée pour collecter des statistiques de gain d'entrée et de constante de temps.Les résultats sont présentés dans la Figure 2 supplémentaire, où le gain d'entrée et la constante de temps sont quantifiés en fonction de la tension de polarisation contrôlant le taux de fuite.Les marqueurs verts quantifient l’écart type de la constante de temps par rapport à la moyenne.Les neurones et les circuits synaptiques étaient capables d'exprimer une large gamme de constantes de temps comprises entre 10-5-10-2 s, comme le montre le schéma supplémentaire de la Fig.L'amplification d'entrée (Fig. 2e, d supplémentaire) de la variabilité neuronale et synapse était d'environ 8 % et 3 %, respectivement.Une telle déficience est bien documentée dans la littérature : diverses mesures ont été effectuées sur le réseau de puces DYNAP pour évaluer l'inadéquation entre les populations de neurones LIF63.Les synapses de la puce à signaux mixtes BrainScale ont été mesurées et leurs incohérences analysées, et une procédure d'étalonnage a été proposée pour réduire l'effet de la variabilité au niveau du système64.
La fonction de la RRAM dans les circuits neuromorphiques est double : définition de l'architecture (routage des entrées vers les sorties) et mise en œuvre de poids synaptiques.Cette dernière propriété peut être utilisée pour résoudre le problème de la variabilité des circuits neuromorphiques modélisés.Nous avons développé une procédure d'étalonnage simple qui consiste à reprogrammer le dispositif RRAM jusqu'à ce que le circuit analysé réponde à certaines exigences.Pour une entrée donnée, la sortie est surveillée et la RRAM est reprogrammée jusqu'à ce que le comportement cible soit atteint.Un temps d'attente de 5 s a été introduit entre les opérations de programmation pour résoudre le problème de relaxation de la RRAM entraînant des fluctuations transitoires de conductance (informations supplémentaires).Les poids synaptiques sont ajustés ou calibrés en fonction des exigences du circuit neuromorphique modélisé.La procédure d'étalonnage est résumée dans des algorithmes supplémentaires [1, 2] qui se concentrent sur deux caractéristiques fondamentales des plates-formes neuromorphiques, les lignes à retard et le CD insensible à la direction.Pour un circuit avec une ligne à retard, le comportement cible est de fournir une impulsion de sortie avec un retard Δt.Si le retard réel du circuit est inférieur à la valeur cible, le poids synaptique de G3 doit être réduit (G3 doit être réinitialisé puis réglé sur un courant d'adaptation Icc inférieur).A l'inverse, si le retard réel est supérieur à la valeur cible, la conductance de G3 doit être augmentée (G3 doit d'abord être réinitialisé puis réglé à une valeur Icc plus élevée).Ce processus est répété jusqu'à ce que le délai généré par le circuit corresponde à la valeur cible et qu'une tolérance soit définie pour arrêter le processus d'étalonnage.Pour les CD insensibles à l'orientation, deux périphériques RRAM, G1 et G3, sont impliqués dans le processus d'étalonnage.Ce circuit possède deux entrées, Vin0 et Vin1, retardées de dt.Le circuit ne doit répondre qu'aux retards inférieurs à la plage de correspondance [0,dtCD].S'il n'y a pas de pic de sortie, mais que le pic d'entrée est proche, les deux dispositifs RRAM doivent être boostés pour aider le neurone à atteindre le seuil.À l’inverse, si le circuit répond à un retard dépassant la plage cible de dtCD, la conductance doit être réduite.Répétez le processus jusqu'à ce que le comportement correct soit obtenu.Le courant de conformité peut être modulé par le circuit analogique intégré en réf.72.73.Grâce à ce circuit intégré, de telles procédures peuvent être effectuées périodiquement pour calibrer le système ou le réutiliser pour une autre application.
Nous évaluons la consommation électrique de notre approche de traitement du signal neuromorphique sur un microcontrôleur standard 32 bits68.Dans cette évaluation, nous supposons un fonctionnement avec la même configuration que dans cet article, avec un émetteur pMUT et deux récepteurs pMUT.Cette méthode utilise un filtre passe-bande, suivi d'une étape d'extraction d'enveloppe (Teeger-Kaiser), et enfin une opération de seuillage est appliquée au signal pour extraire le temps de vol.Le calcul de l'ITD et sa conversion en angles de détection sont omis dans l'évaluation.Nous considérons une implémentation de filtre passe-bande utilisant un filtre à réponse impulsionnelle infinie du 4ème ordre nécessitant 18 opérations en virgule flottante.L'extraction d'enveloppe utilise trois opérations supplémentaires à virgule flottante et la dernière opération est utilisée pour définir le seuil.Un total de 22 opérations en virgule flottante sont nécessaires pour prétraiter le signal.Le signal transmis est une courte rafale de forme d'onde sinusoïdale de 111,9 kHz générée toutes les 10 ms, ce qui donne une fréquence de fonctionnement de positionnement de 100 Hz.Nous avons utilisé un taux d'échantillonnage de 250 kHz pour nous conformer à Nyquist et une fenêtre de 6 ms pour chaque mesure afin de capturer une plage de 1 mètre.Notez que 6 millisecondes est le temps de vol d’un objet situé à 1 mètre.Cela fournit une consommation électrique de 180 µW pour une conversion A/N à 0,5 MSPS.Le prétraitement du signal est de 6,60 MIPS (instructions par seconde), générant 0,75 mW.Cependant, le microcontrôleur peut passer à un mode faible consommation 69 lorsque l'algorithme n'est pas en cours d'exécution.Ce mode offre une consommation électrique statique de 10,8 μW et un temps de réveil de 113 μs.Étant donné une fréquence d'horloge de 84 MHz, le microcontrôleur effectue toutes les opérations de l'algorithme neuromorphique en 10 ms et l'algorithme calcule un rapport cyclique de 6,3 %, utilisant ainsi un mode faible consommation.La dissipation de puissance résultante est de 244,7 μW.Notez que nous omettons la sortie ITD de ToF et la conversion en angle de détection, sous-estimant ainsi la consommation électrique du microcontrôleur.Cela apporte une valeur supplémentaire à l’efficacité énergétique du système proposé.Comme condition de comparaison supplémentaire, nous évaluons la consommation électrique des méthodes classiques de formation de faisceaux proposées dans la référence.31,54 lorsqu'il est intégré dans le même microcontrôleur68 à une tension d'alimentation de 1,8 V.Cinq membranes pMUT régulièrement espacées sont utilisées pour acquérir des données pour la formation de faisceaux.Quant au traitement lui-même, la méthode de formation de faisceau utilisée est la sommation des retards.Elle consiste simplement à appliquer aux voies un retard qui correspond à la différence attendue des temps d'arrivée entre une voie et la voie de référence.Si les signaux sont en phase, la somme de ces signaux aura une énergie élevée après un décalage temporel.S'ils sont déphasés, des interférences destructrices limiteront l'énergie de leur somme.dans une relation.Sur la fig.31, un taux d'échantillonnage de 2 MHz est sélectionné pour décaler dans le temps les données d'un nombre entier d'échantillons.Une approche plus modeste consiste à maintenir une fréquence d'échantillonnage plus grossière de 250 kHz et à utiliser un filtre à réponse impulsionnelle finie (FIR) pour synthétiser des retards fractionnaires.Nous supposerons que la complexité de l'algorithme de formation de faisceau est principalement déterminée par le décalage temporel, puisque chaque canal est convolué avec un filtre FIR avec 16 prises dans chaque direction.Pour calculer le nombre de MIPS requis pour cette opération, nous considérons une fenêtre de 6 ms par mesure pour capturer une portée de 1 mètre, 5 canaux, 11 directions de formation de faisceau (plage +/- 50° par pas de 10°).75 mesures par seconde ont poussé le microcontrôleur à son maximum de 100 MIPS.Lien.68, ce qui entraîne une dissipation de puissance de 11,26 mW pour une dissipation de puissance totale de 11,71 mW après avoir ajouté la contribution ADC embarquée.
Les données étayant les résultats de cette étude sont disponibles auprès de l'auteur respectif, FM, sur demande raisonnable.
Indiveri, G. & Sandamirskaya, Y. L'importance de l'espace et du temps pour le traitement du signal dans les agents neuromorphiques : le défi du développement d'agents autonomes de faible puissance qui interagissent avec l'environnement. Indiveri, G. & Sandamirskaya, Y. L'importance de l'espace et du temps pour le traitement du signal dans les agents neuromorphiques : le défi du développement d'agents autonomes de faible puissance qui interagissent avec l'environnement.Indiveri G. et Sandamirskaya Y. L'importance de l'espace et du temps pour le traitement du signal chez les agents neuromorphiques : le défi du développement d'agents autonomes de faible puissance interagissant avec l'environnement. Indiveri, G. et Sandamirskaya, Y.代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. et Sandamirskaya Y. L'importance de l'espace et du temps pour le traitement du signal chez les agents neuromorphiques : le défi du développement d'agents autonomes de faible puissance interagissant avec l'environnement.Traitement du signal IEEE.Journal 36, 16-28 (2019).
Thorpe, SJ Heure d'arrivée maximale : un schéma de codage de réseau neuronal efficace. dans Eckmiller, R., Hartmann, G. et Hauske, G. (éd.). dans Eckmiller, R., Hartmann, G. et Hauske, G. (éd.).dans Eckmiller, R., Hartmann, G. et Hauske, G. (éd.).Dans Eckmiller, R., Hartmann, G. et Hauske, G. (éd.).Traitement parallèle dans les systèmes neuronaux et les ordinateurs 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG La communication consomme 35 fois plus d'énergie que le calcul dans le cortex humain, mais les deux coûts sont nécessaires pour prédire le nombre de synapses. Levy, WB & Calvert, VG La communication consomme 35 fois plus d'énergie que le calcul dans le cortex humain, mais les deux coûts sont nécessaires pour prédire le nombre de synapses.Levy, WB et Calvert, WG La communication consomme 35 fois plus d'énergie que le calcul dans le cortex humain, mais les deux coûts sont nécessaires pour prédire le nombre de synapses. Levy, WB et Calvert, VG Communication ont publié un article de 35 jours. Levy, WB et Calvert, VG CommunicationLevy, WB et Calvert, WG La communication consomme 35 fois plus d'énergie que le calcul dans le cortex humain, mais les deux coûts nécessitent de prédire le nombre de synapses.processus.Académie nationale des sciences.la science.États-Unis 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Informatique neuromorphique inspirée des insectes. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Informatique neuromorphique inspirée des insectes.Dalgati, T., Vianello, E., DeSalvo, B. et Casas, J. Informatique neuromorphique inspirée des insectes.Dalgati T., Vianello E., DeSalvo B. et Casas J. Informatique neuromorphique inspirée des insectes.Actuel.Avis.Science des insectes.30, 59-66 (2018).
Roy, K., Jaiswal, A. et Panda, P. Vers une intelligence artificielle basée sur les pointes avec l'informatique neuromorphique. Roy, K., Jaiswal, A. et Panda, P. Vers une intelligence artificielle basée sur les pointes avec l'informatique neuromorphique. Roy, K., Jaiswal, A. et Panda, P. Vers une intelligence artificielle basée sur les pointes avec l'informatique neuromorphique.Roy K, Jaiswal A et Panda P. Intelligence artificielle basée sur les impulsions utilisant l'informatique neuromorphique.Nature 575, 607-617 (2019).
Indiveri, G. et Liu, SC. Indiveri, G. et Liu, SC.Indiveri, G. et Liu, S.-K. Indiveri, G. et Liu, SC. Indiveri, G. et Liu, SC.Indiveri, G. et Liu, S.-K.Mémoire et traitement de l'information dans les systèmes neuromorphiques.processus.IEEE 103, 1379-1397 (2015).
Akopyan F. et coll.Truenorth : Conception et boîte à outils pour une puce synaptique programmable de 65 mW et 1 million de neurones.Transactions IEEE.Conception informatique de systèmes de circuits intégrés.34, 1537-1557 (2015).
Schemmel, J. et coll.Démo en direct : version réduite du système neuromorphique BrainScaleS à l'échelle de la plaque.Symposium international IEEE 2012 sur les circuits et les systèmes (ISCAS), (IEEE éd.) 702-702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Une architecture multicœur évolutive avec des structures de mémoire hétérogènes pour les processeurs asynchrones neuromorphiques dynamiques (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Une architecture multicœur évolutive avec des structures de mémoire hétérogènes pour les processeurs asynchrones neuromorphiques dynamiques (DYNAP).Moradi S., Qiao N., Stefanini F. et Indiviri G. Une architecture multicœur évolutive avec des structures de mémoire hétérogènes pour les processeurs asynchrones neuromorphiques dynamiques (DYNAP). Moradi, S., Qiao, N., Stefanini, F. et Indiveri, G.存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Une sorte d'architecture multicœur extensible, avec une structure de mémoire unique pour le traitement neuronal dynamique (DYNAP).Moradi S., Qiao N., Stefanini F. et Indiviri G. Une architecture multicœur évolutive avec des structures de mémoire hétérogènes pour les processeurs asynchrones neuromorphiques dynamiques (DYNAP).Transactions IEEE sur la science biomédicale.système électrique.12, 106-122 (2018).
Davis, M. et coll.Loihi : Un processeur multicœur neuromorphique avec apprentissage intégré.IEEE Micro 38, 82-99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Le projet SpiNNaker. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Le projet SpiNNaker.Projet Ferber SB, Galluppi F., Temple S. et Plana LA SpiNNaker.Projet Ferber SB, Galluppi F., Temple S. et Plana LA SpiNNaker.processus.IEEE 102, 652-665 (2014).
Liu, S.-K. & Delbruck, T. Systèmes sensoriels neuromorphiques. & Delbruck, T. Systèmes sensoriels neuromorphiques.et Delbrück T. Systèmes sensoriels neuromorphiques. & Delbruck, T. & Delbrück, T.et Delbrück T. Système sensoriel neuromorphique.Actuel.Avis.Neurobiologie.20, 288-295 (2010).
Chope, T. et coll.Intégration sensorielle neuromorphique pour combiner la localisation de sources sonores et l’évitement des collisions.En 2019, lors de la conférence IEEE sur les circuits et systèmes biomédicaux (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. et Indiveri, G. Une architecture neuromorphique de vision stéréo basée sur des pointes. Risi, N., Aimar, A., Donati, E., Solinas, S. et Indiveri, G. Une architecture neuromorphique de vision stéréo basée sur des pointes.Risi N, Aymar A, Donati E, Solinas S et Indiveri G. Une architecture de stéréovision neuromorphique basée sur les pointes. Risi, N., Aimar, A., Donati, E., Solinas, S. et Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. et Indiveri, G.Risi N, Aimar A, Donati E, Solinas S et Indiveri G. Architecture neuromorphique basée sur Spike pour la vision stéréo.devant.Neurorobotique 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. Un modèle de réseau neuronal à pointes de perception 3D pour les systèmes de vision stéréoneuromorphique basés sur des événements. Osswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. Un modèle de réseau neuronal à pointes de perception 3D pour les systèmes de vision stéréoneuromorphique basés sur des événements.Oswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. Un modèle de perception de réseau neuronal pulsé 3D pour les systèmes de vision stéréo neuromorphique basés sur des événements. Osswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. et Indiveri, G. Modèle de réseau neuronal de perception 3D à pointes pour un système de vision stéréo neuromorphique basé sur des événements.la science.Rapport 7, 1-11 (2017).
Dalgaty, T. et al.La détection de mouvement de base inspirée des insectes comprend une mémoire résistive et des réseaux neuronaux en rafale.Système biohybride bionique.10928, 115-128 (2018).
D'Angelo, G. et al.Détection de mouvements excentriques basée sur des événements à l'aide d'un codage différentiel temporel.devant.Neurologie.14, 451 (2020).