Reale Datenverarbeitungsanwendungen erfordern kompakte Computersysteme mit geringer Latenz und geringem Stromverbrauch.Mit ereignisgesteuerten Rechenfunktionen bieten komplementäre memristive neuromorphe Hybridarchitekturen aus Metalloxid-Halbleitern eine ideale Hardware-Grundlage für solche Aufgaben.Um das volle Potenzial solcher Systeme zu demonstrieren, schlagen wir eine umfassende Sensorverarbeitungslösung für reale Objektlokalisierungsanwendungen vor und demonstrieren diese experimentell.Inspiriert von der Neuroanatomie der Schleiereule haben wir ein bioinspiriertes, ereignisgesteuertes Objektlokalisierungssystem entwickelt, das einen hochmodernen piezoelektrischen mikromechanischen Wandlerwandler mit einem rechnergestützten graphbasierten neuromorphen Widerstandsspeicher kombiniert.Wir zeigen Messungen eines hergestellten Systems, das einen speicherbasierten Widerstandskoinzidenzdetektor, Verzögerungsleitungsschaltungen und einen vollständig anpassbaren Ultraschallwandler umfasst.Wir nutzen diese experimentellen Ergebnisse, um Simulationen auf Systemebene zu kalibrieren.Diese Simulationen werden dann verwendet, um die Winkelauflösung und Energieeffizienz des Objektlokalisierungsmodells zu bewerten.Die Ergebnisse zeigen, dass unser Ansatz um mehrere Größenordnungen energieeffizienter sein kann als Mikrocontroller, die die gleiche Aufgabe erfüllen.
Wir treten in eine Ära des allgegenwärtigen Computing ein, in der die Zahl der eingesetzten Geräte und Systeme, die uns in unserem täglichen Leben unterstützen, exponentiell wächst.Von diesen Systemen wird erwartet, dass sie kontinuierlich laufen, so wenig Strom wie möglich verbrauchen und gleichzeitig lernen, die von mehreren Sensoren gesammelten Daten in Echtzeit zu interpretieren und als Ergebnis von Klassifizierungs- oder Erkennungsaufgaben binäre Ausgaben zu erzeugen.Einer der wichtigsten Schritte zur Erreichung dieses Ziels ist die Extraktion nützlicher und kompakter Informationen aus verrauschten und oft unvollständigen sensorischen Daten.Herkömmliche technische Ansätze erfassen Sensorsignale typischerweise mit einer konstanten und hohen Rate und erzeugen so große Datenmengen, selbst wenn keine nützlichen Eingaben vorliegen.Darüber hinaus nutzen diese Methoden komplexe digitale Signalverarbeitungstechniken zur Vorverarbeitung der (oft verrauschten) Eingangsdaten.Stattdessen bietet die Biologie alternative Lösungen für die Verarbeitung verrauschter sensorischer Daten mithilfe energieeffizienter, asynchroner, ereignisgesteuerter Ansätze (Spikes)2,3.Neuromorphes Computing lässt sich von biologischen Systemen inspirieren, um die Rechenkosten in Bezug auf Energie- und Speicherbedarf im Vergleich zu herkömmlichen Signalverarbeitungsmethoden zu reduzieren4,5,6.Kürzlich wurden innovative gehirnbasierte Allzwecksysteme demonstriert, die neuronale Impulsnetze implementieren (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11).Diese Prozessoren bieten Lösungen mit geringem Stromverbrauch und geringer Latenz für maschinelles Lernen und die Modellierung kortikaler Schaltkreise.Um ihre Energieeffizienz voll auszuschöpfen, müssen diese neuromorphen Prozessoren direkt mit ereignisgesteuerten Sensoren verbunden sein12,13.Heutzutage gibt es jedoch nur wenige Touch-Geräte, die ereignisgesteuerte Daten direkt bereitstellen.Prominente Beispiele sind dynamische visuelle Sensoren (DVS) für Sehanwendungen wie Tracking und Bewegungserkennung14,15,16,17, die Silikonschnecke18 und neuromorphe Hörsensoren (NAS)19 für die Verarbeitung akustischer Signale, Geruchssensoren20 und zahlreiche Beispiele21,22 für Berührungen..Textursensoren.
In diesem Artikel stellen wir ein neu entwickeltes ereignisgesteuertes Hörverarbeitungssystem vor, das auf die Objektlokalisierung angewendet wird.Hier beschreiben wir zum ersten Mal ein End-to-End-System zur Objektlokalisierung, das durch die Verbindung eines hochmodernen piezoelektrischen mikrobearbeiteten Ultraschallwandlers (pMUT) mit einem auf neuromorphem Widerstandsspeicher (RRAM) basierenden Rechendiagramm entsteht.In-Memory-Computing-Architekturen mit RRAM sind eine vielversprechende Lösung zur Reduzierung des Stromverbrauchs23,24,25,26,27,28,29.Ihre inhärente Nichtflüchtigkeit – zum Speichern oder Aktualisieren von Informationen ist kein aktiver Stromverbrauch erforderlich – passt perfekt zur asynchronen, ereignisgesteuerten Natur des neuromorphen Computings und führt dazu, dass im Leerlauf des Systems nahezu kein Stromverbrauch entsteht.Piezoelektrische mikrobearbeitete Ultraschallwandler (pMUTs) sind kostengünstige, miniaturisierte Ultraschallwandler auf Siliziumbasis, die als Sender und Empfänger fungieren können30,31,32,33,34.Um die von den eingebauten Sensoren empfangenen Signale zu verarbeiten, haben wir uns von der Neuroanatomie der Schleiereule inspirieren lassen35,36,37.Die Schleiereule Tyto alba ist dank eines sehr effizienten akustischen Lokalisierungssystems für ihre bemerkenswerten Nachtjagdfähigkeiten bekannt.Um den Standort der Beute zu berechnen, kodiert das Lokalisierungssystem der Schleiereule die Flugzeit (ToF), in der die Schallwellen der Beute jedes Ohr oder jeden Schallrezeptor der Eule erreichen.Aufgrund des Abstands zwischen den Ohren ermöglicht die Differenz zwischen den beiden ToF-Messungen (Interaural Time Difference, ITD) die analytische Berechnung der Azimutposition des Ziels.Obwohl biologische Systeme zur Lösung algebraischer Gleichungen schlecht geeignet sind, können sie Lokalisierungsprobleme sehr effektiv lösen.Das Nervensystem der Schleiereule verwendet eine Reihe von Koinzidenzdetektor-Neuronen (CD)35 (d. h. Neuronen, die in der Lage sind, zeitliche Korrelationen zwischen Spitzen zu erkennen, die sich nach unten zu konvergenten erregenden Enden ausbreiten)38,39, die in Rechendiagrammen organisiert sind, um Positionierungsprobleme zu lösen.
Frühere Untersuchungen haben gezeigt, dass komplementäre Metalloxid-Halbleiter-Hardware (CMOS) und RRAM-basierte neuromorphe Hardware, die vom unteren Colliculus („Hörkortex“) der Schleiereule inspiriert ist, eine effiziente Methode zur Positionsberechnung mithilfe von ITD13, 40, 41 darstellt. 42, 43, 44, 45, 46. Das Potenzial vollständiger neuromorpher Systeme, die akustische Hinweise mit neuromorphen Rechendiagrammen verknüpfen, muss jedoch noch nachgewiesen werden.Das Hauptproblem ist die inhärente Variabilität analoger CMOS-Schaltungen, die sich auf die Genauigkeit der Übereinstimmungserkennung auswirkt.Kürzlich wurden alternative numerische Implementierungen der ITD47-Schätzungen demonstriert.In diesem Artikel schlagen wir vor, die Fähigkeit von RRAM zu nutzen, den Leitwert auf nichtflüchtige Weise zu ändern, um der Variabilität in analogen Schaltkreisen entgegenzuwirken.Wir haben ein experimentelles System implementiert, das aus einer pMUT-Sendemembran mit einer Frequenz von 111,9 kHz, zwei pMUT-Empfangsmembranen (Sensoren), die Schleiereulenohren simulieren, und einer .Wir haben das pMUT-Erkennungssystem und den RRAM-basierten ITD-Rechengraphen experimentell charakterisiert, um unser Lokalisierungssystem zu testen und seine Winkelauflösung zu bewerten.
Wir vergleichen unsere Methode mit einer digitalen Implementierung auf einem Mikrocontroller, der die gleiche Lokalisierungsaufgabe unter Verwendung herkömmlicher Strahlformungs- oder neuromorpher Methoden ausführt, sowie mit einem in der Referenz vorgeschlagenen Field Programmable Gate Array (FPGA) zur ITD-Schätzung.47. Dieser Vergleich unterstreicht die wettbewerbsfähige Leistungseffizienz des vorgeschlagenen RRAM-basierten analogen neuromorphen Systems.
Eines der auffälligsten Beispiele für ein genaues und effizientes Objektlokalisierungssystem findet sich in der Schleiereule35,37,48.In der Dämmerung und im Morgengrauen ist die Schleiereule (Tyto Alba) hauptsächlich auf passives Lauschen angewiesen und sucht aktiv nach kleinen Beutetieren wie Wühlmäusen oder Mäusen.Diese Hörexperten können Hörsignale von Beutetieren mit erstaunlicher Genauigkeit (ca. 2°)35 lokalisieren, wie in Abb. 1a gezeigt.Schleiereulen schließen den Standort von Schallquellen in der Azimutebene (horizontal) aus der Differenz der ankommenden Flugzeit (ITD) von der Schallquelle zu den beiden Ohren.Der ITD-Rechenmechanismus wurde von Jeffress49,50 vorgeschlagen, der auf neuronaler Geometrie basiert und zwei Schlüsselkomponenten erfordert: ein Axon, eine Nervenfaser eines Neurons, die als Verzögerungsleitung fungiert, und eine Reihe von Koinzidenzdetektorneuronen, die in einem Rechensystem organisiert sind.Diagramm wie in Abbildung 1b dargestellt.Der Schall erreicht das Ohr mit einer azimutabhängigen Zeitverzögerung (ITD).Der Ton wird dann in jedem Ohr in ein Spitzenmuster umgewandelt.Die Axone des linken und rechten Ohrs fungieren als Verzögerungsleitungen und laufen auf CD-Neuronen zusammen.Theoretisch erhält jeweils nur ein Neuron in einem Array übereinstimmender Neuronen Eingaben (bei denen sich die Verzögerung genau aufhebt) und feuert maximal (benachbarte Zellen feuern ebenfalls, aber mit einer geringeren Frequenz).Durch die Aktivierung bestimmter Neuronen wird die Position des Ziels im Raum kodiert, ohne dass die ITD weiter in Winkel umgewandelt werden muss.Dieses Konzept ist in Abbildung 1c zusammengefasst: Wenn der Ton beispielsweise von der rechten Seite kommt und das Eingangssignal vom rechten Ohr einen längeren Weg zurücklegt als der Weg vom linken Ohr, wird beispielsweise die Anzahl der ITDs kompensiert. wenn Neuron 2 übereinstimmt.Mit anderen Worten, jede CD reagiert aufgrund der axonalen Verzögerung auf eine bestimmte ITD (auch als optimale Verzögerung bezeichnet).Somit wandelt das Gehirn zeitliche Informationen in räumliche Informationen um.Es wurden anatomische Beweise für diesen Mechanismus gefunden37,51.Phasengesperrte Makronukleusneuronen speichern zeitliche Informationen über eingehende Geräusche: Wie der Name schon sagt, feuern sie bei bestimmten Signalphasen.Im laminaren Kern sind Koinzidenzdetektorneuronen des Jeffress-Modells zu finden.Sie erhalten Informationen von makronukleären Neuronen, deren Axone als Verzögerungsleitungen fungieren.Das Ausmaß der durch die Verzögerungsleitung bereitgestellten Verzögerung kann durch die Länge des Axons sowie durch ein anderes Myelinisierungsmuster erklärt werden, das die Leitungsgeschwindigkeit verändert.Inspiriert vom auditorischen System der Schleiereule haben wir ein biomimetisches System zur Lokalisierung von Objekten entwickelt.Die beiden Ohren werden durch zwei pMUT-Empfänger repräsentiert.Die Schallquelle ist der pMUT-Sender zwischen ihnen (Abb. 1a), und der Rechengraph wird durch ein Gitter aus RRAM-basierten CD-Schaltkreisen (Abb. 1b, grün) gebildet, die die Rolle von CD-Neuronen spielen, deren Eingaben verzögert sind.Durch den Schaltkreis wirken die Verzögerungsleitungen (blau) wie Axone im biologischen Gegenstück.Das vorgeschlagene sensorische System unterscheidet sich in der Betriebsfrequenz von der der Eule, deren Hörsystem im Bereich von 1–8 kHz arbeitet, in dieser Arbeit werden jedoch pMUT-Sensoren verwendet, die bei etwa 117 kHz arbeiten.Die Auswahl eines Ultraschallwandlers erfolgt nach technischen und Optimierungskriterien.Erstens verbessert die Begrenzung der Empfangsbandbreite auf eine einzelne Frequenz idealerweise die Messgenauigkeit und vereinfacht den Nachbearbeitungsschritt.Darüber hinaus hat der Betrieb im Ultraschall den Vorteil, dass die ausgesendeten Impulse nicht hörbar sind und somit den Menschen nicht stören, da ihr Hörbereich bei ~20-20 kHz liegt.
Die Schleiereule empfängt Schallwellen von einem Ziel, in diesem Fall von sich bewegender Beute.Die Flugzeit (ToF) der Schallwelle ist für jedes Ohr unterschiedlich (es sei denn, die Beute befindet sich direkt vor der Eule).Die gestrichelte Linie zeigt den Weg, den Schallwellen nehmen, um die Ohren der Schleiereule zu erreichen.Beute kann in der horizontalen Ebene anhand des Längenunterschieds zwischen den beiden akustischen Pfaden und der entsprechenden interauralen Zeitdifferenz (ITD) genau lokalisiert werden (linkes Bild inspiriert von Lit. 74, Copyright 2002, Society for Neuroscience).In unserem System erzeugt der pMUT-Sender (dunkelblau) Schallwellen, die vom Ziel reflektiert werden.Reflektierte Ultraschallwellen werden von zwei pMUT-Empfängern (hellgrün) empfangen und vom neuromorphen Prozessor (rechts) verarbeitet.b Ein ITD (Jeffress)-Rechenmodell, das beschreibt, wie Geräusche, die in die Ohren der Schleiereule gelangen, zunächst als phasenstarre Spitzen im großen Kern (NM) kodiert werden und dann ein geometrisch angeordnetes Gitter passender Detektorneuronen im Lamellenkern verwenden.Verarbeitung (Niederlande) (links).Abbildung eines neuroITD-Rechendiagramms, das Verzögerungsleitungen und Koinzidenzdetektorneuronen kombiniert. Das Eulen-Biosensorsystem kann mithilfe RRAM-basierter neuromorpher Schaltkreise modelliert werden (rechts).c Schema des Hauptmechanismus von Jeffress. Aufgrund der unterschiedlichen ToF empfangen die beiden Ohren Schallreize zu unterschiedlichen Zeiten und senden Axone von beiden Enden zum Detektor.Die Axone sind Teil einer Reihe von Koinzidenzdetektor-Neuronen (CD-Neuronen), von denen jedes selektiv auf stark zeitkorrelierte Eingaben reagiert.Dadurch werden nur CDs maximal angeregt, deren Eingänge mit der geringsten Zeitdifferenz eintreffen (ITD wird exakt kompensiert).Die CD kodiert dann die Winkelposition des Ziels.
Piezoelektrische mikromechanische Ultraschallwandler sind skalierbare Ultraschallwandler, die mit fortschrittlicher CMOS-Technologie integriert werden können31,32,33,52 und eine geringere Anfangsspannung und einen geringeren Stromverbrauch aufweisen als herkömmliche volumetrische Wandler53.In unserer Arbeit beträgt der Membrandurchmesser 880 µm und die Resonanzfrequenz liegt im Bereich von 110–117 kHz (Abb. 2a, Einzelheiten siehe Methoden).Bei einer Charge von zehn Testgeräten lag der durchschnittliche Qualitätsfaktor bei etwa 50 (Ref. 31).Die Technologie hat industrielle Reife erreicht und ist nicht per se bioinspiriert.Das Kombinieren von Informationen aus verschiedenen pMUT-Filmen ist eine bekannte Technik, und Winkelinformationen können von pMUTs beispielsweise mithilfe von Strahlformungstechniken erhalten werden31,54.Allerdings ist die zur Extraktion der Winkelinformationen erforderliche Signalverarbeitung für Messungen mit geringer Leistung nicht geeignet.Das vorgeschlagene System kombiniert die neuromorphe Datenvorverarbeitungsschaltung pMUT mit einem RRAM-basierten neuromorphen Rechendiagramm, das vom Jeffress-Modell inspiriert ist (Abbildung 2c) und bietet so eine alternative energieeffiziente und ressourcenbeschränkte Hardwarelösung.Wir führten ein Experiment durch, bei dem zwei pMUT-Sensoren etwa 10 cm voneinander entfernt platziert wurden, um die unterschiedlichen ToF-Geräusche zu nutzen, die von den beiden Empfangsmembranen empfangen wurden.Zwischen den Empfängern sitzt ein pMUT, der als Sender fungiert.Das Ziel war eine 12 cm breite PVC-Platte, die sich im Abstand D vor dem pMUT-Gerät befand (Abb. 2b).Der Empfänger nimmt den vom Objekt reflektierten Schall auf und reagiert so weit wie möglich auf den Durchgang der Schallwelle.Wiederholen Sie das Experiment, indem Sie die Position des Objekts ändern, die durch den Abstand D und den Winkel θ bestimmt wird.Inspiriert durch einen Link.55 schlagen wir eine neuromorphe Vorverarbeitung von pMUT-Rohsignalen vor, um reflektierte Wellen in Spitzen umzuwandeln und einen neuromorphen Rechengraphen einzugeben.Der der Spitzenamplitude entsprechende ToF wird aus jedem der beiden Kanäle extrahiert und als exakter Zeitpunkt der einzelnen Spitzen kodiert.Auf Abb.2c zeigt die Schaltung, die erforderlich ist, um den pMUT-Sensor mit einem RRAM-basierten Rechendiagramm zu verbinden: Für jeden der beiden pMUT-Empfänger wird das Rohsignal zur Glättung und Gleichrichtung bandpassgefiltert und dann im Überwindungsmodus an den Leaky-Integrator weitergeleitet.Der dynamische Schwellenwert (Abb. 2d) erzeugt ein Ausgabeereignis (Spitze) und ein feuerndes (LIF) Neuron: Die Ausgabespitzenzeit kodiert die erkannte Flugzeit.Der LIF-Schwellenwert wird anhand der pMUT-Antwort kalibriert, wodurch die pMUT-Variabilität von Gerät zu Gerät verringert wird.Anstatt die gesamte Schallwelle im Speicher zu speichern und später zu verarbeiten, erzeugen wir bei diesem Ansatz einfach einen Peak, der dem ToF der Schallwelle entspricht, der die Eingabe für den Rechengraphen des Widerstandsspeichers bildet.Die Spitzen werden direkt an die Verzögerungsleitungen gesendet und mit Übereinstimmungserkennungsmodulen in neuromorphen Berechnungsgraphen parallelisiert.Da sie an die Gates der Transistoren gesendet werden, ist keine zusätzliche Verstärkungsschaltung erforderlich (Einzelheiten siehe ergänzende Abbildung 4).Um die von pMUT und der vorgeschlagenen Signalverarbeitungsmethode bereitgestellte Lokalisierungswinkelgenauigkeit zu bewerten, haben wir die ITD (d. h. den Zeitunterschied zwischen von zwei Empfängern erzeugten Spitzenereignissen) gemessen, während sich die Entfernung und der Winkel des Objekts änderten.Die ITD-Analyse wurde dann in Winkel umgewandelt (siehe Methoden) und gegen die Position des Objekts aufgetragen: Die Unsicherheit der gemessenen ITD nahm mit der Entfernung und dem Winkel zum Objekt zu (Abb. 2e, f).Das Hauptproblem ist das Peak-to-Noise-Verhältnis (PNR) in der pMUT-Antwort.Je weiter das Objekt entfernt ist, desto geringer ist das akustische Signal und desto geringer ist der PNR (Abb. 2f, grüne Linie).Eine Verringerung des PNR führt zu einer Erhöhung der Unsicherheit bei der ITD-Schätzung, was zu einer Erhöhung der Lokalisierungsgenauigkeit führt (Abb. 2f, blaue Linie).Bei einem Objekt in einer Entfernung von 50 cm vom Sender beträgt die Winkelgenauigkeit des Systems etwa 10°.Diese durch die Eigenschaften des Sensors bedingte Einschränkung kann verbessert werden.Beispielsweise kann der vom Emitter gesendete Druck erhöht werden, wodurch die Spannung erhöht wird, die die pMUT-Membran antreibt.Eine weitere Lösung zur Verstärkung des übertragenen Signals besteht darin, mehrere Sender 56 anzuschließen. Diese Lösungen erhöhen die Erfassungsreichweite auf Kosten erhöhter Energiekosten.Auf der Empfangsseite können weitere Verbesserungen vorgenommen werden.Das Grundrauschen des Empfängers des pMUT kann erheblich reduziert werden, indem die Verbindung zwischen dem pMUT und dem Verstärker der ersten Stufe verbessert wird, was derzeit über Drahtverbindungen und RJ45-Kabel erfolgt.
a Bild eines pMUT-Kristalls mit sechs integrierten 880-µm-Membranen im Abstand von 1,5 mm.b Diagramm des Messaufbaus.Das Ziel befindet sich an der Azimutposition θ und im Abstand D. Der pMUT-Sender erzeugt ein 117,6-kHz-Signal, das vom Ziel reflektiert wird und zwei pMUT-Empfänger mit unterschiedlicher Flugzeit (ToF) erreicht.Diese Differenz, definiert als interaurale Zeitdifferenz (ITD), kodiert die Position eines Objekts und kann durch Schätzung der Spitzenreaktion der beiden Empfängersensoren geschätzt werden.c Schematische Darstellung der Vorverarbeitungsschritte zur Umwandlung des rohen pMUT-Signals in Spike-Sequenzen (d. h. Eingabe in den neuromorphen Berechnungsgraphen).Die pMUT-Sensoren und neuromorphen Rechengraphen wurden hergestellt und getestet, und die neuromorphe Vorverarbeitung basiert auf Softwaresimulation.d Reaktion der pMUT-Membran auf den Empfang eines Signals und dessen Umwandlung in eine Spike-Domäne.e Experimentelle Lokalisierungswinkelgenauigkeit als Funktion des Objektwinkels (Θ) und der Entfernung (D) zum Zielobjekt.Die ITD-Extraktionsmethode erfordert eine minimale Winkelauflösung von etwa 4 °C.f Winkelgenauigkeit (blaue Linie) und entsprechendes Peak-to-Noise-Verhältnis (grüne Linie) im Verhältnis zum Objektabstand für Θ = 0.
Resistiver Speicher speichert Informationen in einem nichtflüchtigen leitenden Zustand.Das Grundprinzip der Methode besteht darin, dass die Veränderung des Materials auf atomarer Ebene eine Änderung seiner elektrischen Leitfähigkeit bewirkt57.Hier verwenden wir einen oxidbasierten Widerstandsspeicher, der aus einer 5-nm-Schicht aus Hafniumdioxid besteht, die zwischen oberen und unteren Titan- und Titannitrid-Elektroden angeordnet ist.Die Leitfähigkeit von RRAM-Geräten kann durch Anlegen einer Strom-/Spannungswellenform geändert werden, die leitende Filamente aus Sauerstofflücken zwischen den Elektroden erzeugt oder unterbricht.Wir haben solche Geräte58 in einen standardmäßigen 130-nm-CMOS-Prozess integriert, um eine fabrizierte rekonfigurierbare neuromorphe Schaltung zu erstellen, die einen Koinzidenzdetektor und eine Verzögerungsleitungsschaltung implementiert (Abb. 3a).Die nichtflüchtige und analoge Beschaffenheit des Geräts in Kombination mit der ereignisgesteuerten Beschaffenheit der neuromorphen Schaltung minimiert den Stromverbrauch.Der Schaltkreis verfügt über eine Funktion zum sofortigen Ein-/Ausschalten: Er wird sofort nach dem Einschalten aktiviert, sodass der Strom vollständig abgeschaltet werden kann, wenn der Schaltkreis inaktiv ist.Die Hauptbausteine des vorgeschlagenen Schemas sind in Abb. dargestellt.3b.Es besteht aus N parallelen Einzelwiderstands-Einzeltransistorstrukturen (1T1R), die synaptische Gewichte kodieren, aus denen gewichtete Ströme entnommen, in die gemeinsame Synapse eines Differenzialpaarintegrators (DPI)59 injiziert und schließlich mit Integration und in die Synapse injiziert werden Leckage.aktiviertes (LIF) Neuron 60 (Einzelheiten siehe Methoden).Die Eingangsstöße werden in Form einer Folge von Spannungsimpulsen mit einer Dauer in der Größenordnung von Hunderten von Nanosekunden an das Gate der 1T1R-Struktur angelegt.Widerstandsspeicher können in einen hochleitenden Zustand (HCS) versetzt werden, indem eine externe positive Referenz an Vtop angelegt wird, wenn Vbottom geerdet ist, und in einen niedrigleitenden Zustand (LCS) zurückgesetzt werden, indem eine positive Spannung an Vbottom angelegt wird, wenn Vtop geerdet wird.Der Durchschnittswert von HCS kann durch Begrenzung des Programmierstroms (Compliance) des SET (ICC) durch die Gate-Source-Spannung des Serientransistors gesteuert werden (Abb. 3c).Der RRAM in der Schaltung hat zwei Funktionen: Er leitet und gewichtet die Eingangsimpulse.
Rasterelektronenmikroskop-Aufnahme (REM) eines blauen HfO2 1T1R RRAM-Bausteins, integriert in 130-nm-CMOS-Technologie mit Auswahltransistoren (650 nm breit) in Grün.b Grundbausteine des vorgeschlagenen neuromorphen Schemas.Die Eingangsspannungsimpulse (Spitzen) Vin0 und Vin1 verbrauchen den Strom Iweight, der proportional zu den Leitungszuständen G0 und G1 der 1T1R-Struktur ist.Dieser Strom wird in die DPI-Synapsen injiziert und erregt die LIF-Neuronen.RRAM G0 und G1 sind in HCS bzw. LCS installiert.c Funktion der kumulativen Leitfähigkeitsdichte für eine Gruppe von 16K-RRAM-Geräten als Funktion der ICC-Stromanpassung, die den Leitungspegel effektiv steuert.d Schaltungsmessungen in (a), die zeigen, dass G1 (im LCS) den Eingang von Vin1 (grün) effektiv blockiert und tatsächlich die Membranspannung des Ausgangsneurons nur auf den blauen Eingang von Vin0 reagiert.RRAM bestimmt effektiv die Verbindungen in der Schaltung.e Messung der Schaltung in (b), die den Einfluss des Leitwerts G0 auf die Membranspannung Vmem nach Anlegen eines Spannungsimpulses Vin0 zeigt.Je höher die Leitfähigkeit, desto stärker die Reaktion: Das RRAM-Gerät implementiert also die E/A-Verbindungsgewichtung.An der Schaltung wurden Messungen durchgeführt, die die Doppelfunktion von RRAM, Routing und Gewichtung von Eingangsimpulsen, belegen.
Erstens: Da es zwei grundlegende Leitungszustände (HCS und LCS) gibt, können RRAMs Eingangsimpulse blockieren oder verpassen, wenn sie sich im LCS- bzw. HCS-Zustand befinden.Dadurch bestimmt RRAM effektiv die Verbindungen in der Schaltung.Dies ist die Grundlage dafür, die Architektur neu konfigurieren zu können.Um dies zu demonstrieren, beschreiben wir eine hergestellte Schaltungsimplementierung des Schaltungsblocks in Abb. 3b.Der RRAM, der G0 entspricht, ist im HCS programmiert, und der zweite RRAM G1 ist im LCS programmiert.Eingangsimpulse werden sowohl an Vin0 als auch an Vin1 angelegt.Die Auswirkungen von zwei Sequenzen von Eingangsimpulsen wurden in den Ausgangsneuronen analysiert, indem die Neuronenmembranspannung und das Ausgangssignal mit einem Oszilloskop erfasst wurden.Das Experiment war erfolgreich, als nur das HCS-Gerät (G0) mit dem Impuls des Neurons verbunden war, um die Membranspannung zu stimulieren.Dies wird in Abbildung 3d demonstriert, wo die blaue Impulsfolge den Aufbau der Membranspannung am Membrankondensator bewirkt, während die grüne Impulsfolge die Membranspannung konstant hält.
Die zweite wichtige Funktion von RRAM ist die Implementierung von Verbindungsgewichten.Mithilfe der analogen Leitfähigkeitsanpassung von RRAM können I/O-Verbindungen entsprechend gewichtet werden.Im zweiten Experiment wurde das G0-Gerät auf verschiedene HCS-Werte programmiert und der Eingangsimpuls wurde an den VIn0-Eingang angelegt.Der Eingangsimpuls entzieht dem Gerät einen Strom (Iweight), der proportional zum Leitwert und dem entsprechenden Potentialabfall Vtop − Vbot ist.Dieser gewichtete Strom wird dann in die DPI-Synapsen und LIF-Ausgabeneuronen injiziert.Die Membranspannung der Ausgangsneuronen wurde mit einem Oszilloskop aufgezeichnet und in Abb. 3d dargestellt.Die Spannungsspitze der Neuronenmembran als Reaktion auf einen einzelnen Eingangsimpuls ist proportional zur Leitfähigkeit des Widerstandsspeichers, was zeigt, dass RRAM als programmierbares Element mit synaptischem Gewicht verwendet werden kann.Diese beiden vorläufigen Tests zeigen, dass die vorgeschlagene RRAM-basierte neuromorphe Plattform in der Lage ist, die Grundelemente des grundlegenden Jeffress-Mechanismus zu implementieren, nämlich die Verzögerungsleitung und die Koinzidenzdetektorschaltung.Die Schaltungsplattform wird aufgebaut, indem aufeinanderfolgende Blöcke nebeneinander gestapelt werden, wie beispielsweise die Blöcke in Abbildung 3b, und ihre Gates an eine gemeinsame Eingangsleitung angeschlossen werden.Wir haben eine neuromorphe Plattform entworfen, hergestellt und getestet, die aus zwei Ausgabeneuronen besteht, die zwei Eingaben empfangen (Abb. 4a).Der Schaltplan ist in Abbildung 4b dargestellt.Die obere 2 × 2-RRAM-Matrix ermöglicht die Weiterleitung von Eingangsimpulsen an zwei Ausgangsneuronen, während die untere 2 × 2-Matrix wiederkehrende Verbindungen zweier Neuronen (N0, N1) ermöglicht.Wir zeigen, dass diese Plattform mit einer Verzögerungsleitungskonfiguration und zwei verschiedenen Koinzidenzdetektorfunktionen verwendet werden kann, wie experimentelle Messungen in Abb. 4c-e zeigen.
Schaltplan bestehend aus zwei Ausgangsneuronen N0 und N1, die zwei Eingänge 0 und 1 empfangen. Die oberen vier Geräte des Arrays definieren synaptische Verbindungen vom Eingang zum Ausgang, und die unteren vier Zellen definieren wiederkehrende Verbindungen zwischen Neuronen.Die farbigen RRAMs stellen die im HCS rechts konfigurierten Geräte dar: Die Geräte im HCS erlauben Verbindungen und stellen Gewichtungen dar, während die Geräte im LCS Eingangsimpulse blockieren und Verbindungen zu Ausgängen deaktivieren.b Diagramm der Schaltung (a) mit acht blau hervorgehobenen RRAM-Modulen.c Verzögerungsleitungen werden einfach durch Nutzung der Dynamik von DPI-Synapsen und LIF-Neuronen gebildet.Der grüne RRAM ist auf einen Leitwert eingestellt, der hoch genug ist, um nach der Eingangsverzögerung Δt einen Störimpuls am Ausgang induzieren zu können.d Schematische Darstellung der richtungsunabhängigen CD-Erkennung zeitabhängiger Signale.Ausgabeneuron 1, N1, feuert mit einer kurzen Verzögerung auf die Eingänge 0 und 1.e Richtungsempfindlicher CD-Schaltkreis, ein Schaltkreis, der erkennt, wenn sich Eingang 1 Eingang 0 nähert und nach Eingang 0 ankommt. Der Ausgang des Schaltkreises wird durch Neuron 1 (N1) dargestellt.
Die Verzögerungsleitung (Abbildung 4c) nutzt einfach das dynamische Verhalten von DPI-Synapsen und LIF-Neuronen, um die Eingabespitze von Vin1 zu Vout1 durch Verzögerung von Tdel zu reproduzieren.Nur der an Vin1 und Vout1 angeschlossene G3-RRAM ist in HCS programmiert, die übrigen RRAMs sind in LCS programmiert.Das G3-Gerät wurde auf 92,6 µs programmiert, um sicherzustellen, dass jeder Eingangsimpuls die Membranspannung des Ausgangsneurons ausreichend erhöht, um den Schwellenwert zu erreichen und einen verzögerten Ausgangsimpuls zu erzeugen.Die Verzögerung Tdel wird durch die synaptischen und neuronalen Zeitkonstanten bestimmt.Koinzidenzdetektoren erfassen das Auftreten zeitlich korrelierter, aber räumlich verteilter Eingangssignale.Die richtungsunabhängige CD beruht darauf, dass einzelne Eingaben zu einem gemeinsamen Ausgabeneuron zusammenlaufen (Abbildung 4d).Die beiden RRAMs, die Vin0 und Vin1 mit Vout1, G2 bzw. G4 verbinden, sind für hohe Leitfähigkeit programmiert.Das gleichzeitige Eintreffen von Spitzen auf Vin0 und Vin1 erhöht die Spannung der N1-Neuronenmembran über den Schwellenwert, der zur Erzeugung der Ausgangsspitze erforderlich ist.Wenn die beiden Eingänge zeitlich zu weit voneinander entfernt sind, kann die durch den ersten Eingang akkumulierte Ladung der Membranspannung Zeit zum Abklingen haben, wodurch verhindert wird, dass das Membranpotential N1 den Schwellenwert erreicht.G1 und G2 sind für ca. 65 µs programmiert, wodurch sichergestellt wird, dass ein einzelner Eingangsstoß die Membranspannung nicht so stark erhöht, dass ein Ausgangsstoß verursacht wird.Die Koinzidenzerkennung zwischen räumlich und zeitlich verteilten Ereignissen ist ein grundlegender Vorgang, der in einer Vielzahl von Sensoraufgaben wie der auf dem optischen Fluss basierenden Hindernisvermeidung und der Lokalisierung von Schallquellen verwendet wird.Daher ist die Berechnung richtungsempfindlicher und unempfindlicher CDs ein grundlegender Baustein für den Aufbau visueller und akustischer Lokalisierungssysteme.Wie aus den Eigenschaften der Zeitkonstanten hervorgeht (siehe ergänzende Abbildung 2), implementiert die vorgeschlagene Schaltung einen geeigneten Bereich von Zeitskalen von vier Größenordnungen.Somit kann es gleichzeitig den Anforderungen von Bild- und Tonsystemen gerecht werden.Die richtungsempfindliche CD ist eine Schaltung, die auf die räumliche Reihenfolge des Eintreffens von Impulsen reagiert: von rechts nach links und umgekehrt.Es ist ein grundlegender Baustein im grundlegenden Bewegungserkennungsnetzwerk des visuellen Systems von Drosophila und wird zur Berechnung von Bewegungsrichtungen und zur Erkennung von Kollisionen verwendet62.Um eine richtungsempfindliche CD zu erreichen, müssen zwei Eingaben an zwei verschiedene Neuronen (N0, N1) geleitet und eine Richtungsverbindung zwischen ihnen hergestellt werden (Abb. 4e).Wenn der erste Eingang empfangen wird, reagiert NO, indem es die Spannung an seiner Membran über den Schwellenwert erhöht und einen Stromstoß aussendet.Dieses Ausgangsereignis löst wiederum N1 aus, dank der grün hervorgehobenen Richtungsverbindung.Wenn ein Eingangsereignis Vin1 eintrifft und N1 mit Strom versorgt, während seine Membranspannung noch hoch ist, generiert N1 ein Ausgangsereignis, das anzeigt, dass eine Übereinstimmung zwischen den beiden Eingängen gefunden wurde.Durch gerichtete Verbindungen kann N1 nur dann einen Ausgang ausgeben, wenn Eingang 1 nach Eingang 0 kommt. G0, G3 und G7 sind auf 73,5 µS, 67,3 µS bzw. 40,2 µS programmiert, um sicherzustellen, dass eine einzelne Spitze am Eingang Vin0 eine Verzögerung verursacht Ausgangsspitze, während das Membranpotential von N1 nur dann den Schwellenwert erreicht, wenn beide Eingangsstöße synchron eintreffen..
Variabilität ist eine Quelle der Unvollkommenheit modellierter neuromorpher Systeme63,64,65.Dies führt zu einem heterogenen Verhalten von Neuronen und Synapsen.Beispiele für solche Nachteile sind 30 % (mittlere Standardabweichung) Variabilität der Eingangsverstärkung, der Zeitkonstante und der Refraktärzeit, um nur einige zu nennen (siehe Methoden).Dieses Problem ist noch ausgeprägter, wenn mehrere neuronale Schaltkreise miteinander verbunden sind, beispielsweise ein orientierungsempfindlicher CD, der aus zwei Neuronen besteht.Um ordnungsgemäß zu funktionieren, sollten die Verstärkungs- und Abfallzeitkonstanten der beiden Neuronen so ähnlich wie möglich sein.Beispielsweise kann ein großer Unterschied in der Eingangsverstärkung dazu führen, dass ein Neuron auf einen Eingangsimpuls überreagiert, während das andere Neuron kaum reagiert.Auf Abb.Abbildung 5a zeigt, dass zufällig ausgewählte Neuronen unterschiedlich auf denselben Eingangsimpuls reagieren.Diese neuronale Variabilität ist beispielsweise für die Funktion richtungsempfindlicher CDs relevant.In dem in Abb. gezeigten Schema.5b, c ist die Eingangsverstärkung von Neuron 1 viel höher als die von Neuron 0. Somit benötigt Neuron 0 drei Eingangsimpulse (anstelle von 1), um den Schwellenwert zu erreichen, und Neuron 1 benötigt erwartungsgemäß zwei Eingangsereignisse.Die Implementierung der zeitabhängigen biomimetischen Plastizität (STDP) ist eine mögliche Möglichkeit, die Auswirkungen unpräziser und träger neuronaler und synaptischer Schaltkreise auf die Systemleistung abzumildern43.Hier schlagen wir vor, das plastische Verhalten des Widerstandsgedächtnisses als Mittel zur Beeinflussung der Verstärkung neuronaler Eingaben und zur Verringerung der Auswirkungen der Variabilität in neuromorphen Schaltkreisen zu nutzen.Wie in Abb. gezeigt.Wie in 4e gezeigt, modulierten die mit der synaptischen RRAM-Masse verbundenen Leitfähigkeitsniveaus effektiv die entsprechende neuronale Membranspannungsreaktion.Wir verwenden eine iterative RRAM-Programmierstrategie.Für eine gegebene Eingabe werden die Leitfähigkeitswerte der synaptischen Gewichte neu programmiert, bis das Zielverhalten des Schaltkreises erreicht ist (siehe Methoden).
a Experimentelle Messungen der Reaktion von neun zufällig ausgewählten einzelnen Neuronen auf denselben Eingangsimpuls.Die Reaktion variiert je nach Population und wirkt sich auf die Eingangsverstärkung und die Zeitkonstante aus.b Experimentelle Messungen des Einflusses von Neuronen auf die Variabilität von Neuronen, die die richtungsempfindliche CD beeinflussen.Die beiden richtungsempfindlichen CD-Ausgabeneuronen reagieren aufgrund der Variabilität von Neuron zu Neuron unterschiedlich auf Eingabereize.Neuron 0 hat eine geringere Eingangsverstärkung als Neuron 1, daher sind drei Eingangsimpulse (statt 1) erforderlich, um eine Ausgangsspitze zu erzeugen.Wie erwartet erreicht Neuron 1 den Schwellenwert mit zwei Eingabeereignissen.Wenn Eingang 1 Δt = 50 µs nach der Auslösung von Neuron 0 eintrifft, bleibt CD stumm, da Δt größer als die Zeitkonstante von Neuron 1 ist (ca. 22 µs).c wird um Δt = 20 µs reduziert, so dass Eingang 1 seinen Höhepunkt erreicht, wenn das Feuern von Neuron 1 noch hoch ist, was zur gleichzeitigen Erkennung von zwei Eingangsereignissen führt.
Die beiden in der ITD-Berechnungsspalte verwendeten Elemente sind die Verzögerungsleitung und die richtungsunabhängige CD.Beide Schaltkreise erfordern eine präzise Kalibrierung, um eine gute Objektpositionierungsleistung sicherzustellen.Die Verzögerungsleitung muss eine präzise verzögerte Version des Eingangsspitzenwerts liefern (Abb. 6a), und die CD darf nur aktiviert werden, wenn der Eingang in den Zielerkennungsbereich fällt.Für die Verzögerungsleitung wurden die synaptischen Gewichte der Eingangsverbindungen (G3 in Abb. 4a) neu programmiert, bis die Zielverzögerung erreicht wurde.Legen Sie eine Toleranz um die Zielverzögerung fest, um das Programm zu stoppen: Je kleiner die Toleranz, desto schwieriger ist es, die Verzögerungslinie erfolgreich festzulegen.Auf Abb.Abbildung 6b zeigt die Ergebnisse des Verzögerungsleitungskalibrierungsprozesses: Es ist ersichtlich, dass das vorgeschlagene Schema genau alle im Entwurfsschema erforderlichen Verzögerungen bereitstellen kann (von 10 bis 300 μs).Die maximale Anzahl der Kalibrierungsiterationen beeinflusst die Qualität des Kalibrierungsprozesses: 200 Iterationen können den Fehler auf weniger als 5 % reduzieren.Eine Kalibrierungsiteration entspricht einem Setz-/Rücksetzvorgang einer RRAM-Zelle.Der Abstimmungsprozess ist auch entscheidend für die Verbesserung der Genauigkeit der Erkennung von Ereignissen beim sofortigen Schließen des CD-Moduls.Es waren zehn Kalibrierungsiterationen erforderlich, um eine echte positive Rate (dh die Rate der korrekt als relevant identifizierten Ereignisse) über 95 % zu erreichen (blaue Linie in Abbildung 6c).Der Optimierungsprozess hatte jedoch keinen Einfluss auf falsch positive Ereignisse (d. h. auf die Häufigkeit von Ereignissen, die fälschlicherweise als relevant identifiziert wurden).Eine weitere in biologischen Systemen beobachtete Methode zur Überwindung der Zeitbeschränkungen schnell aktivierender Signalwege ist die Redundanz (d. h. es werden viele Kopien desselben Objekts verwendet, um eine bestimmte Funktion auszuführen).Inspiriert von der Biologie66 haben wir in jedem CD-Modul mehrere CD-Schaltkreise zwischen den beiden Verzögerungsleitungen platziert, um die Auswirkungen falsch positiver Ergebnisse zu reduzieren.Wie in Abb. gezeigt.6c (grüne Linie) kann durch die Platzierung von drei CD-Elementen in jedem CD-Modul die Fehlalarmrate auf weniger als 10–2 reduziert werden.
a Auswirkung neuronaler Variabilität auf Verzögerungsleitungsschaltungen.b Verzögerungsleitungsschaltungen können auf große Verzögerungen skaliert werden, indem die Zeitkonstanten der entsprechenden LIF-Neuronen und DPI-Synapsen auf große Werte eingestellt werden.Durch die Erhöhung der Anzahl der Iterationen des RRAM-Kalibrierungsverfahrens konnte die Genauigkeit der Zielverzögerung deutlich verbessert werden: 200 Iterationen reduzierten den Fehler auf weniger als 5 %.Eine Iteration entspricht einer SET/RESET-Operation an einer RRAM-Zelle.Jedes CD-Modul im c-Jeffress-Modell kann mit N parallelen CD-Elementen implementiert werden, um eine größere Flexibilität im Hinblick auf Systemausfälle zu gewährleisten.d Mehr RRAM-Kalibrierungsiterationen erhöhen die Richtig-Positiv-Rate (blaue Linie), während die Falsch-Positiv-Rate unabhängig von der Anzahl der Iterationen ist (grüne Linie).Durch die parallele Platzierung mehrerer CD-Elemente wird eine falsche Erkennung von CD-Modul-Übereinstimmungen vermieden.
Wir bewerten nun die Leistung und den Stromverbrauch des in Abbildung 2 gezeigten durchgängigen integrierten Objektlokalisierungssystems anhand von Messungen der akustischen Eigenschaften des pMUT-Sensors, der CD und der Verzögerungsleitungsschaltungen, die den neuromorphen Rechengraphen bilden.Jeffress-Modell (Abb. 1a).Was den neuromorphen Rechengraphen betrifft, ist die Winkelauflösung umso besser, aber auch die Energie des Systems umso höher, je größer die Anzahl der CD-Module ist (Abb. 7a).Ein Kompromiss kann erzielt werden, indem die Genauigkeit einzelner Komponenten (pMUT-Sensoren, Neuronen und synaptische Schaltkreise) mit der Genauigkeit des gesamten Systems verglichen wird.Die Auflösung der Verzögerungsleitung ist durch die Zeitkonstanten der simulierten Synapsen und Neuronen begrenzt, die in unserem Schema 10 µs überschreiten, was einer Winkelauflösung von 4° entspricht (siehe Methoden).Fortschrittlichere Knoten mit CMOS-Technologie ermöglichen den Entwurf neuronaler und synaptischer Schaltkreise mit niedrigeren Zeitkonstanten, was zu einer höheren Genauigkeit der Verzögerungsleitungselemente führt.In unserem System ist die Genauigkeit jedoch durch den Fehler pMUT bei der Schätzung der Winkelposition begrenzt, also 10° (blaue horizontale Linie in Abb. 7a).Wir haben die Anzahl der CD-Module auf 40 festgelegt, was einer Winkelauflösung von etwa 4° entspricht, also der Winkelgenauigkeit des Rechendiagramms (hellblaue horizontale Linie in Abb. 7a).Auf Systemebene ergibt sich daraus eine Auflösung von 4° und eine Genauigkeit von 10° für Objekte, die sich 50 cm vor dem Sensorsystem befinden.Dieser Wert ist vergleichbar mit den in Lit. beschriebenen neuromorphen Schalllokalisierungssystemen.67. Ein Vergleich des vorgeschlagenen Systems mit dem Stand der Technik ist in der Ergänzungstabelle 1 zu finden. Das Hinzufügen zusätzlicher pMUTs, die Erhöhung des akustischen Signalpegels und die Reduzierung des elektronischen Rauschens sind mögliche Möglichkeiten, die Lokalisierungsgenauigkeit weiter zu verbessern.) wird auf 9,7 geschätzt.nz.55. Bei 40 CD-Einheiten im Rechendiagramm schätzte die SPICE-Simulation die Energie pro Vorgang (d. h. Objektpositionierungsenergie) auf 21,6 nJ.Das neuromorphe System wird nur aktiviert, wenn ein Eingabeereignis eintrifft, also wenn eine akustische Welle einen beliebigen pMUT-Empfänger erreicht und die Erkennungsschwelle überschreitet, andernfalls bleibt es inaktiv.Dies vermeidet unnötigen Stromverbrauch, wenn kein Eingangssignal vorhanden ist.Unter Berücksichtigung einer Frequenz von Lokalisierungsoperationen von 100 Hz und einer Aktivierungsperiode von 300 µs pro Operation (der maximal möglichen ITD) beträgt der Stromverbrauch des neuromorphen Rechengraphen 61,7 nW.Mit der neuromorphen Vorverarbeitung, die auf jeden pMUT-Empfänger angewendet wird, erreicht der Stromverbrauch des gesamten Systems 81,6 nW.Um die Energieeffizienz des vorgeschlagenen neuromorphen Ansatzes im Vergleich zu herkömmlicher Hardware zu verstehen, haben wir diese Zahl mit der Energie verglichen, die erforderlich ist, um die gleiche Aufgabe auf einem modernen Mikrocontroller mit geringem Stromverbrauch auszuführen, der entweder neuromorphe oder konventionelle Beamforming68-Fähigkeiten verwendet.Der neuromorphe Ansatz berücksichtigt eine Analog-Digital-Wandlerstufe (ADC), gefolgt von einem Bandpassfilter und einer Hüllkurvenextraktionsstufe (Teeger-Kaiser-Methode).Abschließend wird eine Schwellenwertoperation durchgeführt, um das ToF zu extrahieren.Auf die Berechnung des ITD auf Basis von ToF und die Umrechnung in die geschätzte Winkelposition haben wir verzichtet, da dies bei jeder Messung einmal erfolgt (siehe Methoden).Unter der Annahme einer Abtastrate von 250 kHz auf beiden Kanälen (pMUT-Empfänger), 18 Bandpassfilteroperationen, 3 Hüllkurvenextraktionsoperationen und 1 Schwellenwertoperation pro Probe wird der Gesamtstromverbrauch auf 245 Mikrowatt geschätzt.Dabei wird der Energiesparmodus69 des Mikrocontrollers verwendet, der sich einschaltet, wenn die Algorithmen nicht ausgeführt werden, wodurch der Stromverbrauch auf 10,8 µW reduziert wird.Der Stromverbrauch der in der Referenz vorgeschlagenen Beamforming-Signalverarbeitungslösung.31, mit 5 pMUT-Empfängern und 11 gleichmäßig in der Azimutebene [-50°, +50°] verteilten Strahlen, beträgt 11,71 mW (Einzelheiten finden Sie im Abschnitt „Methoden“).Darüber hinaus berichten wir über den Stromverbrauch eines FPGA47-basierten Time Difference Encoder (TDE), der als Ersatz für das Jeffress-Modell zur Objektlokalisierung auf 1,5 mW geschätzt wird.Basierend auf diesen Schätzungen reduziert der vorgeschlagene neuromorphe Ansatz den Stromverbrauch um fünf Größenordnungen im Vergleich zu einem Mikrocontroller, der klassische Strahlformungstechniken für Objektlokalisierungsvorgänge verwendet.Die Verwendung eines neuromorphen Ansatzes zur Signalverarbeitung auf einem klassischen Mikrocontroller reduziert den Stromverbrauch um etwa zwei Größenordnungen.Die Wirksamkeit des vorgeschlagenen Systems kann durch die Kombination einer asynchronen analogen Schaltung mit Widerstandsspeicher, die In-Memory-Berechnungen durchführen kann, und dem Fehlen einer Analog-Digital-Umwandlung, die zur Wahrnehmung von Signalen erforderlich ist, erklärt werden.
a Winkelauflösung (blau) und Stromverbrauch (grün) des Lokalisierungsvorgangs abhängig von der Anzahl der CD-Module.Der dunkelblaue horizontale Balken stellt die Winkelgenauigkeit des PMUT dar und der hellblaue horizontale Balken stellt die Winkelgenauigkeit des neuromorphen Rechendiagramms dar.b Stromverbrauch des vorgeschlagenen Systems und Vergleich mit den beiden diskutierten Mikrocontroller-Implementierungen und der digitalen Implementierung des Time Difference Encoder (TDE)47 FPGA.
Um den Stromverbrauch des Ziellokalisierungssystems zu minimieren, haben wir einen effizienten, ereignisgesteuerten RRAM-basierten neuromorphen Schaltkreis konzipiert, entworfen und implementiert, der die von den eingebauten Sensoren erzeugten Signalinformationen verarbeitet, um die Position des Zielobjekts in der Realität zu berechnen Zeit..Während herkömmliche Verarbeitungsmethoden kontinuierlich erkannte Signale abtasten und Berechnungen durchführen, um nützliche Informationen zu extrahieren, führt die vorgeschlagene neuromorphe Lösung Berechnungen asynchron durch, sobald nützliche Informationen eintreffen, wodurch die Energieeffizienz des Systems um fünf Größenordnungen maximiert wird.Darüber hinaus heben wir die Flexibilität RRAM-basierter neuromorpher Schaltkreise hervor.Die Fähigkeit von RRAM, die Leitfähigkeit auf nichtflüchtige Weise zu ändern (Plastizität), gleicht die inhärente Variabilität der synaptischen und neuronalen Schaltkreise von analogen DPI mit extrem geringem Stromverbrauch aus.Dies macht diese RRAM-basierte Schaltung vielseitig und leistungsstark.Unser Ziel ist es nicht, komplexe Funktionen oder Muster aus Signalen zu extrahieren, sondern Objekte in Echtzeit zu lokalisieren.Unser System kann das Signal auch effizient komprimieren und es schließlich an weitere Verarbeitungsschritte weiterleiten, um bei Bedarf komplexere Entscheidungen zu treffen.Im Rahmen von Lokalisierungsanwendungen kann unser neuromorpher Vorverarbeitungsschritt Informationen über den Standort von Objekten liefern.Diese Informationen können beispielsweise zur Bewegungserkennung oder Gestenerkennung genutzt werden.Wir betonen die Bedeutung der Kombination von Ultra-Low-Power-Sensoren wie pMUTs mit Ultra-Low-Power-Elektronik.Dabei waren neuromorphe Ansätze von entscheidender Bedeutung, da sie uns zur Entwicklung neuer Schaltungsimplementierungen biologisch inspirierter Rechenmethoden wie des Jeffress-Modells führten.Im Rahmen von Sensorfusionsanwendungen kann unser System mit mehreren verschiedenen ereignisbasierten Sensoren kombiniert werden, um genauere Informationen zu erhalten.Obwohl Eulen hervorragend darin sind, Beute im Dunkeln zu finden, verfügen sie über ein ausgezeichnetes Sehvermögen und führen eine kombinierte akustische und visuelle Suche durch, bevor sie Beute fangen70.Wenn ein bestimmtes Hörneuron feuert, erhält die Eule die Informationen, die sie benötigt, um zu bestimmen, in welche Richtung sie mit ihrer visuellen Suche beginnen soll, und richtet so ihre Aufmerksamkeit auf einen kleinen Teil der visuellen Szene.Für die Entwicklung zukünftiger autonomer Agenten sollte eine Kombination aus visuellen Sensoren (DVS-Kamera) und einem vorgeschlagenen Hörsensor (basierend auf pMUT) untersucht werden.
Der pMUT-Sensor befindet sich auf einer Platine mit zwei Empfängern im Abstand von etwa 10 cm, und der Sender befindet sich zwischen den Empfängern.In dieser Arbeit ist jede Membran eine schwebende bimorphe Struktur, die aus zwei 800 nm dicken Schichten aus piezoelektrischem Aluminiumnitrid (AlN) besteht, die zwischen drei 200 nm dicken Schichten aus Molybdän (Mo) eingelegt und mit einer 200 nm dicken Schicht beschichtet sind.die oberste passivierende SiN-Schicht, wie in der Referenz beschrieben.71. Die Innen- und Außenelektroden werden auf die untere und obere Molybdänschicht aufgebracht, während die mittlere Molybdänelektrode ungemustert ist und als Masse dient, was zu einer Membran mit vier Elektrodenpaaren führt.
Diese Architektur ermöglicht die Verwendung einer gemeinsamen Membranverformung, was zu einer verbesserten Sende- und Empfangsempfindlichkeit führt.Ein solcher pMUT weist als Emitter typischerweise eine Anregungsempfindlichkeit von 700 nm/V auf und sorgt für einen Oberflächendruck von 270 Pa/V.Als Empfänger weist ein pMUT-Film eine Kurzschlussempfindlichkeit von 15 nA/Pa auf, die in direktem Zusammenhang mit dem piezoelektrischen Koeffizienten von AlN steht.Die technische Variabilität der Spannung in der AlN-Schicht führt zu einer Änderung der Resonanzfrequenz, die durch Anlegen einer Gleichstromvorspannung an den pMUT ausgeglichen werden kann.Die DC-Empfindlichkeit wurde bei 0,5 kHz/V gemessen.Zur akustischen Charakterisierung wird vor dem pMUT ein Mikrofon eingesetzt.
Um den Echoimpuls zu messen, platzierten wir eine rechteckige Platte mit einer Fläche von etwa 50 cm2 vor dem pMUT, um die ausgesendeten Schallwellen zu reflektieren.Sowohl der Abstand zwischen den Platten als auch der Winkel relativ zur pMUT-Ebene werden mithilfe spezieller Halter gesteuert.Eine Tectronix CPX400DP-Spannungsquelle spannt drei pMUT-Membranen vor und stimmt die Resonanzfrequenz auf 111,9 kHz31 ab, während die Sender von einem Tectronix AFG 3102-Impulsgenerator angetrieben werden, der auf die Resonanzfrequenz (111,9 kHz) und ein Tastverhältnis von 0,01 abgestimmt ist.Die von den vier Ausgangsanschlüssen jedes pMUT-Empfängers gelesenen Ströme werden mithilfe einer speziellen Differenzstrom- und Spannungsarchitektur in Spannungen umgewandelt und die resultierenden Signale werden vom Spektrum-Datenerfassungssystem digitalisiert.Die Nachweisgrenze wurde durch die pMUT-Signalerfassung unter verschiedenen Bedingungen charakterisiert: Wir bewegten den Reflektor in verschiedene Entfernungen [30, 40, 50, 60, 80, 100] cm und änderten den pMUT-Unterstützungswinkel ([0, 20, 40] o). ) Abbildung 2b zeigt die zeitliche ITD-Erkennungsauflösung in Abhängigkeit von der entsprechenden Winkelposition in Grad.
In diesem Artikel werden zwei verschiedene handelsübliche RRAM-Schaltkreise verwendet.Das erste ist ein Array von 16.384 (16.000) Geräten (128 × 128 Geräte) in einer 1T1R-Konfiguration mit einem Transistor und einem Widerstand.Der zweite Chip ist die in Abb. 4a gezeigte neuromorphe Plattform.Die RRAM-Zelle besteht aus einem 5 nm dicken HfO2-Film, der in einen TiN/HfO2/Ti/TiN-Stapel eingebettet ist.Der RRAM-Stack ist in den Back-of-Line (BEOL) des standardmäßigen 130-nm-CMOS-Prozesses integriert.RRAM-basierte neuromorphe Schaltkreise stellen eine Designherausforderung für vollständig analoge elektronische Systeme dar, in denen RRAM-Bauteile neben traditioneller CMOS-Technologie existieren.Insbesondere muss der Leitungszustand des RRAM-Geräts gelesen und als Funktionsvariable für das System verwendet werden.Zu diesem Zweck wurde eine Schaltung entworfen, hergestellt und getestet, die den Strom vom Gerät liest, wenn ein Eingangsimpuls empfangen wird, und diesen Strom verwendet, um die Reaktion einer Differential-Pair-Integrator-Synapse (DPI) zu gewichten.Diese Schaltung ist in Abbildung 3a dargestellt, die die Grundbausteine der neuromorphen Plattform in Abbildung 4a darstellt.Ein Eingangsimpuls aktiviert das Gate des 1T1R-Geräts und induziert einen Strom durch den RRAM, der proportional zum Leitwert G des Geräts ist (Iweight = G(Vtop – Vx)).Der invertierende Eingang der Operationsverstärkerschaltung (Op-Amp) hat eine konstante DC-Vorspannung Vtop.Die negative Rückkopplung des Operationsverstärkers sorgt für Vx = Vtop, indem der gleiche Strom von M1 bereitgestellt wird.Das vom Gerät abgerufene aktuelle Iweight wird in die DPI-Synapse eingespeist.Ein stärkerer Strom führt zu einer stärkeren Depolarisation, sodass die RRAM-Leitfähigkeit effektiv synaptische Gewichte implementiert.Dieser exponentielle synaptische Strom wird durch den Membrankondensator der Leaky Integration and Excitation (LIF)-Neuronen injiziert, wo er als Spannung integriert wird.Wenn die Schwellenspannung der Membran (die Schaltspannung des Inverters) überschritten wird, wird der Ausgangsteil des Neurons aktiviert, was zu einer Ausgangsspitze führt.Dieser Impuls kehrt zurück und legt den Membrankondensator des Neurons auf Masse, wodurch er sich entlädt.Diese Schaltung wird dann durch einen Impulsexpander (in Abb. 3a nicht dargestellt) ergänzt, der den Ausgangsimpuls des LIF-Neurons auf die Zielimpulsbreite formt.In jede Leitung sind außerdem Multiplexer eingebaut, die das Anlegen einer Spannung an die obere und untere Elektrode des RRAM-Bausteins ermöglichen.
Zu den elektrischen Tests gehören die Analyse und Aufzeichnung des dynamischen Verhaltens analoger Schaltkreise sowie das Programmieren und Auslesen von RRAM-Geräten.Für beide Schritte sind spezielle Werkzeuge erforderlich, die alle gleichzeitig mit der Sensorplatine verbunden werden.Der Zugriff auf RRAM-Geräte in neuromorphen Schaltkreisen erfolgt von externen Tools über einen Multiplexer (MUX).Der MUX trennt die 1T1R-Zelle vom Rest der Schaltung, zu der sie gehört, und ermöglicht so das Lesen und/oder Programmieren des Geräts.Zum Programmieren und Lesen von RRAM-Geräten wird eine Keithley 4200 SCS-Maschine in Verbindung mit einem Arduino-Mikrocontroller verwendet: der erste für die genaue Impulserzeugung und Stromablesung und der zweite für den schnellen Zugriff auf einzelne 1T1R-Elemente im Speicherarray.Der erste Arbeitsgang besteht darin, das RRAM-Gerät zu bilden.Die Zellen werden einzeln ausgewählt und zwischen der oberen und unteren Elektrode wird eine positive Spannung angelegt.In diesem Fall ist der Strom aufgrund der Versorgung des Auswahltransistors mit der entsprechenden Gate-Spannung auf die Größenordnung von mehreren zehn Mikroampere begrenzt.Die RRAM-Zelle kann dann mithilfe von RESET- bzw. SET-Vorgängen zwischen einem Zustand mit niedriger Leitfähigkeit (LCS) und einem Zustand mit hoher Leitfähigkeit (HCS) wechseln.Der SET-Vorgang wird durch Anlegen eines rechteckigen Spannungsimpulses mit einer Dauer von 1 μs und einer Spitzenspannung von 2,0–2,5 V an die obere Elektrode und eines Synchronimpulses ähnlicher Form mit einer Spitzenspannung von 0,9–1,3 V durchgeführt das Gate des Auswahltransistors.Diese Werte ermöglichen die Modulation der RRAM-Leitfähigkeit in Intervallen von 20–150 µs.Beim RESET wird ein 1 µs breiter Spitzenimpuls von 3 V an die untere Elektrode (Bitleitung) der Zelle angelegt, wenn die Gate-Spannung im Bereich von 2,5–3,0 V liegt. Die Ein- und Ausgänge der analogen Schaltkreise sind dynamische Signale .Für die Eingabe haben wir zwei HP 8110-Impulsgeneratoren mit Tektronix AFG3011-Signalgeneratoren verschachtelt.Der Eingangsimpuls hat eine Breite von 1 µs und eine Anstiegs-/Abfallflanke von 50 ns.Es wird angenommen, dass es sich bei dieser Art von Impuls um einen typischen Störimpuls in analogen, auf Störimpulsen basierenden Schaltkreisen handelt.Das Ausgangssignal wurde mit einem 1-GHz-Oszilloskop von Teledyne LeCroy aufgezeichnet.Die Erfassungsgeschwindigkeit eines Oszilloskops ist nachweislich kein limitierender Faktor bei der Analyse und Erfassung von Schaltungsdaten.
Die Nutzung der Dynamik analoger Elektronik zur Simulation des Verhaltens von Neuronen und Synapsen ist eine elegante und effiziente Lösung zur Verbesserung der Recheneffizienz.Der Nachteil dieser rechnerischen Unterlage besteht darin, dass sie von Schema zu Schema unterschiedlich sein wird.Wir haben die Variabilität von Neuronen und synaptischen Schaltkreisen quantifiziert (ergänzende Abbildung 2a, b).Von allen Erscheinungsformen der Variabilität haben diejenigen, die mit Zeitkonstanten und Eingangsverstärkung verbunden sind, den größten Einfluss auf Systemebene.Die Zeitkonstante des LIF-Neurons und der DPI-Synapse wird durch eine RC-Schaltung bestimmt, wobei der Wert von R durch eine an das Gate des Transistors angelegte Vorspannung (Vlk für das Neuron und Vtau für die Synapse) gesteuert wird, wodurch die bestimmt wird Leckrate.Die Eingangsverstärkung ist definiert als die Spitzenspannung, die von den durch einen Eingangsimpuls stimulierten synaptischen und neuronalen Membrankondensatoren erreicht wird.Die Eingangsverstärkung wird durch einen weiteren Vorspannungstransistor gesteuert, der den Eingangsstrom moduliert.Eine auf dem 130-nm-Prozess von ST Microelectronics kalibrierte Monte-Carlo-Simulation wurde durchgeführt, um einige Statistiken zur Eingangsverstärkung und Zeitkonstante zu sammeln.Die Ergebnisse sind in der ergänzenden Abbildung 2 dargestellt, in der die Eingangsverstärkung und die Zeitkonstante als Funktion der Vorspannung quantifiziert werden, die die Leckrate steuert.Grüne Markierungen quantifizieren die Standardabweichung der Zeitkonstante vom Mittelwert.Sowohl Neuronen als auch synaptische Schaltkreise konnten einen weiten Bereich von Zeitkonstanten im Bereich von 10-5-10-2 s ausdrücken, wie im ergänzenden Abbildungsschema gezeigt.Die Eingangsverstärkung (ergänzende Abbildung 2e, d) der neuronalen und Synapsenvariabilität betrug ungefähr 8 % bzw. 3 %.Ein solcher Mangel ist in der Literatur gut dokumentiert: An der Anordnung der DYNAP-Chips wurden verschiedene Messungen durchgeführt, um die Nichtübereinstimmung zwischen Populationen von LIF63-Neuronen zu bewerten.Die Synapsen im BrainScale-Mixed-Signal-Chip wurden gemessen und ihre Inkonsistenzen analysiert, und es wurde ein Kalibrierungsverfahren vorgeschlagen, um den Effekt der Variabilität auf Systemebene zu reduzieren64.
Die Funktion von RRAM in neuromorphen Schaltkreisen ist zweifach: Architekturdefinition (Weiterleitung von Eingaben zu Ausgaben) und Implementierung synaptischer Gewichte.Letztere Eigenschaft kann genutzt werden, um das Problem der Variabilität der modellierten neuromorphen Schaltkreise zu lösen.Wir haben ein einfaches Kalibrierungsverfahren entwickelt, bei dem das RRAM-Gerät neu programmiert wird, bis die zu analysierende Schaltung bestimmte Anforderungen erfüllt.Für einen bestimmten Eingang wird der Ausgang überwacht und der RRAM neu programmiert, bis das Zielverhalten erreicht ist.Zwischen den Programmiervorgängen wurde eine Wartezeit von 5 s eingeführt, um das Problem der RRAM-Relaxation zu lösen, die zu vorübergehenden Leitfähigkeitsschwankungen führt (Ergänzende Informationen).Synaptische Gewichte werden entsprechend den Anforderungen des modellierten neuromorphen Schaltkreises angepasst oder kalibriert.Das Kalibrierungsverfahren wird in zusätzlichen Algorithmen [1, 2] zusammengefasst, die sich auf zwei grundlegende Merkmale neuromorpher Plattformen konzentrieren: Verzögerungsleitungen und richtungsunabhängige CD.Bei einer Schaltung mit einer Verzögerungsleitung besteht das Zielverhalten darin, einen Ausgangsimpuls mit einer Verzögerung Δt bereitzustellen.Wenn die tatsächliche Schaltungsverzögerung kleiner als der Zielwert ist, sollte das synaptische Gewicht von G3 reduziert werden (G3 sollte zurückgesetzt und dann auf einen niedrigeren passenden Strom Icc eingestellt werden).Wenn umgekehrt die tatsächliche Verzögerung größer als der Zielwert ist, muss der Leitwert von G3 erhöht werden (G3 muss zuerst zurückgesetzt und dann auf einen höheren Icc-Wert eingestellt werden).Dieser Vorgang wird wiederholt, bis die von der Schaltung erzeugte Verzögerung dem Zielwert entspricht und eine Toleranz eingestellt wird, um den Kalibrierungsprozess zu stoppen.Bei orientierungsunempfindlichen CDs sind zwei RRAM-Geräte, G1 und G3, am Kalibrierungsprozess beteiligt.Diese Schaltung verfügt über zwei um dt verzögerte Eingänge, Vin0 und Vin1.Die Schaltung sollte nur auf Verzögerungen unterhalb des Anpassungsbereichs [0,dtCD] reagieren.Wenn es keine Ausgabespitze gibt, die Eingabespitze aber nahe beieinander liegt, sollten beide RRAM-Geräte verstärkt werden, um dem Neuron dabei zu helfen, den Schwellenwert zu erreichen.Reagiert die Schaltung hingegen auf eine Verzögerung, die den Zielbereich von dtCD überschreitet, muss der Leitwert reduziert werden.Wiederholen Sie den Vorgang, bis das richtige Verhalten erreicht ist.Der Compliance-Strom kann durch die integrierte Analogschaltung in Referenz moduliert werden.72,73.Mit dieser integrierten Schaltung können solche Verfahren regelmäßig durchgeführt werden, um das System zu kalibrieren oder es für eine andere Anwendung wiederzuverwenden.
Wir bewerten den Stromverbrauch unseres neuromorphen Signalverarbeitungsansatzes auf einem Standard-32-Bit-Mikrocontroller68.Bei dieser Bewertung gehen wir vom Betrieb mit dem gleichen Aufbau wie in diesem Artikel aus, mit einem pMUT-Sender und zwei pMUT-Empfängern.Diese Methode verwendet einen Bandpassfilter, gefolgt von einem Hüllkurvenextraktionsschritt (Teeger-Kaiser) und schließlich wird eine Schwellenwertoperation auf das Signal angewendet, um die Laufzeit zu extrahieren.Die Berechnung des ITD und dessen Umrechnung in Erfassungswinkel entfallen bei der Auswertung.Wir betrachten eine Bandpassfilterimplementierung unter Verwendung eines Filters mit unendlicher Impulsantwort 4. Ordnung, der 18 Gleitkommaoperationen erfordert.Bei der Hüllkurvenextraktion werden drei weitere Gleitkommaoperationen verwendet, und die letzte Operation wird zum Festlegen des Schwellenwerts verwendet.Zur Vorverarbeitung des Signals sind insgesamt 22 Gleitkommaoperationen erforderlich.Das übertragene Signal ist ein kurzer Burst mit einer Sinuswellenform von 111,9 kHz, der alle 10 ms erzeugt wird, was zu einer Positionierungsbetriebsfrequenz von 100 Hz führt.Wir verwendeten eine Abtastrate von 250 kHz, um Nyquist zu entsprechen, und ein 6-ms-Fenster für jede Messung, um eine Reichweite von 1 Meter zu erfassen.Beachten Sie, dass 6 Millisekunden die Flugzeit eines 1 Meter entfernten Objekts sind.Dies ergibt einen Stromverbrauch von 180 µW für die A/D-Wandlung bei 0,5 MSPS.Die Signalvorverarbeitung beträgt 6,60 MIPS (Anweisungen pro Sekunde) und erzeugt 0,75 mW.Der Mikrocontroller kann jedoch in einen Energiesparmodus 69 wechseln, wenn der Algorithmus nicht ausgeführt wird.Dieser Modus bietet einen statischen Stromverbrauch von 10,8 μW und eine Aufwachzeit von 113 μs.Bei einer Taktfrequenz von 84 MHz schließt der Mikrocontroller alle Operationen des neuromorphen Algorithmus innerhalb von 10 ms ab, und der Algorithmus berechnet ein Tastverhältnis von 6,3 %, verwendet also einen Energiesparmodus.Die resultierende Verlustleistung beträgt 244,7 μW.Beachten Sie, dass wir die ITD-Ausgabe von ToF und die Umwandlung in den Erkennungswinkel weglassen und somit den Stromverbrauch des Mikrocontrollers unterschätzen.Dies bietet einen zusätzlichen Mehrwert für die Energieeffizienz des vorgeschlagenen Systems.Als zusätzliche Vergleichsbedingung bewerten wir den Stromverbrauch der in der Referenz vorgeschlagenen klassischen Beamforming-Methoden.31,54 bei Einbettung in denselben Mikrocontroller68 bei 1,8 V Versorgungsspannung.Fünf gleichmäßig verteilte pMUT-Membranen werden verwendet, um Daten für die Strahlformung zu erfassen.Für die Verarbeitung selbst wird als Strahlformungsmethode die Verzögerungssummierung verwendet.Dabei wird einfach eine Verzögerung auf die Fahrspuren angewendet, die dem erwarteten Unterschied in den Ankunftszeiten zwischen einer Fahrspur und der Referenzspur entspricht.Wenn die Signale in Phase sind, wird die Summe dieser Signale nach einer Zeitverschiebung eine hohe Energie haben.Wenn sie phasenverschoben sind, begrenzt destruktive Interferenz die Energie ihrer Summe.in einer Beziehung.Auf Abb.In 31 wird eine Abtastrate von 2 MHz ausgewählt, um die Daten um eine ganzzahlige Anzahl von Abtastwerten zeitlich zu verschieben.Ein bescheidenerer Ansatz besteht darin, eine gröbere Abtastrate von 250 kHz beizubehalten und einen FIR-Filter (Finite Impulse Response) zu verwenden, um fraktionierte Verzögerungen zu synthetisieren.Wir gehen davon aus, dass die Komplexität des Beamforming-Algorithmus hauptsächlich durch die Zeitverschiebung bestimmt wird, da jeder Kanal mit einem FIR-Filter mit 16 Abgriffen in jede Richtung gefaltet wird.Um die Anzahl der für diesen Vorgang erforderlichen MIPS zu berechnen, betrachten wir ein Fenster von 6 ms pro Messung, um eine Reichweite von 1 Meter, 5 Kanälen und 11 Strahlformungsrichtungen zu erfassen (Reichweite +/- 50° in 10°-Schritten).75 Messungen pro Sekunde brachten den Mikrocontroller auf sein Maximum von 100 MIPS.Verknüpfung.68, was zu einer Verlustleistung von 11,26 mW und einer Gesamtverlustleistung von 11,71 mW nach Hinzurechnung des Onboard-ADC-Beitrags führt.
Daten, die die Ergebnisse dieser Studie stützen, sind auf begründete Anfrage beim jeweiligen Autor, FM, erhältlich.
Indiveri, G. & Sandamirskaya, Y. Die Bedeutung von Raum und Zeit für die Signalverarbeitung in neuromorphen Agenten: Die Herausforderung bei der Entwicklung autonomer Agenten mit geringem Stromverbrauch, die mit der Umgebung interagieren. Indiveri, G. & Sandamirskaya, Y. Die Bedeutung von Raum und Zeit für die Signalverarbeitung in neuromorphen Agenten: Die Herausforderung bei der Entwicklung autonomer Agenten mit geringem Stromverbrauch, die mit der Umgebung interagieren.Indiveri G. und Sandamirskaya Y. Die Bedeutung von Raum und Zeit für die Signalverarbeitung in neuromorphen Agenten: die Herausforderung bei der Entwicklung autonomer Agenten mit geringem Stromverbrauch, die mit der Umgebung interagieren. Indiveri, G. & Sandamirskaya, Y. 开发与环境交互的低功自主代理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. und Sandamirskaya Y. Die Bedeutung von Raum und Zeit für die Signalverarbeitung in neuromorphen Agenten: die Herausforderung bei der Entwicklung autonomer Agenten mit geringem Stromverbrauch, die mit der Umgebung interagieren.IEEE-Signalverarbeitung.Zeitschrift 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: Ein effizientes Codierungsschema für neuronale Netze. in Eckmiller, R., Hartmann, G. & Hauske, G. (Hrsg.). in Eckmiller, R., Hartmann, G. & Hauske, G. (Hrsg.).in Eckmiller, R., Hartmann, G. und Hauske, G. (Hrsg.).In Eckmiller, R., Hartmann, G. und Hauske, G. (Hrsg.).Parallelverarbeitung in neuronalen Systemen und Computern 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Kommunikation verbraucht 35-mal mehr Energie als Berechnungen im menschlichen Kortex, aber beide Kosten sind erforderlich, um die Synapsenzahl vorherzusagen. Levy, WB & Calvert, VG Kommunikation verbraucht 35-mal mehr Energie als Berechnungen im menschlichen Kortex, aber beide Kosten sind erforderlich, um die Synapsenzahl vorherzusagen.Levy, WB und Calvert, WG Kommunikation verbraucht 35-mal mehr Energie als Berechnungen im menschlichen Kortex, aber beide Kosten sind erforderlich, um die Anzahl der Synapsen vorherzusagen. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35, 但这两种成本都需要预测突触数量。 Levy, WB & Calvert, VG KommunikationLevy, WB und Calvert, WG Kommunikation verbraucht 35-mal mehr Energie als Berechnungen im menschlichen Kortex, aber beide Kosten erfordern die Vorhersage der Anzahl der Synapsen.Verfahren.Nationale Akademie der Wissenschaften.die Wissenschaft.US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Von Insekten inspiriertes neuromorphes Computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Von Insekten inspiriertes neuromorphes Computing.Dalgati, T., Vianello, E., DeSalvo, B. und Casas, J. Von Insekten inspiriertes neuromorphes Computing.Dalgati T., Vianello E., DeSalvo B. und Casas J. Von Insekten inspiriertes neuromorphes Computing.Aktuell.Meinung.Insektenwissenschaft.30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Auf dem Weg zu Spike-basierter Maschinenintelligenz mit neuromorphem Computing. Roy, K., Jaiswal, A. & Panda, P. Auf dem Weg zu Spike-basierter Maschinenintelligenz mit neuromorphem Computing. Roy, K., Jaiswal, A. & Panda, P. Auf dem Weg zu Spike-basierter Maschinenintelligenz mit neuromorphem Computing.Roy K, Jaiswal A und Panda P. Pulsbasierte künstliche Intelligenz mit neuromorphem Computing.Natur 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. und Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. und Liu, S.-K.Gedächtnis und Informationsverarbeitung in neuromorphen Systemen.Verfahren.IEEE 103, 1379–1397 (2015).
Akopyan F. et al.Truenorth: Design und Toolkit für einen programmierbaren synaptischen Chip mit 65 mW und 1 Million Neuronen.IEEE-Transaktionen.Computerdesign integrierter Schaltkreissysteme.34, 1537–1557 (2015).
Schemmel, J. et al.Live-Demo: verkleinerte Version des neuromorphen Systems BrainScaleS im Plattenmaßstab.2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Eine skalierbare Multicore-Architektur mit heterogenen Speicherstrukturen für dynamische neuromorphe asynchrone Prozessoren (DYNAPs). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Eine skalierbare Multicore-Architektur mit heterogenen Speicherstrukturen für dynamische neuromorphe asynchrone Prozessoren (DYNAPs).Moradi S., Qiao N., Stefanini F. und Indiviri G. Eine skalierbare Multicore-Architektur mit heterogenen Speicherstrukturen für dynamische neuromorphe asynchrone Prozessoren (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G结构. Moradi, S., Qiao, N., Stefanini, F. und Indiveri, G. Eine Art erweiterbare Multi-Core-Architektur mit einer einzigartigen Speicherstruktur für dynamische neuronale Verarbeitung (DYNAP).Moradi S., Qiao N., Stefanini F. und Indiviri G. Eine skalierbare Multicore-Architektur mit heterogenen Speicherstrukturen für dynamische neuromorphe asynchrone Prozessoren (DYNAP).IEEE-Transaktionen zur biomedizinischen Wissenschaft.elektrisches System.12, 106–122 (2018).
Davis, M. et al.Loihi: Ein neuromorpher Multi-Core-Prozessor mit eingebettetem Lernen.IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA Das SpiNNaker-Projekt. Furber, SB, Galluppi, F., Temple, S. & Plana, LA Das SpiNNaker-Projekt.Ferber SB, Galluppi F., Temple S. und Plana LA SpiNNaker-Projekt.Ferber SB, Galluppi F., Temple S. und Plana LA SpiNNaker-Projekt.Verfahren.IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorphe sensorische Systeme. & Delbruck, T. Neuromorphe sensorische Systeme.und Delbrück T. Neuromorphe sensorische Systeme. & Delbruck, T. 神经形态感觉系统. & Delbruck, T.und Delbrück T. Neuromorphes sensorisches System.Aktuell.Meinung.Neurobiologie.20, 288–295 (2010).
Chope, T. et al.Neuromorphe sensorische Integration zur kombinierten Lokalisierung von Schallquellen und Kollisionsvermeidung.Im Jahr 2019 auf der IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Eine Spike-basierte neuromorphe Architektur des Stereosehens. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Eine Spike-basierte neuromorphe Architektur des Stereosehens.Risi N, Aymar A, Donati E, Solinas S und Indiveri G. Eine Spike-basierte neuromorphe Stereovisionsarchitektur. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S und Indiveri G. Spike-basierte neuromorphe Architektur für Stereovision.Vorderseite.Neurorobotik 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Ein Spitzen-Neuronales Netzwerkmodell der 3D-Wahrnehmung für ereignisbasierte neuromorphe Stereo-Vision-Systeme. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Ein Spitzen-Neuronales Netzwerkmodell der 3D-Wahrnehmung für ereignisbasierte neuromorphe Stereo-Vision-Systeme.Oswald, M., Ieng, S.-H., Benosman, R. und Indiveri, G. Ein 3D-gepulstes neuronales Netzwerk-Wahrnehmungsmodell für ereignisbasierte neuromorphe Stereo-Vision-Systeme. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型.Oswald, M., Ieng, S.-H., Benosman, R. und Indiveri, G. Spiked 3Dperception Neural Network Model für ein ereignisbasiertes neuromorphes Stereo-Vision-System.die Wissenschaft.Bericht 7, 1–11 (2017).
Dalgaty, T. et al.Die von Insekten inspirierte Basisbewegungserkennung umfasst Resistives Gedächtnis und Burst-Neuronale Netze.Bionisches Biohybridsystem.10928, 115–128 (2018).
D'Angelo, G. et al.Ereignisbasierte Erkennung exzentrischer Bewegungen mittels zeitlicher Differenzkodierung.Vorderseite.Neurologie.14, 451 (2020).
Zeitpunkt der Veröffentlichung: 17. November 2022