Nyheter

Verkliga databehandlingsapplikationer kräver kompakta datorsystem med låg latens och låg effekt.Med händelsedrivna beräkningsmöjligheter ger komplementära metall-oxid-halvledarhybrid memristiva neuromorfa arkitekturer en idealisk hårdvarubas för sådana uppgifter.För att visa den fulla potentialen hos sådana system föreslår och demonstrerar vi experimentellt en omfattande sensorbearbetningslösning för verkliga objektlokaliseringstillämpningar.Med inspiration från kattugglans neuroanatomi har vi utvecklat ett bioinspirerat, händelsestyrt objektlokaliseringssystem som kombinerar en toppmodern piezoelektrisk mikromekanisk transduktorgivare med beräkningsgrafbaserat neuromorft resistivt minne.Vi visar mätningar av ett tillverkat system som inkluderar en minnesbaserad resistiv koincidensdetektor, fördröjningsledningskretsar och en helt anpassningsbar ultraljudsgivare.Vi använder dessa experimentella resultat för att kalibrera simuleringar på systemnivå.Dessa simuleringar används sedan för att utvärdera vinkelupplösningen och energieffektiviteten för objektlokaliseringsmodellen.Resultaten visar att vårt tillvägagångssätt kan vara flera storleksordningar mer energieffektivt än mikrokontroller som utför samma uppgift.
Vi går in i en era av allestädes närvarande datoranvändning där antalet enheter och system som används växer exponentiellt för att hjälpa oss i våra dagliga liv.Dessa system förväntas köra kontinuerligt och förbruka så lite ström som möjligt samtidigt som de lär sig att tolka data de samlar in från flera sensorer i realtid och producera binär utdata som ett resultat av klassificerings- eller igenkänningsuppgifter.Ett av de viktigaste stegen som krävs för att uppnå detta mål är att extrahera användbar och kompakt information från bullriga och ofta ofullständiga sensoriska data.Konventionella tekniska tillvägagångssätt samplar typiskt sensorsignaler med en konstant och hög hastighet, och genererar stora mängder data även i frånvaro av användbara indata.Dessutom använder dessa metoder komplexa digitala signalbehandlingstekniker för att förbehandla (ofta brusiga) indata.Istället erbjuder biologi alternativa lösningar för att bearbeta bullriga sensoriska data med energieffektiva, asynkrona, händelsedrivna tillvägagångssätt (spikar)2,3.Neuromorphic computing hämtar inspiration från biologiska system för att minska beräkningskostnaderna i form av energi- och minneskrav jämfört med traditionella signalbehandlingsmetoder4,5,6.Nyligen har innovativa generella hjärnbaserade system som implementerar impulsneurala nätverk (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11) demonstrerats.Dessa processorer tillhandahåller lösningar med låg effekt och låg latens för maskininlärning och kortikala kretsmodellering.För att fullt ut utnyttja sin energieffektivitet måste dessa neuromorfa processorer vara direkt anslutna till händelsestyrda sensorer12,13.Men idag finns det bara ett fåtal pekenheter som direkt tillhandahåller händelsestyrd data.Framträdande exempel är dynamiska visuella sensorer (DVS) för syntillämpningar som spårning och rörelsedetektion14,15,16,17 kiselsnäckan18 och neuromorfa hörselsensorer (NAS)19 för auditiv signalbehandling, luktsensorer20 och många exempel21,22 av beröring..textursensorer.
I den här artikeln presenterar vi ett nyutvecklat händelsestyrt auditivt bearbetningssystem som tillämpas på objektlokalisering.Här beskriver vi för första gången ett end-to-end-system för objektlokalisering som erhålls genom att ansluta en toppmodern piezoelektrisk mikromaskinbearbetad ultraljudsgivare (pMUT) med en beräkningsgraf baserad på neuromorfiskt resistivt minne (RRAM).In-memory datorarkitekturer som använder RRAM är en lovande lösning för att minska strömförbrukningen23,24,25,26,27,28,29.Deras inneboende icke-flyktighet – som inte kräver aktiv strömförbrukning för att lagra eller uppdatera information – passar perfekt med den asynkrona, händelsedrivna naturen hos neuromorfa datorer, vilket resulterar i nästan ingen strömförbrukning när systemet är inaktivt.Piezoelektriska mikrobearbetade ultraljudsgivare (pMUT) är billiga, miniatyriserade kiselbaserade ultraljudsgivare som kan fungera som sändare och mottagare30,31,32,33,34.För att bearbeta signalerna som tas emot av de inbyggda sensorerna hämtade vi inspiration från kattugglans neuroanatomi35,36,37.Tornugglan Tyto alba är känd för sina anmärkningsvärda nattjaktsförmåga tack vare ett mycket effektivt hörsellokaliseringssystem.För att beräkna bytesplatsen kodar ugglans lokaliseringssystem flygtiden (ToF) när ljudvågor från bytesdjur når var och en av ugglans öron eller ljudreceptorer.Med tanke på avståndet mellan öronen gör skillnaden mellan de två ToF-mätningarna (Interaural Time Difference, ITD) det möjligt att analytiskt beräkna målets azimutposition.Även om biologiska system är dåligt lämpade för att lösa algebraiska ekvationer, kan de lösa lokaliseringsproblem mycket effektivt.Tornugglans nervsystem använder en uppsättning tillfällighetsdetektorer (CD)35-neuroner (dvs neuroner som kan detektera tidsmässiga korrelationer mellan spikar som fortplantar sig nedåt till konvergerande excitatoriska slut)38,39 organiserade i beräkningsgrafer för att lösa positioneringsproblem.
Tidigare forskning har visat att komplementär metall-oxid-halvledarhårdvara (CMOS) och RRAM-baserad neuromorf hårdvara inspirerad av inferior colliculus ("auditiv cortex") hos kattugglan är en effektiv metod för att beräkna position med ITD13, 40, 41, 42, 43, 44, 45, 46. Potentialen hos kompletta neuromorfa system som länkar hörselsignaler till neuromorfa beräkningsgrafer har dock ännu inte demonstrerats.Huvudproblemet är den inneboende variabiliteten hos analoga CMOS-kretsar, vilket påverkar noggrannheten i matchdetektering.Nyligen har alternativa numeriska implementeringar av ITD47-uppskattningarna demonstrerats.I det här dokumentet föreslår vi att använda RRAM-minnes förmåga att ändra konduktansvärdet på ett icke-flyktigt sätt för att motverka variabilitet i analoga kretsar.Vi implementerade ett experimentellt system bestående av ett pMUT-sändande membran som arbetar med en frekvens på 111,9 kHz, två pMUT-mottagande membran (sensorer) som simulerar barnuggleöron och en .Vi karakteriserade experimentellt pMUT-detektionssystemet och RRAM-baserad ITD-beräkningsgraf för att testa vårt lokaliseringssystem och utvärdera dess vinkelupplösning.
Vi jämför vår metod med en digital implementering på en mikrokontroller som utför samma lokaliseringsuppgift med hjälp av konventionella strålformande eller neuromorfa metoder, såväl som en fältprogrammerbar gate array (FPGA) för ITD-uppskattning som föreslås i referensen.47. Denna jämförelse belyser konkurrenskraftseffektiviteten hos det föreslagna RRAM-baserade analoga neuromorfa systemet.
Ett av de mest slående exemplen på ett noggrant och effektivt objektlokaliseringssystem finns i kattuggla35,37,48.I skymning och gryning förlitar sig lappugglan (Tyto Alba) främst på passivt lyssnande och söker aktivt upp små byten som sorkar eller möss.Dessa hörselexperter kan lokalisera hörselsignaler från bytesdjur med häpnadsväckande noggrannhet (cirka 2°)35, som visas i Fig. 1a.Tornugglor härleder platsen för ljudkällor i azimutplanet (horisontellt) från skillnaden i inkommande flygtid (ITD) från ljudkällan till de två öronen.ITD-beräkningsmekanismen föreslogs av Jeffress49,50 som förlitar sig på neural geometri och kräver två nyckelkomponenter: ett axon, en neurons nervfiber som fungerar som en fördröjningslinje och en uppsättning av sammanfallande detektorneuroner organiserade i ett beräkningssystem.graf som visas i figur 1b.Ljudet når örat med en azimutberoende tidsfördröjning (ITD).Ljudet omvandlas sedan till ett spikmönster i varje öra.Axonerna i vänster och höger öra fungerar som fördröjningslinjer och konvergerar på CD-neuroner.Teoretiskt sett kommer endast en neuron i en uppsättning av matchade neuroner att ta emot input åt gången (där fördröjningen avbryts exakt) och kommer att avfyras maximalt (anliggande celler kommer också att avfyras, men med en lägre frekvens).Aktivering av vissa neuroner kodar för målets position i rymden utan att ytterligare omvandla ITD till vinklar.Detta koncept sammanfattas i figur 1c: till exempel, om ljudet kommer från höger sida när insignalen från höger öra går en längre väg än vägen från vänster öra, kompenserar för antalet ITD:er, till exempel, när neuron 2 matchar.Med andra ord, varje CD svarar på en viss ITD (även känd som optimal fördröjning) på grund av axonal fördröjning.Således omvandlar hjärnan tidsinformation till rumslig information.Anatomiska bevis för denna mekanism har hittats37,51.Faslåsta makronukleusneuroner lagrar tidsinformation om inkommande ljud: som deras namn antyder, skjuter de vid vissa signalfaser.Tillfällighetsdetektorneuroner av Jeffress-modellen kan hittas i den laminära kärnan.De får information från makronukleära neuroner, vars axoner fungerar som fördröjningslinjer.Mängden fördröjning som tillhandahålls av fördröjningslinjen kan förklaras av axonets längd, såväl som ett annat myeliniseringsmönster som ändrar ledningshastigheten.Inspirerad av lappugglans hörselsystem har vi utvecklat ett biomimetiskt system för att lokalisera föremål.De två öronen representeras av två pMUT-mottagare.Ljudkällan är pMUT-sändaren placerad mellan dem (Fig. 1a), och beräkningsgrafen bildas av ett rutnät av RRAM-baserade CD-kretsar (Fig. 1b, grön), som spelar rollen som CD-neuroner vars ingångar är fördröjda.genom kretsen fungerar fördröjningslinjerna (blå) som axoner i den biologiska motsvarigheten.Det föreslagna sensoriska systemet skiljer sig i arbetsfrekvens från ugglans, vars hörselsystem arbetar i intervallet 1–8 kHz, men pMUT-sensorer som arbetar vid cirka 117 kHz används i detta arbete.Valet av en ultraljudsgivare övervägs enligt tekniska kriterier och optimeringskriterier.För det första förbättrar en begränsning av mottagningsbandbredden till en enda frekvens mätnoggrannheten och förenklar efterbehandlingssteget.Dessutom har operation i ultraljud fördelen att de utsända pulserna inte är hörbara, därför inte stör människor, eftersom deras hörselomfång är ~20-20 kHz.
kattugglan tar emot ljudvågor från ett mål, i det här fallet rörliga byten.Flygtiden (ToF) för ljudvågen är olika för varje öra (såvida inte bytet är direkt framför ugglan).Den streckade linjen visar vägen som ljudvågorna tar för att nå fjällugglans öron.Bytesdjur kan lokaliseras exakt i horisontalplanet baserat på längdskillnaden mellan de två akustiska banorna och motsvarande interaural tidsskillnad (ITD) (vänster bild inspirerad av ref. 74, copyright 2002, Society for Neuroscience).I vårt system genererar pMUT-sändaren (mörkblå) ljudvågor som studsar mot målet.Reflekterade ultraljudsvågor tas emot av två pMUT-mottagare (ljusgrön) och bearbetas av den neuromorfa processorn (höger).b En ITD (Jeffress) beräkningsmodell som beskriver hur ljud som kommer in i kattugglans öron först kodas som faslåsta spikar i den stora kärnan (NM) och sedan med hjälp av ett geometriskt arrangerat rutnät av matchade detektorneuroner i den lamellära kärnan.Bearbetning (Nederländerna) (vänster).Illustration av en neuroITD-beräkningsgraf som kombinerar fördröjningslinjer och koincidensdetektorneuroner, ugglebiosensorsystemet kan modelleras med RRAM-baserade neuromorfa kretsar (höger).c Schematisk över Jeffress huvudmekanism, på grund av skillnaden i ToF, får de två öronen ljudstimuli vid olika tidpunkter och skickar axoner från båda ändarna till detektorn.Axonerna är en del av en serie av coincidence detector (CD) neuroner, som var och en reagerar selektivt på starkt tidskorrelerade indata.Som ett resultat är endast CD-skivor vars ingångar kommer med den minsta tidsskillnaden maximalt exciterade (ITD kompenseras exakt).CD-skivan kommer då att koda målets vinkelposition.
Piezoelektriska mikromekaniska ultraljudsgivare är skalbara ultraljudsgivare som kan integreras med avancerad CMOS-teknik31,32,33,52 och har lägre initialspänning och strömförbrukning än traditionella volumetriska givare53.I vårt arbete är membrandiametern 880 µm, och resonansfrekvensen är fördelad i intervallet 110–117 kHz (Fig. 2a, se Metoder för detaljer).I en sats av tio testenheter var den genomsnittliga kvalitetsfaktorn cirka 50 (ref. 31).Tekniken har nått industriell mognad och är inte bioinspirerad i sig.Att kombinera information från olika pMUT-filmer är en välkänd teknik, och vinkelinformation kan erhållas från pMUT:er med användning av till exempel strålformningstekniker31,54.Den signalbehandling som krävs för att extrahera vinkelinformationen är dock inte lämplig för mätningar med låg effekt.Det föreslagna systemet kombinerar den neuromorfa dataförbehandlingskretsen pMUT med en RRAM-baserad neuromorfisk beräkningsgraf inspirerad av Jeffress-modellen (Figur 2c), vilket ger en alternativ energieffektiv och resursbegränsad hårdvarulösning.Vi utförde ett experiment där två pMUT-sensorer placerades cirka 10 cm från varandra för att utnyttja de olika ToF-ljuden som tas emot av de två mottagande membranen.En pMUT som fungerar som sändare sitter mellan mottagarna.Målet var en PVC-platta 12 cm bred, placerad på ett avstånd D framför pMUT-anordningen (fig. 2b).Mottagaren registrerar ljudet som reflekteras från föremålet och reagerar så mycket som möjligt under ljudvågens passage.Upprepa experimentet genom att ändra objektets position, bestämt av avståndet D och vinkeln θ.Inspirerad av en länk.55, föreslår vi en neuromorf förbehandling av pMUT-råsignaler för att omvandla reflekterade vågor till toppar för att mata in en neuromorf beräkningsgraf.ToF som motsvarar toppamplituden extraheras från var och en av de två kanalerna och kodas som den exakta timingen för de individuella topparna.På fig.2c visar kretsen som krävs för att koppla ihop pMUT-sensorn med en RRAM-baserad beräkningsgraf: för var och en av de två pMUT-mottagarna bandpassfiltreras råsignalen för att jämna ut, likrikta och sedan skickas till den läckande integratorn i övervinnande läge.den dynamiska tröskeln (fig. 2d) skapar en utmatningshändelse (spik) och avfyrande (LIF) neuron: utmatningsspiktiden kodar den detekterade flygtiden.LIF-tröskeln kalibreras mot pMUT-svaret, varigenom pMUT-variabiliteten från anordning till anordning reduceras.Med detta tillvägagångssätt, istället för att lagra hela ljudvågen i minnet och bearbeta den senare, genererar vi helt enkelt en topp som motsvarar ljudvågens ToF, som bildar ingången till den resistiva minnesberäkningsgrafen.Spikarna skickas direkt till fördröjningslinjerna och parallelliseras med matchningsdetekteringsmoduler i neuromorfa beräkningsgrafer.Eftersom de skickas till transistorernas grindar krävs inga ytterligare förstärkningskretsar (se tilläggsbild 4 för detaljer).För att utvärdera lokaliseringsvinkelnoggrannheten som tillhandahålls av pMUT och den föreslagna signalbehandlingsmetoden, mätte vi ITD (det vill säga skillnaden i tid mellan topphändelser genererade av två mottagare) eftersom avståndet och vinkeln för objektet varierade.ITD-analysen omvandlades sedan till vinklar (se Metoder) och plottades mot objektets position: osäkerheten i den uppmätta ITDn ökade med avstånd och vinkel till objektet (Fig. 2e,f).Huvudproblemet är topp-till-brus-förhållandet (PNR) i pMUT-svaret.Ju längre objektet är, desto lägre blir den akustiska signalen, vilket minskar PNR (fig. 2f, grön linje).En minskning av PNR leder till en ökning av osäkerheten i ITD-uppskattningen, vilket resulterar i en ökning av lokaliseringsnoggrannheten (Fig. 2f, blå linje).För ett föremål på ett avstånd av 50 cm från sändaren är systemets vinkelnoggrannhet cirka 10°.Denna begränsning som åläggs av sensorns egenskaper kan förbättras.Till exempel kan trycket som sänds av sändaren ökas och därigenom öka spänningen som driver pMUT-membranet.En annan lösning för att förstärka den sända signalen är att ansluta flera sändare 56. Dessa lösningar kommer att öka detekteringsområdet på bekostnad av ökade energikostnader.Ytterligare förbättringar kan göras på den mottagande sidan.pMUT:s mottagares brusgolv kan reduceras avsevärt genom att förbättra kopplingen mellan pMUT och förstastegsförstärkaren, vilket för närvarande görs med trådanslutningar och RJ45-kablar.
en bild av en pMUT-kristall med sex 880 µm membran integrerade med 1,5 mm delning.b Diagram över mätinställningen.Målet är beläget i azimutposition θ och på avstånd D. pMUT-sändaren genererar en 117,6 kHz-signal som studsar från målet och når två pMUT-mottagare med olika flygtid (ToF).Denna skillnad, definierad som inter-aural tidsskillnad (ITD), kodar positionen för ett objekt och kan uppskattas genom att uppskatta toppsvaret för de två mottagarsensorerna.c Schematisk beskrivning av förbearbetningssteg för omvandling av den råa pMUT-signalen till spiksekvenser (dvs. input till den neuromorfa beräkningsgrafen).pMUT-sensorerna och neuromorfa beräkningsgrafer har tillverkats och testats, och den neuromorfa förbehandlingen är baserad på mjukvarusimulering.d Svar från pMUT-membranet vid mottagande av en signal och dess transformation till en spikdomän.e Experimentell lokaliseringsvinkelnoggrannhet som funktion av objektvinkeln (Θ) och avståndet (D) till målobjektet.ITD-extraktionsmetoden kräver en minsta vinkelupplösning på cirka 4°C.f Vinkelnoggrannhet (blå linje) och motsvarande topp-till-brus-förhållande (grön linje) kontra objektavstånd för Θ = 0.
Resistivt minne lagrar information i ett icke-flyktigt ledande tillstånd.Grundprincipen för metoden är att modifieringen av materialet på atomnivå orsakar en förändring av dess elektriska ledningsförmåga57.Här använder vi ett oxidbaserat resistivt minne som består av ett 5nm lager av hafniumdioxid inklämt mellan topp- och bottenelektroder av titan och titannitrid.Konduktiviteten hos RRAM-enheter kan ändras genom att applicera en ström/spänningsvågform som skapar eller bryter ledande filament av syrevakanser mellan elektroderna.Vi samintegrerade sådana enheter58 i en standard 130 nm CMOS-process för att skapa en tillverkad omkonfigurerbar neuromorf krets som implementerar en koincidensdetektor och en fördröjningslinjekrets (Fig. 3a).Enhetens icke-flyktiga och analoga karaktär, i kombination med den neuromorfa kretsens händelsedrivna karaktär, minimerar strömförbrukningen.Kretsen har en omedelbar på/av-funktion: den fungerar omedelbart efter att den slagits på, vilket gör att strömmen kan stängas av helt när kretsen är inaktiv.Huvudbyggnadsblocken i det föreslagna schemat visas i fig.3b.Den består av N parallella enkelresistor enkeltransistor (1T1R) strukturer som kodar synaptiska vikter från vilka viktade strömmar tas, injiceras i den gemensamma synapsen av en differentialparintegrator (DPI)59 och slutligen injiceras i synapsen med integration och läckage.aktiverad (LIF) neuron 60 (se Metoder för detaljer).Ingångssvingarna appliceras på grinden av 1T1R-strukturen i form av en sekvens av spänningspulser med en varaktighet i storleksordningen hundratals nanosekunder.Resistivt minne kan placeras i ett högt ledande tillstånd (HCS) genom att applicera en extern positiv referens till Vtop när Vbottom är jordad, och återställas till ett lågkonduktivt tillstånd (LCS) genom att applicera en positiv spänning till Vbottom när Vtop är jordad.Medelvärdet för HCS kan styras genom att begränsa programmeringsströmmen (överensstämmelse) för SET (ICC) av gate-source-spänningen för serietransistorn (fig. 3c).Funktionerna hos RRAM i kretsen är tvåfaldiga: de styr och väger ingångspulserna.
Svepelektronmikroskop (SEM) bild av en blå HfO2 1T1R RRAM-enhet integrerad i 130 nm CMOS-teknik med väljartransistorer (650 nm breda) i grönt.b Grundläggande byggstenar i det föreslagna neuromorfa schemat.Inspänningspulserna (topparna) Vin0 och Vin1 förbrukar ström Ivikt, vilket är proportionellt mot ledningstillstånden G0 och G1 i 1T1R-strukturen.Denna ström injiceras i DPI-synapserna och exciterar LIF-neuronerna.RRAM G0 och G1 är installerade i HCS respektive LCS.c Funktion av kumulativ konduktansdensitet för en grupp av 16K RRAM-enheter som en funktion av ICC-strömanpassning, som effektivt kontrollerar ledningsnivån.d Kretsmätningar i (a) som visar att G1 (i LCS) effektivt blockerar input från Vin1 (grön), och faktiskt reagerar utgångsneuronens membranspänning endast på den blå ingången från Vin0.RRAM bestämmer effektivt anslutningarna i kretsen.e Mätning av kretsen i (b) som visar effekten av konduktansvärdet G0 på membranspänningen Vmem efter applicering av en spänningspuls Vin0.Ju mer konduktans, desto starkare respons: RRAM-enheten implementerar således I/O-anslutningsviktning.Mätningar gjordes på kretsen och visar den dubbla funktionen av RRAM, routing och viktning av ingångspulser.
För det första, eftersom det finns två grundläggande ledningstillstånd (HCS och LCS), kan RRAM blockera eller missa ingångspulser när de är i LCS- respektive HCS-tillstånd.Som ett resultat bestämmer RRAM effektivt anslutningarna i kretsen.Detta är grunden för att kunna konfigurera om arkitekturen.För att demonstrera detta kommer vi att beskriva en tillverkad kretsimplementering av kretsblocket i fig. 3b.RRAM som motsvarar GO programmeras in i HCS, och det andra RRAM Gl programmeras in i LCS.Ingångspulser appliceras på både Vin0 och Vin1.Effekterna av två sekvenser av ingångspulser analyserades i utgångsneuronerna genom att samla neuronmembranspänningen och utsignalen med användning av ett oscilloskop.Experimentet var framgångsrikt när endast HCS-enheten (G0) var ansluten till neuronens puls för att stimulera membranspänning.Detta visas i figur 3d, där det blå pulståget får membranspänningen att byggas upp på membrankondensatorn, medan det gröna pulståget håller membranspänningen konstant.
Den andra viktiga funktionen hos RRAM är implementeringen av anslutningsvikter.Med hjälp av RRAMs analoga konduktansjustering kan I/O-anslutningar viktas därefter.I det andra experimentet programmerades G0-enheten till olika nivåer av HCS, och ingångspulsen applicerades på VIn0-ingången.Ingångspulsen drar en ström (Iweight) från enheten, som är proportionell mot konduktansen och motsvarande potentialfall Vtop − Vbot.Denna viktade ström injiceras sedan i DPI-synapserna och LIF-utgångsneuronerna.Membranspänningen för de utgående neuronerna registrerades med användning av ett oscilloskop och visas i fig. 3d.Spänningstoppen för neuronmembranet som svar på en enda ingångspuls är proportionell mot konduktansen hos det resistiva minnet, vilket visar att RRAM kan användas som ett programmerbart element av synaptisk vikt.Dessa två preliminära tester visar att den föreslagna RRAM-baserade neuromorfa plattformen kan implementera grundelementen i den grundläggande Jeffress-mekanismen, nämligen fördröjningslinjen och koincidensdetektorkretsen.Kretsplattformen är byggd genom att stapla på varandra följande block sida vid sida, såsom blocken i figur 3b, och ansluta deras grindar till en gemensam ingångsledning.Vi designade, tillverkade och testade en neuromorf plattform bestående av två utgångsneuroner som tar emot två ingångar (Fig. 4a).Kretsschemat visas i figur 4b.Den övre 2 × 2 RRAM-matrisen tillåter att ingångspulser riktas till två utgångsneuroner, medan den nedre 2 × 2-matrisen tillåter återkommande anslutningar av två neuroner (NO, N1).Vi visar att denna plattform kan användas med en fördröjningslinjekonfiguration och två olika koincidensdetektorfunktioner, vilket visas av experimentella mätningar i Fig. 4c-e.
Kretsdiagram bildat av två utgångsneuroner N0 och N1 som tar emot två ingångar 0 och 1. De fyra översta enheterna i arrayen definierar synaptiska anslutningar från ingång till utgång, och de fyra nedersta cellerna definierar återkommande kopplingar mellan neuroner.De färgade RRAM-minnena representerar enheterna som är konfigurerade i HCS till höger: enheterna i HCS tillåter anslutningar och representerar vikter, medan enheterna i LCS blockerar ingångspulser och inaktiverar anslutningar till utgångar.b Diagram över krets (a) med åtta RRAM-moduler markerade i blått.c Fördröjningslinjer bildas genom att helt enkelt använda dynamiken hos DPI-synapser och LIF-neuroner.Det gröna RRAM-minnet är inställt på konduktansen tillräckligt hög för att kunna inducera en glitch vid utgången efter ingångsfördröjningen Δt.d Schematisk illustration av riktningsokänslig CD-detektering av tidsberoende signaler.Utgångsneuron 1, N1, avfyras på ingångarna 0 och 1 med en kort fördröjning.e Riktningskänslig CD-krets, en krets som känner av när ingång 1 närmar sig ingång 0 och kommer efter ingång 0. Kretsens utgång representeras av neuron 1 (N1).
Fördröjningslinjen (Figur 4c) använder helt enkelt det dynamiska beteendet hos DPI-synapser och LIF-neuroner för att reproducera ingångsspiken från Vin1 till Vout1 genom att fördröja Tdel.Endast G3 RRAM ansluten till Vin1 och Vout1 är programmerad i HCS, resten av RRAM är programmerad i LCS.G3-anordningen programmerades för 92,6 µs för att säkerställa att varje ingångspuls ökar membranspänningen för utgångsneuronen tillräckligt för att nå tröskeln och generera en fördröjd utgångspuls.Fördröjningen Tdel bestäms av de synaptiska och neurala tidskonstanterna.Tillfällighetsdetektorer detekterar förekomsten av tidsmässigt korrelerade men spatialt fördelade insignaler.Riktningsokänslig CD förlitar sig på individuella ingångar som konvergerar till en gemensam utgångsneuron (Figur 4d).De två RRAM som ansluter Vin0 och Vin1 till Vout1, G2 respektive G4 är programmerade för hög ledning.Samtidig ankomst av spikar på Vin0 och Vin1 ökar spänningen hos N1-neuronmembranet över det tröskelvärde som krävs för att generera utsignalspiken.Om de två ingångarna är för långt ifrån varandra i tiden kan laddningen på membranspänningen som ackumulerats av den första ingången få tid att avta, vilket förhindrar membranpotentialen N1 från att nå tröskelvärdet.G1 och G2 är programmerade för cirka 65 µs, vilket säkerställer att en enda ingångssvall inte ökar membranspänningen tillräckligt för att orsaka en utgångssvall.Sammanfallsdetektering mellan händelser fördelade i rum och tid är en grundläggande operation som används i ett brett spektrum av avkänningsuppgifter såsom optiskt flödesbaserat hinderundvikande och ljudkällas lokalisering.Därför är datorriktningskänsliga och okänsliga CD-skivor en grundläggande byggsten för att konstruera visuella och ljudlokaliseringssystem.Såsom visas av egenskaperna hos tidskonstanterna (se tilläggsfigur 2) implementerar den föreslagna kretsen ett lämpligt område av fyra storleksordningar tidsskalor.Således kan den samtidigt uppfylla kraven för visuella och ljudsystem.Riktningskänslig CD är en krets som är känslig för den rumsliga ordningen för ankomst av pulser: från höger till vänster och vice versa.Det är en grundläggande byggsten i det grundläggande rörelsedetekteringsnätverket i Drosophila visuella system, som används för att beräkna rörelseriktningar och detektera kollisioner62.För att uppnå en riktningskänslig CD måste två ingångar riktas till två olika neuroner (NO, N1) och en riktningsanslutning måste upprättas mellan dem (Fig. 4e).När den första ingången tas emot reagerar NO genom att höja spänningen över dess membran över tröskelvärdet och sända ut en våg.Denna utgångshändelse utlöser i sin tur N1 tack vare den riktningsanslutning som är markerad i grönt.Om en ingångshändelse Vin1 anländer och aktiverar N1 medan dess membranspänning fortfarande är hög, genererar N1 en utgående händelse som indikerar att en matchning har hittats mellan de två ingångarna.Riktningsanslutningar tillåter N1 att endast avge utsignal om ingång 1 kommer efter ingång 0. G0, G3 och G7 är programmerade till 73,5 µS, 67,3 µS respektive 40,2 µS, vilket säkerställer att en enda spik på ingången Vin0 orsakar en fördröjning utgångspik, medan N1:s membranpotential bara når tröskeln när båda ingångsskurarna anländer synkroniserat..
Variabilitet är en källa till ofullkomlighet i modellerade neuromorfa system63,64,65.Detta leder till heterogent beteende hos neuroner och synapser.Exempel på sådana nackdelar inkluderar 30 % (medelstandardavvikelse) variation i ingångsförstärkning, tidskonstant och refraktärperiod, för att bara nämna några (se Metoder).Detta problem är ännu mer uttalat när flera neurala kretsar är sammankopplade, till exempel en orienteringskänslig CD som består av två neuroner.För att fungera korrekt bör förstärknings- och avklingningstidskonstanterna för de två neuronerna vara så lika som möjligt.Till exempel kan en stor skillnad i ingångsförstärkning få en neuron att överreagera på en ingångspuls medan den andra neuronen knappt svarar.På fig.Figur 5a visar att slumpmässigt utvalda neuroner svarar olika på samma ingångspuls.Denna neurala variabilitet är till exempel relevant för funktionen hos riktningskänsliga CD-skivor.I schemat som visas i fig.5b, c är ingångsförstärkningen för neuron 1 mycket högre än den för neuron 0. Således kräver neuron 0 tre ingångspulser (istället för 1) för att nå tröskeln, och neuron 1, som förväntat, behöver två ingångshändelser.Att implementera spike time-dependent biomimetic plasticity (STDP) är ett möjligt sätt att mildra effekten av oprecisa och tröga neurala och synaptiska kretsar på systemets prestanda43.Här föreslår vi att använda det plastiska beteendet hos resistivt minne som ett sätt att påverka förbättringen av neural input och minska effekterna av variabilitet i neuromorfa kretsar.Såsom visas i fig.4e, modulerade konduktansnivåer associerade med RRAM synaptisk massa effektivt motsvarande neurala membranspänningssvar.Vi använder en iterativ RRAM-programmeringsstrategi.För en given ingång omprogrammeras konduktansvärdena för de synaptiska vikterna tills målbeteendet för kretsen erhålls (se Metoder).
a Experimentella mätningar av svaret från nio slumpmässigt utvalda individuella neuroner på samma ingångspuls.Svaret varierar mellan populationer, vilket påverkar ingångsförstärkningen och tidskonstanten.b Experimentella mätningar av neuronernas inverkan på variationen hos neuroner som påverkar riktningskänslig CD.De två riktningskänsliga CD-utgångsneuronerna svarar olika på ingångsstimuli på grund av neuron-till-neuron-variabilitet.Neuron 0 har en lägre ingångsförstärkning än neuron 1, så det krävs tre ingångspulser (istället för 1) för att skapa en utgångsspik.Som förväntat når neuron 1 tröskeln med två ingångshändelser.Om ingång 1 anländer Δt = 50 µs efter att neuron 0 avfyras, förblir CD tyst eftersom Δt är större än tidskonstanten för neuron 1 (ca 22 µs).c reduceras med Δt = 20 µs, så att ingång 1 toppar när neuron 1:s avfyring fortfarande är hög, vilket resulterar i samtidig detektering av två ingångshändelser.
De två elementen som används i ITD-beräkningskolumnen är fördröjningslinjen och den riktningsokänsliga CD:n.Båda kretsarna kräver noggrann kalibrering för att säkerställa bra objektpositioneringsprestanda.Fördröjningslinjen måste leverera en exakt fördröjd version av ingångstoppen (fig. 6a), och CD:n måste aktiveras endast när ingången faller inom måldetekteringsområdet.För fördröjningslinjen omprogrammerades de synaptiska vikterna för ingångsanslutningarna (G3 i fig. 4a) tills målfördröjningen erhölls.Ställ in en tolerans kring målfördröjningen för att stoppa programmet: ju mindre tolerans, desto svårare är det att framgångsrikt ställa in fördröjningslinjen.På fig.Figur 6b visar resultaten av fördröjningslinjekalibreringsprocessen: det kan ses att det föreslagna schemat exakt kan tillhandahålla alla fördröjningar som krävs i designschemat (från 10 till 300 μs).Det maximala antalet kalibreringsiterationer påverkar kvaliteten på kalibreringsprocessen: 200 iterationer kan minska felet till mindre än 5 %.En kalibreringsiteration motsvarar en inställning/återställningsoperation av en RRAM-cell.Trimningsprocessen är också avgörande för att förbättra noggrannheten i CD-modulens omedelbara stängning av händelsedetektering.Det tog tio kalibreringsiterationer för att uppnå en sann positiv frekvens (dvs. frekvensen av händelser som korrekt identifierades som relevanta) över 95 % (blå linje i figur 6c).Trimningsprocessen påverkade dock inte falskt positiva händelser (det vill säga frekvensen av händelser som felaktigt identifierades som relevanta).En annan metod som observerats i biologiska system för att övervinna tidsbegränsningarna för snabbt aktiverande vägar är redundans (det vill säga många kopior av samma objekt används för att utföra en given funktion).Inspirerad av biology66 placerade vi flera CD-kretsar i varje CD-modul mellan de två fördröjningslinjerna för att minska effekten av falska positiva.Såsom visas i fig.6c (grön linje), kan placering av tre CD-element i varje CD-modul minska antalet falsklarm till mindre än 10–2.
a Effekt av neuronal variabilitet på fördröjningslinjekretsar.b Fördröjningslinjekretsar kan skalas till stora fördröjningar genom att ställa in tidskonstanterna för motsvarande LIF-neuroner och DPI-synapser till stora värden.Att öka antalet iterationer av RRAM-kalibreringsproceduren gjorde det möjligt att avsevärt förbättra målfördröjningens noggrannhet: 200 iterationer reducerade felet till mindre än 5 %.En iteration motsvarar en SET/RESET-operation på en RRAM-cell.Varje CD-modul i c Jeffress-modellen kan implementeras med hjälp av N parallella CD-element för större flexibilitet med avseende på systemfel.d Fler RRAM-kalibreringsiterationer ökar den sanna positiva frekvensen (blå linje), medan den falska positiva frekvensen är oberoende av antalet iterationer (grön linje).Genom att placera fler CD-element parallellt undviks falsk upptäckt av CD-modulmatchningar.
Vi utvärderar nu prestandan och strömförbrukningen för det integrerade objektlokaliseringssystemet från ände till ände som visas i figur 2 med hjälp av mätningar av de akustiska egenskaperna hos pMUT-sensorn, CD- och fördröjningslinjekretsarna som utgör den neuromorfa beräkningsgrafen.Jeffress-modell (fig. la).När det gäller den neuromorfa beräkningsgrafen, ju fler CD-moduler, desto bättre är vinkelupplösningen, men också desto högre energi i systemet (fig. 7a).En kompromiss kan uppnås genom att jämföra noggrannheten hos enskilda komponenter (pMUT-sensorer, neuroner och synaptiska kretsar) med noggrannheten hos hela systemet.Fördröjningslinjens upplösning begränsas av tidskonstanterna för de simulerade synapserna och neuronerna, som i vårt schema överstiger 10 µs, vilket motsvarar en vinkelupplösning på 4° (se Metoder).Mer avancerade noder med CMOS-teknik kommer att tillåta design av neurala och synaptiska kretsar med lägre tidskonstanter, vilket resulterar i högre noggrannhet hos fördröjningslinjeelementen.I vårt system begränsas dock noggrannheten av felet pMUT vid uppskattning av vinkelpositionen, dvs 10° (blå horisontell linje i fig. 7a).Vi fastställde antalet CD-moduler till 40, vilket motsvarar en vinkelupplösning på cirka 4°, dvs. vinkelnoggrannheten för beräkningsgrafen (ljusblå horisontell linje i fig. 7a).På systemnivå ger detta en upplösning på 4° och en noggrannhet på 10° för objekt placerade 50 cm framför sensorsystemet.Detta värde är jämförbart med de neuromorfa ljudlokaliseringssystem som rapporteras i ref.67. En jämförelse av det föreslagna systemet med den senaste tekniken finns i tilläggstabell 1. Lägga till ytterligare pMUTs, öka den akustiska signalnivån och minska elektroniskt brus är möjliga sätt att ytterligare förbättra lokaliseringsnoggrannheten.) uppskattas till 9,7.nz.55. Givet 40 CD-enheter på beräkningsgrafen uppskattade SPICE-simuleringen energin per operation (dvs objektpositioneringsenergi) till 21,6 nJ.Det neuromorfa systemet aktiveras endast när en ingångshändelse anländer, dvs när en akustisk våg når någon pMUT-mottagare och överskrider detektionströskeln, annars förblir den inaktiv.Detta undviker onödig strömförbrukning när det inte finns någon insignal.Med tanke på en frekvens av lokaliseringsoperationer på 100 Hz och en aktiveringsperiod på 300 µs per operation (högsta möjliga ITD), är effektförbrukningen för den neuromorfa beräkningsgrafen 61,7 nW.Med neuromorf förbehandling applicerad på varje pMUT-mottagare når strömförbrukningen för hela systemet 81,6 nW.För att förstå energieffektiviteten hos det föreslagna neuromorfa tillvägagångssättet jämfört med konventionell hårdvara jämförde vi detta antal med energin som krävs för att utföra samma uppgift på en modern lågeffektsmikrokontroller med antingen neuromorf eller konventionell strålformning68 Skill.Det neuromorfa tillvägagångssättet överväger ett steg för analog-till-digitalomvandlare (ADC), följt av ett bandpassfilter och ett envelopextraktionssteg (Teeger-Kaiser-metoden).Slutligen utförs en tröskeloperation för att extrahera ToF.Vi har utelämnat beräkningen av ITD baserat på ToF och omvandlingen till uppskattad vinkelposition eftersom detta sker en gång för varje mätning (se Metoder).Om man antar en samplingshastighet på 250 kHz på båda kanalerna (pMUT-mottagare), 18 bandpassfilteroperationer, 3 envelopextraktionsoperationer och 1 tröskeloperation per sampel, uppskattas den totala effektförbrukningen till 245 mikrowatt.Detta använder mikrokontrollerns lågeffektläge69, som slås på när algoritmerna inte körs, vilket minskar strömförbrukningen till 10,8 µW.Effektförbrukningen för den strålformande signalbehandlingslösningen som föreslås i referensen.31, med 5 pMUT-mottagare och 11 strålar jämnt fördelade i azimutplanet [-50°, +50°], är 11,71 mW (se avsnittet Metoder för detaljer).Dessutom rapporterar vi strömförbrukningen för en FPGA47-baserad Time Difference Encoder (TDE) uppskattad till 1,5 mW som en ersättning för Jeffress-modellen för objektlokalisering.Baserat på dessa uppskattningar minskar den föreslagna neuromorfa metoden strömförbrukningen med fem storleksordningar jämfört med en mikrokontroller som använder klassiska strålformningstekniker för objektlokaliseringsoperationer.Att anta ett neuromorfiskt tillvägagångssätt för signalbehandling på en klassisk mikrokontroller minskar strömförbrukningen med ungefär två storleksordningar.Effektiviteten av det föreslagna systemet kan förklaras av kombinationen av en asynkron resistivt minne analog krets som kan utföra beräkningar i minnet och avsaknaden av analog-till-digital omvandling som krävs för att uppfatta signaler.
a Vinkelupplösning (blå) och strömförbrukning (grön) för lokaliseringsoperationen beroende på antalet CD-moduler.Den mörkblå horisontella stapeln representerar vinkelnoggrannheten för PMUT och den ljusblå horisontella stapeln representerar vinkelnoggrannheten för den neuromorfa beräkningsgrafen.b Strömförbrukning för det föreslagna systemet och jämförelse med de två diskuterade mikrokontrollerimplementeringarna och digital implementering av Time Difference Encoder (TDE)47 FPGA.
För att minimera strömförbrukningen för mållokaliseringssystemet, utformade, designade och implementerade vi en effektiv, händelsedriven RRAM-baserad neuromorf krets som behandlar signalinformationen som genereras av de inbyggda sensorerna för att beräkna målobjektets position i verkligheten tid..Medan traditionella bearbetningsmetoder kontinuerligt samplar detekterade signaler och utför beräkningar för att extrahera användbar information, utför den föreslagna neuromorfa lösningen beräkningar asynkront när användbar information anländer, vilket maximerar systemets energieffektivitet med fem storleksordningar.Dessutom lyfter vi fram flexibiliteten hos RRAM-baserade neuromorfa kretsar.Förmågan hos RRAM att ändra konduktans på ett icke-flyktigt sätt (plasticitet) kompenserar för den inneboende variationen hos analoga DPI:s synaptiska och neurala kretsar med ultralåg effekt.Detta gör denna RRAM-baserade krets mångsidig och kraftfull.Vårt mål är inte att extrahera komplexa funktioner eller mönster från signaler, utan att lokalisera objekt i realtid.Vårt system kan också effektivt komprimera signalen och så småningom skicka den till ytterligare bearbetningssteg för att fatta mer komplexa beslut när det behövs.I samband med lokaliseringstillämpningar kan vårt neuromorfa förbehandlingssteg ge information om objektens placering.Denna information kan till exempel användas för rörelsedetektering eller gestigenkänning.Vi betonar vikten av att kombinera ultralågeffektsensorer som pMUTs med ultralågeffektelektronik.För detta har neuromorfa tillvägagångssätt varit nyckeln eftersom de har lett oss till att utveckla nya kretsimplementationer av biologiskt inspirerade beräkningsmetoder som Jeffress-modellen.I samband med sensorfusionsapplikationer kan vårt system kombineras med flera olika händelsebaserade sensorer för att få mer exakt information.Även om ugglor är utmärkta på att hitta byten i mörker, har de utmärkt syn och utför en kombinerad hörsel- och visuell sökning innan de fångar byten70.När en viss hörselneuron avfyrar, får ugglan den information den behöver för att avgöra i vilken riktning den ska börja sin visuella sökning, och fokuserar därmed sin uppmärksamhet på en liten del av den visuella scenen.En kombination av visuella sensorer (DVS-kamera) och en föreslagen lyssningssensor (baserad på pMUT) bör undersökas för utvecklingen av framtida autonoma agenter.
pMUT-sensorn är placerad på ett kretskort med två mottagare cirka 10 cm från varandra, och sändaren är placerad mellan mottagarna.I detta arbete är varje membran en suspenderad bimorf struktur bestående av två lager av piezoelektrisk aluminiumnitrid (AlN) 800 nm tjockt inklämt mellan tre lager av molybden (Mo) 200 nm tjockt och belagt med ett lager 200 nm tjockt.det övre passiverande SiN-skiktet som beskrivs i referensen.71. De inre och yttre elektroderna appliceras på botten- och toppskiktet av molybden, medan den mellersta molybdenelektroden är omönstrad och används som jord, vilket resulterar i ett membran med fyra par elektroder.
Denna arkitektur tillåter användning av en gemensam membrandeformation, vilket resulterar i förbättrad sändnings- och mottagningskänslighet.En sådan pMUT uppvisar typiskt en excitationskänslighet på 700 nm/V som en emitter, vilket ger ett yttryck på 270 Pa/V.Som mottagare uppvisar en pMUT-film en kortslutningskänslighet på 15 nA/Pa, vilket är direkt relaterat till den piezoelektriska koefficienten för AlN.Den tekniska variationen av spänningen i AlN-skiktet leder till en förändring i resonansfrekvensen, som kan kompenseras genom att applicera en DC-förspänning på pMUT.DC-känslighet mättes till 0,5 kHz/V.För akustisk karakterisering används en mikrofon framför pMUT.
För att mäta ekopulsen placerade vi en rektangulär platta med en yta på cirka 50 cm2 framför pMUT för att reflektera de emitterade ljudvågorna.Både avståndet mellan plattorna och vinkeln relativt pMUT-planet styrs med hjälp av speciella hållare.En Tectronix CPX400DP-spänningskälla förspänner tre pMUT-membran och ställer in resonansfrekvensen till 111,9 kHz31, medan sändarna drivs av en Tectronix AFG 3102-pulsgenerator som är avstämd till resonansfrekvensen (111,9 kHz) på 1,0 kHz.Strömmarna som läses från de fyra utgångsportarna på varje pMUT-mottagare omvandlas till spänningar med hjälp av en speciell differentialström- och spänningsarkitektur, och de resulterande signalerna digitaliseras av Spektrums datainsamlingssystem.Detektionsgränsen karakteriserades av pMUT-signalupptagning under olika förhållanden: vi flyttade reflektorn till olika avstånd [30, 40, 50, 60, 80, 100] cm och ändrade pMUT-stödvinkeln ([0, 20, 40] o ) Figur 2b visar den temporala ITD-detekteringsupplösningen beroende på motsvarande vinkelposition i grader.
Den här artikeln använder två olika vanliga RRAM-kretsar.Den första är en uppsättning av 16 384 (16 000) enheter (128 × 128 enheter) i en 1T1R-konfiguration med en transistor och ett motstånd.Det andra chipet är den neuromorfa plattformen som visas i fig. 4a.RRAM-cellen består av en 5 nm tjock HfO2-film inbäddad i en TiN/HfO2/Ti/TiN-stack.RRAM-stacken är integrerad i back-of-line (BEOL) i standard 130nm CMOS-processen.RRAM-baserade neuromorfa kretsar utgör en designutmaning för helt analoga elektroniska system där RRAM-enheter samexisterar med traditionell CMOS-teknik.I synnerhet måste ledningstillståndet för RRAM-anordningen läsas och användas som en funktionsvariabel för systemet.För detta ändamål konstruerades, tillverkades och testades en krets som läser av strömmen från enheten när en ingångspuls tas emot och använder denna ström för att vikta svaret från en synaps för differentialparintegrator (DPI).Denna krets visas i figur 3a, som representerar de grundläggande byggstenarna för den neuromorfa plattformen i figur 4a.En ingångspuls aktiverar 1T1R-enhetens grind och inducerar en ström genom RRAM proportionell mot enhetens konduktans G (Iweight = G(Vtop – Vx)).Den inverterande ingången på operationsförstärkarkretsen (op-amp) har en konstant DC-förspänning Vtop.Op-förstärkarens negativa återkoppling ger Vx = Vtop genom att ge lika ström från M1.Den aktuella vikten som hämtas från enheten injiceras i DPI-synapsen.En starkare ström kommer att resultera i mer depolarisering, så RRAM-konduktansen implementerar effektivt synaptiska vikter.Denna exponentiella synaptiska ström injiceras genom membrankondensatorn hos LIF-neuronerna (Leaky Integration and Excitation), där den integreras som en spänning.Om tröskelspänningen för membranet (växelriktarens växelspänning) övervinns, aktiveras neurons utgångsdel, vilket ger en utgångsspik.Denna puls återvänder och shuntar neurons membrankondensator till jord, vilket gör att den laddas ur.Denna krets kompletteras sedan med en pulsexpanderare (ej visad i fig. 3a), som formar utgångspulsen från LIF-neuronen till målpulsbredden.Multiplexrar är också inbyggda i varje linje, vilket gör att spänning kan appliceras på de övre och nedre elektroderna på RRAM-enheten.
Elektrisk testning inkluderar att analysera och registrera det dynamiska beteendet hos analoga kretsar, såväl som programmering och läsning av RRAM-enheter.Båda stegen kräver specialverktyg, som alla är anslutna till sensorkortet samtidigt.Tillgång till RRAM-enheter i neuromorfa kretsar utförs från externa verktyg genom en multiplexer (MUX).MUX separerar 1T1R-cellen från resten av kretsen som den tillhör, vilket gör att enheten kan läsas och/eller programmeras.För att programmera och läsa RRAM-enheter används en Keithley 4200 SCS-maskin tillsammans med en Arduino-mikrokontroller: den första för exakt pulsgenerering och strömavläsning, och den andra för snabb åtkomst till individuella 1T1R-element i minnesarrayen.Den första operationen är att bilda RRAM-enheten.Cellerna väljs en efter en och en positiv spänning appliceras mellan de övre och nedre elektroderna.I detta fall är strömmen begränsad till storleksordningen tiotals mikroampere på grund av tillförseln av motsvarande grindspänning till väljartransistorn.RRAM-cellen kan sedan växla mellan ett lågkonduktivt tillstånd (LCS) och ett högkonduktivt tillstånd (HCS) med användning av RESET- respektive SET-operationer.SET-operationen utförs genom att applicera en rektangulär spänningspuls med en varaktighet på 1 μs och en toppspänning på 2,0-2,5 V till den övre elektroden, och en synkpuls av liknande form med en toppspänning på 0,9-1,3 V till väljartransistorns gate.Dessa värden tillåter modulering av RRAM-konduktans med 20-150 µs intervaller.För RESET appliceras en 1 µs bred, 3 V topppuls på cellens nedre elektrod (bitlinje) när gate-spänningen är i intervallet 2,5-3,0 V. De analoga kretsarnas in- och utgångar är dynamiska signaler .För input interfolierade vi två HP 8110 pulsgeneratorer med Tektronix AFG3011 signalgeneratorer.Ingångspulsen har en bredd på 1 µs och en stig-/fallkant på 50 ns.Denna typ av puls antas vara en typisk glitch i analoga glitchbaserade kretsar.När det gäller utsignalen registrerades utsignalen med ett Teledyne LeCroy 1 GHz oscilloskop.Insamlingshastigheten för ett oscilloskop har visat sig inte vara en begränsande faktor vid analys och insamling av kretsdata.
Att använda dynamiken hos analog elektronik för att simulera beteendet hos neuroner och synapser är en elegant och effektiv lösning för att förbättra beräkningseffektiviteten.Nackdelen med detta beräkningsunderlag är att det kommer att variera från schema till schema.Vi kvantifierade variationen hos neuroner och synaptiska kretsar (kompletterande fig. 2a, b).Av alla manifestationer av variabilitet har de som är förknippade med tidskonstanter och ingångsförstärkning störst inverkan på systemnivå.Tidskonstanten för LIF-neuronen och DPI-synapsen bestäms av en RC-krets, där värdet på R styrs av en förspänning som appliceras på transistorns gate (Vlk för neuronen och Vtau för synapsen), vilket bestämmer läckagehastighet.Ingångsförstärkning definieras som den toppspänning som nås av de synaptiska och neuronala membrankondensatorerna stimulerade av en ingångspuls.Ingångsförstärkningen styrs av en annan förspänningstransistor som modulerar inströmmen.En Monte Carlo-simulering kalibrerad på ST Microelectronics 130nm-process utfördes för att samla in viss ingångsförstärkning och tidskonstantstatistik.Resultaten presenteras i tilläggsfigur 2, där ingångsförstärkningen och tidskonstanten kvantifieras som en funktion av förspänningen som styr läckagehastigheten.Gröna markörer kvantifierar standardavvikelsen för tidskonstanten från medelvärdet.Både neuroner och synaptiska kretsar kunde uttrycka ett brett spektrum av tidskonstanter i intervallet 10-5-10-2 s, som visas i kompletterande figurschema.Inputförstärkning (kompletterande figur 2e,d) av neuronal och synapsvariabilitet var cirka 8 % respektive 3 %.En sådan brist är väl dokumenterad i litteraturen: olika mätningar utfördes på arrayen av DYNAP-chips för att bedöma obalansen mellan populationer av LIF63-neuroner.Synapserna i BrainScale mixed signal chip mättes och deras inkonsekvenser analyserades, och ett kalibreringsförfarande föreslogs för att minska effekten av systemnivåvariabilitet64.
Funktionen av RRAM i neuromorfa kretsar är tvåfaldig: arkitekturdefinition (dirigering av ingångar till utgångar) och implementering av synaptiska vikter.Den senare egenskapen kan användas för att lösa problemet med variabiliteten hos de modellerade neuromorfa kretsarna.Vi har utvecklat en enkel kalibreringsprocedur som innebär omprogrammering av RRAM-enheten tills kretsen som analyseras uppfyller vissa krav.För en given ingång övervakas utsignalen och RRAM omprogrammeras tills målbeteendet uppnås.En väntetid på 5 s infördes mellan programmeringsoperationerna för att lösa problemet med RRAM-relaxation som resulterade i transienta konduktansfluktuationer (tilläggsinformation).Synaptiska vikter justeras eller kalibreras enligt kraven för den neuromorfa kretsen som modelleras.Kalibreringsproceduren sammanfattas i ytterligare algoritmer [1, 2] som fokuserar på två grundläggande egenskaper hos neuromorfa plattformar, fördröjningslinjer och riktningsokänslig CD.För en krets med en fördröjningslinje är målbeteendet att ge en utgångspuls med en fördröjning Δt.Om den faktiska kretsfördröjningen är mindre än målvärdet, bör den synaptiska vikten för G3 minskas (G3 bör återställas och sedan ställas in på en lägre matchningsström Icc).Omvänt, om den faktiska fördröjningen är större än målvärdet, måste konduktansen för G3 ökas (G3 måste först återställas och sedan ställas in på ett högre Icc-värde).Denna process upprepas tills fördröjningen som genereras av kretsen matchar målvärdet och en tolerans ställs in för att stoppa kalibreringsprocessen.För orienteringskänsliga CD-skivor är två RRAM-enheter, G1 och G3, inblandade i kalibreringsprocessen.Denna krets har två ingångar, Vin0 och Vin1, fördröjda med dt.Kretsen ska endast svara på fördröjningar under matchningsintervallet [0,dtCD].Om det inte finns någon utmatningstopp, men ingångstoppen är nära, bör båda RRAM-enheterna förstärkas för att hjälpa neuronen att nå tröskeln.Omvänt, om kretsen svarar på en fördröjning som överskrider målområdet för dtCD, måste konduktansen minskas.Upprepa processen tills rätt beteende erhålls.Överensstämmelseström kan moduleras av den inbyggda analoga kretsen i ref.72,73.Med denna inbyggda krets kan sådana procedurer utföras med jämna mellanrum för att kalibrera systemet eller återanvända det för en annan applikation.
Vi utvärderar strömförbrukningen för vår neuromorfa signalbehandlingsmetod på en standard 32-bitars mikrokontroller68.I den här utvärderingen antar vi drift med samma inställning som i detta dokument, med en pMUT-sändare och två pMUT-mottagare.Denna metod använder ett bandpassfilter, följt av ett enveloppextraktionssteg (Teeger-Kaiser), och slutligen appliceras en tröskeloperation på signalen för att extrahera flygtiden.Beräkningen av ITD och dess omvandling till detektionsvinklar utelämnas i utvärderingen.Vi betraktar en implementering av ett bandpassfilter som använder ett 4:e ordningens oändligt impulssvarsfilter som kräver 18 flyttalsoperationer.Enveloppextraktion använder ytterligare tre flyttalsoperationer, och den sista operationen används för att ställa in tröskeln.Totalt krävs 22 flyttalsoperationer för att förbehandla signalen.Den sända signalen är en kort skur på 111,9 kHz sinusvågform som genereras var 10:e ms, vilket resulterar i en positioneringsdriftsfrekvens på 100 Hz.Vi använde en samplingsfrekvens på 250 kHz för att följa Nyquist och ett fönster på 6 ms för varje mätning för att fånga ett avstånd på 1 meter.Observera att 6 millisekunder är flygtiden för ett objekt som är 1 meter bort.Detta ger en strömförbrukning på 180 µW för A/D-konvertering vid 0,5 MSPS.Signalförbehandling är 6,60 MIPS (instruktioner per sekund), vilket genererar 0,75 mW.Emellertid kan mikrokontrollern växla till ett lågeffektläge 69 när algoritmen inte körs.Detta läge ger en statisk strömförbrukning på 10,8 μW och en väckningstid på 113 μs.Givet en klockfrekvens på 84 MHz, slutför mikrokontrollern alla operationer av den neuromorfa algoritmen inom 10 ms, och algoritmen beräknar en arbetscykel på 6,3 % och använder således ett lågeffektläge.Den resulterande effektförlusten är 244,7 μW.Observera att vi utelämnar ITD-utgången från ToF och omvandlingen till detektionsvinkel, vilket underskattar mikrokontrollerns strömförbrukning.Detta ger ytterligare värde för det föreslagna systemets energieffektivitet.Som ett ytterligare jämförelsevillkor utvärderar vi effektförbrukningen för de klassiska strålformningsmetoderna som föreslagits i referensen.31,54 när den är inbäddad i samma mikrokontroller68 vid 1,8V matningsspänning.Fem jämnt fördelade pMUT-membran används för att inhämta data för strålformning.När det gäller själva bearbetningen är den strålformningsmetod som används fördröjningssummering.Det består helt enkelt av att lägga en fördröjning på körfälten som motsvarar den förväntade skillnaden i ankomsttider mellan ett körfält och referensfilen.Om signalerna är i fas kommer summan av dessa signaler att ha en hög energi efter en tidsförskjutning.Om de är ur fas kommer destruktiv interferens att begränsa energin för deras summa.i ett förhållande.På fig.31, väljs en samplingshastighet på 2 MHz för att tidsförskjuta data med ett heltal av sampel.Ett mer blygsamt tillvägagångssätt är att bibehålla en grövre samplingshastighet på 250 kHz och använda ett FIR-filter (Finite Impulse Response) för att syntetisera fraktionella fördröjningar.Vi kommer att anta att komplexiteten hos strålformningsalgoritmen huvudsakligen bestäms av tidsförskjutningen, eftersom varje kanal är konvolverad med ett FIR-filter med 16 uttag i varje riktning.För att beräkna antalet MIPS som krävs för denna operation, överväger vi ett fönster på 6ms per mätning för att fånga ett område på 1 meter, 5 kanaler, 11 strålformningsriktningar (intervall +/- 50° i 10° steg).75 mätningar per sekund pressade mikrokontrollern till dess maximala 100 MIPS.Länk.68, vilket resulterar i en effektförlust på 11,26 mW för en total effektförlust på 11,71 mW efter tillägg av ADC-bidraget ombord.
Data som stöder resultaten av denna studie är tillgängliga från respektive författare, FM, på rimlig begäran.
Indiveri, G. & Sandamirskaya, Y. Vikten av utrymme och tid för signalbehandling i neuromorfa agenter: Utmaningen att utveckla lågeffekt, autonoma agenter som interagerar med miljön. Indiveri, G. & Sandamirskaya, Y. Vikten av utrymme och tid för signalbehandling i neuromorfa agenter: Utmaningen att utveckla lågeffekt, autonoma agenter som interagerar med miljön.Indiveri G. och Sandamirskaya Y. Vikten av rum och tid för signalbehandling i neuromorfa agenter: utmaningen att utveckla autonoma agenter med låg effekt som interagerar med miljön. Indiveri, G. & Sandamirskaya, Y. |主代理的挑战. Indiveri, G. & Sandamirskaya, Y.Indiveri G. och Sandamirskaya Y. Vikten av rum och tid för signalbehandling i neuromorfa agenter: utmaningen att utveckla autonoma agenter med låg effekt som interagerar med miljön.IEEE-signalbehandling.Journal 36, 16–28 (2019).
Thorpe, SJ Peak Arrival Time: An Efficient Neural Network Coding Scheme. i Eckmiller, R., Hartmann, G. & Hauske, G. (red). i Eckmiller, R., Hartmann, G. & Hauske, G. (red).i Eckmiller, R., Hartmann, G. och Hauske, G. (red.).I Eckmiller, R., Hartmann, G. och Hauske, G. (red.).Parallell bearbetning i neurala system och datorer 91–94 (North-Holland Elsevier, 1990).
Levy, WB & Calvert, VG Communication förbrukar 35 gånger mer energi än beräkningar i den mänskliga cortexen, men båda kostnaderna behövs för att förutsäga synapsnummer. Levy, WB & Calvert, VG Communication förbrukar 35 gånger mer energi än beräkningar i den mänskliga cortexen, men båda kostnaderna behövs för att förutsäga synapsnummer.Levy, WB och Calvert, WG Communication förbrukar 35 gånger mer energi än beräkningar i den mänskliga cortexen, men båda kostnaderna behövs för att förutsäga antalet synapser. Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突 Levy, WB & Calvert, VG CommunicationLevy, WB och Calvert, WG Communication förbrukar 35 gånger mer energi än beräkningar i den mänskliga cortexen, men båda kostnaderna kräver att man förutsäger antalet synapser.bearbeta.National Academy of Science.vetenskapen.US 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insektsinspirerad neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insektsinspirerad neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. och Casas, J. Insektsinspirerad neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. och Casas J. Insektsinspirerad neuromorphic computing.Nuvarande.Åsikt.Insektsvetenskap.30, 59–66 (2018).
Roy, K., Jaiswal, A. & Panda, P. Mot spikbaserad maskinintelligens med neuromorf beräkning. Roy, K., Jaiswal, A. & Panda, P. Mot spikbaserad maskinintelligens med neuromorf beräkning. Roy, K., Jaiswal, A. & Panda, P. Towards Spike-Based Machine Intelligence with Neuromorphic Computing.Roy K, Jaiswal A och Panda P. Pulsbaserad artificiell intelligens med hjälp av neuromorfisk beräkning.Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. och Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. och Liu, S.-K.Minnes- och informationsbehandling i neuromorfa system.bearbeta.IEEE 103, 1379–1397 (2015).
Akopyan F. et al.Truenorth: Design och verktygslåda för ett 65 mW 1 miljon neuron programmerbart synaptiskt chip.IEEE-transaktioner.Datorkonstruktion av integrerade kretssystem.34, 1537–1557 (2015).
Schemmel, J. et al.Livedemo: nedskalad version av det neuromorfa systemet BrainScaleS i plattskala.2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalbar flerkärnig arkitektur med heterogena minnesstrukturer för dynamiska neuromorfa asynkrona processorer (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. En skalbar flerkärnig arkitektur med heterogena minnesstrukturer för dynamiska neuromorfa asynkrona processorer (DYNAP).Moradi S., Qiao N., Stefanini F. och Indiviri G. En skalbar flerkärnig arkitektur med heterogena minnesstrukturer för dynamiska neuromorfa asynkrona processorer (DYNAP). Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G.构内存结构. Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. En sorts expanderbar flerkärnig arkitektur, med en unik minnesstruktur för dynamisk neural bearbetning (DYNAP).Moradi S., Qiao N., Stefanini F. och Indiviri G. En skalbar flerkärnig arkitektur med heterogena minnesstrukturer för dynamiska neuromorfa asynkrona processorer (DYNAP).IEEE-transaktioner på biomedicinsk vetenskap.elektriskt system.12, 106–122 (2018).
Davis, M. et al.Loihi: En neuromorf flerkärnig processor med inbyggd inlärning.IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-projektet. Furber, SB, Galluppi, F., Temple, S. & Plana, LA SpiNNaker-projektet.Ferber SB, Galluppi F., Temple S. och Plana LA SpiNNaker-projektet.Ferber SB, Galluppi F., Temple S. och Plana LA SpiNNaker-projektet.bearbeta.IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Neuromorfa sensoriska system. & Delbruck, T. Neuromorfa sensoriska system.och Delbrück T. Neuromorfa sensoriska system. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.och Delbrück T. Neuromorft sensoriskt system.Nuvarande.Åsikt.Neurobiologi.20, 288–295 (2010).
Chope, T. et al.Neuromorf sensorisk integration för kombinerad lokalisering av ljudkälla och undvikande av kollisioner.2019 vid IEEE Conference on Biomedical Circuits and Systems (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En spikbaserad neuromorf arkitektur för stereoseende. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. En spikbaserad neuromorf arkitektur för stereoseende.Risi N, Aymar A, Donati E, Solinas S och Indiveri G. En spikbaserad neuromorf stereovisionarkitektur. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S och Indiveri G. Spike-baserad neuromorf arkitektur för stereoseende.främre.Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spikande neural nätverksmodell av 3Dperception för händelsebaserade neuromorfa stereoseendesystem. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. En spikande neural nätverksmodell av 3Dperception för händelsebaserade neuromorfa stereoseendesystem.Oswald, M., Ieng, S.-H., Benosman, R. och Indiveri, G. En 3D-pulsad neural nätverksuppfattningsmodell för händelsebaserade neuromorfa stereovisionssystem. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R., och Indiveri, G. Spiked 3Dperception Neural Network Model for a Event-Based Neuromorphic Stereo Vision System.vetenskapen.Rapport 7, 1–11 (2017).
Dalgaty, T. et al.Insektsinspirerad grundläggande rörelsedetektion inkluderar resistivt minne och sprängda neurala nätverk.Bioniskt biohybridsystem.10928, 115–128 (2018).
D'Angelo, G. et al.Händelsebaserad excentrisk rörelsedetektion med temporal differentialkodning.främre.Neurologi.14, 451 (2020).