Les aplicacions de processament de dades del món real requereixen sistemes informàtics compactes, de baixa latència i de baixa potència.Amb capacitats de computació basades en esdeveniments, les arquitectures neuromòrfiques memristives híbrides complementàries d'òxid de metall i semiconductors proporcionen una base de maquinari ideal per a aquestes tasques.Per demostrar tot el potencial d'aquests sistemes, proposem i demostrem experimentalment una solució integral de processament de sensors per a aplicacions de localització d'objectes del món real.Inspirant-nos en la neuroanatomia del mussol, hem desenvolupat un sistema de localització d'objectes basat en esdeveniments bioinspirat que combina un transductor de transductor micromecànic piezoelèctric d'última generació amb una memòria resistiva neuromòrfica basada en gràfics computacionals.Mostrem mesures d'un sistema fabricat que inclou un detector de coincidència resistiva basat en memòria, circuits de línia de retard i un transductor ultrasònic totalment personalitzable.Utilitzem aquests resultats experimentals per calibrar simulacions a nivell de sistema.Aquestes simulacions s'utilitzen llavors per avaluar la resolució angular i l'eficiència energètica del model de localització d'objectes.Els resultats mostren que el nostre enfocament pot ser diversos ordres de magnitud més eficient energèticament que els microcontroladors que realitzen la mateixa tasca.
Estem entrant en una era de la informàtica ubiqua on el nombre de dispositius i sistemes desplegats creix de manera exponencial per ajudar-nos en la nostra vida diària.S'espera que aquests sistemes funcionin contínuament, consumint la menor energia possible mentre aprenen a interpretar les dades que recullen de diversos sensors en temps real i produeixen una sortida binària com a resultat de les tasques de classificació o reconeixement.Un dels passos més importants necessaris per aconseguir aquest objectiu és extreure informació útil i compacta de dades sensorials sorolloses i sovint incompletes.Els enfocaments d'enginyeria convencionals solen mostrejar senyals del sensor a una velocitat constant i alta, generant grans quantitats de dades fins i tot en absència d'entrades útils.A més, aquests mètodes utilitzen tècniques complexes de processament de senyals digitals per preprocessar les dades d'entrada (sovint sorolloses).En comptes d'això, la biologia ofereix solucions alternatives per processar dades sensorials sorolloses mitjançant enfocaments eficients energèticament, asíncrons i impulsats per esdeveniments (punts)2,3.La informàtica neuromòrfica s'inspira en sistemes biològics per reduir els costos computacionals en termes de requeriments d'energia i memòria en comparació amb els mètodes tradicionals de processament de senyal4,5,6.Recentment, s'han demostrat sistemes innovadors basats en el cervell de propòsit general que implementen xarxes neuronals d'impuls (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11).Aquests processadors proporcionen solucions de baixa potència i latència baixa per a l'aprenentatge automàtic i el modelatge de circuits corticals.Per explotar plenament la seva eficiència energètica, aquests processadors neuromòrfics han d'estar connectats directament a sensors impulsats per esdeveniments12,13.Tanmateix, avui dia només hi ha uns quants dispositius tàctils que proporcionen directament dades basades en esdeveniments.Exemples destacats són els sensors visuals dinàmics (DVS) per a aplicacions de visió com el seguiment i la detecció de moviment14,15,16,17 la còclea de silici18 i els sensors auditius neuromòrfics (NAS)19 per al processament de senyals auditius, sensors olfactius20 i nombrosos exemples21,22 de tacte..sensors de textura.
En aquest article, presentem un sistema de processament auditiu basat en esdeveniments recentment desenvolupat aplicat a la localització d'objectes.Aquí, per primera vegada, descrivim un sistema d'extrem a extrem per a la localització d'objectes obtingut connectant un transductor ultrasònic micromecanitzat piezoelèctric (pMUT) d'última generació amb un gràfic computacional basat en memòria resistiva neuromòrfica (RRAM).Les arquitectures de computació en memòria que utilitzen RRAM són una solució prometedora per reduir el consum d'energia23,24,25,26,27,28,29.La seva no-volatilitat inherent, que no requereix consum d'energia activa per emmagatzemar o actualitzar la informació, s'adapta perfectament a la naturalesa asíncrona i impulsada per esdeveniments de la informàtica neuromòrfica, donant com a resultat gairebé cap consum d'energia quan el sistema està inactiu.Els transductors ultrasònics micromecanitzats piezoelèctrics (pMUT) són transductors ultrasònics miniaturitzats i econòmics basats en silici capaços d'actuar com a transmissors i receptors30,31,32,33,34.Per processar els senyals rebuts pels sensors integrats, ens vam inspirar en la neuroanatomia del mussol35,36,37.El mussol Tyto alba és conegut per les seves notables habilitats de caça nocturna gràcies a un sistema de localització auditiva molt eficient.Per calcular la ubicació de les preses, el sistema de localització del mussol codifica el temps de vol (ToF) quan les ones sonores de les preses arriben a cadascuna de les orelles o receptors del so del mussol.Donada la distància entre les orelles, la diferència entre les dues mesures ToF (Interaural Time Difference, ITD) permet calcular analíticament la posició azimut de l'objectiu.Tot i que els sistemes biològics són poc adequats per resoldre equacions algebraiques, poden resoldre problemes de localització de manera molt eficaç.El sistema nerviós del mussol fa servir un conjunt de neurones detectores de coincidències (CD)35 (és a dir, neurones capaços de detectar correlacions temporals entre espigues que es propaguen cap avall fins a terminacions excitatòries convergents)38,39 organitzades en gràfics computacionals per resoldre problemes de posicionament.
Investigacions anteriors han demostrat que el maquinari complementari de semiconductor d'òxid metàl·lic (CMOS) i el maquinari neuromòrfic basat en RRAM inspirat en el col·licul inferior ("escorça auditiva") del mussol és un mètode eficient per calcular la posició mitjançant ITD13, 40, 41, 42, 43, 44, 45, 46. Tanmateix, encara no s'ha demostrat el potencial dels sistemes neuromòrfics complets que vinculen senyals auditius amb gràfics computacionals neuromòrfics.El principal problema és la variabilitat inherent dels circuits CMOS analògics, que afecta la precisió de la detecció de coincidències.Recentment, s'han demostrat implementacions numèriques alternatives de les estimacions ITD47.En aquest article, proposem utilitzar la capacitat de la RRAM per canviar el valor de conductància de manera no volàtil per contrarestar la variabilitat en circuits analògics.Hem implementat un sistema experimental que consta d'una membrana de transmissió pMUT que funciona a una freqüència de 111,9 kHz, dues membranes receptores de pMUT (sensors) que simulen orelles de mussol i una.Vam caracteritzar experimentalment el sistema de detecció pMUT i el gràfic computacional ITD basat en RRAM per provar el nostre sistema de localització i avaluar-ne la resolució angular.
Comparem el nostre mètode amb una implementació digital en un microcontrolador que realitza la mateixa tasca de localització mitjançant mètodes convencionals de formació de feixos o neuromòrfics, així com una matriu de porta programable de camp (FPGA) per a l'estimació d'ITD proposada a la referència.47. Aquesta comparació posa de manifest l'eficiència energètica competitiva del sistema neuromòrfic analògic proposat basat en RRAM.
Un dels exemples més sorprenents d'un sistema de localització d'objectes precís i eficient es pot trobar a l'òliba35,37,48.Al capvespre i a l'alba, el mussol (Tyto Alba) es basa principalment en l'escolta passiva, buscant activament petites preses com ara campanyes o ratolins.Aquests experts en audició poden localitzar els senyals auditius de les preses amb una precisió sorprenent (uns 2°)35, tal com es mostra a la figura 1a.Els mussols infereixen la ubicació de les fonts sonores en el pla azimut (horitzontal) a partir de la diferència en el temps de vol entrant (ITD) des de la font sonora fins a les dues orelles.El mecanisme computacional ITD va ser proposat per Jeffress49,50 que es basa en la geometria neuronal i requereix dos components clau: un axó, una fibra nerviosa d'una neurona que actua com a línia de retard i una sèrie de neurones detectores de coincidències organitzades en un sistema computacional.gràfic tal com es mostra a la figura 1b.El so arriba a l'oïda amb un retard de temps dependent de l'azimut (ITD).A continuació, el so es converteix en un patró d'espiga a cada orella.Els axons de l'orella esquerra i dreta actuen com a línies de retard i convergeixen en les neurones CD.Teòricament, només una neurona d'una matriu de neurones coincidents rebrà entrada alhora (on el retard s'anul·la exactament) i es dispararà al màxim (les cèl·lules veïnes també es dispararan, però amb una freqüència més baixa).L'activació de determinades neurones codifica la posició de l'objectiu a l'espai sense convertir encara més l'ITD en angles.Aquest concepte es resumeix a la figura 1c: per exemple, si el so prové del costat dret quan el senyal d'entrada de l'oïda dreta recorre un camí més llarg que el camí de l'oïda esquerra, compensant el nombre d'ITD, per exemple, quan la neurona 2 coincideix.En altres paraules, cada CD respon a un determinat ITD (també conegut com a retard òptim) a causa del retard axonal.Així, el cervell converteix la informació temporal en informació espacial.S'han trobat proves anatòmiques d'aquest mecanisme37,51.Les neurones macronuclis bloquejades en fase emmagatzemen informació temporal sobre els sons entrants: com el seu nom indica, s'encenen a determinades fases del senyal.Les neurones detectores de coincidències del model Jeffress es poden trobar al nucli laminar.Reben informació de les neurones macronuclears, els axons de les quals actuen com a línies de retard.La quantitat de retard proporcionada per la línia de retard es pot explicar per la longitud de l'axó, així com per un altre patró de mielinització que canvia la velocitat de conducció.Inspirats en el sistema auditiu del mussol, hem desenvolupat un sistema biomimètic per localitzar objectes.Les dues orelles estan representades per dos receptors pMUT.La font sonora és el transmissor pMUT situat entre ells (Fig. 1a), i el gràfic computacional està format per una graella de circuits CD basats en RRAM (Fig. 1b, verd), fent el paper de neurones CD les entrades de les quals es retarden.a través del circuit, les línies de retard (blau) actuen com a axons en la contrapart biològica.El sistema sensorial proposat difereix en la freqüència de funcionament de la del mussol, el sistema auditiu del qual funciona en el rang 1-8 kHz, però en aquest treball s'utilitzen sensors pMUT que funcionen a uns 117 kHz.La selecció d'un transductor d'ultrasons es considera segons criteris tècnics i d'optimització.En primer lloc, limitar l'amplada de banda de recepció a una freqüència única millora idealment la precisió de la mesura i simplifica el pas de postprocessament.A més, el funcionament en ultrasons té l'avantatge que els polsos emesos no són audibles, per tant, no molesten les persones, ja que el seu rang auditiu és de ~20-20 kHz.
el mussol rep ones sonores d'un objectiu, en aquest cas una presa en moviment.El temps de vol (ToF) de l'ona sonora és diferent per a cada orella (tret que la presa estigui directament davant de l'òliba).La línia de punts mostra el camí que prenen les ones sonores per arribar a les orelles del mussol.Les preses es poden localitzar amb precisió en el pla horitzontal en funció de la diferència de longitud entre els dos camins acústics i la corresponent diferència de temps interaural (ITD) (imatge de l'esquerra inspirada en la ref. 74, copyright 2002, Society for Neuroscience).Al nostre sistema, el transmissor pMUT (blau fosc) genera ones sonores que reboten en l'objectiu.Les ones d'ultrasons reflectides són rebudes per dos receptors pMUT (verd clar) i processades pel processador neuromòrfic (dreta).b Un model computacional ITD (Jeffress) que descriu com els sons que entren a les orelles del mussol es codifiquen primer com a espigues bloquejades en fase al nucli gran (NM) i després utilitzant una quadrícula disposada geomètricament de neurones detectores coincidents al nucli lamel·lar.Processament (Països Baixos) (esquerra).Il·lustració d'un gràfic computacional de neuroITD que combina línies de retard i neurones detectores de coincidència, el sistema de biosensor del mussol es pot modelar mitjançant circuits neuromòrfics basats en RRAM (dreta).c Esquema del mecanisme Jeffress principal, a causa de la diferència de ToF, les dues orelles reben estímuls sonors en diferents moments i envien axons des dels dos extrems al detector.Els axons formen part d'una sèrie de neurones detectores de coincidències (CD), cadascuna de les quals respon selectivament a entrades fortament correlacionades amb el temps.Com a resultat, només els CD les entrades dels quals arriben amb la diferència de temps més petita són excitats al màxim (ITD es compensa exactament).Aleshores, el CD codificarà la posició angular de l'objectiu.
Els transductors ultrasònics micromecànics piezoelèctrics són transductors ultrasònics escalables que es poden integrar amb la tecnologia CMOS avançada31,32,33,52 i tenen una tensió inicial i un consum d'energia més baixos que els transductors volumètrics tradicionals53.En el nostre treball, el diàmetre de la membrana és de 880 µm i la freqüència de ressonància es distribueix en el rang de 110-117 kHz (Fig. 2a, vegeu Mètodes per a més detalls).En un lot de deu dispositius de prova, el factor de qualitat mitjà era d'uns 50 (ref. 31).La tecnologia ha arribat a la maduresa industrial i no està bioinspirada per se.La combinació d'informació de diferents pel·lícules pMUT és una tècnica ben coneguda i la informació d'angle es pot obtenir a partir de pMUT mitjançant, per exemple, tècniques de formació de feix31,54.Tanmateix, el processament del senyal necessari per extreure la informació de l'angle no és adequat per a mesures de baixa potència.El sistema proposat combina el circuit de preprocessament de dades neuromòrfiques pMUT amb un gràfic de computació neuromòrfica basat en RRAM inspirat en el model Jeffress (figura 2c), proporcionant una solució de maquinari alternativa eficient energèticament i amb recursos limitats.Vam realitzar un experiment en què es van col·locar dos sensors pMUT a uns 10 cm de distància per explotar els diferents sons ToF rebuts per les dues membranes receptores.Un pMUT que actua com a transmissor es troba entre els receptors.L'objectiu era una placa de PVC de 12 cm d'ample, situada a una distància D davant del dispositiu pMUT (Fig. 2b).El receptor enregistra el so reflectit per l'objecte i reacciona el màxim possible durant el pas de l'ona sonora.Repetiu l'experiment canviant la posició de l'objecte, determinada per la distància D i l'angle θ.Inspirat en un enllaç.A la figura 55, proposem un preprocessament neuromòrfic de senyals en brut pMUT per convertir les ones reflectides en pics per introduir un gràfic computacional neuromòrfic.El ToF corresponent a l'amplitud del pic s'extreu de cadascun dels dos canals i es codifica com el temps exacte dels pics individuals.A la fig.La figura 2c mostra els circuits necessaris per connectar el sensor pMUT amb un gràfic computacional basat en RRAM: per a cadascun dels dos receptors pMUT, el senyal en brut es filtra pel pas de banda per suavitzar, rectificar i després passar a l'integrador amb fuites en mode de superació.el llindar dinàmic (Fig. 2d) crea un esdeveniment de sortida (spike) i una neurona de tret (LIF): el temps de pic de sortida codifica el temps de vol detectat.El llindar LIF es calibra en funció de la resposta pMUT, reduint així la variabilitat de pMUT d'un dispositiu a un altre.Amb aquest enfocament, en lloc d'emmagatzemar tota l'ona sonora a la memòria i processar-la més tard, simplement generem un pic corresponent al ToF de l'ona sonora, que forma l'entrada al gràfic computacional de memòria resistiva.Els pics s'envien directament a les línies de retard i es paral·lelitzen amb mòduls de detecció de coincidències en gràfics de càlcul neuromòrfic.Com que s'envien a les portes dels transistors, no es requereix cap circuit d'amplificació addicional (vegeu la figura suplementària 4 per a més detalls).Per avaluar la precisió angular de localització proporcionada per pMUT i el mètode de processament del senyal proposat, vam mesurar l'ITD (és a dir, la diferència de temps entre els esdeveniments màxims generats per dos receptors) a mesura que variaven la distància i l'angle de l'objecte.L'anàlisi ITD es va convertir després en angles (vegeu Mètodes ) i es va representar en funció de la posició de l'objecte: la incertesa de l'ITD mesurada va augmentar amb la distància i l'angle a l'objecte (Fig. 2e, f).El principal problema és la relació pic-soroll (PNR) en la resposta pMUT.Com més lluny sigui l'objecte, més baix serà el senyal acústic, reduint així el PNR (Fig. 2f, línia verda).Una disminució del PNR comporta un augment de la incertesa en l'estimació de l'ITD, donant lloc a un augment de la precisió de la localització (Fig. 2f, línia blava).Per a un objecte a una distància de 50 cm del transmissor, la precisió angular del sistema és d'aproximadament 10°.Aquesta limitació imposada per les característiques del sensor es pot millorar.Per exemple, la pressió enviada per l'emissor es pot augmentar, augmentant així la tensió que condueix la membrana pMUT.Una altra solució per amplificar el senyal transmès és connectar múltiples transmissors 56. Aquestes solucions augmentaran el rang de detecció a costa de l'augment dels costos energètics.Es poden fer millores addicionals al costat receptor.El sòl de soroll del receptor del pMUT es pot reduir significativament millorant la connexió entre el pMUT i l'amplificador de la primera etapa, que actualment es fa amb connexions de cable i cables RJ45.
una Imatge d'un cristall pMUT amb sis membranes de 880 µm integrades a un pas de 1,5 mm.b Esquema de la configuració de mesura.L'objectiu es troba a la posició azimut θ i a la distància D. El transmissor pMUT genera un senyal de 117,6 kHz que rebota en l'objectiu i arriba a dos receptors pMUT amb diferents temps de vol (ToF).Aquesta diferència, definida com la diferència de temps inter-aural (ITD), codifica la posició d'un objecte i es pot estimar estimant la resposta màxima dels dos sensors receptors.c Esquema dels passos de preprocessament per convertir el senyal pMUT en brut en seqüències d'espiga (és a dir, entrada al gràfic de càlcul neuromòrfic).Els sensors pMUT i els gràfics computacionals neuromòrfics s'han fabricat i provat, i el preprocessament neuromòrfic es basa en la simulació de programari.d Resposta de la membrana pMUT a la recepció d'un senyal i la seva transformació en un domini d'espiga.e Precisió angular de localització experimental en funció de l'angle de l'objecte (Θ) i la distància (D) a l'objecte objectiu.El mètode d'extracció ITD requereix una resolució angular mínima d'aproximadament 4 °C.f Precisió angular (línia blava) i la corresponent relació pic-soroll (línia verda) en funció de la distància de l'objecte per a Θ = 0.
La memòria resistiva emmagatzema informació en un estat conductor no volàtil.El principi bàsic del mètode és que la modificació del material a nivell atòmic provoca un canvi en la seva conductivitat elèctrica57.Aquí utilitzem una memòria resistiva basada en òxid que consisteix en una capa de 5 nm de diòxid d'hafni intercalat entre els elèctrodes de titani i nitrur de titani superior i inferior.La conductivitat dels dispositius RRAM es pot canviar aplicant una forma d'ona de corrent/tensió que crea o trenca filaments conductors de vacants d'oxigen entre els elèctrodes.Hem cointegrat aquests dispositius58 en un procés CMOS estàndard de 130 nm per crear un circuit neuromòrfic reconfigurable fabricat que implementa un detector de coincidències i un circuit de línia de retard (Fig. 3a).La naturalesa analògica i no volàtil del dispositiu, combinada amb la naturalesa impulsada per esdeveniments del circuit neuromòrfic, minimitza el consum d'energia.El circuit té una funció d'encesa/apagada instantània: funciona immediatament després d'engegar-se, permetent apagar completament l'alimentació quan el circuit està inactiu.A la fig.3b.Consisteix en N estructures paral·leles d'un sol transistor d'una sola resistència (1T1R) que codifiquen pesos sinàptics dels quals es prenen els corrents ponderats, s'injecten a la sinapsi comuna d'un integrador de parells diferencials (DPI)59 i, finalment, s'injecten a la sinapsi amb integració i fuita.neurona activada (LIF) 60 (vegeu Mètodes per a més detalls).Les pujades d'entrada s'apliquen a la porta de l'estructura 1T1R en forma d'una seqüència de polsos de tensió amb una durada de l'ordre de centenars de nanosegons.La memòria resistiva es pot col·locar en un estat de conductivitat alta (HCS) aplicant una referència positiva externa a Vtop quan Vbottom està connectat a terra, i restablir a un estat de baixa conductivitat (LCS) aplicant una tensió positiva a Vbottom quan Vtop està connectat a terra.El valor mitjà de HCS es pot controlar limitant el corrent de programació (compliment) del SET (ICC) per la tensió de la font de la porta del transistor en sèrie (Fig. 3c).Les funcions de la RRAM al circuit són dobles: dirigeixen i ponderen els polsos d'entrada.
Imatge de microscopi electrònic d'escaneig (SEM) d'un dispositiu blau HfO2 1T1R RRAM integrat en tecnologia CMOS de 130 nm amb transistors selectors (650 nm d'ample) en verd.b Elements bàsics de l'esquema neuromòrfic proposat.Els polsos de tensió d'entrada (pics) Vin0 i Vin1 consumeixen el pes I actual, que és proporcional als estats de conducció G0 i G1 de l'estructura 1T1R.Aquest corrent s'injecta a les sinapsis DPI i excita les neurones LIF.RRAM G0 i G1 s'instal·len a HCS i LCS respectivament.c Funció de la densitat de conductància acumulada per a un grup de dispositius RRAM de 16K en funció de la concordança de corrent ICC, que controla eficaçment el nivell de conducció.d Mesures del circuit a (a) que mostren que G1 (a l'LCS) bloqueja efectivament l'entrada de Vin1 (verd) i, de fet, la tensió de membrana de la neurona de sortida només respon a l'entrada blava de Vin0.La RRAM determina eficaçment les connexions del circuit.e Mesura del circuit a (b) que mostra l'efecte del valor de conductància G0 sobre la tensió de membrana Vmem després d'aplicar un pols de tensió Vin0.Com més conductància, més forta serà la resposta: així, el dispositiu RRAM implementa la ponderació de la connexió d'E/S.Les mesures es van fer al circuit i demostren la doble funció de la RRAM, l'encaminament i la ponderació dels polsos d'entrada.
En primer lloc, com que hi ha dos estats bàsics de conducció (HCS i LCS), les RRAM poden bloquejar o perdre polsos d'entrada quan es troben als estats LCS o HCS, respectivament.Com a resultat, la RRAM determina eficaçment les connexions del circuit.Aquesta és la base per poder reconfigurar l'arquitectura.Per demostrar-ho, descriurem una implementació de circuit fabricat del bloc de circuits a la figura 3b.La RRAM corresponent a G0 es programa a l'HCS i la segona RRAM G1 es programa a l'LCS.Els polsos d'entrada s'apliquen tant a Vin0 com a Vin1.Els efectes de dues seqüències de polsos d'entrada es van analitzar a les neurones de sortida recollint la tensió de la membrana neuronal i el senyal de sortida mitjançant un oscil·loscopi.L'experiment va tenir èxit quan només el dispositiu HCS (G0) es va connectar al pols de la neurona per estimular la tensió de la membrana.Això es demostra a la figura 3d, on el tren de polsos blau fa que la tensió de la membrana s'acumuli al condensador de membrana, mentre que el tren de polsos verd manté constant la tensió de la membrana.
La segona funció important de la RRAM és la implementació de pesos de connexió.Utilitzant l'ajust de conductància analògic de RRAM, les connexions d'E/S es poden ponderar en conseqüència.En el segon experiment, el dispositiu G0 es va programar a diferents nivells de HCS i el pols d'entrada es va aplicar a l'entrada VIn0.El pols d'entrada extreu un corrent (pes I) del dispositiu, que és proporcional a la conductància i la caiguda de potencial corresponent Vtop - Vbot.Aquest corrent ponderat s'injecta després a les sinapsis DPI i les neurones de sortida LIF.La tensió de membrana de les neurones de sortida es va registrar amb un oscil·loscopi i es va mostrar a la figura 3d.El pic de tensió de la membrana neuronal en resposta a un sol pols d'entrada és proporcional a la conductància de la memòria resistiva, demostrant que la RRAM es pot utilitzar com a element programable de pes sinàptic.Aquestes dues proves preliminars mostren que la plataforma neuromòrfica basada en RRAM proposada és capaç d'implementar els elements bàsics del mecanisme Jeffress bàsic, és a dir, la línia de retard i el circuit detector de coincidències.La plataforma del circuit es construeix apilant blocs successius un al costat de l'altre, com els blocs de la figura 3b, i connectant les seves portes a una línia d'entrada comuna.Hem dissenyat, fabricat i provat una plataforma neuromòrfica formada per dues neurones de sortida que reben dues entrades (Fig. 4a).L'esquema del circuit es mostra a la figura 4b.La matriu RRAM 2 × 2 superior permet que els polsos d'entrada es dirigeixin a dues neurones de sortida, mentre que la matriu 2 × 2 inferior permet connexions recurrents de dues neurones (N0, N1).Demostrem que aquesta plataforma es pot utilitzar amb una configuració de línia de retard i dues funcions de detector de coincidències diferents, tal com mostren les mesures experimentals a la figura 4c-e.
Diagrama de circuit format per dues neurones de sortida N0 i N1 que reben dues entrades 0 i 1. Els quatre dispositius superiors de la matriu defineixen connexions sinàptiques d'entrada a sortida, i les quatre cel·les inferiors defineixen connexions recurrents entre neurones.Les RRAM de colors representen els dispositius configurats a l'HCS de la dreta: els dispositius de l'HCS permeten connexions i representen pesos, mentre que els dispositius de l'LCS bloquegen els polsos d'entrada i desactiven les connexions a les sortides.b Diagrama del circuit (a) amb vuit mòduls RRAM ressaltats en blau.c Les línies de retard es formen simplement utilitzant la dinàmica de les sinapsis DPI i les neurones LIF.La RRAM verda està configurada a una conductància prou alta com per poder induir un error a la sortida després del retard d'entrada Δt.d Il·lustració esquemàtica de la detecció de CD insensible a la direcció de senyals dependents del temps.La neurona de sortida 1, N1, es dispara a les entrades 0 i 1 amb un curt retard.e Circuit CD sensible a la direcció, un circuit que detecta quan l'entrada 1 s'acosta a l'entrada 0 i arriba després de l'entrada 0. La sortida del circuit es representa per la neurona 1 (N1).
La línia de retard (figura 4c) simplement utilitza el comportament dinàmic de les sinapsis DPI i les neurones LIF per reproduir l'espiga d'entrada de Vin1 a Vout1 retardant Tdel.Només la RRAM G3 connectada a Vin1 i Vout1 està programada en HCS, la resta de RRAM estan programades en LCS.El dispositiu G3 es va programar per a 92,6 µs per garantir que cada pols d'entrada augmenti la tensió de membrana de la neurona de sortida prou per arribar al llindar i generar un pols de sortida retardat.El retard Tdel està determinat per les constants de temps sinàptica i neuronal.Els detectors de coincidència detecten l'aparició de senyals d'entrada temporalment correlacionats però distribuïts espacialment.El CD insensible a la direcció es basa en entrades individuals que convergeixen a una neurona de sortida comuna (figura 4d).Les dues RRAM que connecten Vin0 i Vin1 a Vout1, G2 i G4, respectivament, estan programades per a una alta conducció.L'arribada simultània de pics a Vin0 i Vin1 augmenta la tensió de la membrana de la neurona N1 per sobre del llindar necessari per generar l'espiga de sortida.Si les dues entrades estan massa allunyades en el temps, la càrrega de la tensió de membrana acumulada per la primera entrada pot tenir temps de decaure, evitant que el potencial de membrana N1 arribi al valor llindar.G1 i G2 es programen per a uns 65 µs, cosa que garanteix que una sola sobretensió d'entrada no augmenti prou la tensió de la membrana com per provocar una sobretensió de sortida.La detecció de coincidències entre esdeveniments distribuïts en l'espai i el temps és una operació fonamental que s'utilitza en una àmplia gamma de tasques de detecció, com ara l'evitació d'obstacles basada en el flux òptic i la localització de fonts sonores.Per tant, calcular CD sensibles a la direcció i insensibles és un element fonamental per construir sistemes de localització visual i d'àudio.Tal com mostren les característiques de les constants de temps (vegeu la figura suplementària 2), el circuit proposat implementa un rang adequat d'escales de temps de quatre ordres de magnitud.Així, pot complir simultàniament els requisits dels sistemes visuals i de so.El CD direccional-sensible és un circuit que és sensible a l'ordre espacial d'arribada dels polsos: de dreta a esquerra i viceversa.És un element bàsic de la xarxa bàsica de detecció de moviment del sistema visual de Drosophila, utilitzat per calcular direccions de moviment i detectar col·lisions62.Per aconseguir un CD sensible a la direcció, s'han de dirigir dues entrades a dues neurones diferents (N0, N1) i s'ha d'establir una connexió direccional entre elles (Fig. 4e).Quan es rep la primera entrada, NO reacciona augmentant la tensió a través de la seva membrana per sobre del valor llindar i enviant una sobretensió.Aquest esdeveniment de sortida, al seu torn, dispara N1 gràcies a la connexió direccional ressaltada en verd.Si arriba un esdeveniment d'entrada Vin1 i activa N1 mentre la seva tensió de membrana encara és alta, N1 genera un esdeveniment de sortida que indica que s'ha trobat una coincidència entre les dues entrades.Les connexions direccionals permeten que l'N1 emeti sortida només si l'entrada 1 arriba després de l'entrada 0. G0, G3 i G7 es programen a 73,5 µS, 67,3 µS i 40,2 µS, respectivament, assegurant que un únic pic a l'entrada Vin0 provoca un retard. pic de sortida, mentre que el potencial de membrana de N1 només arriba al llindar quan les dues ràfegues d'entrada arriben sincronitzades..
La variabilitat és una font d'imperfecció en sistemes neuromòrfics modelats63,64,65.Això condueix a un comportament heterogeni de neurones i sinapsis.Alguns exemples d'aquests desavantatges inclouen una variabilitat del 30% (desviació estàndard mitjana) en el guany d'entrada, constant de temps i període refractari, per citar només alguns (vegeu Mètodes).Aquest problema és encara més pronunciat quan es connecten diversos circuits neuronals, com ara un CD sensible a l'orientació format per dues neurones.Per funcionar correctament, les constants de temps de guany i decaiment de les dues neurones han de ser tan semblants com sigui possible.Per exemple, una gran diferència en el guany d'entrada pot fer que una neurona reaccioni de manera excessiva a un pols d'entrada mentre que l'altra neurona amb prou feines respon.A la fig.La figura 5a mostra que les neurones seleccionades aleatòriament responen de manera diferent al mateix pols d'entrada.Aquesta variabilitat neuronal és rellevant, per exemple, per a la funció dels CD sensibles a la direcció.En l'esquema mostrat a la fig.5b, c, el guany d'entrada de la neurona 1 és molt superior al de la neurona 0. Per tant, la neurona 0 requereix tres polsos d'entrada (en lloc d'1) per arribar al llindar, i la neurona 1, com s'esperava, necessita dos esdeveniments d'entrada.La implementació de la plasticitat biomimètica depenent del temps (STDP) és una manera possible de mitigar l'impacte dels circuits neuronals i sinàptics impreciss i lents en el rendiment del sistema43.Aquí proposem utilitzar el comportament plàstic de la memòria resistiva com a mitjà per influir en la millora de l'entrada neuronal i reduir els efectes de la variabilitat en els circuits neuromòrfics.Com es mostra a la fig.A la figura 4e, els nivells de conductància associats a la massa sinàptica RRAM van modular eficaçment la resposta de tensió de la membrana neural corresponent.Utilitzem una estratègia de programació RRAM iterativa.Per a una entrada determinada, els valors de conductància dels pesos sinàptics es reprogramen fins que s'obté el comportament objectiu del circuit (vegeu Mètodes).
a Mesures experimentals de la resposta de nou neurones individuals seleccionades aleatòriament al mateix pols d'entrada.La resposta varia entre les poblacions, afectant el guany d'entrada i la constant de temps.b Mesures experimentals de la influència de les neurones en la variabilitat de les neurones que afecten la CD sensible a la direcció.Les dues neurones de sortida de CD sensibles a la direcció responen de manera diferent als estímuls d'entrada a causa de la variabilitat de neurona a neurona.La neurona 0 té un guany d'entrada més baix que la neurona 1, de manera que es necessiten tres polsos d'entrada (en lloc d'1) per crear un pic de sortida.Com era d'esperar, la neurona 1 arriba al llindar amb dos esdeveniments d'entrada.Si l'entrada 1 arriba Δt = 50 µs després que la neurona 0 s'encén, CD roman en silenci perquè Δt és més gran que la constant de temps de la neurona 1 (uns 22 µs).c es redueix en Δt = 20 µs, de manera que l'entrada 1 arriba al pic quan el disparament de la neurona 1 encara és alt, donant lloc a la detecció simultània de dos esdeveniments d'entrada.
Els dos elements utilitzats a la columna de càlcul ITD són la línia de retard i el CD insensible a la direcció.Tots dos circuits requereixen un calibratge precís per garantir un bon rendiment de posicionament d'objectes.La línia de retard ha de proporcionar una versió retardada amb precisió del pic d'entrada (Fig. 6a), i el CD s'ha d'activar només quan l'entrada es troba dins del rang de detecció de l'objectiu.Per a la línia de retard, es van reprogramar els pesos sinàptics de les connexions d'entrada (G3 a la figura 4a) fins que es va obtenir el retard objectiu.Establiu una tolerància al voltant del retard objectiu per aturar el programa: com més petita sigui la tolerància, més difícil serà establir correctament la línia de retard.A la fig.La figura 6b mostra els resultats del procés de calibratge de la línia de retard: es pot veure que l'esquema proposat pot proporcionar exactament tots els retards requerits en l'esquema de disseny (de 10 a 300 μs).El nombre màxim d'iteracions de calibratge afecta la qualitat del procés de calibratge: 200 iteracions poden reduir l'error a menys del 5%.Una iteració de calibratge correspon a una operació de configuració/restabliment d'una cel·la RRAM.El procés de sintonització també és fonamental per millorar la precisió de la detecció instantània d'esdeveniments de tancament del mòdul de CD.Es van necessitar deu iteracions de calibratge per aconseguir una taxa positiva real (és a dir, la taxa d'esdeveniments correctament identificats com a rellevants) per sobre del 95% (línia blava a la figura 6c).Tanmateix, el procés de sintonització no va afectar els esdeveniments falsos positius (és a dir, la freqüència d'esdeveniments que es van identificar erròniament com a rellevants).Un altre mètode observat en sistemes biològics per superar les limitacions de temps de vies d'activació ràpida és la redundància (és a dir, moltes còpies del mateix objecte s'utilitzen per realitzar una funció determinada).Inspirats en biology66, vam col·locar diversos circuits de CD a cada mòdul de CD entre les dues línies de retard per reduir l'impacte dels falsos positius.Com es mostra a la fig.6c (línia verda), col·locar tres elements de CD a cada mòdul de CD pot reduir la taxa de falses alarmes a menys de 10–2.
a Efecte de la variabilitat neuronal en els circuits de la línia de retard.b Els circuits de línia de retard es poden escalar a grans retards establint les constants de temps de les neurones LIF corresponents i les sinapsis DPI a valors grans.L'augment del nombre d'iteracions del procediment de calibratge RRAM va permetre millorar significativament la precisió del retard objectiu: 200 iteracions van reduir l'error a menys del 5%.Una iteració correspon a una operació SET/RESET en una cel·la RRAM.Cada mòdul de CD del model c Jeffress es pot implementar utilitzant N elements CD paral·lels per a una major flexibilitat pel que fa a fallades del sistema.d Més iteracions de calibració de RRAM augmenten la taxa de positiu veritable (línia blava), mentre que la taxa de fals positiu és independent del nombre d'iteracions (línia verda).Col·locar més elements de CD en paral·lel evita la detecció falsa de coincidències de mòduls de CD.
Ara avaluem el rendiment i el consum d'energia del sistema de localització d'objectes integrat d'extrem a extrem que es mostra a la figura 2 mitjançant mesures de les propietats acústiques del sensor pMUT, CD i circuits de línia de retard que conformen el gràfic de computació neuromòrfica.Model Jeffress (Fig. 1a).Pel que fa al gràfic de computació neuromòrfica, com més gran sigui el nombre de mòduls CD, millor serà la resolució angular, però també més gran serà l'energia del sistema (Fig. 7a).Es pot arribar a un compromís comparant la precisió dels components individuals (sensors pMUT, neurones i circuits sinàptics) amb la precisió de tot el sistema.La resolució de la línia de retard està limitada per les constants de temps de les sinapsis i neurones simulades, que en el nostre esquema superen els 10 µs, que correspon a una resolució angular de 4° (vegeu Mètodes).Els nodes més avançats amb tecnologia CMOS permetran dissenyar circuits neuronals i sinàptics amb constants de temps més baixes, donant lloc a una major precisió dels elements de la línia de retard.Tanmateix, al nostre sistema, la precisió està limitada per l'error pMUT en l'estimació de la posició angular, és a dir, 10 ° (línia horitzontal blava a la figura 7a).Hem fixat el nombre de mòduls CD en 40, que correspon a una resolució angular d'uns 4°, és a dir, la precisió angular del gràfic computacional (línia horitzontal blava clar a la figura 7a).A nivell de sistema, això dóna una resolució de 4° i una precisió de 10° per als objectes situats a 50 cm davant del sistema de sensors.Aquest valor és comparable als sistemes de localització de so neuromòrfics reportats a la ref.67. A la taula complementària 1 es pot trobar una comparació del sistema proposat amb l'estat de la tècnica. L'addició de pMUT addicionals, l'augment del nivell del senyal acústic i la reducció del soroll electrònic són maneres possibles de millorar encara més la precisió de la localització.) s'estima en 9,7.nz.55. Donades 40 unitats de CD al gràfic computacional, la simulació SPICE va estimar que l'energia per operació (és a dir, l'energia de posicionament de l'objecte) era de 21,6 nJ.El sistema neuromòrfic només s'activa quan arriba un esdeveniment d'entrada, és a dir, quan una ona acústica arriba a qualsevol receptor pMUT i supera el llindar de detecció, en cas contrari roman inactiu.Això evita un consum d'energia innecessari quan no hi ha senyal d'entrada.Tenint en compte una freqüència d'operacions de localització de 100 Hz i un període d'activació de 300 µs per operació (l'ITD màxim possible), el consum d'energia del gràfic de computació neuromòrfica és de 61,7 nW.Amb el preprocessament neuromòrfic aplicat a cada receptor pMUT, el consum d'energia de tot el sistema arriba als 81,6 nW.Per entendre l'eficiència energètica de l'enfocament neuromòrfic proposat en comparació amb el maquinari convencional, vam comparar aquest nombre amb l'energia necessària per realitzar la mateixa tasca en un microcontrolador modern de baixa potència mitjançant la formació de feixos neuromòrfica o convencional68.L'enfocament neuromòrfic considera una etapa de convertidor analògic a digital (ADC), seguida d'un filtre de pas de banda i una etapa d'extracció d'embolcall (mètode Teeger-Kaiser).Finalment, es realitza una operació de llindar per extreure el ToF.Hem omès el càlcul de l'ITD basat en ToF i la conversió a la posició angular estimada, ja que això es produeix una vegada per a cada mesura (vegeu Mètodes).Suposant una freqüència de mostreig de 250 kHz en ambdós canals (receptors pMUT), 18 operacions de filtre de pas de banda, 3 operacions d'extracció d'embolcalls i 1 operació de llindar per mostra, el consum total d'energia s'estima en 245 microwatts.Això utilitza el mode de baixa potència del microcontrolador69, que s'activa quan els algorismes no s'executen, la qual cosa redueix el consum d'energia a 10,8 µW.El consum d'energia de la solució de processament de senyal de formació de feix proposada a la referència.31, amb 5 receptors pMUT i 11 feixos uniformement distribuïts en el pla azimut [-50 °, +50 °], és de 11,71 mW (vegeu la secció Mètodes per a més detalls).A més, informem del consum d'energia d'un codificador de diferència de temps (TDE) basat en FPGA47 estimat en 1,5 mW com a reemplaçament del model Jeffress per a la localització d'objectes.A partir d'aquestes estimacions, l'enfocament neuromòrfic proposat redueix el consum d'energia en cinc ordres de magnitud en comparació amb un microcontrolador que utilitza tècniques clàssiques de formació de feixos per a operacions de localització d'objectes.L'adopció d'un enfocament neuromòrfic per al processament del senyal en un microcontrolador clàssic redueix el consum d'energia en uns dos ordres de magnitud.L'eficàcia del sistema proposat es pot explicar per la combinació d'un circuit analògic de memòria resistiva aixíncron capaç de realitzar càlculs en memòria i la manca de conversió analògica a digital necessària per percebre els senyals.
a Resolució angular (blau) i consum d'energia (verd) de l'operació de localització en funció del nombre de mòduls de CD.La barra horitzontal blau fosc representa la precisió angular del PMUT i la barra horitzontal blau clar representa la precisió angular del gràfic computacional neuromòrfic.b Consum d'energia del sistema proposat i comparació amb les dues implementacions de microcontroladors discutides i implementació digital de l'FPGA Time Difference Encoder (TDE)47.
Per minimitzar el consum d'energia del sistema de localització de l'objectiu, vam concebre, dissenyar i implementar un circuit neuromòrfic basat en RRAM basat en esdeveniments eficient que processa la informació del senyal generada pels sensors integrats per calcular la posició de l'objecte objectiu en real. temps..Mentre que els mètodes de processament tradicionals mostren contínuament els senyals detectats i realitzen càlculs per extreure informació útil, la solució neuromòrfica proposada realitza càlculs de manera asíncrona a mesura que arriba la informació útil, maximitzant l'eficiència energètica del sistema en cinc ordres de magnitud.A més, destaquem la flexibilitat dels circuits neuromòrfics basats en RRAM.La capacitat de la RRAM de canviar la conductància d'una manera no volàtil (plasticitat) compensa la variabilitat inherent dels circuits sinàptics i neuronals de DPI analògics de potència ultra baixa.Això fa que aquest circuit basat en RRAM sigui versàtil i potent.El nostre objectiu no és extreure funcions o patrons complexos dels senyals, sinó localitzar objectes en temps real.El nostre sistema també pot comprimir el senyal de manera eficient i, finalment, enviar-lo a passos de processament addicionals per prendre decisions més complexes quan sigui necessari.En el context de les aplicacions de localització, el nostre pas de preprocessament neuromòrfic pot proporcionar informació sobre la ubicació dels objectes.Aquesta informació es pot utilitzar, per exemple, per a la detecció de moviment o el reconeixement de gestos.Destaquem la importància de combinar sensors de potència ultra baixa com els pMUT amb electrònica de potència ultra baixa.Per això, els enfocaments neuromòrfics han estat clau, ja que ens han portat a desenvolupar noves implementacions de circuits de mètodes computacionals d'inspiració biològica com el model Jeffress.En el context de les aplicacions de fusió de sensors, el nostre sistema es pot combinar amb diversos sensors diferents basats en esdeveniments per obtenir informació més precisa.Tot i que els mussols són excel·lents per trobar preses a la foscor, tenen una vista excel·lent i realitzen una recerca auditiva i visual combinada abans d'agafar preses70.Quan una neurona auditiva determinada s'encén, l'òliba rep la informació que necessita per determinar en quina direcció començar la seva recerca visual, centrant així la seva atenció en una petita part de l'escena visual.S'hauria d'explorar una combinació de sensors visuals (càmera DVS) i un sensor d'escolta proposat (basat en pMUT) per al desenvolupament de futurs agents autònoms.
El sensor pMUT es troba en una PCB amb dos receptors a uns 10 cm de distància i el transmissor es troba entre els receptors.En aquest treball, cada membrana és una estructura bimorfa suspesa formada per dues capes de nitrur d'alumini piezoelèctric (AlN) de 800 nm de gruix intercalades entre tres capes de molibdè (Mo) de 200 nm de gruix i recobertes amb una capa de 200 nm de gruix.la capa de SiN passiva superior tal com es descriu a la referència.71. Els elèctrodes interiors i exteriors s'apliquen a les capes inferior i superior de molibdè, mentre que l'elèctrode de molibdè mitjà no té patrons i s'utilitza com a terra, donant lloc a una membrana amb quatre parells d'elèctrodes.
Aquesta arquitectura permet l'ús d'una deformació de membrana comuna, el que resulta en una millora de la sensibilitat de transmissió i recepció.Aquest pMUT normalment presenta una sensibilitat d'excitació de 700 nm/V com a emissor, proporcionant una pressió superficial de 270 Pa/V.Com a receptor, una pel·lícula pMUT presenta una sensibilitat de curtcircuit de 15 nA/Pa, que està directament relacionada amb el coeficient piezoelèctric d'AlN.La variabilitat tècnica de la tensió a la capa AlN condueix a un canvi en la freqüència de ressonància, que es pot compensar aplicant un biaix de CC al pMUT.La sensibilitat de CC es va mesurar a 0,5 kHz/V.Per a la caracterització acústica, s'utilitza un micròfon davant del pMUT.
Per mesurar el pols d'eco, vam col·locar una placa rectangular amb una superfície d'uns 50 cm2 davant del pMUT per reflectir les ones sonores emeses.Tant la distància entre les plaques com l'angle relatiu al pla pMUT es controlen mitjançant suports especials.Una font de tensió Tectronix CPX400DP polaritza tres membranes pMUT, ajustant la freqüència de ressonància a 111,9 kHz31, mentre que els transmissors són impulsats per un generador de polsos Tectronix AFG 3102 sintonitzat a la freqüència de ressonància (111,9 kHz) i un cicle de treball de 0.Els corrents llegits des dels quatre ports de sortida de cada receptor pMUT es converteixen en tensions mitjançant una arquitectura de tensió i corrent diferencial especial, i els senyals resultants són digitalitzats pel sistema d'adquisició de dades Spektrum.El límit de detecció es va caracteritzar per l'adquisició del senyal pMUT en diferents condicions: vam moure el reflector a diferents distàncies [30, 40, 50, 60, 80, 100] cm i vam canviar l'angle de suport pMUT ([0, 20, 40] o ) La figura 2b mostra la resolució temporal de detecció d'ITD en funció de la posició angular corresponent en graus.
Aquest article utilitza dos circuits RRAM disponibles diferents.El primer és una matriu de 16.384 (16.000) dispositius (128 × 128 dispositius) en una configuració 1T1R amb un transistor i una resistència.El segon xip és la plataforma neuromòrfica que es mostra a la figura 4a.La cèl·lula RRAM consta d'una pel·lícula d'HfO2 de 5 nm de gruix incrustada en una pila de TiN/HfO2/Ti/TiN.La pila RRAM està integrada a la part posterior de la línia (BEOL) del procés CMOS estàndard de 130 nm.Els circuits neuromòrfics basats en RRAM presenten un repte de disseny per a sistemes electrònics totalment analògics en què els dispositius RRAM coexisteixen amb la tecnologia CMOS tradicional.En particular, l'estat de conducció del dispositiu RRAM s'ha de llegir i utilitzar com a variable de funció per al sistema.Amb aquesta finalitat, es va dissenyar, fabricar i provar un circuit que llegeix el corrent del dispositiu quan es rep un pols d'entrada i utilitza aquest corrent per ponderar la resposta d'una sinapsi integradora de parells diferencials (DPI).Aquest circuit es mostra a la figura 3a, que representa els blocs bàsics de la plataforma neuromòrfica a la figura 4a.Un pols d'entrada activa la porta del dispositiu 1T1R, induint un corrent a través de la RRAM proporcional a la conductància G del dispositiu (Iweight = G(Vtop – Vx)).L'entrada inversora del circuit de l'amplificador operacional (amplificador operacional) té una tensió de polarització de CC constant Vtop.La retroalimentació negativa de l'amplificador operatiu proporcionarà Vx = Vtop proporcionant un corrent igual des de M1.El pes I actual recuperat del dispositiu s'injecta a la sinapsi DPI.Un corrent més fort donarà lloc a més despolarització, de manera que la conductància RRAM implementa de manera efectiva els pesos sinàptics.Aquest corrent sinàptic exponencial s'injecta a través del condensador de membrana de les neurones Leaky Integration and Excitation (LIF), on s'integra com a tensió.Si es supera la tensió llindar de la membrana (la tensió de commutació de l'inversor), la part de sortida de la neurona s'activa, produint un pic de sortida.Aquest pols torna i deriva el condensador de membrana de la neurona a terra, fent que es descarregui.A continuació, aquest circuit es complementa amb un expansor de pols (no es mostra a la figura 3a), que configura el pols de sortida de la neurona LIF a l'amplada del pols objectiu.També s'incorporen multiplexors a cada línia, cosa que permet aplicar tensió als elèctrodes superior i inferior del dispositiu RRAM.
Les proves elèctriques inclouen l'anàlisi i l'enregistrament del comportament dinàmic dels circuits analògics, així com la programació i lectura de dispositius RRAM.Tots dos passos requereixen eines especials, totes elles connectades a la placa del sensor al mateix temps.L'accés als dispositius RRAM en circuits neuromòrfics es realitza des d'eines externes mitjançant un multiplexor (MUX).El MUX separa la cèl·lula 1T1R de la resta de circuits a què pertany, permetent llegir i/o programar el dispositiu.Per programar i llegir dispositius RRAM, s'utilitza una màquina Keithley 4200 SCS juntament amb un microcontrolador Arduino: el primer per a la generació de polsos precisa i lectura de corrent, i el segon per a un accés ràpid als elements 1T1R individuals de la matriu de memòria.La primera operació és formar el dispositiu RRAM.Les cèl·lules es seleccionen una per una i s'aplica una tensió positiva entre els elèctrodes superior i inferior.En aquest cas, el corrent es limita a l'ordre de desenes de microamperes a causa del subministrament de la tensió de porta corresponent al transistor selector.Aleshores, la cèl·lula RRAM pot circular entre un estat de baixa conductivitat (LCS) i un estat de conductivitat alta (HCS) mitjançant operacions RESET i SET, respectivament.L'operació SET es porta a terme aplicant un pols de tensió rectangular amb una durada d'1 μs i una tensió màxima de 2,0-2,5 V a l'elèctrode superior i un pols de sincronització de forma similar amb una tensió màxima de 0,9-1,3 V a la porta del transistor selector.Aquests valors permeten modular la conductància RRAM a intervals de 20-150 µs.Per a RESET, s'aplica un pols de pic d'1 µs d'amplada i 3 V a l'elèctrode inferior (línia de bits) de la cèl·lula quan la tensió de la porta està en el rang de 2,5-3,0 V. Les entrades i sortides dels circuits analògics són senyals dinàmics. .Per a l'entrada, hem intercalat dos generadors de polsos HP 8110 amb generadors de senyal Tektronix AFG3011.El pols d'entrada té una amplada d'1 µs i una vora de pujada/descens de 50 ns.Se suposa que aquest tipus de pols és un error típic en circuits basats en errors analògics.Pel que fa al senyal de sortida, el senyal de sortida es va registrar amb un oscil·loscopi Teledyne LeCroy d'1 GHz.S'ha demostrat que la velocitat d'adquisició d'un oscil·loscopi no és un factor limitant en l'anàlisi i adquisició de dades del circuit.
L'ús de la dinàmica de l'electrònica analògica per simular el comportament de les neurones i les sinapsis és una solució elegant i eficient per millorar l'eficiència computacional.L'inconvenient d'aquesta subjecció computacional és que variarà d'un esquema a un altre.Hem quantificat la variabilitat de les neurones i els circuits sinàptics (figura suplementària 2a, b).De totes les manifestacions de variabilitat, les associades a les constants de temps i al guany d'entrada tenen el major impacte a nivell de sistema.La constant de temps de la neurona LIF i la sinapsi DPI està determinada per un circuit RC, on el valor de R està controlat per una tensió de polarització aplicada a la porta del transistor (Vlk per a la neurona i Vtau per a la sinapsi), determinant la taxa de fuites.El guany d'entrada es defineix com el voltatge màxim assolit pels condensadors de membrana sinàptic i neuronal estimulats per un pols d'entrada.El guany d'entrada està controlat per un altre transistor de polarització que modula el corrent d'entrada.Es va realitzar una simulació de Monte Carlo calibrada amb el procés de 130 nm de ST Microelectronics per recollir algunes estadístiques de guany d'entrada i constant de temps.Els resultats es presenten a la figura suplementària 2, on el guany d'entrada i la constant de temps es quantifiquen en funció de la tensió de polarització que controla la taxa de fuites.Els marcadors verds quantifiquen la desviació estàndard de la constant de temps respecte a la mitjana.Tant les neurones com els circuits sinàptics van ser capaços d'expressar una àmplia gamma de constants de temps en el rang de 10-5-10-2 s, tal com es mostra a l'esquema de la figura suplementària.L'amplificació d'entrada (figura suplementària 2e, d) de la variabilitat neuronal i de la sinapsi va ser d'aproximadament un 8% i un 3%, respectivament.Aquesta deficiència està ben documentada a la literatura: es van realitzar diverses mesures a la matriu de xips DYNAP per avaluar el desajust entre poblacions de neurones LIF63.Es van mesurar les sinapsis del xip de senyal mixt BrainScale i es van analitzar les seves inconsistències, i es va proposar un procediment de calibratge per reduir l'efecte de la variabilitat a nivell del sistema64.
La funció de la RRAM en circuits neuromòrfics és doble: definició de l'arquitectura (encaminament d'entrades a sortides) i implementació de pesos sinàptics.Aquesta última propietat es pot utilitzar per resoldre el problema de la variabilitat dels circuits neuromòrfics modelats.Hem desenvolupat un procediment de calibratge senzill que consisteix a reprogramar el dispositiu RRAM fins que el circuit que s'està analitzant compleixi determinats requisits.Per a una entrada determinada, la sortida es supervisa i la RRAM es reprograma fins que s'aconsegueix el comportament objectiu.Es va introduir un temps d'espera de 5 s entre les operacions de programació per resoldre el problema de la relaxació de la RRAM que provocava fluctuacions de conductància transitòries (informació suplementària).Els pesos sinàptics s'ajusten o calibren segons els requisits del circuit neuromòrfic que s'està modelant.El procediment de calibratge es resumeix en algorismes addicionals [1, 2] que se centren en dues característiques fonamentals de les plataformes neuromòrfiques, línies de retard i CD insensible a la direcció.Per a un circuit amb una línia de retard, el comportament objectiu és proporcionar un pols de sortida amb un retard Δt.Si el retard del circuit real és inferior al valor objectiu, el pes sinàptic de G3 s'hauria de reduir (G3 s'ha de restablir i després ajustar-se a un corrent de concordança inferior Icc).Per contra, si el retard real és més gran que el valor objectiu, s'ha d'augmentar la conductància de G3 (primer s'ha de restablir G3 i després ajustar-se a un valor Icc més alt).Aquest procés es repeteix fins que el retard generat pel circuit coincideix amb el valor objectiu i s'estableix una tolerància per aturar el procés de calibratge.Per als CD insensibles a l'orientació, dos dispositius RRAM, G1 i G3, estan implicats en el procés de calibratge.Aquest circuit té dues entrades, Vin0 i Vin1, retardades per dt.El circuit només hauria de respondre a retards per sota del rang de concordança [0,dtCD].Si no hi ha cap pic de sortida, però el pic d'entrada està a prop, els dos dispositius RRAM s'han d'augmentar per ajudar la neurona a assolir el llindar.Per contra, si el circuit respon a un retard que supera el rang objectiu de dtCD, la conductància s'ha de reduir.Repetiu el procés fins a obtenir el comportament correcte.El corrent de compliment es pot modular mitjançant el circuit analògic integrat a la ref.72,73.Amb aquest circuit integrat, aquests procediments es poden realitzar periòdicament per calibrar el sistema o reutilitzar-lo per a una altra aplicació.
Avaluem el consum d'energia del nostre enfocament de processament de senyals neuromòrfics en un microcontrolador estàndard de 32 bits68.En aquesta avaluació, assumim el funcionament amb la mateixa configuració que en aquest article, amb un transmissor pMUT i dos receptors pMUT.Aquest mètode utilitza un filtre passabanda, seguit d'un pas d'extracció de l'embolcall (Teeger-Kaiser), i finalment s'aplica una operació de llindar al senyal per extreure el temps de vol.El càlcul de l'ITD i la seva conversió a angles de detecció s'ometen a l'avaluació.Considerem una implementació d'un filtre de pas de banda utilitzant un filtre de resposta d'impuls infinit de quart ordre que requereix 18 operacions de coma flotant.L'extracció d'embolcalls utilitza tres operacions de coma flotant més i l'última operació s'utilitza per establir el llindar.Es requereixen un total de 22 operacions de coma flotant per preprocessar el senyal.El senyal transmès és una ràfega curta de forma d'ona sinusoïdal de 111,9 kHz generada cada 10 ms que resulta en una freqüència operativa de posicionament de 100 Hz.Hem utilitzat una freqüència de mostreig de 250 kHz per complir amb Nyquist i una finestra de 6 ms per a cada mesura per capturar un rang d'1 metre.Tingueu en compte que 6 mil·lisegons és el temps de vol d'un objecte que es troba a 1 metre de distància.Això proporciona un consum d'energia de 180 µW per a la conversió A/D a 0,5 MSPS.El preprocessament del senyal és de 6,60 MIPS (instruccions per segon), generant 0,75 mW.Tanmateix, el microcontrolador pot canviar a un mode de baixa potència 69 quan l'algorisme no s'està executant.Aquest mode proporciona un consum d'energia estàtica de 10,8 μW i un temps d'activació de 113 μs.Donada una freqüència de rellotge de 84 MHz, el microcontrolador completa totes les operacions de l'algorisme neuromòrfic en 10 ms, i l'algoritme calcula un cicle de treball del 6,3%, utilitzant així un mode de baixa potència.La dissipació de potència resultant és de 244,7 μW.Tingueu en compte que ometem la sortida ITD de ToF i la conversió a l'angle de detecció, subestimant així el consum d'energia del microcontrolador.Això aporta un valor addicional per a l'eficiència energètica del sistema proposat.Com a condició de comparació addicional, avaluem el consum d'energia dels mètodes clàssics de formació de feixos proposats a la referència.31,54 quan està incrustat al mateix microcontrolador68 a una tensió d'alimentació de 1,8 V.S'utilitzen cinc membranes pMUT espaciades uniformement per adquirir dades per a la formació de feixos.Pel que fa al processament en si, el mètode de formació de feix utilitzat és la suma de retard.Simplement consisteix a aplicar un retard als carrils que correspongui a la diferència prevista d'hora d'arribada entre un carril i el carril de referència.Si els senyals estan en fase, la suma d'aquests senyals tindrà una energia elevada després d'un canvi de temps.Si estan fora de fase, la interferència destructiva limitarà l'energia de la seva suma.en una relació.A la fig.A la figura 31, es selecciona una freqüència de mostreig de 2 MHz per canviar el temps de les dades per un nombre enter de mostres.Un enfocament més modest és mantenir una freqüència de mostreig més gruixuda de 250 kHz i utilitzar un filtre de resposta a impulsos finits (FIR) per sintetitzar retards fraccionats.Assumirem que la complexitat de l'algorisme de formació de feix està determinada principalment pel canvi de temps, ja que cada canal està implicat amb un filtre FIR amb 16 aixetes en cada direcció.Per calcular el nombre de MIPS necessaris per a aquesta operació, considerem una finestra de 6 ms per mesura per capturar un rang d'1 metre, 5 canals, 11 direccions de formació de feix (rang +/- 50° en passos de 10°).75 mesures per segon van empènyer el microcontrolador fins al seu màxim de 100 MIPS.Enllaç.68, donant lloc a una dissipació de potència d'11,26 mW per a una dissipació de potència total d'11,71 mW després d'afegir la contribució de l'ADC a bord.
Les dades que donen suport als resultats d'aquest estudi estan disponibles de l'autor respectiu, FM, a petició raonable.
Indiveri, G. & Sandamirskaya, Y. La importància de l'espai i el temps per al processament del senyal en agents neuromòrfics: el repte de desenvolupar agents autònoms i de baixa potència que interactuen amb l'entorn. Indiveri, G. & Sandamirskaya, Y. La importància de l'espai i el temps per al processament del senyal en agents neuromòrfics: el repte de desenvolupar agents autònoms i de baixa potència que interactuen amb l'entorn.Indiveri G. i Sandamirskaya Y. La importància de l'espai i el temps per al processament del senyal en agents neuromòrfics: el repte de desenvolupar agents autònoms de baixa potència que interactuen amb l'entorn. Indiveri, G. & Sandamirskaya, Y.代理的挑战。 Indiveri, G. & Sandamirskaya, Y.Indiveri G. i Sandamirskaya Y. La importància de l'espai i el temps per al processament del senyal en agents neuromòrfics: el repte de desenvolupar agents autònoms de baixa potència que interactuen amb l'entorn.Processament del senyal IEEE.Diari 36, 16–28 (2019).
Thorpe, SJ Hora màxima d'arribada: un esquema de codificació de xarxes neuronals eficient. a Eckmiller, R., Hartmann, G. & Hauske, G. (eds). a Eckmiller, R., Hartmann, G. & Hauske, G. (eds).a Eckmiller, R., Hartmann, G. i Hauske, G. (eds.).A Eckmiller, R., Hartmann, G. i Hauske, G. (eds.).Processament paral·lel en sistemes neuronals i ordinadors 91–94 (North-Holland Elsevier, 1990).
Levy, WB i Calvert, VG La comunicació consumeix 35 vegades més energia que la computació a l'escorça humana, però els dos costos són necessaris per predir el nombre de sinapsis. Levy, WB i Calvert, VG La comunicació consumeix 35 vegades més energia que la computació a l'escorça humana, però els dos costos són necessaris per predir el nombre de sinapsis.Levy, WB i Calvert, WG Communication consumeix 35 vegades més energia que la computació a l'escorça humana, però els dos costos són necessaris per predir el nombre de sinapsis. Levy, WB & Calvert, VG Communication Levy, WB i Calvert, VG CommunicationLevy, WB i Calvert, WG Communication consumeix 35 vegades més energia que la computació a l'escorça humana, però ambdós costos requereixen predir el nombre de sinapsis.procés.Acadèmia Nacional de Ciències.la ciència.EUA 118, https://doi.org/10.1073/pnas.2008173118 (2021).
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing. Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. Insect-inspired neuromorphic computing.Dalgati, T., Vianello, E., DeSalvo, B. i Casas, J. Insect-inspired neuromorphic computing.Dalgati T., Vianello E., DeSalvo B. i Casas J. Insect-inspired neuromorphic computing.Actual.Opinió.Ciència dels insectes.30, 59–66 (2018).
Roy, K., Jaiswal, A. i Panda, P. Cap a la intel·ligència de màquina basada en puntes amb informàtica neuromòrfica. Roy, K., Jaiswal, A. i Panda, P. Cap a la intel·ligència de màquina basada en puntes amb informàtica neuromòrfica. Roy, K., Jaiswal, A. i Panda, P. Cap a la intel·ligència de màquina basada en espigues amb informàtica neuromòrfica.Roy K, Jaiswal A i Panda P. Intel·ligència artificial basada en polsos utilitzant informàtica neuromòrfica.Nature 575, 607–617 (2019).
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. i Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. i Liu, S.-K.Memòria i processament de la informació en sistemes neuromòrfics.procés.IEEE 103, 1379–1397 (2015).
Akopyan F. et al.Truenorth: Disseny i conjunt d'eines per a un xip sinàptic programable de 65 mW i 1 milió de neurones.Transaccions IEEE.Disseny informàtic de sistemes de circuits integrats.34, 1537–1557 (2015).
Schemmel, J. et al.Demostració en directe: versió reduïda del sistema neuromòrfic BrainScaleS a escala de placa.2012 IEEE International Symposium on Circuits and Systems (ISCAS), (ed. IEEE) 702–702 (2012).
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Una arquitectura multinucli escalable amb estructures de memòria heterogènies per a processadors asíncrons neuromòrfics dinàmics (DYNAP). Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. Una arquitectura multinucli escalable amb estructures de memòria heterogènies per a processadors asíncrons neuromòrfics dinàmics (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Una arquitectura multinucli escalable amb estructures de memòria heterogènies per a processadors asíncrons neuromòrfics dinàmics (DYNAP). Moradi, S., Qiao, N., Stefanini, F. i Indiveri, G.内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. Una mena d'arquitectura multi-nucli ampliable, amb una estructura de memòria única per al processament neuronal dinàmic (DYNAP).Moradi S., Qiao N., Stefanini F. i Indiviri G. Una arquitectura multinucli escalable amb estructures de memòria heterogènies per a processadors asíncrons neuromòrfics dinàmics (DYNAP).Transaccions IEEE sobre ciència biomèdica.sistema elèctric.12, 106–122 (2018).
Davis, M. et al.Loihi: un processador multinúcle neuromòrfic amb aprenentatge integrat.IEEE Micro 38, 82–99 (2018).
Furber, SB, Galluppi, F., Temple, S. i Plana, LA El projecte SpiNNaker. Furber, SB, Galluppi, F., Temple, S. i Plana, LA El projecte SpiNNaker.Ferber SB, Galluppi F., Temple S. i el projecte Plana LA SpiNNaker.Ferber SB, Galluppi F., Temple S. i el projecte Plana LA SpiNNaker.procés.IEEE 102, 652–665 (2014).
Liu, S.-K. & Delbruck, T. Sistemes sensorials neuromorfs. & Delbruck, T. Sistemes sensorials neuromorfs.i Delbrück T. Sistemes sensorials neuromorfs. & Delbruck, T. 神经形态感觉系统。 & Delbruck, T.i Delbrück T. Sistema sensorial neuromorf.Actual.Opinió.Neurobiologia.20, 288–295 (2010).
Chope, T. et al.Integració sensorial neuromòrfica per a la localització combinada de fonts sonores i l'evitació de col·lisions.El 2019 a la Conferència IEEE sobre Circuits i Sistemes Biomèdics (BioCAS), (IEEE Ed.) 1–4 (2019).
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. A spike-based neuromorphic architecture of stereo vision.Risi N, Aymar A, Donati E, Solinas S i Indiveri G. A spike-based neuromorphic stereovision architecture. Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. i Indiveri, G.Risi N, Aimar A, Donati E, Solinas S i Indiveri G. Arquitectura neuromòrfica basada en Spike per a la visió estèreo.davant.Neurorobotics 14, 93 (2020).
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un model de xarxa neuronal de percepció 3D per a sistemes de visió estereofònic neuromòrfics basats en esdeveniments. Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. Un model de xarxa neuronal de percepció 3D per a sistemes de visió estereofònic neuromòrfics basats en esdeveniments.Oswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Un model de percepció de xarxes neuronals polsades en 3D per a sistemes de visió estèreo neuromòrfica basats en esdeveniments. Osswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G.. Osswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M., Ieng, S.-H., Benosman, R. i Indiveri, G. Spiked 3Dperception Neural Network Model per a un sistema de visió estèreo neuromòrfic basat en esdeveniments.la ciència.Informe 7, 1–11 (2017).
Dalgaty, T. et al.La detecció bàsica de moviment inspirada en insectes inclou memòria resistiva i xarxes neuronals explosives.Sistema biohíbrid biònic.10928, 115–128 (2018).
D'Angelo, G. et al.Detecció de moviment excèntric basada en esdeveniments mitjançant codificació diferencial temporal.davant.Neurologia.14, 451 (2020).
Hora de publicació: 17-nov-2022