現実世界のデータ処理アプリケーションには、コンパクト、低遅延、低電力のコンピューティング システムが必要です。イベント駆動型コンピューティング機能を備えた相補型金属酸化膜半導体ハイブリッド メムリスティブ ニューロモーフィック アーキテクチャは、そのようなタスクに理想的なハードウェア基盤を提供します。このようなシステムの可能性を最大限に実証するために、私たちは現実世界の物体位置特定アプリケーション向けの包括的なセンサー処理ソリューションを提案し、実験的に実証します。メンフクロウの神経解剖学からインスピレーションを得て、私たちは最先端の圧電マイクロメカニカルトランスデューサーと計算グラフベースのニューロモーフィック抵抗メモリを組み合わせた、生体からインスピレーションを得たイベント駆動型の物体位置特定システムを開発しました。メモリベースの抵抗性一致検出器、遅延線回路、および完全にカスタマイズ可能な超音波トランスデューサを含む、組み立てられたシステムの測定結果を示します。これらの実験結果を使用して、システム レベルでシミュレーションを調整します。これらのシミュレーションは、物体位置特定モデルの角度解像度とエネルギー効率を評価するために使用されます。結果は、私たちのアプローチは、同じタスクを実行するマイクロコントローラーよりもエネルギー効率が数桁高い可能性があることを示しています。
私たちはユビキタス コンピューティングの時代に突入しており、日常生活に役立つデバイスやシステムの数が飛躍的に増加しています。これらのシステムは、複数のセンサーから収集したデータをリアルタイムで解釈し、分類または認識タスクの結果としてバイナリ出力を生成する方法を学習しながら、消費電力をできる限り抑えて継続的に実行することが期待されています。この目標を達成するために必要な最も重要なステップの 1 つは、ノイズが多く不完全な感覚データから有用でコンパクトな情報を抽出することです。従来のエンジニアリング手法では通常、センサー信号を一定かつ高速でサンプリングし、有用な入力がない場合でも大量のデータを生成します。さらに、これらの方法では、複雑なデジタル信号処理技術を使用して、(ノイズの多い) 入力データを前処理します。その代わりに、生物学は、エネルギー効率が高く、非同期で、イベント駆動型のアプローチ (スパイク) を使用して、ノイズの多い感覚データを処理するための代替ソリューションを提供します 2,3。ニューロモーフィック コンピューティングは、生物学的システムからインスピレーションを得て、従来の信号処理方法と比較してエネルギーとメモリ要件の点で計算コストを削減します4、5、6。最近、インパルス ニューラル ネットワーク (TrueNorth7、BrainScaleS8、DYNAP-SE9、Loihi10、Spinnaker11) を実装した革新的な汎用脳ベース システムが実証されました。これらのプロセッサは、機械学習と皮質回路モデリングのための低電力、低遅延のソリューションを提供します。エネルギー効率を最大限に活用するには、これらのニューロモーフィック プロセッサをイベント駆動型センサーに直接接続する必要があります12、13。ただし、現在、イベント駆動型データを直接提供するタッチ デバイスはわずかです。顕著な例としては、追跡や動作検出などの視覚アプリケーション用の動的視覚センサー (DVS) 14、15、16、17、シリコン蝸牛 18、聴覚信号処理用の神経形態聴覚センサー (NAS) 19、嗅覚センサー 20、および接触の多数の例 21、22 があります。。テクスチャセンサー。
本稿では、物体の位置特定に適用される新しく開発されたイベント駆動型聴覚処理システムを紹介します。今回初めて、最先端の圧電マイクロマシン超音波トランスデューサー（pMUT）とニューロモーフィック抵抗メモリ（RRAM）に基づく計算グラフを接続することで得られる物体位置特定のためのエンドツーエンドのシステムについて説明します。RRAM を使用したインメモリ コンピューティング アーキテクチャは、消費電力を削減するための有望なソリューションです23、24、25、26、27、28、29。情報の保存や更新にアクティブな電力消費を必要としない固有の不揮発性は、ニューロモーフィック コンピューティングの非同期でイベント駆動型の性質に完全に適合し、システムがアイドル状態のときは電力消費がほぼゼロになります。圧電マイクロマシン超音波トランスデューサー (pMUT) は、送信機および受信機として機能する、安価で小型のシリコンベースの超音波トランスデューサーです 30、31、32、33、34。内蔵センサーが受信した信号を処理するために、メンフクロウの神経解剖学からインスピレーションを得ました35、36、37。メンフクロウのティト・アルバは、非常に効率的な聴覚定位システムのおかげで、その驚くべき夜間狩猟能力で知られています。メンフクロウの位置特定システムは、獲物の位置を計算するために、獲物からの音波がフクロウの各耳または音受容器に到達するときの飛行時間 (ToF) をエンコードします。両耳間の距離を考慮すると、2 つの ToF 測定値の差 (両耳間時間差、ITD) により、ターゲットの方位角位置を分析的に計算できます。生物学的システムは代数方程式を解くのにはあまり適していませんが、位置特定の問題を非常に効率的に解決できます。メンフクロウの神経系は、位置決め問題を解決するために、計算グラフに編成された一連の一致検出器 (CD)35 ニューロン (つまり、下方に伝播して収束する興奮性終末に至るスパイク間の時間的相関を検出できるニューロン) 38,39 を使用します。
これまでの研究では、メンフクロウの下丘（「聴覚皮質」）にヒントを得た相補型金属酸化物半導体（CMOS）ハードウェアと RRAM ベースのニューロモーフィック ハードウェアが、ITD を使用して位置を計算する効率的な方法であることが示されています13、40、41。しかしながら、聴覚的手がかりをニューロモーフィック計算グラフにリンクさせる完全なニューロモーフィックシステムの可能性はまだ実証されていない。主な問題は、アナログ CMOS 回路に固有の変動性であり、これが一致検出の精度に影響します。最近、ITD47 推定の代替数値実装が実証されました。この論文では、アナログ回路のばらつきを防ぐために、コンダクタンス値を不揮発的に変更する RRAM の機能を使用することを提案します。我々は、周波数 111.9 kHz で動作する 1 つの pMUT 送信膜、メンフクロウの耳をシミュレートする 2 つの pMUT 受信膜 (センサー)、および 1 つで構成される実験システムを実装しました。私たちは、位置特定システムをテストし、その角度分解能を評価するために、pMUT 検出システムと RRAM ベースの ITD 計算グラフを実験的に特徴付けました。
私たちの方法を、従来のビームフォーミングまたはニューロモーフィック手法、および参考文献で提案されている ITD 推定用のフィールド プログラマブル ゲート アレイ (FPGA) を使用して同じ位置特定タスクを実行するマイクロコントローラー上のデジタル実装と比較します。47. この比較は、提案されている RRAM ベースのアナログ ニューロモーフィック システムの競争力のある電力効率を強調しています。
正確かつ効率的な物体位置特定システムの最も顕著な例の 1 つはメンフクロウに見られます 35,37,48。メンフクロウ（ティト・アルバ）は、夕暮れや夜明けになると主に受動的に耳を傾け、ハタネズミやネズミなどの小さな獲物を積極的に探します。これらの聴覚の専門家は、図 1a に示すように、驚くべき精度 (約 2°) で獲物からの聴覚信号の位置を特定することができます 35。メンフクロウは、音源から両耳に到達する飛行時間 (ITD) の差から、方位 (水平) 面における音源の位置を推測します。ITD 計算メカニズムは Jeffress によって提案されました 49,50。これはニューラル幾何学に依存しており、軸索、遅延線として機能するニューロンの神経線維、および計算システムに組織化された一致検出ニューロンのアレイという 2 つの重要なコンポーネントを必要とします。図 1b に示すようなグラフになります。音は方位角依存時間遅延 (ITD) を持って耳に届きます。次に、音はそれぞれの耳でスパイク パターンに変換されます。左右の耳の軸索は遅延線として機能し、CD ニューロンに収束します。理論的には、一致するニューロンの配列内の 1 つのニューロンだけが一度に入力を受け取り (遅延が正確にキャンセルされる)、最大限に発火します (隣接するセルも発火しますが、周波数は低くなります)。特定のニューロンを活性化すると、ITD を角度にさらに変換することなく、空間内のターゲットの位置がエンコードされます。この概念は図 1c に要約されています。たとえば、右耳からの入力信号が左耳からの経路よりも長い経路を通過するときに音が右側から来ている場合、ITD の数を補償します。ニューロン 2 が一致したとき。言い換えれば、各 CD は軸索遅延による特定の ITD (最適遅延とも呼ばれる) に応答します。このように、脳は時間情報を空間情報に変換します。このメカニズムの解剖学的証拠が見つかっています 37,51。位相ロック大核ニューロンは、入ってくる音に関する時間情報を保存します。その名前が示すように、特定の信号位相で発火します。Jeffress モデルの一致検出ニューロンは層状コアで見つかります。それらは、軸索が遅延線として機能する大核ニューロンから情報を受け取ります。遅延線によってもたらされる遅延の量は、軸索の長さと、伝導速度を変化させる別の髄鞘形成パターンによって説明できます。メンフクロウの聴覚系にヒントを得て、私たちは物体の位置を特定するための生体模倣システムを開発しました。2 つの耳は 2 つの pMUT 受信機によって表されます。音源はそれらの間に位置するpMUT送信機であり(図1a)、計算グラフはRRAMベースのCD回路(図1b、緑色)のグリッドによって形成され、入力が遅延されるCDニューロンの役割を果たします。回路を通じて、遅延線 (青) は生物学的対応物の軸索のように機能します。提案された感覚システムは、聴覚システムが 1 ～ 8 kHz の範囲で動作するフクロウの周波数とは動作周波数が異なりますが、この研究では約 117 kHz で動作する pMUT センサーが使用されています。超音波トランスデューサの選択は、技術基準および最適化基準に従って検討されます。まず、受信帯域幅を単一の周波数に制限すると、理想的には測定精度が向上し、後処理ステップが簡素化されます。さらに、超音波での動作には、放出されるパルスが聞こえないため、可聴範囲が約 20 ～ 20 kHz であるため、人々の邪魔をしないという利点があります。
メンフクロウはターゲット、この場合は動いている獲物から音波を受け取ります。音波の飛行時間 (ToF) は、各耳ごとに異なります (獲物がフクロウの真正面にいない限り)。点線は、音波がメンフクロウの耳に到達するまでの経路を示しています。2 つの音響経路間の長さの差と、対応する両耳間時間差 (ITD) に基づいて、水平面内で獲物の位置を正確に特定できます (左の画像は参考文献 74、著作権 2002、Society for Neuroscience からインスピレーションを得たもの) に基づいています。私たちのシステムでは、pMUT 送信機 (濃青色) が音波を生成し、ターゲットで反射します。反射された超音波は 2 つの pMUT 受信機 (薄緑色) で受信され、ニューロモーフィック プロセッサ (右) によって処理されます。bメンフクロウの耳に入る音が、まず大核（NM）で位相同期スパイクとしてエンコードされ、次に層状核で幾何学的に配置された一致した検出ニューロンのグリッドを使用する方法を説明するITD（ジェフレス）の計算モデル。加工（オランダ）（左）。遅延線と一致検出ニューロンを組み合わせた NeuroITD 計算グラフの図。フクロウのバイオセンサー システムは、RRAM ベースのニューロモーフィック回路を使用してモデル化できます (右)。c 主なジェフレス機構の概略図。ToF の違いにより、2 つの耳は異なる時間に音刺激を受け取り、軸索を両端から検出器に送信します。軸索は一連の一致検出器 (CD) ニューロンの一部であり、各ニューロンは時間相関の強い入力に選択的に応答します。その結果、入力が最小の時間差で到着する CD のみが最大限に励起されます (ITD は正確に補償されます)。CD はターゲットの角度位置をエンコードします。
圧電マイクロメカニカル超音波トランスデューサは、高度な CMOS テクノロジー 31、32、33、52 と統合できるスケーラブルな超音波トランスデューサであり、従来の体積トランスデューサよりも初期電圧と消費電力が低くなります 53。私たちの研究では、膜の直径は880μmで、共鳴周波数は110〜117kHzの範囲に分布しています（図2a、詳細は「方法」を参照）。10 台のテスト デバイスからなるバッチでは、平均品質係数は約 50 でした (参考文献 31)。この技術は産業的に成熟したものであり、それ自体は生物由来ではありません。異なる pMUT フィルムからの情報を組み合わせるのはよく知られた技術であり、角度情報は、たとえばビームフォーミング技術を使用して pMUT から取得できます 31,54。ただし、角度情報を抽出するために必要な信号処理は、低電力測定には適していません。提案されたシステムは、ニューロモーフィック データ前処理回路 pMUT と Jeffress モデル (図 2c) からインスピレーションを得た RRAM ベースのニューロモーフィック コンピューティング グラフを組み合わせており、エネルギー効率が高くリソースに制約のある代替ハードウェア ソリューションを提供します。2 つの pMUT センサーを約 10 cm 離して配置し、2 つの受信膜で受信した異なる ToF 音を利用する実験を実行しました。送信機として機能する 1 つの pMUT が受信機の間に配置されます。ターゲットは幅 12 cm の PVC プレートで、pMUT デバイスの前の距離 D に位置しました (図 2b)。受信機は物体から反射した音を記録し、音波の通過中に可能な限り反応します。距離 D と角度 θ によって決定されるオブジェクトの位置を変更して実験を繰り返します。リンクからインスピレーションを受けました。55では、反射波をピークに変換してニューロモーフィック計算グラフを入力するためのpMUT生信号のニューロモーフィック前処理を提案します。ピーク振幅に対応する ToF が 2 つのチャネルのそれぞれから抽出され、個々のピークの正確なタイミングとしてエンコードされます。図上。図2cは、pMUTセンサーとRRAMベースの計算グラフを接続するために必要な回路を示しています。2つのpMUT受信機のそれぞれについて、生の信号はバンドパスフィルタリングされて平滑化され、整流され、その後、克服モードで漏洩積分器に渡されます。動的しきい値 (図 2d) は、出力イベント (スパイク) および発火 (LIF) ニューロンを作成します。出力スパイク時間は、検出された飛行時間をエンコードします。LIF しきい値は pMUT 応答に対して校正されるため、デバイス間の pMUT のばらつきが軽減されます。このアプローチでは、音波全体をメモリに保存して後で処理するのではなく、音波の ToF に対応するピークを生成するだけで、抵抗メモリ計算グラフへの入力が形成されます。スパイクは遅延線に直接送信され、ニューロモーフィック計算グラフの一致検出モジュールと並列処理されます。それらはトランジスタのゲートに送信されるため、追加の増幅回路は必要ありません（詳細については補足図4を参照）。pMUT と提案された信号処理方法によって提供される位置特定角度精度を評価するために、物体の距離と角度が変化するときの ITD (つまり、2 つの受信機によって生成されたピーク イベント間の時間差) を測定しました。次に、ITD解析を角度に変換し（「方法」を参照）、物体の位置に対してプロットしました。測定されたITDの不確実性は、物体までの距離と角度とともに増加しました（図2e、f）。主な問題は、pMUT 応答のピーク対ノイズ比 (PNR) です。物体が遠くなるほど音響信号は低くなり、それによって PNR が減少します (図 2f、緑の線)。PNR が減少すると、ITD 推定の不確実性が増加し、その結果、位置特定の精度が向上します (図 2f、青線)。送信機から 50 cm の距離にある物体の場合、システムの角度精度は約 10° です。センサーの特性によるこの制限は改善することができます。たとえば、エミッタによって送られる圧力を増加させると、pMUT 膜を駆動する電圧が増加します。送信信号を増幅する別の解決策は、複数の送信機５６を接続することである。これらの解決策は、エネルギーコストの増加を犠牲にして検出範囲を拡大することになる。受信側でさらに改善を加えることができます。pMUT の受信機のノイズ フロアは、現在有線接続と RJ45 ケーブルで行われている pMUT と初段アンプの間の接続を改善することで大幅に低減できます。
a 6 つの 880 µm メンブレンが 1.5 mm ピッチで統合された pMUT 結晶の画像。b 測定セットアップの図。ターゲットは方位角位置 θ、距離 D にあります。pMUT トランスミッタは 117.6 kHz 信号を生成します。この信号はターゲットで反射し、異なる飛行時間 (ToF) を持つ 2 つの pMUT レシーバに到達します。この差は、両耳間時間差 (ITD) として定義され、物体の位置をエンコードし、2 つの受信センサーのピーク応答を推定することで推定できます。c 生の pMUT 信号をスパイク シーケンス (つまり、ニューロモーフィック計算グラフへの入力) に変換するための前処理ステップの概略図。pMUT センサーとニューロモーフィック計算グラフは製造およびテストされており、ニューロモーフィックの前処理はソフトウェア シミュレーションに基づいています。d シグナルを受信したときの pMUT 膜の応答とスパイクドメインへの変換。e 物体角度 (Θ) と対象物体までの距離 (D) の関数としての実験による位置特定角度精度。ITD 抽出方法では、最小約 4°C の角度分解能が必要です。f Θ = 0の場合の角度精度（青線）および対応するピーク対ノイズ比（緑線）対物体距離。
抵抗メモリは、情報を不揮発性の導電状態で保存します。この方法の基本原理は、原子レベルでの材料の修飾によってその導電率が変化するということです57。ここでは、上下のチタン電極と窒化チタン電極の間に挟まれた5nmの二酸化ハフニウム層で構成される酸化物ベースの抵抗メモリを使用します。RRAM デバイスの導電率は、電極間に酸素欠損の導電性フィラメントを作成または切断する電流/電圧波形を適用することによって変更できます。我々は、このようなデバイス58を標準の130 nm CMOSプロセスに統合し、一致検出器と遅延線回路を実装した再構成可能なニューロモーフィック回路を作成しました（図3a）。デバイスの不揮発性およびアナログの性質と、ニューロモーフィック回路のイベント駆動型の性質が組み合わされて、消費電力が最小限に抑えられます。この回路にはインスタントオン/オフ機能があり、電源をオンにするとすぐに動作し、回路がアイドル状態のときに電源を完全にオフにすることができます。提案されたスキームの主な構成要素を図に示します。3b.これは、重み付けされた電流が取得され、差動ペア積分器 (DPI) の共通シナプスに注入され、最後に積分と漏れ。活性化された (LIF) ニューロン 60 (詳細については「方法」を参照)。入力サージは、数百ナノ秒程度の持続時間を持つ一連の電圧パルスの形で 1T1R 構造のゲートに印加されます。抵抗メモリは、Vbottom が接地されているときに Vtop に正の外部基準を印加することで高導電状態 (HCS) に設定でき、Vtop が接地されているときに Vbottom に正の電圧を印加することで低導電状態 (LCS) にリセットできます。HCS の平均値は、直列トランジスタのゲート・ソース間電圧によって SET (ICC) のプログラミング電流 (コンプライアンス) を制限することで制御できます (図 3c)。回路内の RRAM の機能は 2 つあります。入力パルスを指示し、重み付けします。
緑色のセレクター トランジスタ (幅 650 nm) を備えた 130 nm CMOS テクノロジーに統合された青色 HfO2 1T1R RRAM デバイスの走査型電子顕微鏡 (SEM) 画像。b 提案された神経形態スキーマの基本的な構成要素。入力電圧パルス (ピーク) Vin0 および Vin1 は電流 Iweight を消費します。これは 1T1R 構造の導通状態 G0 および G1 に比例します。この電流は DPI シナプスに注入され、LIF ニューロンを興奮させます。RRAM G0 および G1 は、それぞれ HCS および LCS にインストールされます。c 伝導レベルを効果的に制御する ICC 電流マッチングの関数としての、16K RRAM デバイスのグループの累積伝導密度の関数。d (a) の回路測定は、G1 (LCS 内) が Vin1 (緑) からの入力を効果的にブロックし、実際に出力ニューロンの膜電圧が Vin0 からの青入力にのみ応答することを示しています。RRAM は回路内の接続を効果的に決定します。e 電圧パルス Vin0 を印加した後の膜電圧 Vmem に対するコンダクタンス値 G0 の影響を示す (b) の回路の測定。コンダクタンスが大きいほど、応答が強くなります。したがって、RRAM デバイスは I/O 接続の重み付けを実装します。回路上で測定が行われ、入力パルスのルーティングと重み付けという RRAM の二重機能が実証されました。
まず、2 つの基本的な導通状態 (HCS および LCS) があるため、RRAM が LCS 状態または HCS 状態にある場合、それぞれ入力パルスをブロックまたはミスする可能性があります。その結果、RRAM は回路内の接続を効果的に決定します。これは、アーキテクチャを再構成できるための基礎です。これを実証するために、図 3b の回路ブロックの製造回路実装について説明します。G0 に対応する RRAM は HCS にプログラムされ、2 番目の RRAM G1 は LCS にプログラムされます。入力パルスは Vin0 と Vin1 の両方に印加されます。オシロスコープを使用してニューロン膜電圧と出力信号を収集することにより、出力ニューロンにおける 2 つの入力パルスのシーケンスの影響が分析されました。HCS デバイス (G0) のみをニューロンのパルスに接続して膜張力を刺激した場合、実験は成功しました。これは図 3d に示されており、青色のパルス列により膜電圧が膜コンデンサに蓄積されますが、緑色のパルス列により膜電圧が一定に保たれます。
RRAM の 2 番目に重要な機能は、接続重みの実装です。RRAM のアナログ コンダクタンス調整を使用すると、それに応じて I/O 接続に重みを付けることができます。2 番目の実験では、G0 デバイスがさまざまなレベルの HCS にプログラムされ、入力パルスが VIn0 入力に印加されました。入力パルスはデバイスから電流 (Iweight) を引き出します。これはコンダクタンスと対応する電位降下 Vtop − Vbot に比例します。この重み付けされた電流は、DPI シナプスと LIF 出力ニューロンに注入されます。出力ニューロンの膜電圧はオシロスコープを使用して記録され、図3dに表示されます。単一の入力パルスに応答したニューロン膜の電圧ピークは、抵抗メモリのコンダクタンスに比例し、RRAM がシナプス重みのプログラム可能な要素として使用できることを示しています。これら 2 つの予備テストは、提案された RRAM ベースのニューロモーフィック プラットフォームが、基本的な Jeffres メカニズムの基本要素、つまり遅延線と一致検出回路を実装できることを示しています。回路プラットフォームは、図 3b のブロックなどの連続したブロックを並べて積み重ね、それらのゲートを共通の入力ラインに接続することによって構築されます。2つの入力を受け取る2つの出力ニューロンで構成されるニューロモーフィックプラットフォームを設計、製造、テストしました（図4a）。回路図を図 4b に示します。上部の 2 × 2 RRAM マトリックスでは入力パルスを 2 つの出力ニューロンに送信でき、下部の 2 × 2 マトリックスでは 2 つのニューロン (N0、N1) の反復接続が可能です。図4c〜eの実験測定によって示されているように、このプラットフォームが遅延線構成と2つの異なる一致検出機能とともに使用できることを実証します。
2 つの入力 0 と 1 を受け取る 2 つの出力ニューロン N0 と N1 によって形成される回路図。アレイの上部 4 つのデバイスは入力から出力へのシナプス接続を定義し、下部 4 つのセルはニューロン間のリカレント接続を定義します。色付きの RRAM は、右側の HCS で構成されたデバイスを表します。HCS のデバイスは接続を許可し、重みを表しますが、LCS のデバイスは入力パルスをブロックし、出力への接続を無効にします。b 青で強調表示されている 8 つの RRAM モジュールを備えた回路図 (a)。c 遅延線は、DPI シナプスと LIF ニューロンのダイナミクスを使用するだけで形成されます。緑色の RRAM は、入力遅延 Δt 後に出力でグリッチを誘発できるほど十分に高いコンダクタンスに設定されています。d 時間依存信号の方向に依存しない CD 検出の概略図。出力ニューロン 1、N1 は、短い遅延を伴って入力 0 および 1 で起動します。e 方向感知型 CD 回路。入力 1 が入力 0 に近づき、入力 0 の後に到着するときを検出する回路。回路の出力はニューロン 1 (N1) で表されます。
遅延ライン (図 4c) は、DPI シナプスと LIF ニューロンの動的動作を単純に使用し、Tdel を遅延させることで Vin1 から Vout1 への入力スパイクを再現します。Vin1 と Vout1 に接続されている G3 RRAM のみが HCS でプログラムされ、残りの RRAM は LCS でプログラムされます。G3 デバイスは、各入力パルスが出力ニューロンの膜電圧を十分に増加させてしきい値に到達し、遅延出力パルスを生成するように、92.6 μs にプログラムされています。遅延 Tdel は、シナプスと神経の時定数によって決まります。一致検出器は、時間的に相関があるが空間的に分散した入力信号の発生を検出します。方向に依存しない CD は、共通の出力ニューロンに収束する個々の入力に依存します (図 4d)。Vin0 と Vin1 をそれぞれ Vout1、G2、G4 に接続する 2 つの RRAM は、高導通にプログラムされています。Vin0 と Vin1 にスパイクが同時に到達すると、N1 ニューロン膜の電圧が出力スパイクの生成に必要なしきい値を超えて増加します。2 つの入力が時間的に離れすぎると、最初の入力によって蓄積された膜電圧の電荷が減衰するまでの時間がかかり、膜電位 N1 がしきい値に到達できなくなる可能性があります。G1 と G2 は約 65 µs にプログラムされており、単一の入力サージによって出力サージを引き起こすほど膜電圧が上昇しないことが保証されます。空間と時間に分散されたイベント間の一致検出は、オプティカル フロー ベースの障害物回避や音源位置特定など、幅広いセンシング タスクで使用される基本的な操作です。したがって、方向に敏感な CD と方向に敏感でない CD の計算は、視覚および音声の定位システムを構築するための基本的な構成要素です。時定数の特性 (補足図 2 を参照) で示されているように、提案された回路は 4 桁の時間スケールの適切な範囲を実装します。したがって、視覚システムと音響システムの要件を同時に満たすことができます。方向感応型 CD は、右から左、またはその逆という、パルスの到着の空間的順序に敏感な回路です。これは、ショウジョウバエの視覚システムの基本的な動き検出ネットワークの基本的な構成要素であり、動きの方向を計算し、衝突を検出するために使用されます62。方向依存性の CD を実現するには、2 つの入力を 2 つの異なるニューロン (N0、N1) に向け、それらの間に方向性の接続を確立する必要があります (図 4e)。最初の入力が受信されると、NO はその膜にかかる電圧をしきい値を超えて増加させ、サージを送信することによって反応します。この出力イベントは、緑色で強調表示された方向性接続のおかげで N1 を起動します。入力イベント Vin1 が到着し、膜電圧がまだ高い間に N1 に通電すると、N1 は 2 つの入力間に一致が見つかったことを示す出力イベントを生成します。方向性接続により、N1 は入力 1 が入力 0 の後に来る場合にのみ出力を発することができます。G0、G3、および G7 はそれぞれ 73.5 μS、67.3 μS、および 40.2 μS にプログラムされており、入力 Vin0 の単一スパイクが遅延を引き起こすことを保証します。一方、N1 の膜電位は、両方の入力バーストが同期して到着した場合にのみ閾値に達します。。
変動性は、モデル化された神経形態システムの不完全さの原因です63、64、65。これは、ニューロンとシナプスの不均一な動作につながります。このような欠点の例としては、ほんの数例を挙げると、入力ゲイン、時定数、不応期の 30% (平均標準偏差) の変動が挙げられます (「方法」を参照)。この問題は、2 つのニューロンで構成される方向に敏感な CD など、複数の神経回路が接続されている場合にさらに顕著になります。適切に動作するには、2 つのニューロンのゲイン時定数と減衰時定数が可能な限り似ている必要があります。たとえば、入力ゲインに大きな差があると、一方のニューロンが入力パルスに過剰に反応する一方で、もう一方のニューロンはほとんど反応しない可能性があります。図上。図 5a は、ランダムに選択されたニューロンが同じ入力パルスに対して異なる応答を示すことを示しています。この神経変動は、たとえば、方向に敏感な CD の機能に関連しています。図に示すスキームでは。図 5b、c に示すように、ニューロン 1 の入力ゲインはニューロン 0 の入力ゲインよりもはるかに高くなります。したがって、ニューロン 0 はしきい値に到達するために (1 ではなく) 3 つの入力パルスを必要とし、予想どおりニューロン 1 は 2 つの入力イベントを必要とします。スパイク時間依存の生体模倣可塑性 (STDP) の実装は、不正確で遅い神経回路とシナプス回路がシステム パフォーマンスに与える影響を軽減する可能性があります 43。ここで我々は、神経入力の増強に影響を与え、神経形態回路における変動の影響を軽減する手段として、抵抗記憶の可塑的挙動を使用することを提案する。図に示すように。図４ｅに示すように、ＲＲＡＭシナプス質量に関連するコンダクタンスレベルは、対応する神経膜電圧応答を効果的に調節した。私たちは反復的な RRAM プログラミング戦略を使用します。特定の入力に対して、回路の目標動作が得られるまで、シナプス重みのコンダクタンス値が再プログラムされます (「方法」を参照)。
a 同じ入力パルスに対する、ランダムに選択された 9 個の個々のニューロンの応答の実験的測定。応答は集団によって異なり、入力ゲインと時定数に影響します。b 方向感受性CDに影響を与えるニューロンの変動に対するニューロンの影響の実験的測定。2 つの方向に敏感な CD 出力ニューロンは、ニューロン間のばらつきにより、入力刺激に対して異なる反応を示します。ニューロン 0 はニューロン 1 よりも入力ゲインが低いため、出力スパイクを作成するには (1 つではなく) 3 つの入力パルスが必要です。予想どおり、ニューロン 1 は 2 つの入力イベントでしきい値に到達しました。ニューロン 0 が発火してから Δt = 50 μs 後に入力 1 が到着すると、Δt がニューロン 1 の時定数 (約 22 μs) より大きいため、CD は沈黙したままになります。c は Δt = 20 µs だけ減少するため、ニューロン 1 の発火がまだ高いときに入力 1 がピークとなり、2 つの入力イベントが同時に検出されます。
ITD 計算列で使用される 2 つの要素は、遅延線と方向に依存しない CD です。どちらの回路も、良好な物体位置決め性能を保証するために正確なキャリブレーションを必要とします。遅延線は入力ピークの正確に遅延したバージョンを配信する必要があり (図 6a)、入力がターゲット検出範囲内にある場合にのみ CD をアクティブにする必要があります。遅延線の場合、入力接続 (図 4a の G3) のシナプス重みは、目標遅延が得られるまで再プログラムされました。プログラムを停止する目標遅延の周囲に許容値を設定します。許容値が小さいほど、遅延ラインを正常に設定することが難しくなります。図上。図 6b は、遅延線校正プロセスの結果を示しています。提案された方式は、設計方式で必要なすべての遅延 (10 ～ 300 μs) を正確に提供できることがわかります。キャリブレーション反復の最大回数は、キャリブレーション プロセスの品質に影響します。200 回の反復では、誤差を 5% 未満に減らすことができます。1 回のキャリブレーション反復は、RRAM セルのセット/リセット動作に対応します。調整プロセスは、CD モジュールの即時クローズ イベント検出の精度を向上させるためにも重要です。95% を超える真陽性率 (つまり、関連性があると正しく特定されたイベントの割合) を達成するには、10 回のキャリブレーション反復が必要でした (図 6c の青線)。ただし、チューニング プロセスは、誤検知イベント (つまり、関連があると誤って識別されたイベントの頻度) には影響しませんでした。急速に活性化する経路の時間的制約を克服するために生体系で観察されるもう 1 つの方法は、冗長性 (つまり、同じオブジェクトの多数のコピーを使用して特定の機能を実行する) です。biology66 にヒントを得て、誤検知の影響を軽減するために、2 つの遅延線の間の各 CD モジュールに複数の CD 回路を配置しました。図に示すように。6c (緑の線) では、各 CD モジュールに 3 つの CD エレメントを配置すると、誤警報率を 10–2 未満に減らすことができます。
a 遅延線回路に対するニューロンの変動の影響。b 遅延線回路は、対応する LIF ニューロンと DPI シナプスの時定数を大きな値に設定することで、大きな遅延に拡張できます。RRAM キャリブレーション手順の反復回数を増やすと、ターゲット遅延の精度を大幅に向上させることができました。200 回の反復では、誤差が 5% 未満に減少しました。1 回の反復は、RRAM セルの SET/RESET 操作に対応します。c Jeffress モデルの各 CD モジュールは、システム障害に対する柔軟性を高めるために、N 個の並列 CD 要素を使用して実装できます。d RRAM キャリブレーションの反復回数が増えると、真陽性率 (青色の線) が増加しますが、偽陽性率は反復回数に依存しません (緑色の線)。より多くの CD 要素を並列に配置すると、CD モジュール一致の誤検出が回避されます。
次に、ニューロモーフィック コンピューティング グラフを構成する pMUT センサー、CD、および遅延線回路の音響特性の測定を使用して、図 2 に示すエンドツーエンドの統合物体位置特定システムのパフォーマンスと消費電力を評価します。Jeffress モデル (図 1a)。ニューロモーフィック コンピューティング グラフに関しては、CD モジュールの数が増えるほど角度分解能は向上しますが、システムのエネルギーも高くなります (図 7a)。個々のコンポーネント (pMUT センサー、ニューロン、シナプス回路) の精度とシステム全体の精度を比較することで、妥協点を見つけることができます。遅延線の分解能は、シミュレートされたシナプスとニューロンの時定数によって制限され、私たちのスキームでは 10 μs を超えます。これは 4° の角度分解能に相当します (「方法」を参照)。CMOS テクノロジーを使用したより高度なノードにより、より低い時定数で神経回路およびシナプス回路を設計できるようになり、その結果、遅延線要素の精度が向上します。ただし、私たちのシステムでは、精度は角度位置を推定する際の誤差 pMUT、つまり 10° (図 7a の青い水平線) によって制限されます。CD モジュールの数を 40 に固定しました。これは約 4°の角度分解能、つまり計算グラフ (図 7a の水色の水平線) の角度精度に相当します。システム レベルでは、センサー システムの前方 50 cm にある物体に対して 4° の分解能と 10° の精度が得られます。この値は、参考文献で報告されているニューロモーフィック音定位システムに匹敵します。提案されたシステムと最先端技術との比較は、補足表 1 に記載されています。位置特定精度をさらに向上させるには、pMUT を追加し、音響信号レベルを高め、電子ノイズを低減することが考えられます。）は9.7と推定されます。ニュージーランド計算グラフ上に 40 CD ユニットがあるとすると、SPICE シミュレーションでは、操作あたりのエネルギー (つまり、オブジェクト位置決めエネルギー) が 21.6 nJ であると推定されました。ニューロモーフィック システムは、入力イベントが到着したとき、つまり音響波が pMUT 受信機に到達し、検出閾値を超えたときにのみアクティブになり、それ以外の場合は非アクティブのままになります。これにより、入力信号がない場合の不要な電力消費が回避されます。100 Hz の位置特定操作の周波数と操作ごとのアクティブ化期間 (可能な最大 ITD) 300 μs を考慮すると、ニューロモーフィック コンピューティング グラフの消費電力は 61.7 nW です。各 pMUT 受信機にニューロモーフィック前処理を適用すると、システム全体の消費電力は 81.6 nW に達します。従来のハードウェアと比較した、提案されたニューロモーフィック アプローチのエネルギー効率を理解するために、この数値を、ニューロモーフィック スキルまたは従来のビームフォーミング スキルを使用して最新の低電力マイクロコントローラーで同じタスクを実行するのに必要なエネルギーと比較しました。ニューロモーフィック アプローチでは、アナログ デジタル コンバーター (ADC) ステージ、その後にバンドパス フィルターとエンベロープ抽出ステージ (Teeger-Kaiser 法) が考慮されます。最後に、しきい値操作を実行して ToF を抽出します。ToF に基づく ITD の計算と推定角度位置への変換は測定ごとに 1 回行われるため、省略しました (「方法」を参照)。両方のチャネル (pMUT レシーバー) でサンプリング レートが 250 kHz、サンプルごとに 18 のバンドパス フィルター操作、3 つのエンベロープ抽出操作、および 1 つのしきい値操作を想定すると、総消費電力は 245 マイクロワットと推定されます。これは、アルゴリズムが実行されていないときにオンになるマイクロコントローラーの低電力モード69を使用し、消費電力を 10.8 µW に削減します。参考文献で提案されているビームフォーミング信号処理ソリューションの消費電力。5 つの pMUT 受信機と方位面 [-50°、+50°] に均一に分布した 11 本のビームを備えた 31 の出力は 11.71 mW です (詳細については「方法」セクションを参照)。さらに、物体位置特定のための Jeffress モデルの代替品として、FPGA47 ベースの時間差エンコーダー (TDE) の消費電力が 1.5 mW と見積もられていることを報告します。これらの推定に基づいて、提案されたニューロモーフィック アプローチは、物体位置特定操作に古典的なビームフォーミング技術を使用するマイクロコントローラーと比較して、消費電力を 5 桁削減します。従来のマイクロコントローラーでの信号処理にニューロモーフィック アプローチを採用すると、消費電力が約 2 桁削減されます。提案されたシステムの有効性は、メモリ内計算を実行できる非同期抵抗メモリ アナログ回路と、信号を認識するために必要なアナログデジタル変換の欠如の組み合わせによって説明できます。
a CD モジュールの数に応じたローカリゼーション操作の角度解像度 (青) と消費電力 (緑)。濃い青の水平バーは PMUT の角度精度を表し、水色の水平バーはニューロモーフィック計算グラフの角度精度を表します。b 提案されたシステムの消費電力と、議論された 2 つのマイクロコントローラー実装および時間差エンコーダー (TDE)47 FPGA のデジタル実装との比較。
ターゲット位置特定システムの消費電力を最小限に抑えるために、内蔵センサーによって生成された信号情報を処理して実際のターゲット オブジェクトの位置を計算する、効率的なイベント駆動型 RRAM ベースのニューロモーフィック回路を考案、設計、実装しました。時間。。従来の処理方法では、検出された信号を継続的にサンプリングして計算を実行して有用な情報を抽出しますが、提案されたニューロモーフィック ソリューションは、有用な情報が到着すると非同期に計算を実行し、システムの電力効率を 5 桁最大化します。さらに、RRAM ベースのニューロモーフィック回路の柔軟性を強調します。不揮発性の方法 (可塑性) でコンダクタンスを変更する RRAM の機能により、超低電力アナログ DPI のシナプスおよび神経回路の固有の変動性が補償されます。これにより、この RRAM ベースの回路は多用途かつ強力になります。私たちの目標は、信号から複雑な機能やパターンを抽出することではなく、リアルタイムでオブジェクトの位置を特定することです。また、私たちのシステムは信号を効率的に圧縮し、最終的には信号をさらなる処理ステップに送信して、必要に応じてより複雑な決定を行うこともできます。位置特定アプリケーションのコンテキストでは、ニューロモーフィック前処理ステップにより、オブジェクトの位置に関する情報を提供できます。この情報は、たとえば、動き検出やジェスチャ認識に使用できます。私たちは、pMUT などの超低電力センサーと超低電力エレクトロニクスを組み合わせる重要性を強調します。このためには、ニューロモーフィックなアプローチが鍵となり、ジェフレス モデルなどの生物学にヒントを得た計算手法の新しい回路実装を開発することができました。センサー フュージョン アプリケーションのコンテキストでは、当社のシステムをいくつかの異なるイベントベースのセンサーと組み合わせて、より正確な情報を取得できます。フクロウは暗闇の中で獲物を見つけるのが得意ですが、優れた視力を持っており、獲物を捕まえる前に聴覚と視覚を組み合わせた検索を実行します70。特定の聴覚ニューロンが発火すると、フクロウはどの方向に視覚探索を開始するかを決定するために必要な情報を受け取り、視覚的なシーンの小さな部分に注意を集中させます。将来の自律エージェントの開発には、視覚センサー (DVS カメラ) と提案されているリスニング センサー (pMUT に基づく) の組み合わせを検討する必要があります。
pMUT センサーは、約 10 cm 離れた 2 つの受信機を備えた PCB 上に配置され、送信機は受信機の間に配置されます。この研究では、各膜は、厚さ 200 nm のモリブデン (Mo) の 3 層の間に挟まれた厚さ 800 nm の圧電窒化アルミニウム (AlN) の 2 層で構成され、厚さ 200 nm の層でコーティングされた浮遊バイモルフ構造です。参考文献に記載されている上部パッシベーション SiN 層。71. 内側電極と外側電極はモリブデンの最下層と最上層に適用されますが、中央のモリブデン電極はパターン化されておらず、接地として使用されるため、4 対の電極を備えた膜が得られます。
このアーキテクチャにより、共通の膜変形の使用が可能になり、送信および受信の感度が向上します。このような pMUT は通常、エミッタとして 700 nm/V の励起感度を示し、270 Pa/V の表面圧力を提供します。受信機として、1 つの pMUT フィルムは 15 nA/Pa の短絡感度を示します。これは、AlN の圧電係数に直接関係します。AlN 層の電圧の技術的な変動により共振周波数が変化しますが、これは pMUT に DC バイアスを印加することで補償できます。DC感度は0.5kHz/Vで測定されました。音響特性評価には、pMUT の前にマイクが使用されます。
エコーパルスを測定するために、pMUTの前に面積約50cm2の長方形の板を置き、放射された音波を反射させました。プレート間の距離と pMUT 面に対する角度の両方は、特別なホルダーを使用して制御されます。Tectronix CPX400DP 電圧源は 3 つの pMUT 膜にバイアスをかけ、共振周波数を 111.9 kHz に調整します31。一方、送信機は共振周波数 (111.9 kHz) とデューティ サイクル 0.01 に調整された Tectronix AFG 3102 パルス発生器によって駆動されます。各 pMUT レシーバーの 4 つの出力ポートから読み取られた電流は、特別な差動電流および電圧アーキテクチャを使用して電圧に変換され、その結果得られる信号は Spektrum データ収集システムによってデジタル化されます。検出限界は、さまざまな条件下での pMUT 信号取得によって特徴づけられました。反射板をさまざまな距離 [30、40、50、60、80、100] cm に移動し、pMUT サポート角度 ([0、20、40] o) を変更しました。 ) 図 2b は、対応する角度位置に応じた時間的 ITD 検出分解能を度単位で示しています。
この記事では、2 つの異なる既製 RRAM 回路を使用します。1 つ目は、1 つのトランジスタと 1 つの抵抗を備えた 1T1R 構成の 16,384 (16,000) デバイス (128 × 128 デバイス) のアレイです。2 番目のチップは、図 4a に示すニューロモーフィック プラットフォームです。RRAM セルは、TiN/HfO2/Ti/TiN スタックに埋め込まれた 5 nm 厚の HfO2 膜で構成されています。RRAM スタックは、標準 130nm CMOS プロセスのバックオブライン (BEOL) に統合されています。RRAM ベースのニューロモーフィック回路は、RRAM デバイスが従来の CMOS テクノロジーと共存する完全アナログ電子システムの設計課題を提示します。特に、RRAM デバイスの導通状態を読み取り、システムの関数変数として使用する必要があります。この目的を達成するために、入力パルスを受信したときにデバイスから電流を読み取り、この電流を使用して差動ペア積分器 (DPI) シナプスの応答を重み付けする回路が設計、製造、テストされました。この回路は図 3a に示されており、図 4a のニューロモーフィック プラットフォームの基本構成要素を表しています。入力パルスによって 1T1R デバイスのゲートがアクティブになり、デバイスのコンダクタンス G (Iweight = G(Vtop – Vx)) に比例して RRAM に電流が誘導されます。演算増幅器 (op-amp) 回路の反転入力には、一定の DC バイアス電圧 Vtop があります。オペアンプの負帰還は、M1 から等しい電流を供給することにより、Vx = Vtop を提供します。デバイスから取得された現在の Iweight が DPI シナプスに注入されます。電流が強いほど脱分極が進むため、RRAM コンダクタンスはシナプスの重みを効果的に実装します。この指数関数的なシナプス電流は、リーキー統合および励起 (LIF) ニューロンの膜コンデンサーを介して注入され、そこで電圧として統合されます。メンブレンの閾値電圧（インバータのスイッチング電圧）を超えると、ニューロンの出力部分が活性化され、出力スパイクが生成されます。このパルスが戻ってきてニューロンの膜コンデンサをグランドに分路し、放電させます。次に、この回路には、LIF ニューロンの出力パルスを目標パルス幅に整形するパルス拡張器 (図 3a には示されていません) が追加されます。マルチプレクサも各ラインに組み込まれており、RRAM デバイスの上部電極と下部電極に電圧を印加できるようになります。
電気テストには、アナログ回路の動的動作の分析と記録、RRAM デバイスのプログラミングと読み取りが含まれます。どちらの手順でも特別なツールが必要で、それらすべてが同時にセンサー ボードに接続されます。ニューロモーフィック回路内の RRAM デバイスへのアクセスは、マルチプレクサ (MUX) を介して外部ツールから実行されます。MUX は 1T1R セルを、それが属する残りの回路から分離し、デバイスの読み取りおよび/またはプログラムを可能にします。RRAM デバイスのプログラムと読み取りには、Keithley 4200 SCS マシンを Arduino マイクロコントローラーと組み合わせて使用します。1 つ目は正確なパルス生成と電流読み取り用で、2 つ目はメモリ アレイ内の個々の 1T1R 要素に迅速にアクセスするためです。最初の操作は、RRAM デバイスを形成することです。セルが 1 つずつ選択され、上部電極と下部電極の間に正の電圧が印加されます。この場合、選択トランジスタへの対応するゲート電圧の供給により、電流は数十マイクロアンペア程度に制限されます。その後、RRAM セルは、RESET 操作と SET 操作をそれぞれ使用して、低導電状態 (LCS) と高導電状態 (HCS) の間を繰り返すことができます。SET 動作は、上部電極に幅 1 μs、ピーク電圧 2.0 ～ 2.5 V の矩形電圧パルスを印加し、上部電極にピーク電圧 0.9 ～ 1.3 V の同様の形状の同期パルスを印加することによって実行されます。セレクタトランジスタのゲート。これらの値により、RRAM コンダクタンスを 20 ～ 150 μs 間隔で調整できます。RESET の場合、ゲート電圧が 2.5 ～ 3.0 V の範囲にあるときに、幅 1 μs、ピーク 3 V のパルスがセルの下部電極 (ビット ライン) に印加されます。アナログ回路の入力と出力はダイナミック信号です。 。入力として、2 つの HP 8110 パルス ジェネレーターと Tektronix AFG3011 信号ジェネレーターをインターリーブしました。入力パルスの幅は 1 µs、立ち上がり/立ち下がりエッジは 50 ns です。このタイプのパルスは、アナログ グリッチ ベースの回路における典型的なグリッチであると想定されます。出力信号に関しては、Teledyne LeCroy 1 GHz オシロスコープを使用して出力信号を記録しました。オシロスコープの取得速度は、回路データの解析および取得における制限要因ではないことが証明されています。
アナログ エレクトロニクスのダイナミクスを使用してニューロンとシナプスの動作をシミュレートすることは、計算効率を向上させる洗練された効率的なソリューションです。この計算アンダーレイの欠点は、スキームごとに異なることです。ニューロンとシナプス回路の変動性を定量化しました（補足図2a、b）。変動のすべての症状の中で、時定数と入力ゲインに関連するものは、システム レベルで最も大きな影響を及ぼします。LIF ニューロンと DPI シナプスの時定数は RC 回路によって決定され、R の値はトランジスタのゲートに印加されるバイアス電圧 (ニューロンの場合は Vlk、シナプスの場合は Vtau) によって制御され、漏れ率。入力ゲインは、入力パルスによって刺激されたシナプスおよび神経膜コンデンサーが到達するピーク電圧として定義されます。入力ゲインは、入力電流を変調する別のバイアス トランジスタによって制御されます。ST マイクロエレクトロニクスの 130nm プロセスで校正されたモンテカルロ シミュレーションが実行され、入力ゲインと時定数の統計が収集されました。結果は補足図2に示されており、入力ゲインと時定数が漏れ率を制御するバイアス電圧の関数として定量化されています。緑色のマーカーは、平均からの時定数の標準偏差を定量化します。補足図のスキームに示すように、ニューロンとシナプス回路は両方とも、10-5-10-2 sの範囲で幅広い時定数を表現することができました。ニューロンとシナプスの変動の入力増幅（補足図2e、d）は、それぞれ約8％と3％でした。このような欠陥は文献に詳しく記載されています。LIF63 ニューロンの集団間の不一致を評価するために、DYNAP チップのアレイでさまざまな測定が実行されました。BrainScale 混合信号チップのシナプスが測定され、その不一致が分析され、システムレベルの変動の影響を軽減するための校正手順が提案されました 64。
ニューロモーフィック回路における RRAM の機能は 2 つあります。アーキテクチャの定義 (入力から出力へのルーティング) とシナプスの重みの実装です。後者の特性は、モデル化された神経形態回路の変動性の問題を解決するために使用できます。私たちは、解析対象の回路が特定の要件を満たすまで RRAM デバイスを再プログラミングする簡単なキャリブレーション手順を開発しました。特定の入力に対して出力が監視され、目標の動作が達成されるまで RRAM が再プログラムされます。一時的なコンダクタンス変動を引き起こす RRAM 緩和の問題を解決するために、プログラミング操作の間に 5 秒の待ち時間が導入されました (補足情報)。シナプスの重みは、モデル化されている神経形態回路の要件に従って調整または校正されます。キャリブレーション手順は、ニューロモーフィック プラットフォームの 2 つの基本的な機能、遅延線と方向に依存しない CD に焦点を当てた追加のアルゴリズム [1、2] にまとめられています。遅延線を備えた回路の場合、目標動作は、出力パルスに遅延 Δt を与えることです。実際の回路遅延が目標値よりも小さい場合は、G3 のシナプス重みを減らす必要があります (G3 をリセットして、より低い整合電流 Icc に設定する必要があります)。逆に、実際の遅延が目標値よりも大きい場合は、G3 のコンダクタンスを増やす必要があります (G3 を最初にリセットし、次に高い Icc 値に設定する必要があります)。このプロセスは、回路によって生成される遅延が目標値と一致し、許容値が設定されてキャリブレーション プロセスが停止されるまで繰り返されます。方向に依存しない CD の場合、2 つの RRAM デバイス G1 と G3 がキャリブレーション プロセスに関与します。この回路には、dt だけ遅延された 2 つの入力 Vin0 と Vin1 があります。回路は、マッチング範囲 [0,dtCD] 未満の遅延にのみ応答する必要があります。出力ピークがないが入力ピークが近い場合は、ニューロンがしきい値に到達できるように両方の RRAM デバイスをブーストする必要があります。逆に、回路が dtCD の目標範囲を超える遅延に応答する場合は、コンダクタンスを減らす必要があります。正しい動作が得られるまでプロセスを繰り返します。コンプライアンス電流は、参考文献の内蔵アナログ回路によって変調できます。72.73。この内蔵回路を使用すると、このような手順を定期的に実行してシステムを校正したり、別のアプリケーションに再利用したりできます。
標準的な 32 ビット マイクロコントローラー 68 でのニューロモーフィック信号処理アプローチの消費電力を評価します。この評価では、この論文と同じセットアップ (1 つの pMUT 送信機と 2 つの pMUT 受信機) での動作を想定しています。この方法では、バンドパス フィルターを使用し、その後にエンベロープ抽出ステップ (Teeger-Kaiser) を実行し、最後にしきい値処理操作を信号に適用して飛行時間を抽出します。ITD の計算と検出角度への変換は評価では省略されています。18 の浮動小数点演算を必要とする 4 次無限インパルス応答フィルターを使用したバンドパス フィルターの実装を検討します。エンベロープ抽出ではさらに 3 つの浮動小数点演算が使用され、最後の演算はしきい値の設定に使用されます。信号を前処理するには、合計 22 の浮動小数点演算が必要です。送信信号は、10 ms ごとに生成される 111.9 kHz の正弦波形の短いバーストで、位置決め動作周波数は 100 Hz になります。ナイキストに準拠するために 250 kHz のサンプリング レートを使用し、1 メートルの範囲をキャプチャするために各測定に 6 ミリ秒のウィンドウを使用しました。6 ミリ秒は 1 メートル離れた物体の飛行時間であることに注意してください。これにより、0.5 MSPS での A/D 変換の消費電力は 180 µW になります。信号の前処理は 6.60 MIPS (1 秒あたりの命令数) で、0.75 mW を生成します。しかしながら、アルゴリズムが実行されていないとき、マイクロコントローラは低電力モード６９に切り替わる可能性がある。このモードでは、静的消費電力が 10.8 μW、ウェイクアップ時間が 113 μs になります。クロック周波数が 84 MHz の場合、マイクロコントローラーはニューロモーフィック アルゴリズムのすべての操作を 10 ミリ秒以内に完了し、アルゴリズムは 6.3% のデューティ サイクルを計算するため、低電力モードが使用されます。結果として生じる消費電力は 244.7 μW になります。ToF からの ITD 出力と検出角度への変換を省略しているため、マイクロコントローラーの消費電力が過小評価されていることに注意してください。これにより、提案されたシステムのエネルギー効率にさらなる価値がもたらされます。追加の比較条件として、参考文献で提案されている古典的なビームフォーミング手法の消費電力を評価します。1.8V 電源電圧で同じマイクロコントローラ 68 に組み込まれた場合は 31.54。等間隔に配置された 5 つの pMUT メンブレンを使用して、ビームフォーミング用のデータを取得します。処理自体に関しては、使用されるビームフォーミング方法は遅延加算です。これは、あるレーンと基準レーンの間の予想される到着時間の差に対応する遅延をレーンに適用するだけで構成されます。信号が同相である場合、時間シフト後のこれらの信号の合計は高いエネルギーを持ちます。位相がずれていると、破壊的な干渉により、それらの合計のエネルギーが制限されます。交際中。図上。図３１では、整数個のサンプルだけデータを時間シフトするために、２ＭＨｚのサンプリングレートが選択される。より控えめなアプローチは、250 kHz の粗いサンプル レートを維持し、有限インパルス応答 (FIR) フィルターを使用して分数遅延を合成することです。各チャネルは各方向に 16 タップの FIR フィルターで畳み込まれるため、ビームフォーミング アルゴリズムの複雑さは主に時間シフトによって決まると仮定します。この操作に必要な MIPS 数を計算するには、1 メートルの範囲、5 チャネル、11 のビームフォーミング方向 (範囲 +/- 50°、10° ステップ) をキャプチャするために、測定あたり 6 ミリ秒のウィンドウを考慮します。1 秒あたり 75 回の測定により、マイクロコントローラーは最大 100 MIPS に達しました。リンク。68 であり、オンボード ADC の寄与を追加した後の合計消費電力は 11.26 mW となり、合計消費電力は 11.71 mW になります。
この研究の結果を裏付けるデータは、合理的な要求に応じて、それぞれの著者である FM から入手できます。
Indiveri, G. & Sandamirskaya, Y. 神経形態エージェントにおける信号処理における空間と時間の重要性: 環境と相互作用する低電力の自律エージェントを開発するという課題。 Indiveri, G. & Sandamirskaya, Y. 神経形態エージェントにおける信号処理における空間と時間の重要性: 環境と相互作用する低電力の自律エージェントを開発するという課題。Indiveri G. および Sandamirskaya Y. ニューロモーフィック エージェントにおける信号処理における空間と時間の重要性: 環境と相互作用する低電力自律エージェントの開発の課題。 Indiveri, G. & Sandamirskaya, Y. 空間と時間は、環境と通信する低消費電力の自律プロシージャの挑戦の中での信号処理にとって重要です。 インディヴェリ、G. & サンダミルスカヤ、Y.Indiveri G. および Sandamirskaya Y. ニューロモーフィック エージェントにおける信号処理における空間と時間の重要性: 環境と相互作用する低電力自律エージェントの開発の課題。IEEE 信号処理。ジャーナル 36、16–28 (2019)。
SJ ソープ、ピーク到着時間: 効率的なニューラル ネットワーク コーディング スキーム。 Eckmiller, R.、Hartmann, G. & Hauske, G. (編)。 Eckmiller, R.、Hartmann, G. & Hauske, G. (編)。Eckmiller, R.、Hartmann, G.、および Hauske, G. (編)。Eckmiller, R.、Hartmann, G.、および Hauske, G. (編)。ニューラル システムとコンピュータにおける並列処理 91 ～ 94 (North-Holland Elsevier、1990)。
Levy, WB & Calvert, VG 通信は人間の大脳皮質における計算の 35 倍のエネルギーを消費しますが、シナプス数を予測するには両方のコストが必要です。 Levy, WB & Calvert, VG 通信は人間の大脳皮質における計算の 35 倍のエネルギーを消費しますが、シナプス数を予測するには両方のコストが必要です。Levy, WB および Calvert, WG 通信は人間の大脳皮質における計算より 35 倍のエネルギーを消費しますが、シナプスの数を予測するには両方のコストが必要です。 Levy, WB および Calvert, VG 通信で消費されるエネルギーは人間の皮膚層で計算した場合の 35 倍ですが、この 2 つの量はいずれも事前の突発量の測定が必要です。 Levy、WB & Calvert、VG CommunicationLevy, WB および Calvert, WG 通信は人間の大脳皮質での計算より 35 倍のエネルギーを消費しますが、どちらのコストもシナプスの数を予測する必要があります。プロセス。国立科学アカデミー。科学。US 118、https://doi.org/10.1073/pnas.2008173118 (2021)。
Dalgaty, T.、Vianello, E.、De Salvo, B.、Casas, J. 昆虫にインスピレーションを得たニューロモーフィック コンピューティング。 Dalgaty, T.、Vianello, E.、De Salvo, B.、Casas, J. 昆虫にインスピレーションを得たニューロモーフィック コンピューティング。Dalgati, T.、Vianello, E.、DeSalvo, B.、および Casas, J. 昆虫にインスピレーションを得たニューロモーフィック コンピューティング。Dalgati T.、Vianello E.、DeSalvo B.、Casas J. 昆虫にインスピレーションを得たニューロモーフィック コンピューティング。現在。意見。昆虫科学。30、59–66 (2018)。
Roy, K.、Jaiswal, A.、Panda, P. ニューロモーフィック コンピューティングによるスパイクベースのマシン インテリジェンスを目指しています。 Roy, K.、Jaiswal, A.、Panda, P. ニューロモーフィック コンピューティングによるスパイクベースのマシン インテリジェンスを目指しています。 Roy, K.、Jaiswal, A.、Panda, P. ニューロモーフィック コンピューティングによるスパイクベースのマシン インテリジェンスに向けて。Roy K、Jaiswal A、Panda P. ニューロモーフィック コンピューティングを使用したパルスベースの人工知能。ネイチャー 575、607–617 (2019)。
インディヴェリ、G. & リュー、S.-C. インディヴェリ、G. & リュー、S.-C.インディヴェリ、G. およびリュー、S.-K. インディヴェリ、G. & リュー、S.-C. インディヴェリ、G. & リュー、S.-C.インディヴェリ、G. およびリュー、S.-K.神経形態システムにおける記憶と情報処理。プロセス。IEEE 103、1379–1397 (2015)。
アコピアン F. et al.Truenorth: 65 mW 100 万ニューロンのプログラム可能なシナプス チップの設計とツールキット。IEEE トランザクション。集積回路システムのコンピュータ設計。34、1537–1557 (2015)。
Schemmel, J. et al.ライブデモ: BrainScaleS 神経形態システムのプレートスケールでの縮小バージョン。2012 IEEE International Symposium on Circuits and Systems (ISCAS)、(IEEE 編) 702–702 (2012)。
Moradi, S.、Qiao, N.、Stefanini, F.、Indiveri, G. ダイナミック ニューロモーフィック非同期プロセッサ (DYNAP) 用の異種メモリ構造を備えたスケーラブルなマルチコア アーキテクチャ。 Moradi, S.、Qiao, N.、Stefanini, F.、Indiveri, G. ダイナミック ニューロモーフィック非同期プロセッサ (DYNAP) 用の異種メモリ構造を備えたスケーラブルなマルチコア アーキテクチャ。Moradi S.、Qiao N.、Stefanini F.、および Indiviri G. 動的ニューロモーフィック非同期プロセッサ (DYNAP) 用の異種メモリ構造を備えたスケーラブルなマルチコア アーキテクチャ。 Moradi, S.、Qiao, N.、Stefanini, F.、および Indiveri, G. の 1 つの拡張可能なポリコア構造は、動的マイクロプロセッサ (DYNAP) の内部記憶構造を備えています。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 動的ニューラル処理 (DYNAP) 用の独自のメモリ構造を備えた、拡張可能なマルチコア アーキテクチャの一種。Moradi S.、Qiao N.、Stefanini F.、および Indiviri G. 動的ニューロモーフィック非同期プロセッサ (DYNAP) 用の異種メモリ構造を備えたスケーラブルなマルチコア アーキテクチャ。生物医学に関するIEEEトランザクション。電気系統。12、106–122 (2018)。
デイビス、M.ら。Loihi: 学習機能が組み込まれたニューロモーフィック マルチコア プロセッサ。IEEE Micro 38、82–99 (2018)。
Furber, SB、Galluppi, F.、Temple, S. & Plana, LA SpinNNaker プロジェクト。 Furber, SB、Galluppi, F.、Temple, S. & Plana, LA SpinNNaker プロジェクト。Ferber SB、Galluppi F.、Temple S.、Plana LA SpinNaker プロジェクト。Ferber SB、Galluppi F.、Temple S.、Plana LA SpinNaker プロジェクト。プロセス。IEEE 102、652–665 (2014)。
リュー、S.-K. & Delbruck、T. 神経形態感覚システム。 & Delbruck、T. 神経形態感覚システム。およびデルブリュック T. 神経形態感覚システム。 & Delbruck, T. 神形感覚系。 & デルブリュック、T.およびデルブリュック T. 神経形態感覚システム。現在。意見。神経生物学。20、288–295 (2010)。
Chope, T. et al.音源定位と衝突回避を組み合わせたニューロモーフィック感覚統合。2019 年、IEEE Conference on Biomedical Circuits and Systems (BioCAS) にて、(IEEE 編) 1–4 (2019)。
Risi, N.、Aimar, A.、Donati, E.、Solinas, S.、Indiveri, G. ステレオ ビジョンのスパイク ベースのニューロモーフィック アーキテクチャ。 Risi, N.、Aimar, A.、Donati, E.、Solinas, S.、Indiveri, G. ステレオ ビジョンのスパイク ベースのニューロモーフィック アーキテクチャ。Risi N、Aymar A、Donati E、Solinas S、および Indiveri G。スパイクベースのニューロモーフィック ステレオビジョン アーキテクチャ。 Risi, N.、Aimar, A.、Donati, E.、Solinas, S.、Indiveri, G. の 1 つは、神経の立体構造に基づいています。 リシ、N.、アイマール、A.、ドナティ、E.、ソリナス、S.、インディヴェリ、G.Risi N、Aimar A、Donati E、Solinas S、および Indiveri G。ステレオ ビジョン用のスパイク ベースのニューロモーフィック アーキテクチャ。フロント。ニューロボティクス 14、93 (2020)。
Osswald, M.、Ieng, S.-H.、Benosman, R.、Indiveri, G. イベントベースのニューロモーフィック ステレオ ビジョン システム用の 3D 知覚のスパイク ニューラル ネットワーク モデル。 Osswald, M.、Ieng, S.-H.、Benosman, R.、Indiveri, G. イベントベースのニューロモーフィック ステレオ ビジョン システム用の 3D 知覚のスパイク ニューラル ネットワーク モデル。Oswald, M.、Ieng, S.-H.、Benosman, R.、および Indiveri, G. イベントベースのニューロモーフィック ステレオ ビジョン システム用の 3D パルス ニューラル ネットワーク知覚モデル。 Osswald, M.、Ieng, S.-H.、Benosman, R.、Indiveri, G. は、イベントの神形立体視システムの 3D 知覚知覚ネットワーク モデルに基づいています。 Osswald, M.、Ieng, S.-H.、Benosman, R.、Indiveri, G. 3D 知覚神経ネットワーク モデル。Oswald, M.、Ieng, S.-H.、Benosman, R.、および Indiveri, G. イベントベースのニューロモーフィック ステレオ ビジョン システム用の 3D 知覚ニューラル ネットワーク モデルをスパイクしました。科学。レポート 7、1 ～ 11 (2017)。
ダルガティ、T.ら。昆虫にヒントを得た基本的な動作検出には、抵抗メモリとバースト性ニューラル ネットワークが含まれます。バイオニックバイオハイブリッドシステム。10928、115–128 (2018)。
ディアンジェロ、G. 他時間差分コーディングを使用したイベントベースの偏心動き検出。フロント。神経科。14、451 (2020)。
投稿日時: 2022 年 11 月 17 日