ข่าว

แอปพลิเคชันการประมวลผลข้อมูลในโลกแห่งความเป็นจริงต้องการระบบคอมพิวเตอร์ที่มีขนาดกะทัดรัด เวลาแฝงต่ำ และใช้พลังงานต่ำด้วยความสามารถในการประมวลผลที่ขับเคลื่อนด้วยเหตุการณ์ สถาปัตยกรรมนิวโรมอร์ฟิคแบบไฮบริดเมทัลออกไซด์-เซมิคอนดักเตอร์เสริม มอบรากฐานฮาร์ดแวร์ที่เหมาะสำหรับงานดังกล่าวเพื่อแสดงให้เห็นถึงศักยภาพสูงสุดของระบบดังกล่าว เราจึงเสนอและสาธิตการทดลองโซลูชันการประมวลผลเซ็นเซอร์ที่ครอบคลุมสำหรับการใช้งานการแปลวัตถุในโลกแห่งความเป็นจริงด้วยแรงบันดาลใจจากกายวิภาคศาสตร์ของนกฮูกในโรงนา เราได้พัฒนาระบบการแปลวัตถุตามเหตุการณ์ที่ได้รับแรงบันดาลใจมาจากชีวภาพ ซึ่งรวมเอาทรานสดิวเซอร์ทรานสดิวเซอร์ไมโครเมคานิกแบบเพียโซอิเล็กทริกที่ล้ำสมัยเข้ากับหน่วยความจำต้านทานนิวมอร์ฟิกที่ใช้กราฟคำนวณเราแสดงการวัดของระบบประดิษฐ์ที่มีเครื่องตรวจจับความบังเอิญแบบต้านทานแบบใช้หน่วยความจำ วงจรดีเลย์ไลน์ และทรานสดิวเซอร์อัลตราโซนิกที่ปรับแต่งได้อย่างเต็มที่เราใช้ผลการทดลองเหล่านี้เพื่อปรับเทียบการจำลองในระดับระบบการจำลองเหล่านี้จะใช้เพื่อประเมินความละเอียดเชิงมุมและประสิทธิภาพการใช้พลังงานของแบบจำลองการแปลวัตถุผลการวิจัยพบว่าแนวทางของเราสามารถประหยัดพลังงานได้มากกว่าไมโครคอนโทรลเลอร์ที่ทำงานเดียวกันหลายเท่า
เรากำลังเข้าสู่ยุคของการใช้คอมพิวเตอร์อย่างแพร่หลาย ซึ่งจำนวนอุปกรณ์และระบบที่ใช้งานเพิ่มขึ้นอย่างทวีคูณเพื่อช่วยเราในชีวิตประจำวันระบบเหล่านี้คาดว่าจะทำงานอย่างต่อเนื่อง โดยใช้พลังงานน้อยที่สุดเท่าที่จะเป็นไปได้ในขณะที่เรียนรู้ที่จะตีความข้อมูลที่รวบรวมจากเซ็นเซอร์หลายตัวแบบเรียลไทม์ และสร้างเอาต์พุตไบนารี่อันเป็นผลมาจากงานจำแนกประเภทหรือการรับรู้ขั้นตอนที่สำคัญที่สุดประการหนึ่งที่จำเป็นเพื่อให้บรรลุเป้าหมายนี้คือการดึงข้อมูลที่เป็นประโยชน์และกะทัดรัดออกจากข้อมูลทางประสาทสัมผัสที่มีเสียงดังและมักจะไม่สมบูรณ์วิธีการทางวิศวกรรมแบบเดิมๆ โดยทั่วไปจะสุ่มตัวอย่างสัญญาณเซ็นเซอร์ในอัตราคงที่และสูง ทำให้เกิดข้อมูลจำนวนมากแม้ว่าจะไม่มีอินพุตที่เป็นประโยชน์ก็ตามนอกจากนี้ วิธีการเหล่านี้ยังใช้เทคนิคการประมวลผลสัญญาณดิจิทัลที่ซับซ้อนเพื่อประมวลผลข้อมูลอินพุตล่วงหน้า (มักจะมีสัญญาณรบกวน)ในทางกลับกัน ชีววิทยาเสนอวิธีแก้ปัญหาทางเลือกสำหรับการประมวลผลข้อมูลทางประสาทสัมผัสที่มีเสียงดังโดยใช้วิธีประหยัดพลังงาน แบบอะซิงโครนัส และขับเคลื่อนด้วยเหตุการณ์ (เดือย)2,3การประมวลผลแบบนิวโรมอร์ฟิกใช้แรงบันดาลใจจากระบบชีวภาพเพื่อลดต้นทุนการคำนวณในแง่ของความต้องการพลังงานและหน่วยความจำ เมื่อเปรียบเทียบกับวิธีการประมวลผลสัญญาณแบบเดิม4,5,6เมื่อเร็วๆ นี้ มีการสาธิตระบบที่ใช้สมองเพื่อวัตถุประสงค์ทั่วไปที่เป็นนวัตกรรมใหม่ ซึ่งใช้โครงข่ายประสาทเทียมแบบกระตุ้น (TrueNorth7, BrainScaleS8, DYNAP-SE9, Loihi10, Spinnaker11)โปรเซสเซอร์เหล่านี้มอบโซลูชันพลังงานต่ำและเวลาแฝงต่ำสำหรับการเรียนรู้ของเครื่องและการสร้างแบบจำลองวงจรเยื่อหุ้มสมองเพื่อใช้ประโยชน์จากประสิทธิภาพการใช้พลังงานอย่างเต็มที่ โปรเซสเซอร์นิวโรมอร์ฟิกเหล่านี้จะต้องเชื่อมต่อโดยตรงกับเซ็นเซอร์ที่ขับเคลื่อนด้วยเหตุการณ์12,13อย่างไรก็ตาม ปัจจุบันมีอุปกรณ์สัมผัสเพียงไม่กี่เครื่องที่ให้ข้อมูลตามเหตุการณ์โดยตรงตัวอย่างที่โดดเด่น ได้แก่ เซ็นเซอร์ภาพแบบไดนามิก (DVS) สำหรับการใช้งานการมองเห็น เช่น การติดตามและการตรวจจับการเคลื่อนไหว 14,15,16,17 ซิลิคอนโคเคลีย 18 และเซ็นเซอร์การได้ยินนิวโรมอร์ฟิก (NAS) 19 สำหรับการประมวลผลสัญญาณเสียง เซ็นเซอร์รับกลิ่น 20 และตัวอย่างการสัมผัสมากมาย 21,22 ตัวอย่าง-เซ็นเซอร์พื้นผิว
ในบทความนี้ เรานำเสนอระบบประมวลผลการได้ยินที่ขับเคลื่อนด้วยเหตุการณ์ที่พัฒนาขึ้นใหม่ ซึ่งนำไปใช้กับการแปลวัตถุในที่นี้ เป็นครั้งแรกที่เราอธิบายระบบ end-to-end สำหรับการแปลวัตถุที่ได้รับจากการเชื่อมต่อเครื่องแปลงสัญญาณอัลตราโซนิกแบบเพียโซอิเล็กทริกไมโครแมชชีน (pMUT) ที่ล้ำสมัยกับกราฟการคำนวณที่อิงจากหน่วยความจำต้านทานนิวมอร์ฟิก (RRAM)สถาปัตยกรรมการประมวลผลในหน่วยความจำที่ใช้ RRAM เป็นโซลูชันที่น่าหวังในการลดการใช้พลังงาน23,24,25,26,27,28,29ความไม่ผันผวนโดยธรรมชาติของสิ่งเหล่านี้—ไม่จำเป็นต้องใช้พลังงานในการจัดเก็บหรืออัปเดตข้อมูล—เหมาะอย่างยิ่งกับธรรมชาติของการประมวลผลแบบนิวโรมอร์ฟิกที่ขับเคลื่อนด้วยเหตุการณ์แบบอะซิงโครนัส ส่งผลให้แทบไม่มีการใช้พลังงานเลยเมื่อระบบไม่ได้ใช้งานทรานสดิวเซอร์อัลตราโซนิกแบบไมโครแมชชีนแบบเพียโซอิเล็กทริก (pMUT) เป็นทรานสดิวเซอร์อัลตราโซนิคแบบซิลิคอนขนาดเล็กที่มีราคาไม่แพง สามารถทำหน้าที่เป็นตัวส่งและตัวรับได้30,31,32,33,34ในการประมวลผลสัญญาณที่ได้รับจากเซนเซอร์ในตัว เราได้รับแรงบันดาลใจจากกายวิภาคศาสตร์ของนกฮูกในโรงนา35,36,37นกฮูกโรงนา Tyto alba ขึ้นชื่อในด้านความสามารถในการล่าสัตว์กลางคืนที่น่าทึ่ง ด้วยระบบการฟังเสียงท้องถิ่นที่มีประสิทธิภาพมากในการคำนวณตำแหน่งของเหยื่อ ระบบระบุตำแหน่งของนกฮูกโรงนาจะเข้ารหัสเวลาการบิน (ToF) เมื่อคลื่นเสียงจากเหยื่อไปถึงหูหรือตัวรับเสียงของนกฮูกแต่ละตัวเมื่อพิจารณาถึงระยะห่างระหว่างหู ความแตกต่างระหว่างการวัด ToF ทั้งสองครั้ง (ความแตกต่างของเวลาระหว่างหู, ITD) ทำให้สามารถคำนวณตำแหน่งแอซิมัทของเป้าหมายในเชิงวิเคราะห์ได้แม้ว่าระบบทางชีววิทยาไม่เหมาะกับการแก้สมการพีชคณิต แต่ก็สามารถแก้ปัญหาการแปลเป็นภาษาท้องถิ่นได้อย่างมีประสิทธิภาพมากระบบประสาทของนกฮูกโรงนาใช้ชุดเครื่องตรวจจับโดยบังเอิญ (CD)35 เซลล์ประสาท (กล่าวคือ เซลล์ประสาทที่สามารถตรวจจับความสัมพันธ์ชั่วคราวระหว่างเดือยแหลมที่แพร่กระจายลงด้านล่างไปสู่จุดสิ้นสุดที่กระตุ้นมาบรรจบกัน)38,39 จัดเป็นกราฟคำนวณเพื่อแก้ปัญหาการวางตำแหน่ง
การวิจัยก่อนหน้านี้แสดงให้เห็นว่าฮาร์ดแวร์โลหะ-ออกไซด์-เซมิคอนดักเตอร์ (CMOS) เสริมและฮาร์ดแวร์นิวโรมอร์ฟิกที่ใช้ RRAM ซึ่งได้รับแรงบันดาลใจจากคอลลิคูลัสที่ด้อยกว่า (“เยื่อหุ้มสมองการได้ยิน”) ของนกฮูกโรงนาเป็นวิธีที่มีประสิทธิภาพในการคำนวณตำแหน่งโดยใช้ ITD13, 40, 41, 42, 43, 44, 45, 46 อย่างไรก็ตาม ศักยภาพของระบบนิวโรมอร์ฟิกที่สมบูรณ์ซึ่งเชื่อมโยงสัญญาณการได้ยินกับกราฟการคำนวณของนิวโรมอร์ฟิก ยังไม่ได้รับการแสดงให้เห็นปัญหาหลักคือความแปรปรวนโดยธรรมชาติของวงจร CMOS แบบอะนาล็อก ซึ่งส่งผลต่อความแม่นยำของการตรวจจับการจับคู่เมื่อเร็วๆ นี้ มีการสาธิตการใช้งานเชิงตัวเลขทางเลือกของการประมาณค่า ITD47ในบทความนี้ เราเสนอให้ใช้ความสามารถของ RRAM เพื่อเปลี่ยนค่าสื่อกระแสไฟฟ้าในลักษณะที่ไม่ลบเลือน เพื่อลดความแปรปรวนในวงจรแอนะล็อกเราใช้ระบบการทดลองซึ่งประกอบด้วยเมมเบรนส่งสัญญาณ pMUT หนึ่งตัวที่ทำงานที่ความถี่ 111.9 kHz, เมมเบรนรับ pMUT สองตัว (เซ็นเซอร์) จำลองหูนกฮูกโรงนา และอีกหนึ่งตัวเราทำการทดลองระบุลักษณะระบบตรวจจับ pMUT และกราฟคำนวณ ITD ที่ใช้ RRAM เพื่อทดสอบระบบโลคัลไลเซชันและประเมินความละเอียดเชิงมุมของมัน
เราเปรียบเทียบวิธีการของเรากับการใช้งานดิจิทัลบนไมโครคอนโทรลเลอร์ที่ทำงานในตำแหน่งเดียวกัน โดยใช้วิธีบีมฟอร์มมิ่งหรือนิวโรมอร์ฟิกแบบธรรมดา รวมถึง field programmable gate array (FPGA) สำหรับการประมาณค่า ITD ที่เสนอในข้อมูลอ้างอิง47. การเปรียบเทียบนี้เน้นย้ำถึงประสิทธิภาพการใช้พลังงานที่แข่งขันได้ของระบบนิวโรมอร์ฟิคแบบอะนาล็อกที่ใช้ RRAM ที่นำเสนอ
หนึ่งในตัวอย่างที่โดดเด่นที่สุดของระบบการแปลวัตถุที่แม่นยำและมีประสิทธิภาพสามารถพบได้ในนกฮูกโรงนา35,37,48ในเวลาพลบค่ำและรุ่งเช้า นกฮูกโรงนา (ไทโต อัลบา) อาศัยการฟังเป็นหลัก และกระตือรือร้นค้นหาเหยื่อเล็กๆ เช่น หนูพุกหรือหนูผู้เชี่ยวชาญด้านการได้ยินเหล่านี้สามารถระบุตำแหน่งของสัญญาณเสียงจากเหยื่อได้อย่างแม่นยำอย่างน่าประหลาดใจ (ประมาณ 2°)35 ดังแสดงในรูปที่ 1aนกฮูกโรงนาอนุมานตำแหน่งของแหล่งกำเนิดเสียงในระนาบแอซิมัท (แนวนอน) จากความแตกต่างของเวลาบินขาเข้า (ITD) จากแหล่งกำเนิดเสียงไปยังหูทั้งสองข้างกลไกการคำนวณของ ITD ได้รับการเสนอโดย Jeffress49,50 ซึ่งอาศัยเรขาคณิตของประสาทและต้องใช้องค์ประกอบหลักสองส่วน ได้แก่ แอกซอน เส้นใยประสาทของเซลล์ประสาทที่ทำหน้าที่เป็นเส้นหน่วงเวลา และอาร์เรย์ของเซลล์ประสาทตรวจจับความบังเอิญที่จัดเป็นระบบคอมพิวเตอร์กราฟดังแสดงในรูปที่ 1bเสียงจะเข้าสู่หูโดยมีการหน่วงเวลาขึ้นอยู่กับแอซิมัท (ITD)จากนั้นเสียงจะถูกแปลงเป็นรูปแบบเสียงแหลมในหูแต่ละข้างแอกซอนของหูซ้ายและขวาทำหน้าที่เป็นเส้นหน่วงและมาบรรจบกับเซลล์ประสาทซีดีตามทฤษฎีแล้ว มีเพียงเซลล์ประสาทเดียวในอาร์เรย์ของเซลล์ประสาทที่ตรงกันเท่านั้นที่จะได้รับอินพุตในแต่ละครั้ง (โดยที่การหน่วงเวลาถูกยกเลิกอย่างแน่นอน) และจะเริ่มทำงานสูงสุด (เซลล์ข้างเคียงก็จะเริ่มทำงานเช่นกัน แต่ที่ความถี่ต่ำกว่า)การเปิดใช้งานเซลล์ประสาทบางตัวจะเข้ารหัสตำแหน่งของเป้าหมายในอวกาศโดยไม่ต้องแปลง ITD เป็นมุมอีกต่อไปแนวคิดนี้สรุปไว้ในรูปที่ 1c: ตัวอย่างเช่น หากเสียงมาจากด้านขวาเมื่อสัญญาณอินพุตจากหูขวาเดินทางในเส้นทางที่ยาวกว่าเส้นทางจากหูซ้าย เพื่อชดเชยจำนวน ITD เป็นต้น เมื่อ neuron 2 ตรงกันกล่าวอีกนัยหนึ่ง ซีดีแต่ละแผ่นตอบสนองต่อ ITD ที่แน่นอน (หรือที่เรียกว่าความล่าช้าที่เหมาะสมที่สุด) เนื่องจากความล่าช้าของแอกซอนดังนั้นสมองจึงแปลงข้อมูลชั่วคราวเป็นข้อมูลเชิงพื้นที่พบหลักฐานทางกายวิภาคสำหรับกลไกนี้37,51เซลล์ประสาทมาโครนิวเคลียสที่ล็อคเฟสจะเก็บข้อมูลชั่วคราวเกี่ยวกับเสียงที่เข้ามา ตามชื่อของมัน พวกมันจะส่งเสียงที่เฟสสัญญาณบางเฟสเซลล์ประสาทตรวจจับความบังเอิญของโมเดล Jeffress สามารถพบได้ในแกนลามินาร์พวกเขาได้รับข้อมูลจากเซลล์ประสาทขนาดใหญ่ซึ่งมีแอกซอนทำหน้าที่เป็นเส้นหน่วงเวลาปริมาณการหน่วงเวลาที่ได้จากเส้นหน่วงเวลาสามารถอธิบายได้ด้วยความยาวของแอกซอน เช่นเดียวกับรูปแบบไมอีลิเนชันอื่นที่เปลี่ยนความเร็วการนำไฟฟ้าด้วยแรงบันดาลใจจากระบบการได้ยินของนกฮูกโรงนา เราได้พัฒนาระบบการเลียนแบบทางชีวภาพสำหรับการระบุตำแหน่งวัตถุหูทั้งสองข้างแสดงด้วยตัวรับ pMUT สองตัวแหล่งกำเนิดเสียงคือเครื่องส่งสัญญาณ pMUT ที่อยู่ระหว่างพวกมัน (รูปที่ 1a) และกราฟการคำนวณถูกสร้างขึ้นโดยตารางของวงจรซีดีที่ใช้ RRAM (รูปที่ 1b, สีเขียว) ซึ่งเล่นบทบาทของเซลล์ประสาทซีดีที่อินพุตล่าช้าผ่านวงจร เส้นหน่วงเวลา (สีน้ำเงิน) ทำหน้าที่เหมือนแอกซอนในคู่ทางชีววิทยาระบบประสาทสัมผัสที่นำเสนอมีความแตกต่างในด้านความถี่ในการทำงานจากนกฮูกซึ่งระบบการได้ยินทำงานในช่วง 1–8 kHz แต่เซ็นเซอร์ pMUT ที่ทำงานที่ประมาณ 117 kHz ถูกนำมาใช้ในงานนี้การเลือกทรานสดิวเซอร์อัลตราโซนิกจะพิจารณาตามเกณฑ์ด้านเทคนิคและการเพิ่มประสิทธิภาพประการแรก การจำกัดแบนด์วิดท์การรับไว้ที่ความถี่เดียวจะช่วยเพิ่มความแม่นยำในการวัดและทำให้ขั้นตอนหลังการประมวลผลง่ายขึ้นนอกจากนี้ การดำเนินการในอัลตราซาวนด์มีข้อดีว่าพัลส์ที่ปล่อยออกมานั้นไม่สามารถได้ยินได้ จึงไม่รบกวนผู้คน เนื่องจากช่วงการได้ยินของพวกเขาอยู่ที่ ~20-20 kHz
นกฮูกโรงนาจะได้รับคลื่นเสียงจากเป้าหมาย ในกรณีนี้คือเหยื่อที่กำลังเคลื่อนที่เวลาในการบิน (ToF) ของคลื่นเสียงจะแตกต่างกันไปในแต่ละหู (เว้นแต่เหยื่อจะอยู่ตรงหน้านกฮูกโดยตรง)เส้นประแสดงเส้นทางที่คลื่นเสียงไปถึงหูของนกฮูกโรงนาเหยื่อสามารถระบุตำแหน่งได้อย่างแม่นยำในระนาบแนวนอนโดยพิจารณาจากความแตกต่างด้านความยาวระหว่างเส้นทางเสียงทั้งสองเส้นทางกับความต่างของเวลาระหว่างหู (ITD) ที่สอดคล้องกัน (ภาพด้านซ้ายได้รับแรงบันดาลใจจากการอ้างอิง 74 ลิขสิทธิ์ 2002 สมาคมประสาทวิทยาศาสตร์)ในระบบของเรา เครื่องส่ง pMUT (สีน้ำเงินเข้ม) จะสร้างคลื่นเสียงที่สะท้อนออกจากเป้าหมายคลื่นอัลตร้าซาวด์ที่สะท้อนจะได้รับจากตัวรับ pMUT สองตัว (สีเขียวอ่อน) และประมวลผลโดยตัวประมวลผลนิวโรมอร์ฟิก (ขวา)b แบบจำลองการคำนวณของ ITD (Jeffress) อธิบายว่าเสียงที่เข้าสู่หูของนกฮูกโรงนาได้รับการเข้ารหัสอย่างไรเป็นเดือยแบบล็อคเฟสในนิวเคลียสขนาดใหญ่ (NM) จากนั้นใช้ตารางที่จัดเรียงทางเรขาคณิตของเซลล์ประสาทตัวตรวจจับที่ตรงกันในนิวเคลียสลาเมลลาร์กำลังดำเนินการ (เนเธอร์แลนด์) (ซ้าย)ภาพประกอบของกราฟการคำนวณ neuroITD ที่รวมเส้นหน่วงเวลาและเซลล์ประสาทของตัวตรวจจับความบังเอิญ ระบบไบโอเซนเซอร์ของนกฮูกสามารถสร้างแบบจำลองได้โดยใช้วงจรนิวโรมอร์ฟิกที่ใช้ RRAM (ขวา)c แผนผังของกลไก Jeffress หลัก เนื่องจากความแตกต่างใน ToF หูทั้งสองข้างจึงได้รับการกระตุ้นทางเสียงในเวลาที่ต่างกัน และส่งแอกซอนจากปลายทั้งสองข้างไปยังตัวตรวจจับแอกซอนเป็นส่วนหนึ่งของชุดเซลล์ประสาทเครื่องตรวจจับความบังเอิญ (CD) ซึ่งแต่ละเซลล์ประสาทจะตอบสนองต่อปัจจัยนำเข้าที่สัมพันธ์กับเวลาอย่างเฉพาะเจาะจงด้วยเหตุนี้ เฉพาะซีดีที่อินพุตมาถึงโดยมีเวลาต่างกันน้อยที่สุดเท่านั้นที่จะตื่นเต้นมากที่สุด (ITD ได้รับการชดเชยอย่างแน่นอน)จากนั้นซีดีจะเข้ารหัสตำแหน่งเชิงมุมของเป้าหมาย
ทรานสดิวเซอร์อัลตราโซนิกไมโครเมคานิกแบบเพียโซอิเล็กทริกเป็นทรานสดิวเซอร์อัลตราโซนิกที่ปรับขนาดได้ซึ่งสามารถรวมเข้ากับเทคโนโลยี CMOS ขั้นสูง31,32,33,52 และมีแรงดันไฟฟ้าเริ่มต้นและการใช้พลังงานต่ำกว่าทรานสดิวเซอร์ปริมาตรแบบดั้งเดิม53ในงานของเรา เส้นผ่านศูนย์กลางของเมมเบรนคือ 880 µm และความถี่เรโซแนนซ์จะกระจายในช่วง 110–117 kHz (รูปที่ 2a ดูวิธีการสำหรับรายละเอียด)ในชุดอุปกรณ์ทดสอบจำนวน 10 ชิ้น ปัจจัยด้านคุณภาพโดยเฉลี่ยอยู่ที่ประมาณ 50 (อ้างอิง 31)เทคโนโลยีนี้ถึงจุดอิ่มตัวทางอุตสาหกรรมแล้ว และไม่ได้รับแรงบันดาลใจทางชีวภาพแต่อย่างใดการรวมข้อมูลจากฟิล์ม pMUT ต่างๆ เป็นเทคนิคที่รู้จักกันดี และข้อมูลมุมสามารถรับได้จาก pMUT โดยใช้ เช่น เทคนิคการสร้างลำแสง31,54อย่างไรก็ตาม การประมวลผลสัญญาณที่จำเป็นในการดึงข้อมูลมุมไม่เหมาะสำหรับการวัดพลังงานต่ำระบบที่นำเสนอจะรวมวงจร pMUT การประมวลผลข้อมูล neuromorphic เข้ากับกราฟการคำนวณ neuromorphic ที่ใช้ RRAM ซึ่งได้รับแรงบันดาลใจจากโมเดล Jeffress (รูปที่ 2c) ซึ่งเป็นโซลูชันฮาร์ดแวร์ที่ประหยัดพลังงานและจำกัดทรัพยากรทางเลือกเราทำการทดลองโดยวางเซ็นเซอร์ pMUT สองตัวให้ห่างกันประมาณ 10 ซม. เพื่อใช้ประโยชน์จากเสียง ToF ที่แตกต่างกันที่ได้รับจากเมมเบรนรับสัญญาณทั้งสองpMUT หนึ่งตัวทำหน้าที่เป็นตัวส่งสัญญาณอยู่ระหว่างตัวรับเป้าหมายคือแผ่น PVC กว้าง 12 ซม. ซึ่งอยู่ที่ระยะ D ด้านหน้าอุปกรณ์ pMUT (รูปที่ 2b)เครื่องรับจะบันทึกเสียงที่สะท้อนจากวัตถุและตอบสนองมากที่สุดเท่าที่จะเป็นไปได้ระหว่างที่คลื่นเสียงผ่านทำการทดลองซ้ำโดยเปลี่ยนตำแหน่งของวัตถุ ซึ่งกำหนดโดยระยะห่าง D และมุม θแรงบันดาลใจจากลิงค์ในรูปที่ 55 เราขอเสนอการประมวลผลล่วงหน้าของสัญญาณ pMUT แบบ neuromorphic เพื่อแปลงคลื่นที่สะท้อนกลับเป็นจุดสูงสุดเพื่อป้อนกราฟการคำนวณของ neuromorphicToF ที่สอดคล้องกับแอมพลิจูดพีคจะถูกแยกออกจากแต่ละแชนเนลและเข้ารหัสเป็นเวลาที่แน่นอนของแต่ละพีคบนรูป2c แสดงวงจรที่จำเป็นในการเชื่อมต่อเซ็นเซอร์ pMUT กับกราฟการคำนวณแบบ RRAM: สำหรับตัวรับ pMUT แต่ละตัว สัญญาณดิบจะถูกกรองด้วยแบนด์พาสเพื่อทำให้เรียบ แก้ไข และส่งผ่านไปยังตัวรวมที่รั่วในโหมดเอาชนะเกณฑ์ไดนามิก (รูปที่ 2d) สร้างเหตุการณ์เอาต์พุต (ขัดขวาง) และเซลล์ประสาทการยิง (LIF): เวลาขัดขวางเอาต์พุตเข้ารหัสเวลาบินที่ตรวจพบเกณฑ์ LIF ได้รับการปรับเทียบกับการตอบสนอง pMUT ซึ่งช่วยลดความแปรปรวนของ pMUT จากอุปกรณ์หนึ่งไปอีกอุปกรณ์หนึ่งด้วยแนวทางนี้ แทนที่จะจัดเก็บคลื่นเสียงทั้งหมดไว้ในหน่วยความจำแล้วประมวลผลในภายหลัง เราเพียงแค่สร้างจุดสูงสุดที่สอดคล้องกับ ToF ของคลื่นเสียง ซึ่งสร้างอินพุตให้กับกราฟการคำนวณหน่วยความจำต้านทานเดือยจะถูกส่งโดยตรงไปยังเส้นหน่วงเวลาและขนานกับโมดูลการตรวจจับการจับคู่ในกราฟการคำนวณนิวโรมอร์ฟิกเนื่องจากพวกมันถูกส่งไปยังประตูของทรานซิสเตอร์ จึงไม่จำเป็นต้องมีวงจรขยายเพิ่มเติม (ดูรายละเอียดเพิ่มเติมในรูปที่ 4)ในการประเมินความแม่นยำเชิงมุมของการแปลโดย pMUT และวิธีการประมวลผลสัญญาณที่นำเสนอ เราได้วัด ITD (นั่นคือความแตกต่างในเวลาระหว่างเหตุการณ์สูงสุดที่สร้างโดยเครื่องรับสองตัว) เนื่องจากระยะทางและมุมของวัตถุแตกต่างกันไปจากนั้นการวิเคราะห์ ITD จะถูกแปลงเป็นมุม (ดูวิธีการ) และพล็อตเทียบกับตำแหน่งของวัตถุ: ความไม่แน่นอนใน ITD ที่วัดได้เพิ่มขึ้นตามระยะทางและมุมของวัตถุ (รูปที่ 2e, f)ปัญหาหลักคืออัตราส่วนจุดสูงสุดต่อเสียงรบกวน (PNR) ในการตอบสนอง pMUTยิ่งวัตถุอยู่ไกลเท่าไร สัญญาณเสียงก็จะยิ่งต่ำลง ซึ่งจะทำให้ PNR ลดลง (รูปที่ 2f เส้นสีเขียว)การลดลงของ PNR นำไปสู่ความไม่แน่นอนที่เพิ่มขึ้นในการประมาณการ ITD ส่งผลให้ความแม่นยำในการระบุตำแหน่งเพิ่มขึ้น (รูปที่ 2f เส้นสีน้ำเงิน)สำหรับวัตถุที่อยู่ห่างจากตัวส่งสัญญาณ 50 ซม. ความแม่นยำเชิงมุมของระบบจะอยู่ที่ประมาณ 10°ข้อจำกัดนี้กำหนดโดยคุณลักษณะของเซนเซอร์สามารถปรับปรุงได้ตัวอย่างเช่น ความดันที่ส่งมาจากตัวส่งสัญญาณสามารถเพิ่มขึ้นได้ ซึ่งจะเป็นการเพิ่มแรงดันไฟฟ้าที่ขับเคลื่อนเมมเบรน pMUTวิธีแก้ปัญหาอื่นในการขยายสัญญาณที่ส่งคือการเชื่อมต่อเครื่องส่งสัญญาณหลายตัว 56 โซลูชันเหล่านี้จะเพิ่มช่วงการตรวจจับโดยสูญเสียต้นทุนพลังงานที่เพิ่มขึ้นสามารถทำการปรับปรุงเพิ่มเติมได้ที่ฝั่งรับระดับเสียงรบกวนของตัวรับของ pMUT สามารถลดลงได้อย่างมากโดยการปรับปรุงการเชื่อมต่อระหว่าง pMUT และแอมพลิฟายเออร์สเตจแรก ซึ่งปัจจุบันดำเนินการด้วยการเชื่อมต่อสายไฟและสายเคเบิล RJ45
รูปภาพของผลึก pMUT ที่มีเมมเบรนขนาด 880 µm หกแผ่นรวมกันที่ระยะพิทช์ 1.5 มม.b แผนภาพการตั้งค่าการวัดเป้าหมายตั้งอยู่ที่ตำแหน่งแอซิมัท θ และที่ระยะ D เครื่องส่ง pMUT สร้างสัญญาณ 117.6 kHz ที่กระเด็นออกจากเป้าหมายและไปถึงเครื่องรับ pMUT สองตัวที่มีเวลาบิน (ToF) ต่างกันความแตกต่างนี้ ซึ่งกำหนดเป็นความต่างของเวลาระหว่างหู (ITD) จะเข้ารหัสตำแหน่งของวัตถุและสามารถประมาณได้โดยการประมาณการตอบสนองสูงสุดของเซ็นเซอร์รับสัญญาณทั้งสองตัวc แผนผังของขั้นตอนก่อนการประมวลผลสำหรับการแปลงสัญญาณ pMUT แบบดิบเป็นลำดับขัดขวาง (เช่น ข้อมูลเข้าไปยังกราฟการคำนวณของนิวโรมอร์ฟิก)เซ็นเซอร์ pMUT และกราฟการคำนวณนิวโรมอร์ฟิกได้รับการผลิตและทดสอบ และการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกใช้การจำลองซอฟต์แวร์d การตอบสนองของเมมเบรน pMUT เมื่อรับสัญญาณและเปลี่ยนเป็นโดเมนสไปค์e ความแม่นยำเชิงมุมของการแปลเชิงทดลองเป็นฟังก์ชันของมุมของวัตถุ (Θ) และระยะทาง (D) ไปยังวัตถุเป้าหมายวิธีการสกัด ITD ต้องใช้ความละเอียดเชิงมุมขั้นต่ำประมาณ 4°Cf ความแม่นยำเชิงมุม (เส้นสีน้ำเงิน) และอัตราส่วนจุดสูงสุดต่อสัญญาณรบกวนที่สอดคล้องกัน (เส้นสีเขียว) เทียบกับระยะห่างของวัตถุสำหรับ Θ = 0
หน่วยความจำแบบต้านทานจะเก็บข้อมูลไว้ในสถานะนำไฟฟ้าที่ไม่ลบเลือนหลักการพื้นฐานของวิธีนี้คือการดัดแปลงวัสดุในระดับอะตอมทำให้เกิดการเปลี่ยนแปลงค่าการนำไฟฟ้า57ที่นี่เราใช้หน่วยความจำต้านทานแบบออกไซด์ซึ่งประกอบด้วยฮาฟเนียมไดออกไซด์ชั้น 5 นาโนเมตรประกบอยู่ระหว่างไทเทเนียมด้านบนและด้านล่างและอิเล็กโทรดไทเทเนียมไนไตรด์ค่าการนำไฟฟ้าของอุปกรณ์ RRAM สามารถเปลี่ยนได้โดยการใช้รูปคลื่นของกระแส/แรงดันไฟฟ้าที่สร้างหรือทำลายเส้นใยนำไฟฟ้าของตำแหน่งออกซิเจนที่ว่างระหว่างอิเล็กโทรดเรารวมอุปกรณ์ดังกล่าว เข้ากับกระบวนการ CMOS มาตรฐาน 130 นาโนเมตรเพื่อสร้างวงจร neuromorphic ที่ประดิษฐ์ขึ้นใหม่ได้โดยใช้เครื่องตรวจจับความบังเอิญและวงจรสายล่าช้า (รูปที่ 3a)ลักษณะไม่ลบเลือนและแอนะล็อกของอุปกรณ์ ผสมผสานกับลักษณะที่ขับเคลื่อนด้วยเหตุการณ์ของวงจรนิวโรมอร์ฟิก ช่วยลดการใช้พลังงานให้เหลือน้อยที่สุดวงจรมีฟังก์ชันเปิด/ปิดทันที โดยจะทำงานทันทีหลังจากเปิดเครื่อง ทำให้สามารถปิดเครื่องได้อย่างสมบูรณ์เมื่อวงจรไม่ได้ใช้งานโครงสร้างหลักของโครงการที่เสนอจะแสดงไว้ในรูปที่ 13บีประกอบด้วยโครงสร้างทรานซิสเตอร์เดี่ยวตัวต้านทานเดี่ยวแบบขนาน N แบบขนาน (1T1R) ที่เข้ารหัสน้ำหนักซินแนปติกที่ใช้รับกระแสถ่วงน้ำหนัก ฉีดเข้าไปในไซแนปส์ทั่วไปของตัวรวมคู่แบบดิฟเฟอเรนเชียล (DPI) 59 และสุดท้ายถูกฉีดเข้าไปในไซแนปส์ด้วยการบูรณาการและ การรั่วไหลเซลล์ประสาทที่กระตุ้นการทำงาน (LIF) 60 (ดูวิธีการสำหรับรายละเอียด)ไฟกระชากอินพุตจะถูกนำไปใช้กับประตูของโครงสร้าง 1T1R ในรูปแบบของลำดับของพัลส์แรงดันไฟฟ้าโดยมีระยะเวลาตามลำดับหลายร้อยนาโนวินาทีหน่วยความจำแบบต้านทานสามารถวางให้อยู่ในสถานะนำไฟฟ้าสูง (HCS) ได้โดยใช้การอ้างอิงเชิงบวกภายนอกกับ Vtop เมื่อ Vbottom ต่อสายดิน และรีเซ็ตเป็นสถานะนำไฟฟ้าต่ำ (LCS) โดยใช้แรงดันไฟฟ้าบวกกับ Vbottom เมื่อ Vtop ต่อสายดินค่าเฉลี่ยของ HCS สามารถควบคุมได้โดยการจำกัดกระแสการโปรแกรม (ความสอดคล้อง) ของ SET (ICC) ด้วยแรงดันไฟฟ้าเกต-แหล่งที่มาของทรานซิสเตอร์อนุกรม (รูปที่ 3c)ฟังก์ชั่นของ RRAM ในวงจรนั้นมีสองเท่า: ทำหน้าที่ควบคุมและถ่วงน้ำหนักพัลส์อินพุต
ภาพกล้องจุลทรรศน์อิเล็กตรอนแบบส่องกราด (SEM) ของอุปกรณ์ RRAM HfO2 1T1R สีน้ำเงินที่รวมอยู่ในเทคโนโลยี CMOS 130 นาโนเมตร พร้อมด้วยทรานซิสเตอร์แบบเลือกค่า (กว้าง 650 นาโนเมตร) เป็นสีเขียวb โครงสร้างพื้นฐานของสคีมานิวโรมอร์ฟิกที่เสนอพัลส์แรงดันไฟฟ้าอินพุต (พีค) Vin0 และ Vin1 ใช้น้ำหนัก Iweight ในปัจจุบัน ซึ่งเป็นสัดส่วนกับสถานะการนำไฟฟ้า G0 และ G1 ของโครงสร้าง 1T1Rกระแสนี้ถูกฉีดเข้าไปในไซแนปส์ DPI และกระตุ้นเซลล์ประสาท LIFRRAM G0 และ G1 ได้รับการติดตั้งใน HCS และ LCS ตามลำดับc ฟังก์ชันความหนาแน่นของสื่อกระแสไฟฟ้าสะสมสำหรับกลุ่มอุปกรณ์ RRAM 16K ที่เป็นฟังก์ชันของการจับคู่กระแส ICC ซึ่งควบคุมระดับการนำไฟฟ้าได้อย่างมีประสิทธิภาพd การวัดวงจรใน (a) แสดงให้เห็นว่า G1 (ใน LCS) บล็อกอินพุตจาก Vin1 (สีเขียว) ได้อย่างมีประสิทธิภาพ และแน่นอนว่าแรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตจะตอบสนองต่ออินพุตสีน้ำเงินจาก Vin0 เท่านั้นRRAM จะกำหนดการเชื่อมต่อในวงจรได้อย่างมีประสิทธิภาพe การวัดวงจรใน (b) แสดงผลของค่าสื่อนําไฟฟ้า G0 ต่อแรงดันไฟฟ้าของเมมเบรน Vmem หลังจากป้อนพัลส์แรงดันไฟฟ้า Vin0ยิ่งสื่อนำไฟฟ้ามาก การตอบสนองก็จะยิ่งแข็งแกร่งขึ้น ดังนั้น อุปกรณ์ RRAM จึงใช้การถ่วงน้ำหนักการเชื่อมต่อ I/Oทำการวัดบนวงจรและสาธิตฟังก์ชันคู่ของ RRAM, การกำหนดเส้นทางและการถ่วงน้ำหนักของพัลส์อินพุต
ประการแรก เนื่องจากมีสถานะการนำพื้นฐานสองสถานะ (HCS และ LCS) RRAM จึงสามารถบล็อกหรือพลาดพัลส์อินพุตเมื่ออยู่ในสถานะ LCS หรือ HCS ตามลำดับเป็นผลให้ RRAM กำหนดการเชื่อมต่อในวงจรได้อย่างมีประสิทธิภาพนี่เป็นพื้นฐานสำหรับการกำหนดค่าสถาปัตยกรรมใหม่เพื่อสาธิตสิ่งนี้ เราจะอธิบายการใช้งานวงจรประดิษฐ์ของบล็อกวงจรในรูปที่ 3bRRAM ที่สอดคล้องกับ G0 จะถูกตั้งโปรแกรมไว้ใน HCS และ RRAM G1 ตัวที่สองจะถูกตั้งโปรแกรมไว้ใน LCSพัลส์อินพุตถูกนำไปใช้กับทั้ง Vin0 และ Vin1ผลกระทบของพัลส์อินพุตสองลำดับได้รับการวิเคราะห์ในเซลล์ประสาทเอาท์พุตโดยการรวบรวมแรงดันไฟฟ้าของเยื่อหุ้มเซลล์ประสาทและสัญญาณเอาท์พุตโดยใช้ออสซิลโลสโคปการทดลองประสบความสำเร็จเมื่อเชื่อมต่อเฉพาะอุปกรณ์ HCS (G0) เข้ากับชีพจรของเซลล์ประสาทเพื่อกระตุ้นความตึงเครียดของเยื่อหุ้มเซลล์สิ่งนี้แสดงให้เห็นในรูปที่ 3d โดยที่พัลส์เทรนสีน้ำเงินทำให้เกิดแรงดันไฟฟ้าของเมมเบรนสะสมบนตัวเก็บประจุเมมเบรน ในขณะที่พัลส์เทรนสีเขียวจะรักษาแรงดันไฟฟ้าของเมมเบรนให้คงที่
หน้าที่ที่สำคัญประการที่สองของ RRAM คือการนำน้ำหนักการเชื่อมต่อไปใช้การใช้การปรับการนำไฟฟ้าแบบอะนาล็อกของ RRAM ทำให้สามารถชั่งน้ำหนักการเชื่อมต่อ I/O ได้ตามนั้นในการทดลองครั้งที่สอง อุปกรณ์ G0 ได้รับการตั้งโปรแกรมไว้ที่ระดับต่างๆ ของ HCS และใช้พัลส์อินพุตกับอินพุต VIn0พัลส์อินพุตจะดึงกระแส (Iweight) จากอุปกรณ์ ซึ่งเป็นสัดส่วนกับสื่อไฟฟ้าและค่า Vtop - Vbot ที่ลดลงที่สอดคล้องกันกระแสถ่วงน้ำหนักนี้จะถูกฉีดเข้าไปในไซแนปส์ DPI และเซลล์ประสาทเอาท์พุต LIFแรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตถูกบันทึกโดยใช้ออสซิลโลสโคปและแสดงในรูปที่ 3 มิติแรงดันไฟฟ้าสูงสุดของเยื่อหุ้มเซลล์ประสาทในการตอบสนองต่อพัลส์อินพุตเดี่ยวจะเป็นสัดส่วนกับค่าสื่อไฟฟ้าของหน่วยความจำตัวต้านทาน ซึ่งแสดงให้เห็นว่า RRAM สามารถใช้เป็นองค์ประกอบที่ตั้งโปรแกรมได้ของน้ำหนักซินแนปติกการทดสอบเบื้องต้นทั้งสองนี้แสดงให้เห็นว่าแพลตฟอร์ม neuromorphic ที่ใช้ RRAM ที่เสนอนั้นสามารถนำองค์ประกอบพื้นฐานของกลไก Jeffress พื้นฐานไปใช้ ได้แก่ เส้นหน่วงเวลาและวงจรตรวจจับความบังเอิญแท่นวงจรถูกสร้างขึ้นโดยการซ้อนบล็อกที่ต่อเนื่องกันไว้เคียงข้างกัน เช่น บล็อกในรูปที่ 3b และเชื่อมต่อเกตเข้ากับสายอินพุตทั่วไปเราออกแบบ ประดิษฐ์ และทดสอบแพลตฟอร์มนิวโรมอร์ฟิกที่ประกอบด้วยเซลล์ประสาทเอาท์พุตสองตัวที่ได้รับอินพุตสองตัว (รูปที่ 4a)แผนภาพวงจรแสดงในรูปที่ 4bเมทริกซ์ RRAM ขนาด 2 × 2 ด้านบนอนุญาตให้พัลส์อินพุตถูกส่งไปยังเซลล์ประสาทเอาท์พุตสองตัว ในขณะที่เมทริกซ์ 2 × 2 ด้านล่างอนุญาตให้มีการเชื่อมต่อที่เกิดซ้ำของเซลล์ประสาทสองตัว (N0, N1)เราแสดงให้เห็นว่าแพลตฟอร์มนี้สามารถใช้กับการกำหนดค่าเส้นหน่วงเวลาและฟังก์ชันเครื่องตรวจจับความบังเอิญที่แตกต่างกันสองฟังก์ชัน ดังแสดงโดยการวัดการทดลองในรูปที่ 4c-e
แผนภาพวงจรที่เกิดจากเซลล์ประสาทเอาท์พุตสองตัว N0 และ N1 ซึ่งรับอินพุต 0 และ 1 สองอัน อุปกรณ์สี่อันดับแรกของอาเรย์กำหนดการเชื่อมต่อซินแนปติกจากอินพุตไปยังเอาต์พุต และสี่เซลล์ด้านล่างกำหนดการเชื่อมต่อที่เกิดซ้ำระหว่างเซลล์ประสาทRRAM ที่มีสีแสดงถึงอุปกรณ์ที่กำหนดค่าใน HCS ทางด้านขวา: อุปกรณ์ใน HCS อนุญาตการเชื่อมต่อและแสดงถึงน้ำหนัก ในขณะที่อุปกรณ์ใน LCS บล็อกพัลส์อินพุตและปิดใช้งานการเชื่อมต่อกับเอาต์พุตb แผนภาพวงจร (a) ที่มีโมดูล RRAM แปดโมดูลที่ไฮไลต์ด้วยสีน้ำเงินc เส้นหน่วงเวลาเกิดขึ้นจากการใช้ไดนามิกของไซแนปส์ DPI และเซลล์ประสาท LIFRRAM สีเขียวถูกตั้งค่าเป็นสื่อกระแสไฟฟ้าสูงพอที่จะทำให้เกิดข้อผิดพลาดที่เอาต์พุตหลังจากการหน่วงเวลาอินพุต Δtd ภาพประกอบแผนผังของการตรวจจับซีดีที่ไม่ไวต่อทิศทางของสัญญาณที่ขึ้นกับเวลาเซลล์ประสาทเอาท์พุต 1, N1 เริ่มทำงานที่อินพุต 0 และ 1 โดยมีการหน่วงเวลาสั้น ๆe วงจรซีดีที่ไวต่อทิศทาง เป็นวงจรที่ตรวจจับเมื่ออินพุต 1 เข้าใกล้อินพุต 0 และมาถึงหลังจากอินพุต 0 เอาต์พุตของวงจรจะแสดงด้วยเซลล์ประสาท 1 (N1)
เส้นหน่วงเวลา (รูปที่ 4c) ใช้พฤติกรรมไดนามิกของ DPI synapses และเซลล์ประสาท LIF เพื่อสร้างอินพุตขัดขวางจาก Vin1 ถึง Vout1 โดยการหน่วงเวลา Tdelเฉพาะ G3 RRAM ที่เชื่อมต่อกับ Vin1 และ Vout1 เท่านั้นที่ถูกตั้งโปรแกรมใน HCS ส่วน RRAM ที่เหลือถูกตั้งโปรแกรมใน LCSอุปกรณ์ G3 ได้รับการตั้งโปรแกรมไว้ที่ 92.6 µs เพื่อให้แน่ใจว่าแต่ละพัลส์อินพุตจะเพิ่มแรงดันเมมเบรนของเซลล์ประสาทเอาท์พุตเพียงพอที่จะถึงเกณฑ์และสร้างพัลส์เอาท์พุตล่าช้าTdel ความล่าช้าถูกกำหนดโดยค่าคงที่เวลาซินแนปติกและนิวรัลเครื่องตรวจจับความบังเอิญจะตรวจจับการเกิดสัญญาณอินพุตที่สัมพันธ์กันชั่วคราวแต่มีการกระจายเชิงพื้นที่ซีดีที่ไม่คำนึงถึงทิศทางนั้นอาศัยอินพุตแต่ละตัวที่มาบรรจบกับเซลล์ประสาทเอาท์พุตทั่วไป (รูปที่ 4d)RRAM สองตัวที่เชื่อมต่อ Vin0 และ Vin1 กับ Vout1, G2 และ G4 ตามลำดับได้รับการตั้งโปรแกรมให้มีการนำไฟฟ้าสูงการมาถึงของเดือยพร้อมกันบน Vin0 และ Vin1 จะเพิ่มแรงดันไฟฟ้าของเยื่อหุ้มเซลล์ประสาท N1 เหนือเกณฑ์ที่จำเป็นในการสร้างเอาต์พุตขัดขวางถ้าอินพุตทั้งสองอยู่ห่างจากกันในเวลามากเกินไป ประจุบนแรงดันไฟฟ้าของเมมเบรนที่สะสมโดยอินพุตแรกอาจมีเวลาสลายตัว ป้องกันไม่ให้ศักย์ของเมมเบรน N1 ไปถึงค่าขีดจำกัดG1 และ G2 ได้รับการตั้งโปรแกรมไว้ประมาณ 65 µs ซึ่งช่วยให้มั่นใจได้ว่าการกระชากอินพุตเดี่ยวจะไม่เพิ่มแรงดันไฟฟ้าของเมมเบรนเพียงพอที่จะทำให้เกิดกระแสไฟกระชากเอาต์พุตการตรวจจับความบังเอิญระหว่างเหตุการณ์ที่กระจายอยู่ในอวกาศและเวลาเป็นการดำเนินการพื้นฐานที่ใช้ในงานการตรวจจับที่หลากหลาย เช่น การหลีกเลี่ยงสิ่งกีดขวางตามการไหลของแสง และการแปลแหล่งกำเนิดเสียงดังนั้นซีดีที่ไวต่อทิศทางและไวต่อทิศทางของคอมพิวเตอร์จึงเป็นองค์ประกอบพื้นฐานสำหรับการสร้างระบบโลคัลไลเซชันภาพและเสียงดังที่แสดงโดยลักษณะของค่าคงที่เวลา (ดูรูปที่ 2 เพิ่มเติม) วงจรที่นำเสนอจะใช้ช่วงขนาดเวลาสี่ลำดับที่เหมาะสมดังนั้นจึงสามารถตอบสนองความต้องการของระบบภาพและเสียงไปพร้อมๆ กันซีดีที่ไวต่อทิศทางเป็นวงจรที่ไวต่อลำดับเชิงพื้นที่ของการมาถึงของพัลส์: จากขวาไปซ้ายและในทางกลับกันมันเป็นองค์ประกอบพื้นฐานในเครือข่ายการตรวจจับการเคลื่อนไหวพื้นฐานของระบบการมองเห็นดรอสโซฟิล่า ซึ่งใช้ในการคำนวณทิศทางการเคลื่อนไหวและตรวจจับการชน62เพื่อให้ได้ซีดีที่ไวต่อทิศทาง อินพุตสองตัวจะต้องถูกส่งไปยังเซลล์ประสาทที่แตกต่างกันสองตัว (N0, N1) และต้องมีการสร้างการเชื่อมต่อทิศทางระหว่างพวกมัน (รูปที่ 4e)เมื่อได้รับอินพุตแรก NO จะทำปฏิกิริยาโดยการเพิ่มแรงดันไฟฟ้าทั่วเมมเบรนให้สูงกว่าค่าเกณฑ์และส่งกระแสไฟกระชากออกไปในทางกลับกัน เหตุการณ์เอาต์พุตนี้จะเริ่มทำงาน N1 ด้วยการเชื่อมต่อทิศทางที่ไฮไลต์ด้วยสีเขียวหากเหตุการณ์อินพุต Vin1 มาถึงและให้พลังงาน N1 ในขณะที่แรงดันไฟฟ้าเมมเบรนยังคงสูงอยู่ N1 จะสร้างเหตุการณ์เอาต์พุตที่ระบุว่าพบการจับคู่ระหว่างอินพุตทั้งสองการเชื่อมต่อทิศทางอนุญาตให้ N1 ปล่อยเอาต์พุตเฉพาะในกรณีที่อินพุต 1 มาหลังจากอินพุต 0 G0, G3 และ G7 ได้รับการตั้งโปรแกรมไว้ที่ 73.5 µS, 67.3 µS และ 40.2 µS ตามลำดับ เพื่อให้แน่ใจว่าการขัดขวางเพียงครั้งเดียวบนอินพุต Vin0 ทำให้เกิดการหน่วงเวลา ขัดขวางการส่งออกในขณะที่ศักยภาพของเมมเบรนของ N1 ถึงขีด จำกัด เมื่ออินพุตทั้งสองระเบิดมาถึงในการซิงค์-
ความแปรปรวนเป็นที่มาของความไม่สมบูรณ์ในระบบประสาทแบบจำลอง 63,64,65สิ่งนี้นำไปสู่พฤติกรรมที่แตกต่างกันของเซลล์ประสาทและไซแนปส์ตัวอย่างของข้อเสียดังกล่าว ได้แก่ ความแปรปรวน 30% (ค่าเบี่ยงเบนมาตรฐานเฉลี่ย) ในอัตราขยายของอินพุต ค่าคงที่เวลา และระยะเวลาทนไฟ และอื่นๆ อีกมากมาย (ดูวิธีการ)ปัญหานี้ยิ่งเด่นชัดมากขึ้นเมื่อมีการเชื่อมต่อวงจรประสาทหลายวงจรเข้าด้วยกัน เช่น ซีดีที่ไวต่อการวางแนวซึ่งประกอบด้วยเซลล์ประสาทสองตัวเพื่อให้ทำงานได้อย่างถูกต้อง ค่าคงที่เวลาเกนและสลายของเซลล์ประสาททั้งสองควรจะใกล้เคียงกันที่สุดเท่าที่จะเป็นไปได้ตัวอย่างเช่น ความแตกต่างอย่างมากในอัตราขยายของอินพุตอาจทำให้เซลล์ประสาทหนึ่งตอบสนองต่อพัลส์อินพุตมากเกินไป ในขณะที่อีกเซลล์ประสาทหนึ่งแทบไม่ตอบสนองบนรูปรูปที่ 5a แสดงให้เห็นว่าเซลล์ประสาทที่เลือกแบบสุ่มตอบสนองต่อพัลส์อินพุตเดียวกันแตกต่างกันความแปรปรวนของระบบประสาทนี้มีความเกี่ยวข้อง เช่น กับการทำงานของซีดีที่ไวต่อทิศทางในรูปแบบที่แสดงในรูปที่5b, c อัตราขยายอินพุตของเซลล์ประสาท 1 นั้นสูงกว่าเซลล์ประสาท 0 มาก ดังนั้นเซลล์ประสาท 0 จึงต้องอาศัยพัลส์อินพุตสามอัน (แทนที่จะเป็น 1) เพื่อให้ถึงเกณฑ์ และเซลล์ประสาท 1 ตามที่คาดไว้ ต้องการเหตุการณ์อินพุตสองเหตุการณ์การใช้พลาสติกชีวภาพที่ขึ้นอยู่กับเวลาขัดขวาง (STDP) เป็นวิธีที่เป็นไปได้ในการลดผลกระทบของวงจรประสาทและซินแนปติกที่ไม่แม่นยำและซบเซาต่อประสิทธิภาพของระบบที่นี่เราเสนอให้ใช้พฤติกรรมพลาสติกของหน่วยความจำแบบต้านทานเพื่อมีอิทธิพลต่อการเพิ่มประสิทธิภาพของอินพุตประสาทและลดผลกระทบของความแปรปรวนในวงจรนิวโรมอร์ฟิกดังแสดงในรูปในรูปที่ 4e ระดับสื่อกระแสไฟฟ้าที่เกี่ยวข้องกับมวลซินแนปติก RRAM จะปรับการตอบสนองแรงดันไฟฟ้าของเยื่อหุ้มประสาทที่สอดคล้องกันได้อย่างมีประสิทธิภาพเราใช้กลยุทธ์การเขียนโปรแกรม RRAM แบบวนซ้ำสำหรับอินพุตที่กำหนด ค่าสื่อกระแสไฟฟ้าของน้ำหนักซินแนปติกจะถูกตั้งโปรแกรมใหม่จนกว่าจะได้พฤติกรรมเป้าหมายของวงจร (ดูวิธีการ)
การวัดเชิงทดลองของการตอบสนองของเซลล์ประสาทแต่ละตัวที่ได้รับการสุ่มเลือกเก้าเซลล์ต่อพัลส์อินพุตเดียวกันการตอบสนองจะแตกต่างกันไปในแต่ละประชากร ซึ่งส่งผลต่อการรับอินพุตและค่าคงที่ของเวลาb การวัดการทดลองเกี่ยวกับอิทธิพลของเซลล์ประสาทต่อความแปรปรวนของเซลล์ประสาทที่ส่งผลต่อซีดีที่ไวต่อทิศทางเซลล์ประสาทเอาต์พุตซีดีที่ไวต่อทิศทางทั้งสองตอบสนองต่อสิ่งเร้าอินพุตที่แตกต่างกันเนื่องจากความแปรปรวนของเซลล์ประสาทต่อเซลล์ประสาทNeuron 0 มีอัตราขยายอินพุตต่ำกว่าเซลล์ประสาท 1 ดังนั้นจึงต้องใช้พัลส์อินพุตสามตัว (แทนที่จะเป็น 1) เพื่อสร้างเอาท์พุตขัดขวางตามที่คาดไว้ เซลล์ประสาท 1 ถึงขีดจำกัดโดยมีเหตุการณ์อินพุตสองเหตุการณ์หากอินพุต 1 มาถึง Δt = 50 µs หลังจากที่เซลล์ประสาท 0 เริ่มทำงาน CD จะยังคงเงียบอยู่ เนื่องจาก Δt มากกว่าค่าคงที่เวลาของเซลล์ประสาท 1 (ประมาณ 22 µs)c ลดลงโดย Δt = 20 µs ดังนั้นอินพุต 1 พีคเมื่อการยิงของเซลล์ประสาท 1 ยังคงสูง ส่งผลให้เกิดการตรวจจับเหตุการณ์อินพุตสองเหตุการณ์พร้อมกัน
สององค์ประกอบที่ใช้ในคอลัมน์การคำนวณ ITD คือเส้นหน่วงเวลาและซีดีที่ไม่คำนึงถึงทิศทางวงจรทั้งสองต้องการการสอบเทียบที่แม่นยำเพื่อให้มั่นใจถึงประสิทธิภาพการวางตำแหน่งวัตถุที่ดีเส้นหน่วงเวลาจะต้องส่งค่าพีคอินพุตที่มีการหน่วงเวลาอย่างแม่นยำ (รูปที่ 6a) และจะต้องเปิดใช้งานซีดีเฉพาะเมื่ออินพุตอยู่ภายในช่วงการตรวจจับเป้าหมายเท่านั้นสำหรับเส้นหน่วงเวลา น้ำหนักซินแนปติกของการเชื่อมต่ออินพุต (G3 ในรูปที่ 4a) จะถูกตั้งโปรแกรมใหม่จนกว่าจะได้รับความล่าช้าเป้าหมายตั้งค่าพิกัดความเผื่อรอบการหน่วงเวลาเป้าหมายเพื่อหยุดโปรแกรม: ยิ่งค่าพิกัดความเผื่อน้อยเท่าใด การตั้งค่าเส้นหน่วงเวลาก็จะยิ่งยากขึ้นเท่านั้นบนรูปรูปที่ 6b แสดงผลลัพธ์ของกระบวนการสอบเทียบเส้นดีเลย์: จะเห็นได้ว่ารูปแบบที่เสนอสามารถให้ความล่าช้าทั้งหมดที่จำเป็นในโครงการออกแบบ (ตั้งแต่ 10 ถึง 300 μs)จำนวนวนซ้ำการสอบเทียบสูงสุดส่งผลต่อคุณภาพของกระบวนการสอบเทียบ: การหมุนซ้ำ 200 ครั้งสามารถลดข้อผิดพลาดให้เหลือน้อยกว่า 5%การสอบเทียบซ้ำหนึ่งครั้งสอดคล้องกับการดำเนินการตั้งค่า/รีเซ็ตของเซลล์ RRAMกระบวนการปรับแต่งยังมีความสำคัญอย่างยิ่งต่อการปรับปรุงความแม่นยำของการตรวจจับเหตุการณ์การปิดทันทีของโมดูลซีดีต้องใช้การสอบเทียบซ้ำสิบครั้งเพื่อให้ได้อัตราบวกที่แท้จริง (กล่าวคือ อัตราของเหตุการณ์ที่ระบุอย่างถูกต้องว่าเกี่ยวข้อง) สูงกว่า 95% (เส้นสีน้ำเงินในรูปที่ 6c)อย่างไรก็ตาม กระบวนการปรับแต่งไม่ส่งผลกระทบต่อเหตุการณ์ผลบวกลวง (นั่นคือ ความถี่ของเหตุการณ์ที่ถูกระบุอย่างผิดพลาดว่าเกี่ยวข้องกัน)อีกวิธีหนึ่งที่พบในระบบทางชีววิทยาเพื่อเอาชนะข้อจำกัดด้านเวลาของวิถีที่กระตุ้นอย่างรวดเร็วคือความซ้ำซ้อน (นั่นคือ มีการใช้สำเนาหลายสำเนาของวัตถุเดียวกันเพื่อทำหน้าที่ที่กำหนด)ด้วยแรงบันดาลใจจากชีววิทยา66 เราได้วางวงจรซีดีหลายวงจรไว้ในโมดูลซีดีแต่ละโมดูลระหว่างเส้นหน่วงเวลาสองเส้นเพื่อลดผลกระทบของผลบวกลวงดังแสดงในรูป6c (เส้นสีเขียว) การวางองค์ประกอบซีดีสามรายการในแต่ละโมดูลซีดีสามารถลดอัตราการเตือนที่ผิดพลาดให้น้อยกว่า 10–2
ผลของความแปรปรวนของเส้นประสาทต่อวงจรเส้นหน่วงเวลาb วงจรเส้นหน่วงเวลาสามารถปรับขนาดให้มีความล่าช้ามากได้โดยการตั้งค่าคงที่เวลาของเซลล์ประสาท LIF และไซแนปส์ DPI ที่สอดคล้องกันให้เป็นค่าขนาดใหญ่การเพิ่มจำนวนครั้งของขั้นตอนการสอบเทียบ RRAM ทำให้สามารถปรับปรุงความแม่นยำของความล่าช้าของเป้าหมายได้อย่างมาก: การวนซ้ำ 200 ครั้งช่วยลดข้อผิดพลาดเหลือน้อยกว่า 5%การวนซ้ำหนึ่งครั้งสอดคล้องกับการดำเนินการ SET/RESET บนเซลล์ RRAMโมดูลซีดีแต่ละโมดูลในโมเดล c Jeffres สามารถนำไปใช้ได้โดยใช้องค์ประกอบซีดีแบบขนาน N เพื่อความยืดหยุ่นที่มากขึ้นเกี่ยวกับความล้มเหลวของระบบd การวนซ้ำของการปรับเทียบ RRAM มากขึ้นจะเพิ่มอัตราบวกที่แท้จริง (เส้นสีน้ำเงิน) ในขณะที่อัตราบวกลวงจะไม่ขึ้นอยู่กับจำนวนการวนซ้ำ (เส้นสีเขียว)การวางองค์ประกอบซีดีเพิ่มเติมแบบขนานจะช่วยหลีกเลี่ยงการตรวจพบการจับคู่โมดูลซีดีที่ผิดพลาด
ตอนนี้เราประเมินประสิทธิภาพและการใช้พลังงานของระบบระบุตำแหน่งวัตถุแบบรวมตั้งแต่ต้นทางถึงปลายทางที่แสดงในรูปที่ 2 โดยใช้การวัดคุณสมบัติทางเสียงของเซ็นเซอร์ pMUT, CD และวงจรเส้นดีเลย์ที่ประกอบกันเป็นกราฟการคำนวณของนิวโรมอร์ฟิกโมเดลเจฟเฟรส (รูปที่ 1a)สำหรับกราฟการคำนวณแบบนิวโรมอร์ฟิก ยิ่งจำนวนโมดูลซีดีมากเท่าใด ความละเอียดเชิงมุมก็จะยิ่งดีขึ้นเท่านั้น แต่พลังงานของระบบก็จะยิ่งสูงขึ้นด้วย (รูปที่ 7a)การประนีประนอมสามารถทำได้โดยการเปรียบเทียบความแม่นยำของแต่ละส่วนประกอบ (เซ็นเซอร์ pMUT เซลล์ประสาท และวงจรซินแนปติก) กับความแม่นยำของทั้งระบบความละเอียดของเส้นหน่วงเวลาถูกจำกัดด้วยค่าคงที่เวลาของไซแนปส์และเซลล์ประสาทจำลอง ซึ่งในโครงการของเราเกิน 10 µs ซึ่งสอดคล้องกับความละเอียดเชิงมุมที่ 4° (ดูวิธีการ)โหนดขั้นสูงที่มีเทคโนโลยี CMOS จะช่วยให้สามารถออกแบบวงจรประสาทและซินแนปติกที่มีค่าคงที่เวลาที่ต่ำกว่า ส่งผลให้องค์ประกอบเส้นล่าช้ามีความแม่นยำมากขึ้นอย่างไรก็ตาม ในระบบของเรา ความถูกต้องถูกจำกัดโดยข้อผิดพลาด pMUT ในการประมาณตำแหน่งเชิงมุม เช่น 10° (เส้นแนวนอนสีน้ำเงินในรูปที่ 7a)เรากำหนดจำนวนโมดูลซีดีไว้ที่ 40 ซึ่งสอดคล้องกับความละเอียดเชิงมุมประมาณ 4° กล่าวคือ ความแม่นยำเชิงมุมของกราฟการคำนวณ (เส้นแนวนอนสีฟ้าอ่อนในรูปที่ 7a)ที่ระดับระบบ ค่านี้จะให้ความละเอียด 4° และความแม่นยำ 10° สำหรับวัตถุที่อยู่ในระยะ 50 ซม. ด้านหน้าระบบเซ็นเซอร์ค่านี้เทียบเคียงได้กับระบบการแปลเสียงแบบ neuromorphic ที่รายงานในการอ้างอิง67. การเปรียบเทียบระบบที่เสนอกับความทันสมัยสามารถพบได้ในตารางเสริม 1 การเพิ่ม pMUT เพิ่มเติม การเพิ่มระดับสัญญาณเสียง และการลดเสียงรบกวนทางอิเล็กทรอนิกส์เป็นวิธีที่เป็นไปได้ในการปรับปรุงความแม่นยำของการแปลเป็นภาษาท้องถิ่นต่อไป) อยู่ที่ประมาณ 9.7นิวซีแลนด์55. เมื่อพิจารณาจากหน่วยซีดี 40 หน่วยบนกราฟการคำนวณ การจำลอง SPICE จะประมาณพลังงานต่อการดำเนินการ (เช่น พลังงานในการกำหนดตำแหน่งของวัตถุ) อยู่ที่ 21.6 nJระบบนิวโรมอร์ฟิกจะถูกเปิดใช้งานเมื่อมีเหตุการณ์อินพุตมาถึงเท่านั้น กล่าวคือ เมื่อคลื่นเสียงไปถึงตัวรับ pMUT และเกินเกณฑ์การตรวจจับ ไม่เช่นนั้นจะยังคงไม่ทำงานเพื่อหลีกเลี่ยงการใช้พลังงานโดยไม่จำเป็นเมื่อไม่มีสัญญาณอินพุตเมื่อพิจารณาความถี่ของการดำเนินการระบุตำแหน่งที่ 100 Hz และระยะเวลาการเปิดใช้งาน 300 µs ต่อการดำเนินการ (ITD สูงสุดที่เป็นไปได้) การใช้พลังงานของกราฟการคำนวณ neuromorphic คือ 61.7 nWด้วยการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกที่ใช้กับตัวรับ pMUT แต่ละตัว การใช้พลังงานของทั้งระบบจึงสูงถึง 81.6 nWเพื่อให้เข้าใจถึงประสิทธิภาพการใช้พลังงานของแนวทางนิวโรมอร์ฟิกที่นำเสนอเมื่อเปรียบเทียบกับฮาร์ดแวร์ทั่วไป เราจึงเปรียบเทียบตัวเลขนี้กับพลังงานที่จำเป็นในการทำงานเดียวกันบนไมโครคอนโทรลเลอร์พลังงานต่ำสมัยใหม่ โดยใช้ทักษะนิวโรมอร์ฟิกหรือบีมฟอร์มมิ่งแบบธรรมดา68วิธีนิวโรมอร์ฟิกพิจารณาขั้นตอนตัวแปลงแอนะล็อกเป็นดิจิทัล (ADC) ตามด้วยตัวกรองแบนด์พาสและขั้นตอนการแยกเอนเวโลป (วิธีทีเกอร์-ไคเซอร์)ในที่สุด จะดำเนินการตามขีดจำกัดเพื่อแยก ToFเราได้ละเว้นการคำนวณ ITD ตาม ToF และการแปลงเป็นตำแหน่งเชิงมุมโดยประมาณ เนื่องจากสิ่งนี้เกิดขึ้นหนึ่งครั้งสำหรับการวัดแต่ละครั้ง (ดูวิธีการ)สมมติว่าอัตราการสุ่มตัวอย่างอยู่ที่ 250 kHz บนทั้งสองช่องสัญญาณ (ตัวรับ pMUT), การทำงานของตัวกรองพาส 18 แบนด์, การดำเนินการแยกซองจดหมาย 3 ครั้ง และการดำเนินการตามขีดจำกัด 1 ครั้งต่อตัวอย่าง การใช้พลังงานทั้งหมดจะอยู่ที่ประมาณ 245 ไมโครวัตต์ซึ่งใช้โหมดพลังงานต่ำ 69 ของไมโครคอนโทรลเลอร์ ซึ่งจะเปิดเมื่ออัลกอริทึมไม่ได้ทำงาน ซึ่งจะช่วยลดการใช้พลังงานลงเหลือ 10.8 µWการใช้พลังงานของโซลูชันการประมวลผลสัญญาณบีมฟอร์มมิ่งที่นำเสนอในข้อมูลอ้างอิง31 โดยมีตัวรับ 5 pMUT และ 11 ลำแสงกระจายสม่ำเสมอในระนาบอะซิมัท [-50°, +50°] คือ 11.71 mW (ดูรายละเอียดในส่วนวิธีการ)นอกจากนี้ เรายังรายงานการใช้พลังงานของ Time Difference Encoder (TDE) ที่ใช้ FPGA47 ซึ่งประมาณไว้ที่ 1.5 mW เพื่อทดแทนโมเดล Jeffress สำหรับการแปลอ็อบเจ็กต์จากการประมาณการเหล่านี้ วิธีนิวโรมอร์ฟิกที่เสนอจะช่วยลดการใช้พลังงานลงได้ 5 ลำดับความสำคัญเมื่อเปรียบเทียบกับไมโครคอนโทรลเลอร์โดยใช้เทคนิคบีมฟอร์มมิ่งแบบคลาสสิกสำหรับการดำเนินการโลคัลไลเซชันวัตถุการนำแนวทางนิวโรมอร์ฟิคมาใช้ในการประมวลผลสัญญาณบนไมโครคอนโทรลเลอร์แบบคลาสสิกจะช่วยลดการใช้พลังงานลงได้ประมาณสองลำดับความสำคัญประสิทธิภาพของระบบที่นำเสนอสามารถอธิบายได้โดยการรวมกันของวงจรแอนะล็อกตัวต้านทานและหน่วยความจำแบบอะซิงโครนัสที่มีความสามารถในการคำนวณในหน่วยความจำ และการขาดการแปลงแอนะล็อกเป็นดิจิทัลที่จำเป็นในการรับรู้สัญญาณ
ความละเอียดเชิงมุม (สีน้ำเงิน) และการใช้พลังงาน (สีเขียว) ของการดำเนินการโลคัลไลเซชัน ขึ้นอยู่กับจำนวนโมดูลซีดีแถบแนวนอนสีน้ำเงินเข้มแสดงถึงความแม่นยำเชิงมุมของ PMUT และแถบแนวนอนสีฟ้าอ่อนแสดงถึงความแม่นยำเชิงมุมของกราฟการคำนวณของนิวโรมอร์ฟิกb การใช้พลังงานของระบบที่นำเสนอและการเปรียบเทียบกับการใช้งานไมโครคอนโทรลเลอร์ทั้งสองที่กล่าวถึงและการใช้งานดิจิทัลของ Time Difference Encoder (TDE)47 FPGA
เพื่อลดการใช้พลังงานของระบบการแปลเป้าหมายให้เหลือน้อยที่สุด เราได้คิด ออกแบบ และใช้งานวงจรนิวโรมอร์ฟิกที่ใช้ RRAM ตามเหตุการณ์ที่มีประสิทธิภาพ ซึ่งประมวลผลข้อมูลสัญญาณที่สร้างโดยเซ็นเซอร์ในตัวเพื่อคำนวณตำแหน่งของวัตถุเป้าหมายในความเป็นจริง เวลา.-ในขณะที่วิธีการประมวลผลแบบดั้งเดิมสุ่มตัวอย่างสัญญาณที่ตรวจพบอย่างต่อเนื่องและทำการคำนวณเพื่อดึงข้อมูลที่เป็นประโยชน์ โซลูชันนิวโรมอร์ฟิกที่นำเสนอจะทำการคำนวณแบบอะซิงโครนัสเมื่อข้อมูลที่เป็นประโยชน์มาถึง ช่วยเพิ่มประสิทธิภาพการใช้พลังงานของระบบให้สูงสุดตามลำดับความสำคัญห้าลำดับนอกจากนี้เรายังเน้นถึงความยืดหยุ่นของวงจรนิวโรมอร์ฟิกที่ใช้ RRAMความสามารถของ RRAM ในการเปลี่ยนแปลงสื่อกระแสไฟฟ้าในลักษณะที่ไม่ลบเลือน (ความเป็นพลาสติก) จะชดเชยความแปรปรวนโดยธรรมชาติของวงจรไซแนปติกและประสาทของ DPI อะนาล็อกพลังงานต่ำพิเศษทำให้วงจรที่ใช้ RRAM นี้มีความหลากหลายและทรงพลังเป้าหมายของเราไม่ใช่การแยกฟังก์ชันหรือรูปแบบที่ซับซ้อนออกจากสัญญาณ แต่เป็นการแปลวัตถุแบบเรียลไทม์ระบบของเรายังสามารถบีบอัดสัญญาณได้อย่างมีประสิทธิภาพและส่งไปยังขั้นตอนการประมวลผลเพิ่มเติมในที่สุดเพื่อทำการตัดสินใจที่ซับซ้อนมากขึ้นเมื่อจำเป็นในบริบทของแอปพลิเคชันการแปล ขั้นตอนการประมวลผลล่วงหน้าของนิวโรมอร์ฟิกสามารถให้ข้อมูลเกี่ยวกับตำแหน่งของวัตถุได้ข้อมูลนี้สามารถนำมาใช้ได้ เช่น สำหรับการตรวจจับการเคลื่อนไหวหรือการจดจำท่าทางเราเน้นย้ำถึงความสำคัญของการรวมเซ็นเซอร์พลังงานต่ำพิเศษ เช่น pMUT เข้ากับอุปกรณ์อิเล็กทรอนิกส์พลังงานต่ำพิเศษสำหรับสิ่งนี้ วิธีทางนิวโรมอร์ฟิกเป็นกุญแจสำคัญเนื่องจากได้นำเราไปสู่การพัฒนาการใช้งานวงจรใหม่ของวิธีการคำนวณที่ได้รับแรงบันดาลใจทางชีวภาพ เช่น โมเดลเจฟเฟรสในบริบทของการใช้งานเซ็นเซอร์ฟิวชั่น ระบบของเราสามารถใช้ร่วมกับเซ็นเซอร์ตามเหตุการณ์ที่แตกต่างกันหลายตัวเพื่อให้ได้ข้อมูลที่แม่นยำยิ่งขึ้นแม้ว่านกฮูกจะเชี่ยวชาญในการค้นหาเหยื่อในความมืด แต่พวกมันก็มีสายตาที่ยอดเยี่ยม และทำการค้นหาทั้งทางหูและภาพก่อนที่จะจับเหยื่อ70เมื่อเซลล์ประสาทการได้ยินส่งเสียงดัง นกฮูกจะได้รับข้อมูลที่จำเป็นเพื่อกำหนดทิศทางที่จะเริ่มค้นหาด้วยภาพ โดยมุ่งความสนใจไปที่ส่วนเล็กๆ ของภาพที่มองเห็นควรมีการสำรวจการผสมผสานระหว่างเซ็นเซอร์ภาพ (กล้อง DVS) และเซ็นเซอร์การฟังที่เสนอ (อิงจาก pMUT) เพื่อการพัฒนาระบบอัตโนมัติในอนาคต
เซ็นเซอร์ pMUT ตั้งอยู่บน PCB โดยมีตัวรับสัญญาณสองตัวห่างกันประมาณ 10 ซม. และเครื่องส่งจะอยู่ระหว่างตัวรับสัญญาณในงานนี้ เมมเบรนแต่ละตัวเป็นโครงสร้างแขวนลอยไบมอร์ฟที่ประกอบด้วยเพียโซอิเล็กทริกอะลูมิเนียมไนไตรด์ (AlN) หนา 800 นาโนเมตร 2 ชั้น ประกบอยู่ระหว่างโมลิบดีนัม (Mo) สามชั้น หนา 200 นาโนเมตร และเคลือบด้วยชั้นหนา 200 นาโนเมตรชั้น SiN ที่ทะลุผ่านด้านบนตามที่อธิบายไว้ในข้อมูลอ้างอิง71. อิเล็กโทรดด้านในและด้านนอกถูกนำไปใช้กับชั้นล่างและชั้นบนสุดของโมลิบดีนัม ในขณะที่อิเล็กโทรดโมลิบดีนัมตรงกลางไม่มีลวดลายและใช้เป็นกราวด์ ส่งผลให้เมมเบรนมีอิเล็กโทรดสี่คู่
สถาปัตยกรรมนี้ช่วยให้สามารถใช้การเปลี่ยนรูปเมมเบรนทั่วไป ส่งผลให้ความไวในการส่งและรับดีขึ้นโดยทั่วไป pMUT ดังกล่าวจะแสดงความไวในการกระตุ้นที่ 700 นาโนเมตร/V เป็นตัวปล่อย โดยให้แรงดันพื้นผิวที่ 270 Pa/Vในฐานะเครื่องรับ ฟิล์ม pMUT หนึ่งแผ่นมีความไวในการลัดวงจรที่ 15 nA/Pa ซึ่งเกี่ยวข้องโดยตรงกับสัมประสิทธิ์เพียโซอิเล็กทริกของ AlNความแปรปรวนทางเทคนิคของแรงดันไฟฟ้าในชั้น AlN ทำให้เกิดการเปลี่ยนแปลงความถี่เรโซแนนซ์ ซึ่งสามารถชดเชยได้โดยการใช้ DC Bias กับ pMUTวัดความไว DC ที่ 0.5 kHz/Vสำหรับการระบุคุณลักษณะทางเสียง จะใช้ไมโครโฟนที่ด้านหน้า pMUT
ในการวัดพัลส์เสียงสะท้อน เราวางแผ่นสี่เหลี่ยมที่มีพื้นที่ประมาณ 50 ซม. 2 ไว้ด้านหน้า pMUT เพื่อสะท้อนคลื่นเสียงที่ปล่อยออกมาทั้งระยะห่างระหว่างเพลตและมุมที่สัมพันธ์กับระนาบ pMUT จะถูกควบคุมโดยใช้ที่จับพิเศษแหล่งกำเนิดแรงดันไฟฟ้าของ Tectronix CPX400DP จะไบแอสเมมเบรน pMUT สามตัว โดยปรับความถี่เรโซแนนซ์เป็น 111.9 kHz31 ในขณะที่ตัวส่งสัญญาณขับเคลื่อนโดยเครื่องกำเนิดพัลส์ Tectronix AFG 3102 ที่ปรับเป็นความถี่เรโซแนนซ์ (111.9 kHz) และรอบการทำงานที่ 0.01กระแสที่อ่านจากพอร์ตเอาต์พุตทั้งสี่พอร์ตของตัวรับ pMUT แต่ละตัวจะถูกแปลงเป็นแรงดันไฟฟ้าโดยใช้สถาปัตยกรรมกระแสและแรงดันไฟฟ้าส่วนต่างพิเศษ และสัญญาณผลลัพธ์จะถูกแปลงเป็นดิจิทัลโดยระบบเก็บข้อมูล Spektrumขีดจำกัดของการตรวจจับถูกกำหนดลักษณะโดยการรับสัญญาณ pMUT ภายใต้เงื่อนไขที่แตกต่างกัน: เราย้ายตัวสะท้อนแสงไปยังระยะที่แตกต่างกัน [30, 40, 50, 60, 80, 100] ซม. และเปลี่ยนมุมรองรับ pMUT ([0, 20, 40] o ) รูปที่ 2b แสดงความละเอียดการตรวจจับ ITD ชั่วคราว ขึ้นอยู่กับตำแหน่งเชิงมุมที่สอดคล้องกันในหน่วยองศา
บทความนี้ใช้วงจร RRAM ที่แตกต่างกันสองวงจรตัวแรกคืออาร์เรย์ของอุปกรณ์ 16,384 (16,000) ตัว (อุปกรณ์ 128 × 128) ในการกำหนดค่า 1T1R พร้อมด้วยทรานซิสเตอร์หนึ่งตัวและตัวต้านทานหนึ่งตัวชิปตัวที่สองคือแพลตฟอร์มนิวโรมอร์ฟิกที่แสดงในรูปที่ 4aเซลล์ RRAM ประกอบด้วยฟิล์ม HfO2 หนา 5 นาโนเมตรที่ฝังอยู่ในชั้น TiN/HfO2/Ti/TiNRRAM stack ถูกรวมเข้ากับ back-of-line (BEOL) ของกระบวนการ CMOS มาตรฐาน 130 นาโนเมตรวงจรนิวโรมอร์ฟิกที่ใช้ RRAM นำเสนอความท้าทายในการออกแบบสำหรับระบบอิเล็กทรอนิกส์แบบอะนาล็อกทั้งหมด ซึ่งอุปกรณ์ RRAM อยู่ร่วมกับเทคโนโลยี CMOS แบบดั้งเดิมโดยเฉพาะอย่างยิ่ง จะต้องอ่านสถานะการนำของอุปกรณ์ RRAM และใช้เป็นตัวแปรฟังก์ชันสำหรับระบบด้วยเหตุนี้ วงจรจึงได้รับการออกแบบ ประดิษฐ์ และทดสอบโดยจะอ่านกระแสจากอุปกรณ์เมื่อได้รับพัลส์อินพุต และใช้กระแสนี้เพื่อชั่งน้ำหนักการตอบสนองของไซแนปส์ตัวรวมส่วนต่าง (DPI)วงจรนี้แสดงในรูปที่ 3a ซึ่งแสดงถึงหน่วยการสร้างพื้นฐานของแพลตฟอร์ม neuromorphic ในรูปที่ 4aพัลส์อินพุตจะเปิดใช้งานเกตของอุปกรณ์ 1T1R โดยเหนี่ยวนำกระแสไฟฟ้าผ่าน RRAM ตามสัดส่วนของสื่อนำไฟฟ้าของอุปกรณ์ G (Iweight = G(Vtop – Vx))อินพุตกลับด้านของวงจรขยายสัญญาณปฏิบัติการ (op-amp) มีแรงดันไบอัส DC คงที่ Vtopการตอบรับเชิงลบของ op-amp จะให้ Vx = Vtop โดยให้กระแสเท่ากันจาก M1Iweight ปัจจุบันที่ดึงมาจากอุปกรณ์จะถูกฉีดเข้าไปในไซแนปส์ DPIกระแสไฟฟ้าที่แรงกว่าจะส่งผลให้เกิดดีโพลาไรซ์มากขึ้น ดังนั้นสื่อนำไฟฟ้า RRAM จึงใช้น้ำหนักซินแนปติกได้อย่างมีประสิทธิภาพกระแสไซแนปติกเอ็กซ์โพเนนเชียลนี้ถูกฉีดผ่านตัวเก็บประจุเมมเบรนของเซลล์ประสาท Leaky Integration and Excitation (LIF) ซึ่งถูกรวมเป็นแรงดันไฟฟ้าหากแรงดันไฟฟ้าเกินขีดจำกัดของเมมเบรน (แรงดันไฟฟ้าสวิตชิ่งของอินเวอร์เตอร์) ส่วนเอาท์พุตของเซลล์ประสาทจะถูกกระตุ้น ทำให้เกิดเอาท์พุตขัดขวางชีพจรนี้จะส่งกลับและแยกตัวเก็บประจุเมมเบรนของเซลล์ประสาทไปที่กราวด์ ทำให้เกิดการคายประจุจากนั้นวงจรนี้จะถูกเสริมด้วยเครื่องขยายพัลส์ (ไม่แสดงในรูปที่ 3a) ซึ่งกำหนดรูปร่างพัลส์เอาท์พุตของเซลล์ประสาท LIF ให้เป็นความกว้างพัลส์เป้าหมายนอกจากนี้ มัลติเพล็กเซอร์ยังถูกสร้างไว้ในแต่ละบรรทัด ทำให้สามารถจ่ายแรงดันไฟฟ้าที่อิเล็กโทรดด้านบนและด้านล่างของอุปกรณ์ RRAM ได้
การทดสอบทางไฟฟ้าประกอบด้วยการวิเคราะห์และบันทึกพฤติกรรมไดนามิกของวงจรแอนะล็อก ตลอดจนการเขียนโปรแกรมและการอ่านอุปกรณ์ RRAMทั้งสองขั้นตอนต้องใช้เครื่องมือพิเศษ ซึ่งทั้งหมดเชื่อมต่อกับบอร์ดเซ็นเซอร์พร้อมกันการเข้าถึงอุปกรณ์ RRAM ในวงจรนิวโรมอร์ฟิกนั้นดำเนินการจากเครื่องมือภายนอกผ่านมัลติเพล็กเซอร์ (MUX)MUX จะแยกเซลล์ 1T1R ออกจากวงจรที่เหลือ เพื่อให้สามารถอ่านและ/หรือตั้งโปรแกรมอุปกรณ์ได้ในการตั้งโปรแกรมและอ่านอุปกรณ์ RRAM นั้น เครื่อง Keithley 4200 SCS จะใช้ร่วมกับไมโครคอนโทรลเลอร์ Arduino เครื่องแรกสำหรับการสร้างพัลส์และการอ่านกระแสไฟฟ้าที่แม่นยำ และเครื่องที่สองสำหรับการเข้าถึงองค์ประกอบ 1T1R แต่ละรายการในอาร์เรย์หน่วยความจำอย่างรวดเร็วการดำเนินการแรกคือการสร้างอุปกรณ์ RRAMเซลล์จะถูกเลือกทีละเซลล์ และมีการใช้แรงดันไฟฟ้าบวกระหว่างอิเล็กโทรดด้านบนและด้านล่างในกรณีนี้ กระแสไฟฟ้าจะถูกจำกัดไว้ที่ลำดับหลายสิบไมโครแอมแปร์ เนื่องจากการจ่ายแรงดันเกตที่สอดคล้องกันให้กับทรานซิสเตอร์ตัวเลือกจากนั้นเซลล์ RRAM จะสามารถหมุนเวียนระหว่างสถานะสื่อไฟฟ้าต่ำ (LCS) และสถานะสื่อไฟฟ้าสูง (HCS) โดยใช้การดำเนินการ RESET และ SET ตามลำดับการทำงานของ SET ดำเนินการโดยการใช้พัลส์แรงดันไฟฟ้ารูปสี่เหลี่ยมผืนผ้าที่มีระยะเวลา 1 μs และแรงดันไฟฟ้าสูงสุด 2.0-2.5 V ไปที่อิเล็กโทรดด้านบนและซิงค์พัลส์ที่มีรูปร่างคล้ายกันที่มีแรงดันไฟฟ้าสูงสุด 0.9-1.3 V ถึง ประตูของทรานซิสเตอร์ตัวเลือกค่าเหล่านี้ทำให้สามารถปรับสื่อกระแสไฟฟ้า RRAM ได้ที่ช่วง 20-150 µsสำหรับ RESET พัลส์สูงสุดที่กว้าง 1 µs และ 3 V จะถูกจ่ายไปที่อิเล็กโทรดด้านล่าง (เส้นบิต) ของเซลล์ เมื่อแรงดันเกตอยู่ในช่วง 2.5-3.0 V อินพุตและเอาต์พุตของวงจรแอนะล็อกเป็นสัญญาณไดนามิก .สำหรับการป้อนข้อมูล เราได้แทรกเครื่องกำเนิดพัลส์ HP 8110 สองตัวเข้ากับเครื่องกำเนิดสัญญาณ Tektronix AFG3011พัลส์อินพุตมีความกว้าง 1 µs และขอบขึ้น/ลงที่ 50 nsพัลส์ประเภทนี้ถือว่าเป็นความผิดพลาดทั่วไปในวงจรที่ใช้ความผิดพลาดแบบอะนาล็อกสำหรับสัญญาณเอาท์พุต สัญญาณเอาท์พุตจะถูกบันทึกโดยใช้ออสซิลโลสโคป Teledyne LeCroy 1 GHzความเร็วในการรับข้อมูลของออสซิลโลสโคปได้รับการพิสูจน์แล้วว่าไม่เป็นปัจจัยจำกัดในการวิเคราะห์และการรับข้อมูลวงจร
การใช้ไดนามิกของอุปกรณ์อิเล็กทรอนิกส์แบบแอนะล็อกเพื่อจำลองพฤติกรรมของเซลล์ประสาทและไซแนปส์เป็นโซลูชันที่สวยงามและมีประสิทธิภาพในการปรับปรุงประสิทธิภาพการคำนวณข้อเสียของการคำนวณด้านล่างคือมันจะแตกต่างกันไปในแต่ละโครงการเราวัดปริมาณความแปรปรวนของเซลล์ประสาทและวงจรซินแนปติก (รูปที่ 2a, b เพิ่มเติม)จากการแสดงความแปรปรวนทั้งหมด สิ่งที่เกี่ยวข้องกับค่าคงที่เวลาและอัตราขยายอินพุตมีผลกระทบมากที่สุดในระดับระบบค่าคงที่เวลาของเซลล์ประสาท LIF และไซแนปส์ DPI ถูกกำหนดโดยวงจร RC โดยที่ค่าของ R ถูกควบคุมโดยแรงดันไบแอสที่ใช้กับเกตของทรานซิสเตอร์ (Vlk สำหรับเซลล์ประสาทและ Vtau สำหรับไซแนปส์) เพื่อกำหนด อัตราการรั่วไหลอัตราขยายอินพุตถูกกำหนดให้เป็นแรงดันไฟฟ้าสูงสุดที่เข้าถึงโดยตัวเก็บประจุซินแนปติกและเยื่อหุ้มเซลล์ประสาทที่ถูกกระตุ้นโดยพัลส์อินพุตอัตราขยายอินพุตถูกควบคุมโดยทรานซิสเตอร์ไบแอสตัวอื่นซึ่งจะปรับกระแสอินพุตการจำลองแบบมอนติคาร์โลที่ปรับเทียบบนกระบวนการ 130 นาโนเมตรของ ST Microelectronics ได้ดำเนินการเพื่อรวบรวมสถิติอัตราขยายอินพุตและค่าคงที่เวลาผลลัพธ์จะแสดงในรูปที่ 2 เพิ่มเติม โดยที่อัตราขยายอินพุตและค่าคงที่เวลาจะถูกวัดเป็นฟังก์ชันของแรงดันไบแอสที่ควบคุมอัตราการรั่วไหลเครื่องหมายสีเขียวแสดงปริมาณค่าเบี่ยงเบนมาตรฐานของค่าคงที่เวลาจากค่าเฉลี่ยทั้งเซลล์ประสาทและวงจรซินแนปติกสามารถแสดงค่าคงที่เวลาที่หลากหลายในช่วง 10-5-10-2 วินาที ดังแสดงในรูปแบบรูปที่เสริมการขยายอินพุต (รูปที่ 2e, d เสริม) ของความแปรปรวนของเซลล์ประสาทและไซแนปส์อยู่ที่ประมาณ 8% และ 3% ตามลำดับข้อบกพร่องดังกล่าวได้รับการบันทึกไว้อย่างดีในวรรณคดี: มีการวัดต่างๆ บนอาร์เรย์ของชิป DYNAP เพื่อประเมินความไม่ตรงกันระหว่างประชากรของเซลล์ประสาท LIF63มีการวัดไซแนปส์ในชิปสัญญาณผสม BrainScale และวิเคราะห์ความไม่สอดคล้องกันและเสนอขั้นตอนการสอบเทียบเพื่อลดผลกระทบของความแปรปรวนระดับระบบ
หน้าที่ของ RRAM ในวงจรนิวโรมอร์ฟิกเป็นสองเท่า: คำจำกัดความของสถาปัตยกรรม (การกำหนดเส้นทางอินพุตไปยังเอาต์พุต) และการนำน้ำหนักซินแนปติกไปใช้คุณสมบัติหลังสามารถใช้เพื่อแก้ปัญหาความแปรปรวนของวงจรนิวโรมอร์ฟิกที่จำลองได้เราได้พัฒนาขั้นตอนการสอบเทียบง่ายๆ ที่เกี่ยวข้องกับการตั้งโปรแกรมอุปกรณ์ RRAM ใหม่จนกว่าวงจรที่จะวิเคราะห์จะตรงตามข้อกำหนดบางประการสำหรับอินพุตที่กำหนด เอาต์พุตจะถูกตรวจสอบและ RRAM จะถูกตั้งโปรแกรมใหม่จนกว่าจะบรรลุพฤติกรรมเป้าหมายมีการแนะนำเวลารอ 5 วินาทีระหว่างการดำเนินการโปรแกรมเพื่อแก้ปัญหาการผ่อนคลาย RRAM ส่งผลให้เกิดความผันผวนของสื่อกระแสไฟฟ้าชั่วคราว (ข้อมูลเสริม)ตุ้มน้ำหนักซินแนปติกได้รับการปรับหรือสอบเทียบตามข้อกำหนดของวงจรนิวโรมอร์ฟิกที่กำลังสร้างแบบจำลองขั้นตอนการสอบเทียบสรุปไว้ในอัลกอริธึมเพิ่มเติม [1, 2] ซึ่งมุ่งเน้นไปที่คุณสมบัติพื้นฐานสองประการของแพลตฟอร์มนิวโรมอร์ฟิก เส้นหน่วงเวลา และซีดีที่ไม่คำนึงถึงทิศทางสำหรับวงจรที่มีเส้นหน่วงเวลา พฤติกรรมเป้าหมายคือให้พัลส์เอาท์พุตมีการหน่วงเวลา Δtหากความล่าช้าของวงจรจริงน้อยกว่าค่าเป้าหมาย ควรลดน้ำหนักซินแนปติกของ G3 (ควรรีเซ็ต G3 แล้วตั้งค่าเป็น Icc ปัจจุบันที่ตรงกันที่ต่ำกว่า)ในทางกลับกัน หากการหน่วงเวลาจริงมากกว่าค่าเป้าหมาย จะต้องเพิ่มความนำไฟฟ้าของ G3 (ต้องรีเซ็ต G3 ก่อน จากนั้นจึงตั้งค่าเป็นค่า Icc ที่สูงขึ้น)กระบวนการนี้จะถูกทำซ้ำจนกว่าการหน่วงเวลาที่สร้างโดยวงจรจะตรงกับค่าเป้าหมาย และมีการตั้งค่าพิกัดความเผื่อเพื่อหยุดกระบวนการสอบเทียบสำหรับซีดีที่ไม่คำนึงถึงการวางแนว อุปกรณ์ RRAM สองตัว ได้แก่ G1 และ G3 มีส่วนร่วมในกระบวนการสอบเทียบวงจรนี้มีอินพุตสองตัวคือ Vin0 และ Vin1 ดีเลย์โดย dtวงจรควรตอบสนองต่อความล่าช้าที่ต่ำกว่าช่วงการจับคู่ [0,dtCD] เท่านั้นหากไม่มีจุดสูงสุดของเอาต์พุต แต่จุดสูงสุดของอินพุตอยู่ใกล้ อุปกรณ์ RRAM ทั้งสองควรได้รับการเสริมกำลังเพื่อช่วยให้เซลล์ประสาทถึงเกณฑ์ในทางกลับกัน หากวงจรตอบสนองต่อการหน่วงเวลาซึ่งเกินช่วงเป้าหมายของ dtCD ความนำไฟฟ้าจะต้องลดลงทำซ้ำขั้นตอนนี้จนกว่าจะได้พฤติกรรมที่ถูกต้องกระแสไฟฟ้าที่เป็นไปตามข้อกำหนดสามารถปรับได้โดยวงจรอะนาล็อกในตัวในการอ้างอิง72.73.ด้วยวงจรในตัวนี้ ขั้นตอนดังกล่าวสามารถดำเนินการได้เป็นระยะๆ เพื่อปรับเทียบระบบหรือนำระบบไปใช้ซ้ำสำหรับการใช้งานอื่น
เราประเมินการใช้พลังงานของวิธีการประมวลผลสัญญาณนิวโรมอร์ฟิกของเราบนไมโครคอนโทรลเลอร์ 32 บิตมาตรฐาน68ในการประเมินนี้ เราถือว่าการทำงานมีการตั้งค่าเดียวกันกับในบทความนี้ โดยมีเครื่องส่ง pMUT หนึ่งเครื่องและเครื่องรับ pMUT สองเครื่องวิธีการนี้ใช้ตัวกรอง bandpass ตามด้วยขั้นตอนการแยกซองจดหมาย (Teeger-Kaiser) และสุดท้ายการดำเนินการ Thresholding จะถูกนำไปใช้กับสัญญาณเพื่อแยกเวลาการบินการคำนวณ ITD และการแปลงเป็นมุมการตรวจจับจะไม่รวมอยู่ในการประเมินเราพิจารณาการใช้งานตัวกรองแบนด์พาสโดยใช้ตัวกรองการตอบสนองแรงกระตุ้นอนันต์ลำดับที่ 4 ซึ่งต้องการการดำเนินการจุดลอยตัว 18 จุดการแยกซองจดหมายใช้การดำเนินการจุดทศนิยมอีกสามจุด และการดำเนินการสุดท้ายใช้เพื่อกำหนดขีดจำกัดจำเป็นต้องมีการดำเนินการจุดลอยตัวทั้งหมด 22 จุดเพื่อประมวลผลสัญญาณล่วงหน้าสัญญาณที่ส่งจะเป็นการระเบิดสั้นๆ ของรูปคลื่นไซน์ 111.9 kHz ที่สร้างขึ้นทุกๆ 10 มิลลิวินาที ส่งผลให้ความถี่ในการวางตำแหน่งอยู่ที่ 100 Hzเราใช้อัตราการสุ่มตัวอย่าง 250 kHz เพื่อให้สอดคล้องกับ Nyquist และหน้าต่าง 6 ms สำหรับการวัดแต่ละครั้งเพื่อจับระยะ 1 เมตรโปรดทราบว่า 6 มิลลิวินาทีคือเวลาบินของวัตถุที่อยู่ห่างออกไป 1 เมตรซึ่งให้การใช้พลังงาน 180 µW สำหรับการแปลง A/D ที่ 0.5 MSPSการประมวลผลสัญญาณล่วงหน้าคือ 6.60 MIPS (คำสั่งต่อวินาที) สร้าง 0.75 mWอย่างไรก็ตาม ไมโครคอนโทรลเลอร์อาจสลับไปที่โหมดพลังงานต่ำ 69 เมื่ออัลกอริทึมไม่ทำงานโหมดนี้ให้การใช้พลังงานคงที่ 10.8 μW และเวลาปลุก 113 μsด้วยความถี่สัญญาณนาฬิกา 84 MHz ไมโครคอนโทรลเลอร์จะดำเนินการทั้งหมดของอัลกอริธึมนิวโรมอร์ฟิกให้เสร็จภายใน 10 มิลลิวินาที และอัลกอริธึมจะคำนวณรอบการทำงานที่ 6.3% จึงใช้โหมดพลังงานต่ำการกระจายพลังงานที่เกิดขึ้นคือ 244.7 μWโปรดทราบว่าเราละเว้นเอาต์พุต ITD จาก ToF และการแปลงเป็นมุมการตรวจจับ ดังนั้นจึงประเมินการใช้พลังงานของไมโครคอนโทรลเลอร์ต่ำเกินไปสิ่งนี้ให้มูลค่าเพิ่มเติมสำหรับประสิทธิภาพการใช้พลังงานของระบบที่นำเสนอเพื่อเป็นเงื่อนไขการเปรียบเทียบเพิ่มเติม เราจะประเมินการใช้พลังงานของวิธีการบีมฟอร์มมิ่งแบบคลาสสิกที่เสนอในข้อมูลอ้างอิง31.54 เมื่อฝังอยู่ในไมโครคอนโทรลเลอร์68 เดียวกันที่แรงดันไฟฟ้า 1.8Vเมมเบรน pMUT ที่มีระยะห่างเท่ากันจำนวน 5 ชิ้นถูกนำมาใช้เพื่อรับข้อมูลสำหรับการสร้างบีมฟอร์มมิ่งสำหรับการประมวลผลนั้น วิธีการบีมฟอร์มมิ่งที่ใช้คือการรวมการหน่วงเวลาเพียงแต่ประกอบด้วยการใช้การหน่วงเวลากับเลนที่สอดคล้องกับความแตกต่างที่คาดไว้ในเวลาที่มาถึงระหว่างเลนหนึ่งกับเลนอ้างอิงหากสัญญาณอยู่ในเฟส ผลรวมของสัญญาณเหล่านี้จะมีพลังงานสูงหลังจากการเปลี่ยนเวลาหากอยู่นอกเฟส การรบกวนแบบทำลายล้างจะจำกัดพลังงานของผลรวมมีความสัมพันธ์.บนรูปในรูปที่ 31 อัตราการสุ่มตัวอย่าง 2 MHz จะถูกเลือกเพื่อเลื่อนเวลาข้อมูลตามจำนวนตัวอย่างจำนวนเต็มแนวทางที่เรียบง่ายกว่าคือการรักษาอัตราตัวอย่างที่หยาบขึ้นที่ 250 kHz และใช้ตัวกรอง Finite Impulse Response (FIR) เพื่อสังเคราะห์ความล่าช้าแบบเศษส่วนเราจะสมมติว่าความซับซ้อนของอัลกอริธึมบีมฟอร์มมิ่งนั้นถูกกำหนดโดยการเปลี่ยนเวลาเป็นหลัก เนื่องจากแต่ละช่องสัญญาณจะพันกันด้วยตัวกรอง FIR โดยแตะ 16 ครั้งในแต่ละทิศทางในการคำนวณจำนวน MIPS ที่จำเป็นสำหรับการดำเนินการนี้ เราจะพิจารณาหน้าต่าง 6 มิลลิวินาทีต่อการวัดเพื่อจับภาพช่วง 1 เมตร 5 ช่องสัญญาณ 11 ทิศทางของลำแสง (ช่วง +/- 50° ใน 10° ขั้น)การวัด 75 ครั้งต่อวินาทีทำให้ไมโครคอนโทรลเลอร์มีความเร็วสูงสุดที่ 100 MIPSลิงค์.68 ส่งผลให้มีการกระจายพลังงาน 11.26 mW สำหรับการกระจายพลังงานทั้งหมด 11.71 mW หลังจากเพิ่มการสนับสนุน ADC ออนบอร์ด
ข้อมูลที่สนับสนุนผลการศึกษานี้มีให้จากผู้เขียนที่เกี่ยวข้อง FM ตามคำขอที่สมเหตุสมผล
Indiveri, G. & Sandamirskaya, Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนที่ใช้พลังงานต่ำและเป็นอิสระซึ่งมีปฏิสัมพันธ์กับสิ่งแวดล้อม Indiveri, G. & Sandamirskaya, Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนที่ใช้พลังงานต่ำและเป็นอิสระซึ่งมีปฏิสัมพันธ์กับสิ่งแวดล้อมIndiveri G. และ Sandamirskaya Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนอิสระที่ใช้พลังงานต่ำที่มีปฏิสัมพันธ์กับสิ่งแวดล้อม Indiveri, G. & Sandamirskaya, Y. 空间和时间对于神经形态代理中信号处理的重要性：金与环境交互的低功耗、自主代理的挑战. Indiveri, G. และ Sandamirskaya, Y.Indiveri G. และ Sandamirskaya Y. ความสำคัญของพื้นที่และเวลาสำหรับการประมวลผลสัญญาณในตัวแทน neuromorphic: ความท้าทายในการพัฒนาตัวแทนอิสระที่ใช้พลังงานต่ำที่มีปฏิสัมพันธ์กับสิ่งแวดล้อมการประมวลผลสัญญาณ IEEEวารสาร 36, 16–28 (2019)
Thorpe, SJ Peak Arrival Time: โครงการเข้ารหัสโครงข่ายประสาทเทียมที่มีประสิทธิภาพ ใน Eckmiller, R., Hartmann, G. & Hauske, G. (สหพันธ์) ใน Eckmiller, R., Hartmann, G. & Hauske, G. (สหพันธ์)ใน Eckmiller, R., Hartmann, G. และ Hauske, G. (บรรณาธิการ)ใน Eckmiller, R., Hartmann, G. และ Hauske, G. (eds.)การประมวลผลแบบขนานในระบบประสาทและคอมพิวเตอร์ 91–94 (North-Holland Elsevier, 1990)
Levy, WB และ Calvert, VG Communication ใช้พลังงานมากกว่าการคำนวณในเปลือกสมองของมนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายหมายเลขไซแนปส์ Levy, WB และ Calvert, VG Communication ใช้พลังงานมากกว่าการคำนวณในเปลือกสมองของมนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายหมายเลขไซแนปส์Levy, WB และ Calvert, WG Communication ใช้พลังงานมากกว่าการคำนวณในคอร์เทกซ์มนุษย์ถึง 35 เท่า แต่ต้องใช้ต้นทุนทั้งสองเพื่อทำนายจำนวนไซแนปส์ Levy, WB & Calvert, VG Communication 消耗的能量是人类皮层计算的35 倍，但这两种成本都需要预测突触数量。 เลวี, WB และคาลเวิร์ต, วีจี คอมมิวนิเคชั่นLevy, WB และ Calvert, WG Communication ใช้พลังงานมากกว่าการคำนวณในคอร์เทกซ์ของมนุษย์ถึง 35 เท่า แต่ค่าใช้จ่ายทั้งสองจำเป็นต้องคาดการณ์จำนวนไซแนปส์กระบวนการ.สถาบันวิทยาศาสตร์แห่งชาติ.วิทยาศาสตร์.118 ดอลลาร์สหรัฐ, https://doi.org/10.1073/pnas.2008173118 (2021)
Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลง Dalgaty, T., Vianello, E., De Salvo, B. & Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลงDalgati, T. , Vianello, E. , DeSalvo, B. และ Casas, J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลงDalgati T., Vianello E., DeSalvo B. และ Casas J. การคำนวณ neuromorphic ที่ได้รับแรงบันดาลใจจากแมลงปัจจุบัน.ความคิดเห็น.วิทยาศาสตร์แมลง30, 59–66 (2018)
Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-based ด้วยการคำนวณแบบ neuromorphic Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-based ด้วยการคำนวณแบบ neuromorphic Roy, K., Jaiswal, A. & Panda, P. สู่ความฉลาดของเครื่องจักรแบบ Spike-Based ด้วยคอมพิวเตอร์ NeuromorphicRoy K, Jaiswal A และ Panda P. ปัญญาประดิษฐ์ที่ใช้ Pulse โดยใช้การคำนวณแบบ neuromorphicธรรมชาติ 575, 607–617 (2019)
Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. และ Liu, S.-K. Indiveri, G. & Liu, S.-C. Indiveri, G. & Liu, S.-C.Indiveri, G. และ Liu, S.-K.การประมวลผลหน่วยความจำและข้อมูลในระบบนิวโรมอร์ฟิกกระบวนการ.IEEE 103, 1379–1397 (2015)
อโกเปียน เอฟ. และคณะ.Truenorth: การออกแบบและชุดเครื่องมือสำหรับชิปซินแนปติกแบบตั้งโปรแกรมได้ขนาด 65 mW 1 ล้านเซลล์ประสาทธุรกรรม IEEEการออกแบบระบบวงจรรวมด้วยคอมพิวเตอร์34, 1537–1557 (2015)
Schemmel, J. และคณะการสาธิตสด: ลดขนาดระบบประสาท BrainScaleS ในเวอร์ชันที่เล็กลงในระดับจาน2012 IEEE International Symposium on Circuits and Systems (ISCAS), (IEEE ed.) 702–702 (2012)
Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP) Moradi, S., Qiao, N., Stefanini, F. & Indiveri, G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP)Moradi S. , Qiao N. , Stefanini F. และ Indiviri G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP) Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. 一种可扩ส่วนขยายของ多核架构，具有用于动态神经形态异步处理器(DYNAP) ของ异构内存结构。 Moradi, S.、Qiao, N.、Stefanini, F. & Indiveri, G. สถาปัตยกรรมแบบมัลติคอร์ที่ขยายได้ พร้อมโครงสร้างหน่วยความจำเฉพาะสำหรับการประมวลผลประสาทแบบไดนามิก (DYNAP)Moradi S. , Qiao N. , Stefanini F. และ Indiviri G. สถาปัตยกรรมมัลติคอร์ที่ปรับขนาดได้พร้อมโครงสร้างหน่วยความจำที่ต่างกันสำหรับโปรเซสเซอร์อะซิงโครนัส neuromorphic แบบไดนามิก (DYNAP)ธุรกรรม IEEE เกี่ยวกับวิทยาศาสตร์ชีวการแพทย์ระบบไฟฟ้า.12, 106–122 (2018)
เดวิส เอ็ม และคณะLoihi: โปรเซสเซอร์แบบมัลติคอร์ neuromorphic พร้อมการเรียนรู้แบบฝังIEEE ไมโคร 38, 82–99 (2018)
Furber, SB, Galluppi, F., Temple, S. & Plana, LA โครงการ SpinNaker Furber, SB, Galluppi, F., Temple, S. & Plana, LA โครงการ SpinNakerโครงการ Ferber SB, Galluppi F., Temple S. และ Plana LA SpinNakerโครงการ Ferber SB, Galluppi F., Temple S. และ Plana LA SpinNakerกระบวนการ.IEEE 102, 652–665 (2014)
หลิว เอส.-เค. & Delbruck, T. ระบบประสาทสัมผัส Neuromorphic & Delbruck, T. ระบบประสาทสัมผัส NeuromorphicและระบบประสาทสัมผัสDelbrück T. Neuromorphic & Delbruck, T. 神经形态感觉系统。 & เดลบรุค, ที.และระบบประสาทสัมผัสDelbrück T. Neuromorphicปัจจุบัน.ความคิดเห็น.ชีววิทยาประสาท20, 288–295 (2010)
Chope, T. และคณะบูรณาการประสาทสัมผัส Neuromorphic สำหรับการแปลแหล่งกำเนิดเสียงรวมและการหลีกเลี่ยงการชนกันในปี 2019 ที่การประชุม IEEE เกี่ยวกับวงจรและระบบชีวการแพทย์ (BioCAS), (IEEE Ed.) 1–4 (2019)
Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. สถาปัตยกรรม neuromorphic แบบขัดขวางของการมองเห็นแบบสเตอริโอ Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. สถาปัตยกรรม neuromorphic แบบขัดขวางของการมองเห็นแบบสเตอริโอRisi N, Aymar A, Donati E, Solinas S และ Indiveri G. สถาปัตยกรรมภาพสามมิติแบบ neuromorphic แบบขัดขวาง Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G. 一种基于脉冲的立体视觉神经形态结构。 Risi, N., Aimar, A., Donati, E., Solinas, S. & Indiveri, G.Risi N, Aimar A, Donati E, Solinas S และ Indiveri G. สถาปัตยกรรม neuromorphic ที่ใช้ Spike สำหรับการมองเห็นแบบสเตอริโอด้านหน้า.หุ่นยนต์ประสาท 14, 93 (2020)
Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. โมเดลโครงข่ายประสาทเทียมที่แหลมคมของ 3Dperception สำหรับระบบการมองเห็นสเตอริโอ neuromorphic ตามเหตุการณ์ Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. โมเดลโครงข่ายประสาทเทียมที่แหลมคมของ 3Dperception สำหรับระบบการมองเห็นสเตอริโอ neuromorphic ตามเหตุการณ์Oswald, M. , Ieng, S.-H. , Benosman, R. , และ Indiveri, G. โมเดลการรับรู้เครือข่ายประสาทเทียมแบบพัลส์ 3 มิติสำหรับระบบการมองเห็นสเตอริโอ Neuromorphic ตามเหตุการณ์ Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 基于事件的神经形态立体视觉系统的3Dperception 脉冲神经网络模型。 Osswald, M., Ieng, S.-H., Benosman, R. & Indiveri, G. 3Dperception 脉冲神经网络模型。Oswald, M. , Ieng, S.-H. , Benosman, R. , และ Indiveri, G. Spiked 3Dperception Neural Network Model สำหรับระบบการมองเห็นสเตอริโอ Neuromorphic ตามเหตุการณ์วิทยาศาสตร์.รายงาน 7, 1–11 (2017)
ดัลกาตี, ที. และคณะการตรวจจับการเคลื่อนไหวพื้นฐานที่ได้รับแรงบันดาลใจจากแมลงประกอบด้วยหน่วยความจำแบบต้านทานและโครงข่ายประสาทที่ระเบิดระบบไบโอนิคไฮบริด10928, 115–128 (2018)
ดีแองเจโล, จี. และคณะการตรวจจับการเคลื่อนไหวเยื้องศูนย์ตามเหตุการณ์โดยใช้การเข้ารหัสส่วนต่างชั่วคราวด้านหน้า.ประสาทวิทยา.14, 451 (2020)