來源?|?小木蟲
2023年9月14日,清華大學(xué)吳華強(qiáng)及高濱共同通訊在Science?在線發(fā)表題為“Edge learning using a fully integrated neuro-inspired memristor chip”的研究論文,該研究開發(fā)了一種全集成記憶電阻芯片,提高了學(xué)習(xí)能力,降低了能耗。
STELLAR架構(gòu)中的方案,包括其學(xué)習(xí)算法、硬件實(shí)現(xiàn)和并行電導(dǎo)調(diào)諧方案,是通過使用憶阻器交叉棒陣列促進(jìn)片上學(xué)習(xí)的通用方法,而不考慮憶阻器器件的類型。在這項(xiàng)研究中執(zhí)行的任務(wù)包括運(yùn)動(dòng)控制、圖像分類和語(yǔ)音識(shí)別。總之,該研究是邁向未來具有高能效和廣泛學(xué)習(xí)能力的芯片的重要一步,有可能能夠加速未來智能邊緣設(shè)備的發(fā)展,以適應(yīng)不同的應(yīng)用場(chǎng)景和用戶。
人類的學(xué)習(xí)能力在智力增長(zhǎng)和快速適應(yīng)未知場(chǎng)景或動(dòng)態(tài)變化的環(huán)境中起著至關(guān)重要的作用。邊緣人工智能(AI)應(yīng)用也需要具有這種學(xué)習(xí)能力的硬件,以使相關(guān)設(shè)備能夠適應(yīng)新的場(chǎng)景或用戶習(xí)慣。然而,深度神經(jīng)網(wǎng)絡(luò)(DNN)訓(xùn)練通常使用基于von Neumann計(jì)算架構(gòu)和高精度數(shù)字計(jì)算范式的傳統(tǒng)硬件實(shí)現(xiàn)。處理器芯片和片外主存儲(chǔ)器之間廣泛的數(shù)據(jù)移動(dòng)會(huì)產(chǎn)生大量的能量消耗,并且占整個(gè)訓(xùn)練過程的大部分延遲。因此,盡管云計(jì)算平臺(tái)可以處理這種高能耗的訓(xùn)練,它們的高能耗阻礙了在功率有限的邊緣計(jì)算平臺(tái)上實(shí)現(xiàn)學(xué)習(xí)。相比之下,基于憶阻器的神經(jīng)啟發(fā)計(jì)算通過其顛覆性的內(nèi)存計(jì)算架構(gòu)和模擬計(jì)算范式消除了這種廣泛的數(shù)據(jù)移動(dòng)。
憶阻器交叉棒陣列利用歐姆定律和基爾霍夫定律,可以在一個(gè)時(shí)間步內(nèi)存儲(chǔ)模擬突觸權(quán)值,并在一個(gè)時(shí)間步內(nèi)并行執(zhí)行原位向量矩陣乘法運(yùn)算。集成多個(gè)憶阻器交叉棒陣列和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)電路的神經(jīng)啟發(fā)計(jì)算芯片可以輕松實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)推理,并且具有很大的潛力,可以完全處理片上學(xué)習(xí),而無需任何片外存儲(chǔ)器的幫助?;谟洃涬娮杵鞯纳窠?jīng)啟發(fā)計(jì)算提供了大量的能源效率提高,使這種范式有望開發(fā)未來的芯片,使低功耗學(xué)習(xí)設(shè)備成為可能。
一些研究已經(jīng)通過實(shí)驗(yàn)證明了使用憶阻器橫條陣列進(jìn)行原位權(quán)值調(diào)諧的學(xué)習(xí),盡管使用軟件或外部數(shù)字處理器來實(shí)現(xiàn)反向傳播(BP)算法。然而,實(shí)現(xiàn)具有強(qiáng)學(xué)習(xí)能力和低能耗的完整全集成憶阻器芯片仍然具有挑戰(zhàn)性。關(guān)鍵的挑戰(zhàn)在于將BP算法映射到片上硬件的效率低下。首先,由于器件的非理想性,如器件可變性和非線性電導(dǎo)調(diào)制,在內(nèi)存中實(shí)現(xiàn)BP算法需要昂貴的電導(dǎo)調(diào)諧操作和寫入驗(yàn)證。其次,通過寫入驗(yàn)證很難實(shí)現(xiàn)高效的并行電導(dǎo)調(diào)諧,這使得片上學(xué)習(xí)更加耗時(shí)和耗能。第三,在權(quán)重更新計(jì)算過程中需要的高精度數(shù)據(jù)處理操作需要較大的電路面積和高能耗,導(dǎo)致不可接受的開銷。
利用神經(jīng)啟發(fā)記憶電阻芯片進(jìn)行邊緣學(xué)習(xí)(圖源自Science?)
該研究展示了一種基于記憶電阻器的神經(jīng)啟發(fā)計(jì)算芯片,該芯片能夠?qū)崿F(xiàn)完全的片上學(xué)習(xí),為此提出了一種基于記憶電阻器的符號(hào)和閾值學(xué)習(xí)(STELLAR)架構(gòu)。在此架構(gòu)中,首次提出片上更新方案,無需驗(yàn)證即可調(diào)整憶阻器。與寫驗(yàn)證方案相比,該方案節(jié)省了電導(dǎo)調(diào)諧操作中過多的讀寫成本,并且可以解決器件的非線性和非對(duì)稱調(diào)諧問題,實(shí)現(xiàn)軟件可比的精度。
其次,設(shè)計(jì)片上計(jì)算模塊確定權(quán)值更新方向,該過程只涉及輸入、輸出和誤差的符號(hào),而不涉及它們的高精度格式。該設(shè)計(jì)減少了電路設(shè)計(jì)的負(fù)擔(dān),避免了片上學(xué)習(xí)的大量開銷。第三,提出了一種周期并聯(lián)電導(dǎo)調(diào)諧方案,其中電導(dǎo)調(diào)諧以逐行并聯(lián)方式進(jìn)行。該方案進(jìn)一步降低了誘導(dǎo)能量消耗和延遲,并適應(yīng)了記憶電阻器有限的續(xù)航能力。這項(xiàng)研究是邁向未來具有高能效和廣泛學(xué)習(xí)能力的芯片的重要一步,有可能能夠加速未來智能邊緣設(shè)備的發(fā)展,以適應(yīng)不同的應(yīng)用場(chǎng)景和用戶。
原創(chuàng)文章,作者:科研小搬磚,如若轉(zhuǎn)載,請(qǐng)注明來源華算科技,注明出處:http://www.xiubac.cn/index.php/2023/11/30/a123f1af4d/