隨著大規(guī)模深度神經(jīng)網(wǎng)絡(luò)（NN）和其他人工智能（AI）應(yīng)用的最新發(fā)展，人們?cè)絹碓綋?dān)心訓(xùn)練和操作它們所需的能源消耗。

物理神經(jīng)網(wǎng)絡(luò)可以成為這個(gè)問題的解決方案，但傳統(tǒng)算法的直接硬件實(shí)現(xiàn)面臨著多重困難。使用傳統(tǒng)反向傳播算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)會(huì)面臨一些挑戰(zhàn)，例如缺乏可擴(kuò)展性、訓(xùn)練過程中操作的復(fù)雜性以及對(duì)數(shù)字訓(xùn)練模型的依賴。

洛桑聯(lián)邦理工學(xué)院（école Polytechnique Fédérale de Lausanne，EPFL）和微軟研究團(tuán)隊(duì)（Microsoft Research）等機(jī)構(gòu)組成的合作團(tuán)隊(duì)提出了一種通過物理局部學(xué)習(xí)（PhyLL）算法增強(qiáng)的簡(jiǎn)單深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)可以對(duì)深度物理神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督和無監(jiān)督訓(xùn)練，而無需詳細(xì)了解非線性物理層的屬性。

利用這種方法，研究人員在元音和圖像分類實(shí)驗(yàn)中訓(xùn)練了多種基于波的物理神經(jīng)網(wǎng)絡(luò)，并展示了該方法的普遍性。該團(tuán)隊(duì)的方法比其他硬件感知訓(xùn)練方案具有優(yōu)勢(shì)，可以提高訓(xùn)練速度、增強(qiáng)穩(wěn)健性；同時(shí)，通過消除系統(tǒng)建模的需要來降低功耗，從而減少數(shù)字計(jì)算需求。

該研究以「Backpropagation-free training of deep physical neural networks」為題發(fā)，于 2023 年 11 月 23 日發(fā)布在《Science》。

深度學(xué)習(xí)已成為一項(xiàng)取得了巨大成功的突破性技術(shù)，主要在傳統(tǒng)的馮·諾依曼計(jì)算硬件上運(yùn)行。該技術(shù)目前面臨高能耗（例如 GPT-3 的 1.3 ?GWh 用電量）和低計(jì)算速度的問題。

由于這些挑戰(zhàn)，科學(xué)家正在探索人工神經(jīng)網(wǎng)絡(luò)（ANN）的替代物理平臺(tái)，包括光學(xué)、自旋電子學(xué)、納米電子設(shè)備、光子硬件和聲學(xué)系統(tǒng)。

目前，局部學(xué)習(xí)已被廣泛研究用于訓(xùn)練數(shù)字神經(jīng)網(wǎng)絡(luò)，從早期的 Hopfield 模型中的 Hebbian 對(duì)比學(xué)習(xí)工作到最近的生物學(xué)合理框架、塊式 BP 和對(duì)比表示學(xué)習(xí)。

受這一概念的啟發(fā)，為了解決基于 BP 的 PNN 訓(xùn)練的局限性，EPFL 等機(jī)構(gòu)的研究人員提出了一種簡(jiǎn)單且物理兼容的 PNN 架構(gòu)，并通過物理局部學(xué)習(xí) (PhyLL) 算法進(jìn)行了增強(qiáng)。

該方法能夠在本地對(duì)任意 PNN 進(jìn)行監(jiān)督和無監(jiān)督對(duì)比學(xué)習(xí)訓(xùn)練，而無需了解非線性物理層并訓(xùn)練數(shù)字孿生模型。在這種無 BP 方法中，通常由數(shù)字計(jì)算機(jī)執(zhí)行的標(biāo)準(zhǔn)后向傳遞被替換為通過物理系統(tǒng)的附加單個(gè)前向傳遞。

這種替代可以消除由于其他硬件感知框架中存在的數(shù)字孿生建模階段而產(chǎn)生的額外開銷，從而提高基于波的 PNN 訓(xùn)練階段的訓(xùn)練速度、功耗和內(nèi)存使用率。

圖：Acoustic-PNN。（來源：論文）

該方法即使在暴露于不可預(yù)測(cè)的外部擾動(dòng)的系統(tǒng)中，依然能保持穩(wěn)健性和適應(yīng)性。

圖：Deep PNN 對(duì)不可預(yù)測(cè)的外部擾動(dòng)的穩(wěn)健性。（來源：論文）

為了展示該方法的普遍性，研究人員使用三個(gè)基于波的系統(tǒng)進(jìn)行了實(shí)驗(yàn)元音和圖像分類，這三個(gè)系統(tǒng)在潛在的波現(xiàn)象和所涉及的非線性類型方面有所不同。

圖：Microwave-PNN。（來源：論文）

由于人工神經(jīng)網(wǎng)絡(luò)規(guī)模空前增長(zhǎng)，例如預(yù)計(jì)將不斷增加的大型語言模型（LLM），這些網(wǎng)絡(luò)的訓(xùn)練和推理階段的成本呈指數(shù)級(jí)增長(zhǎng)。

PNN 等專用硬件有可能大幅降低這些成本。之前 Anderson 團(tuán)隊(duì)曾經(jīng)預(yù)測(cè)，與未來大型 Transformer 模型的數(shù)字電子處理器相比，推理時(shí)間能效優(yōu)勢(shì)約為 8000 倍。EPFL 團(tuán)隊(duì)提出的訓(xùn)練方法可以作為訓(xùn)練這些光學(xué) LLMs 的可行候選方法，有可能提供顯著的能源效率和速度優(yōu)勢(shì)。

圖：Optics-PNN。（來源：論文）

利用光學(xué)實(shí)現(xiàn)大規(guī)模 LLM 仍然面臨一些挑戰(zhàn)，例如當(dāng)前的 SLM 容量?jī)H限于幾百萬個(gè)參數(shù)，遠(yuǎn)低于所需的數(shù)十億個(gè)參數(shù)。然而，實(shí)現(xiàn)十億參數(shù)光學(xué)架構(gòu)和節(jié)能 PNN 并不存在根本障礙。

《Science》雜志副主編 Yury Suleymanov 評(píng)價(jià)道：「該研究是優(yōu)化神經(jīng)網(wǎng)絡(luò)中的能源密集型訓(xùn)練步驟的重要一步，從而為現(xiàn)代人工智能系統(tǒng)提供更有效的解決方案。」

論文鏈接：https://www.science.org/doi/10.1126/science.adi8474