時(shí)空動(dòng)力學(xué)（Spatiotemporal dynamics）在自然界中無處不在。比如，反應(yīng)擴(kuò)散過程表現(xiàn)出有趣的現(xiàn)象，在化學(xué)、生物學(xué)、地質(zhì)學(xué)、物理學(xué)和生態(tài)學(xué)等許多學(xué)科中都很常見。
對復(fù)雜的時(shí)空動(dòng)力學(xué)系統(tǒng)進(jìn)行建模，在很大程度上依賴于找到潛在的偏微分方程（PDE）。然而，由于先驗(yàn)知識不足且缺乏用于描述系統(tǒng)變量非線性過程的explicit PDE 公式，在許多情況下預(yù)測這些系統(tǒng)的演化仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。
在此，中國科學(xué)院大學(xué)、中國人民大學(xué)、東北大學(xué)（美國）和 MIT 的研究團(tuán)隊(duì)，提出了一種新的深度學(xué)習(xí)框架——PeRCNN，該框架在循環(huán)卷積神經(jīng)網(wǎng)絡(luò)中強(qiáng)制編碼給定的物理結(jié)構(gòu)，來促進(jìn)稀疏數(shù)據(jù)體系中時(shí)空動(dòng)力學(xué)的學(xué)習(xí)。通過大量的數(shù)值實(shí)驗(yàn)展示了所提出的方法如何應(yīng)用于有關(guān)反應(yīng)擴(kuò)散過程和其他 PDE 系統(tǒng)的各種問題，包括正向和逆向分析、數(shù)據(jù)驅(qū)動(dòng)建模和 PDE 的發(fā)現(xiàn)。研究發(fā)現(xiàn)該物理編碼機(jī)器學(xué)習(xí)方法表現(xiàn)出高精度、穩(wěn)健性、可解釋性和泛化性。
該研究以「Encoding physics to learn reaction–diffusion processes」為題，于 2023 年 7 月 17 日發(fā)布在《Nature Machine Intelligence》上。
論文鏈接：https://www.nature.com/articles/s42256-023-00685-7
研究背景
通過擴(kuò)散和反應(yīng)可以揭示圖靈圖案的自主形成機(jī)制。像許多其他系統(tǒng)一樣，理解其復(fù)雜的時(shí)空動(dòng)力學(xué)（受固有 PDE 控制）是一項(xiàng)中心任務(wù)。然而，許多未充分探索的系統(tǒng)的閉式控制方程中的原理定律仍然不確定或部分未知。機(jī)器學(xué)習(xí)以數(shù)據(jù)驅(qū)動(dòng)的方式為科學(xué)發(fā)現(xiàn)上述系統(tǒng)開辟了新的途徑。
最近，機(jī)器學(xué)習(xí)方法推動(dòng)了數(shù)據(jù)驅(qū)動(dòng)的科學(xué)計(jì)算的復(fù)興。這很大程度上歸功于深度學(xué)習(xí)模型能夠從豐富的標(biāo)記數(shù)據(jù)中自動(dòng)學(xué)習(xí)變量之間的非線性映射。然而，植根于深度學(xué)習(xí)的純數(shù)據(jù)驅(qū)動(dòng)方法通常從大數(shù)據(jù)中學(xué)習(xí)表示并高度依賴大數(shù)據(jù)，這在大多數(shù)科學(xué)問題中往往是不夠的。所得模型通常無法滿足物理約束，其泛化性也無法得到保證。為了解決這個(gè)問題，基于物理的神經(jīng)網(wǎng)絡(luò)（PINN）利用人們對基礎(chǔ)物理學(xué)的先驗(yàn)知識來實(shí)現(xiàn)小數(shù)據(jù)狀態(tài)下的學(xué)習(xí)，成為了一種主要研究范式。
PINN 在廣泛的科學(xué)應(yīng)用中顯示出有效性。特別是，該范式已被證明可以有效地模擬各種物理系統(tǒng)。然而，占主導(dǎo)地位的物理信息學(xué)習(xí)模型 PINN 通常代表一種連續(xù)學(xué)習(xí)范式，因?yàn)樗捎萌B接神經(jīng)網(wǎng)絡(luò) (FCNN) 來連續(xù)逼近物理系統(tǒng)的解決方案。由此產(chǎn)生的系統(tǒng)預(yù)測的連續(xù)表示帶來了一些限制。
與連續(xù)學(xué)習(xí)模型相比，離散學(xué)習(xí)方法具有將初始條件（IC）和邊界條件（BC）以及不完整的 PDE 結(jié)構(gòu)硬編碼到學(xué)習(xí)模型中的明顯優(yōu)勢。即使沒有任何標(biāo)記數(shù)據(jù)，這種做法也可以避免優(yōu)化的不適定性。
有效、可解釋和泛化的離散學(xué)習(xí)范式
因此，研究人員將建立一種有效、可解釋和泛化的離散學(xué)習(xí)范式，可用于預(yù)測非線性物理系統(tǒng)，這仍然是科學(xué)機(jī)器學(xué)習(xí)中的一個(gè)重大挑戰(zhàn)。
為此，研究人員提出了物理編碼模型在網(wǎng)絡(luò)架構(gòu)中對先驗(yàn)物理知識進(jìn)行編碼，這與通過物理信息學(xué)習(xí)中常見的懲罰損失函數(shù)來「教」物理模型形成鮮明對比。具體來說，該模型有以下幾個(gè)主要特點(diǎn)：
（1）與利用 FCNN 作為解的連續(xù)逼近器的 PINN 主流方法相比，物理編碼模型是離散的（即，解是基于空間網(wǎng)格的并在離散時(shí)間步上定義），并將給定的物理結(jié)構(gòu)硬編碼到網(wǎng)絡(luò)架構(gòu)中。
（2）該模型采用獨(dú)特的卷積網(wǎng)絡(luò)（即 Π-block）來捕獲系統(tǒng)的空間模式，同時(shí)由循環(huán)單元執(zhí)行時(shí)間推進(jìn)。這種獨(dú)特的網(wǎng)絡(luò)已經(jīng)被證明（通過數(shù)學(xué)證明和數(shù)值實(shí)驗(yàn)）可以提高其非線性時(shí)空動(dòng)力學(xué)模型的表達(dá)能力。
（3）由于時(shí)間離散化，該網(wǎng)絡(luò)能夠結(jié)合眾所周知的數(shù)值時(shí)間積分方法（例如，前向歐拉法、龍格-庫塔法）將不完全偏微分方程編碼到網(wǎng)絡(luò)架構(gòu)中。
在該研究中，研究人員通過將所提出的網(wǎng)絡(luò)架構(gòu)應(yīng)用于時(shí)空動(dòng)力學(xué)科學(xué)建模（例如反應(yīng)擴(kuò)散過程）中的各種任務(wù)來展示其功能。
所提出的網(wǎng)絡(luò)，即 PerRCNN。該網(wǎng)絡(luò)的架構(gòu)由兩個(gè)主要組件組成：一個(gè)完全卷積網(wǎng)絡(luò)作為 ISG 和一個(gè)用于循環(huán)計(jì)算的稱為 Π-block（product）的新型卷積塊。
圖 1：PerRCNN 的架構(gòu)示意圖。（來源：論文）
由于學(xué)習(xí)模型的離散化方案，可以將系統(tǒng)的先驗(yàn)物理知識編碼到網(wǎng)絡(luò)架構(gòu)中，這有助于提出適定的優(yōu)化問題。給定 PDE 中的一些現(xiàn)有項(xiàng)，可以通過創(chuàng)建一個(gè)快捷連接（即基于物理的 FD 卷積連接）將這些項(xiàng)編碼到網(wǎng)絡(luò)中。這個(gè)基于物理的卷積層中的卷積核將使用相應(yīng)的 FD 模板進(jìn)行固定，以解釋已知項(xiàng)。
這種編碼機(jī)制的主要優(yōu)點(diǎn)是能夠在學(xué)習(xí)中利用不完整的偏微分方程。在數(shù)值示例中，證明了這種 highway 連接可以加快訓(xùn)練速度并顯著提高模型推理精度。簡而言之，基于物理的卷積連接是為了解釋已知的物理而構(gòu)建的，而Π-block 則是為了學(xué)習(xí)互補(bǔ)的未知?jiǎng)恿W(xué)而設(shè)計(jì)的。
除了不完全 PDE 之外，邊界條件也可以被編碼到學(xué)習(xí)模型中。受 FD 方法思想的啟發(fā)，研究人員將基于物理的填充（padding）應(yīng)用于每個(gè)時(shí)間步的模型預(yù)測。
研究人員提出一種新穎的深度學(xué)習(xí)架構(gòu) PeRCNN，用于基于稀疏和噪聲數(shù)據(jù)的非線性時(shí)空動(dòng)力系統(tǒng)的建模和發(fā)現(xiàn)。
盡管 PeRCNN 在復(fù)雜系統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)建模方面顯示出良好的前景，但由于離散系統(tǒng)的高維性，它受到計(jì)算瓶頸的限制，特別是當(dāng)涉及到長期演化的大型 3D 空間域中的系統(tǒng)時(shí)。然而，這個(gè)問題將通過時(shí)間批處理和多圖形處理單元訓(xùn)練來解決。
此外，當(dāng)前模型植根于標(biāo)準(zhǔn)卷積運(yùn)算，這限制了其對任意計(jì)算幾何形狀的不規(guī)則網(wǎng)格的適用性。這個(gè)問題可以通過在網(wǎng)絡(luò)架構(gòu)中引入圖卷積來解決。
最后，由于 PerRCNN 網(wǎng)絡(luò)是基于底層控制偏微分方程具有多項(xiàng)式形式的假設(shè)而設(shè)計(jì)的，因此它在建模獨(dú)特的時(shí)空動(dòng)力學(xué)方面可能能力較差或過于冗余，其控制偏微分方程是簡約的，但涉及其他高級符號運(yùn)算符，例如除法、sin、cos、exp、tan、sinh、log 等等。盡管 PeRCNN 在數(shù)據(jù)驅(qū)動(dòng)的非多項(xiàng)式項(xiàng) PDE 系統(tǒng)建模中取得了成功，但如何設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，正確地將有限數(shù)量的數(shù)學(xué)算子作為符號激活函數(shù)，以提高表示能力仍然是一個(gè)懸而未決的問題。在未來的研究中，研究人員將系統(tǒng)地解決這些問題。
原創(chuàng)文章，作者：計(jì)算搬磚工程師，如若轉(zhuǎn)載，請注明來源華算科技，注明出處：http://www.xiubac.cn/index.php/2024/02/06/87f7d69f49/
-透明背底.png)
