將 ScienceAI 設(shè)為星標(biāo)
第一時(shí)間掌握
新鮮的 AI for Science 資訊
編輯 | X
近年來(lái)，自然語(yǔ)言處理（NLP）模型，特別是 Transformer 模型，已應(yīng)用于像 SMILES 這樣的分子結(jié)構(gòu)的文字表示。然而，關(guān)于這些模型如何理解化學(xué)結(jié)構(gòu)的研究很少。
為了解決這個(gè)黑匣子，東京大學(xué)的研究人員使用代表性的 NLP 模型 Transformer 研究了 SMILES 的學(xué)習(xí)進(jìn)度與化學(xué)結(jié)構(gòu)之間的關(guān)系。研究表明，雖然 Transformer 可以快速學(xué)習(xí)分子的部分結(jié)構(gòu)，但它需要擴(kuò)展訓(xùn)練才能理解整體結(jié)構(gòu)。
一致的是，從訓(xùn)練開(kāi)始到結(jié)束，使用不同學(xué)習(xí)步驟的模型生成的描述符進(jìn)行分子特性預(yù)測(cè)的準(zhǔn)確性是相似的。此外，發(fā)現(xiàn) Transformer 需要特別長(zhǎng)時(shí)間的訓(xùn)練來(lái)學(xué)習(xí)手性，并且有時(shí)會(huì)因?qū)τ丑w的誤解而停滯不前，性能低下。這些發(fā)現(xiàn)有望加深對(duì)化學(xué)領(lǐng)域 NLP 模型的理解。
該研究以「Difficulty in chirality recognition for Transformer architectures learning chemical structures from string representations」為題，于 2024 年 2 月 16 日發(fā)布在《Nature Communications》上。
論文鏈接：https://www.nature.com/articles/s41467-024-45102-8
機(jī)器學(xué)習(xí)的最新進(jìn)展影響了化學(xué)領(lǐng)域的各種研究，例如分子性質(zhì)預(yù)測(cè)、能量計(jì)算和結(jié)構(gòu)生成。
要在化學(xué)中利用機(jī)器學(xué)習(xí)方法，我們首先需要讓計(jì)算機(jī)識(shí)別化學(xué)結(jié)構(gòu)。最流行的方法之一是使用化學(xué)語(yǔ)言模型，這是一種自然語(yǔ)言處理 (NLP) 模型，其中包含表示化學(xué)結(jié)構(gòu)的字符串，例如 SMILES。
很少有人研究化學(xué)語(yǔ)言模型如何理解極其多樣化的分子結(jié)構(gòu)，以及如何將化學(xué)結(jié)構(gòu)和描述符聯(lián)系起來(lái)。
在此，東京大學(xué)的研究人員通過(guò)比較模型及其描述符在訓(xùn)練的各個(gè)步驟中的性能來(lái)解決這個(gè)黑匣子，這闡明了哪些類(lèi)型的分子特征可以輕松地納入描述符中，哪些類(lèi)型則不能。特別是，專(zhuān)注于最流行的 NLP 模型 Transformer，這是當(dāng)今用于描述符生成和其他化學(xué)語(yǔ)言任務(wù)的良好利用的架構(gòu)。
具體來(lái)說(shuō)，研究人員訓(xùn)練一個(gè) Transformer 模型來(lái)翻譯 SMILES 字符串，然后比較不同訓(xùn)練步驟中預(yù)測(cè)與目標(biāo)之間分子指紋的完美一致性和相似性。還利用模型在訓(xùn)練的不同步驟生成的描述符進(jìn)行了 6 個(gè)分子性質(zhì)預(yù)測(cè)任務(wù)，并研究了哪些類(lèi)型的任務(wù)容易解決。
研究進(jìn)一步發(fā)現(xiàn)，Transformer 的翻譯準(zhǔn)確率有時(shí)會(huì)在較低水平上停滯一段時(shí)間，然后突然飆升。為了弄清楚其原因，研究人員比較了 SMILES 每個(gè)字符的翻譯準(zhǔn)確性。最后，尋找并找到了防止停滯和穩(wěn)定學(xué)習(xí)的方法。
1、為了了解 Transformer 模型如何學(xué)習(xí)不同的化學(xué)結(jié)構(gòu)，研究人員首先通過(guò)比較不同訓(xùn)練步驟的模型來(lái)研究學(xué)習(xí)過(guò)程與模型性能之間的關(guān)系。在 Transformer 模型中，在訓(xùn)練的早期階段就可以識(shí)別分子的部分結(jié)構(gòu)，而識(shí)別整體結(jié)構(gòu)則需要更多的訓(xùn)練。結(jié)合之前關(guān)于 RNN 模型的研究，這一發(fā)現(xiàn)可以推廣到使用 SMILES 字符串的各種 NLP 模型。因此，使 Transformer 模型能夠?qū)⒄w結(jié)構(gòu)信息作為其結(jié)構(gòu)中的輔助任務(wù)來(lái)引用，將有助于改進(jìn)描述符生成模型。
圖 1：學(xué)習(xí)過(guò)程中 Transformer 的部分/整體結(jié)構(gòu)識(shí)別。（來(lái)源：論文）
2、對(duì)于分子性質(zhì)預(yù)測(cè)，Transformer 模型生成的描述符的性能在訓(xùn)練之前可能已經(jīng)飽和，并且在后續(xù)的訓(xùn)練中沒(méi)有得到改善。這表明初始模型的描述符已經(jīng)包含了足夠的下游任務(wù)信息，這可能是分子的部分結(jié)構(gòu)。另一方面，也有可能下游任務(wù)，如分子的性質(zhì)預(yù)測(cè)，對(duì)于 Transformer 來(lái)說(shuō)太容易了，不適合評(píng)估基于 Transformer 的描述符生成方法。
圖 2：描述符在分子性質(zhì)預(yù)測(cè)中的性能。（來(lái)源：論文）
3、與其他因素（例如整體結(jié)構(gòu)或其他部分結(jié)構(gòu)）相比，Transformer 在手性方面的翻譯性能提升相對(duì)較慢，并且模型有時(shí)會(huì)長(zhǎng)時(shí)間對(duì)手性產(chǎn)生混淆，導(dǎo)致整體結(jié)構(gòu)識(shí)別持續(xù)停滯。這表明，向模型「教授」手性的額外結(jié)構(gòu)或任務(wù)可以改善模型及其描述符的性能。
圖 3：不同初始權(quán)重下完美精度的停滯。（來(lái)源：論文）
圖 4：Transformer 的手性學(xué)習(xí)困難。（來(lái)源：論文）
4、引入pre-LN 結(jié)構(gòu)可以加速并穩(wěn)定學(xué)習(xí)，包括手性。
圖 5：通過(guò)引入 pre-LN 改善停滯和手性識(shí)別。（來(lái)源：論文）
最后，為了闡明關(guān)于 Transformer 的研究結(jié)果的普遍性，研究人員使用另一種分子表達(dá)來(lái)訓(xùn)練模型。使用 InChI 代替 SMILES，這是一些化學(xué)語(yǔ)言模型化學(xué)信息學(xué)研究中采用的分子的替代文字表示。
圖 6：通過(guò) InChI-to-SMILES 翻譯訓(xùn)練的 Transformer 模型的實(shí)驗(yàn)。（來(lái)源：論文）
結(jié)果顯示，與完全精度和損失函數(shù)相比，部分精度和指紋相似度早期飽和，表明在 InChI 到 SMILES 翻譯中，部分結(jié)構(gòu)的識(shí)別比整體結(jié)構(gòu)更容易。下游任務(wù)的性能并沒(méi)有通過(guò)訓(xùn)練得到改善。
結(jié)果還表明，InChI 到 SMILES 的翻譯確實(shí)出現(xiàn)了停滯，區(qū)分對(duì)映體的混亂導(dǎo)致了停滯。此外，pre-LN 的引入緩解了停滯現(xiàn)象。
這些發(fā)現(xiàn)有助于澄清化學(xué)語(yǔ)言模型中的黑箱，并有望激活這一領(lǐng)域。研究這些發(fā)現(xiàn)是否適用于具有監(jiān)督性質(zhì)的其他應(yīng)用（例如結(jié)構(gòu)生成和端到端屬性預(yù)測(cè)）的化學(xué)語(yǔ)言模型是一項(xiàng)有趣的未來(lái)任務(wù)。
由于 NLP 是深度學(xué)習(xí)中最先進(jìn)的領(lǐng)域之一，化學(xué)語(yǔ)言模型將得到越來(lái)越多的發(fā)展。另一方面，與化學(xué)領(lǐng)域流行的神經(jīng)網(wǎng)絡(luò)模型（如圖神經(jīng)網(wǎng)絡(luò)）相比，語(yǔ)言模型與化學(xué)結(jié)構(gòu)之間的關(guān)系存在許多未知因素。
對(duì) NLP 模型與化學(xué)結(jié)構(gòu)之間關(guān)系的進(jìn)一步基礎(chǔ)研究，有望進(jìn)一步澄清 NLP 模型如何進(jìn)化和識(shí)別化學(xué)結(jié)構(gòu)的黑盒子，從而促進(jìn)化學(xué)中各種任務(wù)的化學(xué)語(yǔ)言模型的發(fā)展和性能的提高。
人工智能 × [ 生物 神經(jīng)科學(xué) 數(shù)學(xué) 物理 化學(xué) 材料 ]
「ScienceAI」關(guān)注人工智能與其他前沿技術(shù)及基礎(chǔ)科學(xué)的交叉研究與融合發(fā)展。
歡迎關(guān)注標(biāo)星，并點(diǎn)擊右下角點(diǎn)贊和在看。
點(diǎn)擊閱讀原文，加入專(zhuān)業(yè)從業(yè)者社區(qū)，以獲得更多交流合作機(jī)會(huì)及服務(wù)。
原創(chuàng)文章，作者：計(jì)算搬磚工程師，如若轉(zhuǎn)載，請(qǐng)注明來(lái)源華算科技，注明出處：http://www.xiubac.cn/index.php/2024/02/26/efb62573a3/
-透明背底.png)
