蛋白質(zhì)含有未知的氨基酸殘基，提取它們用于合成藥物肽可以創(chuàng)造具有獨(dú)特性質(zhì)的新結(jié)構(gòu)，從而推動(dòng)藥物開發(fā)。新型多肽藥物分子的計(jì)算機(jī)輔助設(shè)計(jì)可以解決傳統(tǒng)藥物發(fā)現(xiàn)過(guò)程中成本高、效率低的問(wèn)題。

通過(guò)生成式的深度學(xué)習(xí)模型，利用氨基酸殘基進(jìn)行多肽生成，解決了氨基酸序列的精確控制、特性修飾的定制化多肽以及大規(guī)模多肽合成等關(guān)鍵問(wèn)題。然而，以往的研究由于缺乏對(duì)氨基酸結(jié)構(gòu)連接關(guān)系的重視，在提高多肽藥物的生物活性和藥物相似性方面存在局限性。

2024年9月10日，中國(guó)海洋大學(xué)劉昊老師團(tuán)隊(duì)在Briefings in Bioinformatics上發(fā)表文章Reinforcement learning-driven exploration of peptide space: accelerating generation of drug-like peptides。

作者提出了一種基于圖注意力機(jī)制的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的多肽生成模型，稱為RLP（Reinforcement Learning for Peptides）。通過(guò)利用圖注意力機(jī)制的優(yōu)勢(shì)，該模型有效地捕獲了肽中氨基酸殘基之間的連接結(jié)構(gòu)。同時(shí)，利用強(qiáng)化學(xué)習(xí)在指導(dǎo)最優(yōu)序列搜索方面的優(yōu)勢(shì)，為肽設(shè)計(jì)和優(yōu)化提供了一種新的方法。該模型引入了具有實(shí)時(shí)反饋回路的演員-評(píng)論家（actor-critic，A2C）框架，實(shí)現(xiàn)屬性之間的動(dòng)態(tài)平衡，可以針對(duì)特定靶標(biāo)定制生成多肽。實(shí)驗(yàn)結(jié)果表明，RLP在一系列任務(wù)中超越了現(xiàn)有方法。

如圖1所示，本文提出了一種基于圖注意機(jī)制的強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)多肽生成模型。首先，該模型利用圖注意機(jī)制進(jìn)行特征提取，有效捕獲多肽中氨基酸殘基之間的連通性。隨后，將多維特征向量輸入到基于A2C的強(qiáng)化學(xué)習(xí)生成框架中，整合生物活性和ADMET特性優(yōu)化作為獎(jiǎng)勵(lì)機(jī)制，指導(dǎo)最優(yōu)肽序列的生成。

圖注意力網(wǎng)絡(luò)由兩個(gè)并行組件組成：圖注意力機(jī)制（GAT）和門控循環(huán)單元（GRU）。GAT負(fù)責(zé)構(gòu)建一個(gè)以氨基酸殘基為節(jié)點(diǎn)，它們之間的關(guān)系為邊的圖。在這個(gè)圖結(jié)構(gòu)中，GAT在提取關(guān)系特征方面表現(xiàn)出了出色的能力，成功地捕獲了肽中氨基酸殘基之間的連通性。另一方面，GRU擅長(zhǎng)提取序列中的依賴關(guān)系，得到多維特征。將GAT和GRU獲得的特征向量連接起來(lái)，得到編碼氨基酸殘基的多維特征向量。

作者采用自定義特征編碼方法，將氨基酸殘基的理化性質(zhì)直接編碼到GAT的節(jié)點(diǎn)特征中。這包括使用諸如疏水性指數(shù)、電荷狀態(tài)和分子量等參數(shù)作為輸入特征，使模型在處理節(jié)點(diǎn)時(shí)能夠考慮這些關(guān)鍵的生化信息。此外，對(duì)于注意力機(jī)制本身，作者修改了注意分?jǐn)?shù)的計(jì)算，以整合這些生化特性。具體來(lái)說(shuō)，作者采用了一種基于殘基對(duì)相互作用強(qiáng)度預(yù)測(cè)的多頭注意力機(jī)制，每個(gè)頭部關(guān)注一種特定類型的物理化學(xué)相互作用（如疏水相互作用、氫鍵能力等），并對(duì)這些相互作用的影響進(jìn)行加權(quán)。此外，作者調(diào)整了網(wǎng)絡(luò)的超參數(shù)，如注意力層的數(shù)量、每層頭的數(shù)量和學(xué)習(xí)率，以優(yōu)化模型學(xué)習(xí)肽結(jié)構(gòu)中復(fù)雜相互作用模式的能力。通過(guò)微調(diào)這些參數(shù)，作者提高了模型對(duì)特定生化環(huán)境的適應(yīng)性，從而提高了預(yù)測(cè)精度和模型的可解釋性。

GAT模型通過(guò)加權(quán)和聚合相鄰節(jié)點(diǎn)的特征來(lái)獲取信息。其注意力機(jī)制同時(shí)考慮相鄰節(jié)點(diǎn)和中心節(jié)點(diǎn)的特征，計(jì)算每個(gè)相鄰節(jié)點(diǎn)的重要性。多重注意頭的應(yīng)用使GAT能夠捕獲氨基酸殘基之間的各種關(guān)系，而多層堆疊有助于學(xué)習(xí)這些殘基之間更復(fù)雜的分層關(guān)系。

將圖關(guān)注網(wǎng)絡(luò)生成的氨基酸殘基多維特征向量輸入到基于A2C的強(qiáng)化學(xué)習(xí)生成框架中。在該框架中，行動(dòng)者網(wǎng)絡(luò)使用基于梯度的優(yōu)化技術(shù)不斷更新其策略，以優(yōu)先考慮具有更高價(jià)值的行為。同時(shí)，該獎(jiǎng)勵(lì)機(jī)制整合了生物活性和ADMET特性優(yōu)化，旨在指導(dǎo)最佳肽序列的生成。

A2C架構(gòu)中的演員網(wǎng)絡(luò)采用基于梯度的優(yōu)化技術(shù)來(lái)不斷更新策略參數(shù)。該過(guò)程的主要目標(biāo)是調(diào)整策略，以優(yōu)先考慮具有更高價(jià)值的行動(dòng)，本質(zhì)上確定替換哪些氨基酸殘基片段以最大化預(yù)期的長(zhǎng)期回報(bào)。通過(guò)迭代更新策略參數(shù)，演員網(wǎng)絡(luò)逐漸學(xué)會(huì)在多肽設(shè)計(jì)中制定考慮與期望藥物性質(zhì)相關(guān)的長(zhǎng)期獎(jiǎng)勵(lì)的策略，在探索和開發(fā)之間取得平衡。

在這個(gè)過(guò)程中，基于時(shí)間差（TD）誤差的評(píng)論家網(wǎng)絡(luò)對(duì)于估計(jì)當(dāng)前狀態(tài)的預(yù)期長(zhǎng)期回報(bào)十分重要。為了保證肽序列生成的高質(zhì)量，作者在評(píng)論家網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)獎(jiǎng)勵(lì)機(jī)制中增加了ADMET性質(zhì)評(píng)估和分子對(duì)接，后者用于引入生物活性約束。ADMET對(duì)肽分子的評(píng)估包括基于計(jì)算機(jī)的物理化學(xué)、藥代動(dòng)力學(xué)、吸收、分布、代謝、排泄和毒性特性的預(yù)測(cè)。這些預(yù)測(cè)方法依賴于基于屬性相關(guān)靶點(diǎn)的化學(xué)相似性和生物活性預(yù)測(cè)模型。所有ADMET相關(guān)參數(shù)的取值范圍主要基于現(xiàn)有已發(fā)表藥物的統(tǒng)計(jì)分布結(jié)果建立，并通過(guò)數(shù)據(jù)庫(kù)的自我訓(xùn)練進(jìn)一步細(xì)化。

為了評(píng)估化合物分子的ADMET特性，作者使用生物信息學(xué)工具ADMETLab 2.0進(jìn)行預(yù)測(cè)。同時(shí)，從DrugBank數(shù)據(jù)庫(kù)中提取公開可用的藥物分子數(shù)據(jù)，并使用ADMETLab 2.0計(jì)算這些藥物分子的關(guān)鍵ADMET性質(zhì)。此外，根據(jù)這些藥物分子的性質(zhì)值繪制密度直方圖，并統(tǒng)計(jì)確定每種性質(zhì)的最佳范圍值，以評(píng)估生成的分子的ADMET性質(zhì)。在生物活性預(yù)測(cè)方面，使用化學(xué)信息學(xué)工具Ledock，綜合考慮結(jié)合能和配體效率來(lái)評(píng)估生成的化合物分子的活性。最后，將統(tǒng)計(jì)結(jié)果得出的ADMET各特性的生物活性閾值和最佳范圍納入獎(jiǎng)勵(lì)機(jī)制，在分子生成過(guò)程中引導(dǎo)優(yōu)化這些最佳范圍，以生產(chǎn)出具有最佳特性的分子。

在成功生成分子的過(guò)程中，生物活性和ADMET性質(zhì)都發(fā)揮著同等重要的作用。在此基礎(chǔ)上，作者通過(guò)結(jié)合領(lǐng)域?qū)＜业慕ㄗh和文獻(xiàn)中報(bào)道的這些特性在藥物開發(fā)中的重要性排名，初步分配了ADMET特性的權(quán)重。例如，較高的初始權(quán)重分配給吸收和毒性等關(guān)鍵特性，而較低的初始權(quán)重分配給不那么關(guān)鍵的特性。為了保證最優(yōu)的模型性能，作者進(jìn)行了多次迭代實(shí)驗(yàn)，比較了模型在不同權(quán)重組合下的性能。最終，確定了最佳權(quán)重分配如下：吸收A=25%，分布D=20%，代謝M=20%，排泄E=15%，毒性T=20%。關(guān)鍵是平衡各種性質(zhì)，以確保藥物具有良好的生物利用度，適當(dāng)?shù)慕M織分布，合理的代謝和排泄途徑，以及最小的毒性。

通過(guò)在獎(jiǎng)勵(lì)函數(shù)中整合ADMET特性和與目標(biāo)蛋白的對(duì)接分?jǐn)?shù)，A2C強(qiáng)化學(xué)習(xí)算法可以同時(shí)優(yōu)化多肽設(shè)計(jì)中的類藥物特性和生物活性。該方法通過(guò)迭代更新A2C網(wǎng)絡(luò)，有效地在肽序列和構(gòu)象空間中導(dǎo)航，充分考慮與ADMET性質(zhì)和靶標(biāo)結(jié)合親和力相關(guān)的長(zhǎng)期獎(jiǎng)勵(lì)，從而確保藥物性質(zhì)的全面優(yōu)化。

作者將RLP與一些具有代表性的方法進(jìn)行了比較，如表1所示。為了評(píng)估該方法的有效性，使用有效性、新穎性、內(nèi)部散度（Int-div）、骨架相似性（Scaf-sim）這四個(gè)指標(biāo)，加粗的數(shù)字說(shuō)明表現(xiàn)最好。RLP（在表1中標(biāo)記為Ours）在四個(gè)指標(biāo)中的兩個(gè)上取得了最佳結(jié)果。

作者設(shè)計(jì)了消融實(shí)驗(yàn)來(lái)驗(yàn)證模型設(shè)計(jì)的有效性。如表2所示，相比于只使用ADMET或生物活性的模型而言，結(jié)合ADMET特性和生物活性優(yōu)化的模型顯著提高了有效度，這種改善可能是由于生物活性確保了分子可以有效地與靶標(biāo)相互作用，而ADMET特性確保了良好的吸收、分布、代謝和排泄特性，以及低體內(nèi)毒性。這些因素的共同作用使分子的生成具有良好的體外和體內(nèi)性能。此外，骨架相似度更為理想。這表明，同時(shí)考慮ADMET特性和生物活性優(yōu)化使生成的分子更有可能具有已知的良好ADMET和生物活性特性的骨架。

作者還進(jìn)行了案例分析。本研究使用Maestro（3.5版）進(jìn)行了LigPrep對(duì)接實(shí)驗(yàn)。從最后10個(gè)輪次產(chǎn)生的肽結(jié)構(gòu)經(jīng)歷了化學(xué)標(biāo)準(zhǔn)化。這包括模擬pH值范圍-2.0至7.0的電離，以模擬生物系統(tǒng)中的酸性和堿性條件，同時(shí)脫鹽和產(chǎn)生互變異構(gòu)體，以確保肽分析代表它們?cè)谏矬w中的真實(shí)狀態(tài)。通過(guò)這些過(guò)程，保留了肽的特定手性，這對(duì)于理解它們與靶標(biāo)的結(jié)合模式至關(guān)重要。隨后，利用OPLS 2005力場(chǎng)對(duì)多肽進(jìn)行優(yōu)化，準(zhǔn)確模擬了多肽的三維結(jié)構(gòu)和電子分布。這為后續(xù)的對(duì)接實(shí)驗(yàn)提供了精確的初始模型。