來源：機器之心

過去三年，DeepMind 和瑞士洛桑聯(lián)邦理工學(xué)院 EPFL 一直在進行一個神秘的項目：用強化學(xué)習(xí)控制核聚變反應(yīng)堆內(nèi)過熱的等離子體，如今它已宣告成功。

DeepMind 研究科學(xué)家 David Pfau 在論文發(fā)表后感嘆道：「為了分享這個時刻我已經(jīng)等了很久，這是第一次在核聚變研究設(shè)備上進行深度強化學(xué)習(xí)的演示！」

可控核聚變、強人工智能、腦機接口是人類 科技 發(fā)展的幾個重要方向，有關(guān)它們何時可以實現(xiàn)，科學(xué)家們的說法永遠是「還需幾十年」——面臨的挑戰(zhàn)太多，手頭的方法卻很有限。

那么用人工智能去控制核聚變，是不是一個有前途的方向？這個問題可能需要由提出 AlphaGo 的 DeepMind 來回答了。

最近，EPFL 和 DeepMind 使用深度強化學(xué)習(xí)控制托卡馬克裝置等離子體的研究登上了《自然》雜志。

論文地址：https://www.nature.com/articles/s41586-021-04301-9

首先，我們來思考一個問題：為什么要用人工智能控制核聚變？

托卡馬克是一種用于容納核聚變反應(yīng)的環(huán)形容器，其內(nèi)部呈現(xiàn)出一種特殊的混亂狀態(tài)。氫原子在極高的溫度下被擠壓在一起，產(chǎn)生比太陽表面還熱的、旋轉(zhuǎn)的、翻滾的等離子體。找到控制和限制等離子體的方法將是釋放核聚變潛力的關(guān)鍵，而后者被認為是未來幾十年清潔能源的源泉。

在這一點上，科學(xué)原理似乎是說得通的，剩下的就是工程挑戰(zhàn)。參與該研究的瑞士等離子體中心（SPC）主任 Ambrogio Fasoli 表示：「我們需要能夠加熱這個裝置，并保持足夠長的時間，以便我們從中吸取能量。」

在同樣由聚變驅(qū)動的恒星中，僅依靠引力質(zhì)量就足以將氫原子拉到一起并克服它們的相反電荷。在地球上，科學(xué)家們改為使用強大的磁線圈來限制核聚變反應(yīng)，將其推到所需的位置。這些線圈必須仔細控制，以防止等離子體接觸容器本身：這會損壞容器壁并減慢聚變反應(yīng)。

但每次研究人員想要改變等離子體的配置并嘗試不同的形狀，以產(chǎn)生更多的能量或更純凈的等離子體時，都需要大量的工程和設(shè)計工作。傳統(tǒng)的系統(tǒng)是由計算機控制的，基于模型和模擬，但 Fasoli 表示傳統(tǒng)方法「復(fù)雜且不一定能起到優(yōu)化的作用」。

DeepMind 控制團隊負責(zé)人 Martin Riedmiller 表示：「人工智能，特別是強化學(xué)習(xí)，特別適合解決托卡馬克中控制等離子體的復(fù)雜問題。」DeepMind 在論文中詳細介紹了所提的可以自主控制等離子體的 AI。

技術(shù)概覽

DeepMind 提出的模型架構(gòu)如下圖所示，該方法具有三個階段：

第一階段：設(shè)計者為實驗指定目標(biāo)，可能伴隨著隨時間變化的控制目標(biāo)；

第二階段：深度 RL 算法與托卡馬克模擬器交互，以找到接近最優(yōu)的控制策略來滿足指定目標(biāo)；

第三階段：以神經(jīng)網(wǎng)絡(luò)表示的控制策略直接在托卡馬克硬件上實時運行（零樣本）。

圖 1：控制器設(shè)計架構(gòu)（controller design architecture）的各組件示意圖。

在第一階段，實驗?zāi)繕?biāo)由一組目標(biāo)指定，這些目標(biāo)包含不同的期望特性。特性范圍包括位置和等離子體電流的基本穩(wěn)定，以及多個時變目標(biāo)的復(fù)雜組合。然后，這些目標(biāo)被組合成一個獎勵函數(shù)，在每個時間步驟中為狀態(tài)分配一個標(biāo)量質(zhì)量度量。該獎勵函數(shù)還懲罰控制策略，讓其不會達到終端狀態(tài)。至關(guān)重要的是，精心設(shè)計的獎勵函數(shù)將被最低限度地指定，從而為學(xué)習(xí)算法提供最大的靈活性以達到預(yù)期的結(jié)果。

在第二階段，高性能 RL 算法通過與環(huán)境交互來收集數(shù)據(jù)并找到控制策略，如圖 1a、b 所示。該研究使用的模擬器具有足夠的物理保真度來描述等離子體形狀和電流的演變，同時保持足夠低的計算成本來學(xué)習(xí)。具體來說，該研究基于自由邊界等離子體演化（free-boundary plasma-evolution ）模型，對等離子體狀態(tài)在極向場線圈電壓的影響下的演化進行建模。

RL 算法使用收集到的模擬器數(shù)據(jù)來找到關(guān)于指定獎勵函數(shù)的最優(yōu)策略。由于演化等離子體狀態(tài)的計算要求，模擬器的數(shù)據(jù)速率明顯低于典型 RL 環(huán)境的數(shù)據(jù)速率。該研究通過最大后驗策略優(yōu)化 ( MPO ) 來克服數(shù)據(jù)不足問題。MPO 支持跨分布式并行流的數(shù)據(jù)收集，并以高效的方式進行學(xué)習(xí)。

在第三階段，控制策略與相關(guān)的實驗控制目標(biāo)綁定到一個可執(zhí)行文件中，使用量身定制的編譯器（10 kHz 實時控制），最大限度地減少依賴性并消除不必要的計算。這個可執(zhí)行文件是由托卡馬克配置變量（TCV）控制框架加載的（圖 1d）。每個實驗都從標(biāo)準(zhǔn)的等離子體形成程序（plasma-formation procedures）開始，其中傳統(tǒng)控制器維持等離子體的位置和總電流。在預(yù)定時間里，稱為「handover」，控制切換到控制策略，然后啟動 19 個 TCV 控制線圈，將等離子體形狀和電流轉(zhuǎn)換為所需的目標(biāo)。訓(xùn)練完成后將不會進一步調(diào)整網(wǎng)絡(luò)權(quán)值，換句話說，從模擬到硬件實現(xiàn)了零樣本遷移。

基本功能演示

該研究在 TCV 實驗中展示了所提架構(gòu)在控制目標(biāo)上的能力。首先他們展示了對等離子體平衡基本質(zhì)量的精確控制。控制策略性能如圖 2 所示。所有任務(wù)都成功執(zhí)行，跟蹤精度低于期望的閾值。結(jié)果表明 RL 體系架構(gòu)能夠在放電實驗的所有相關(guān)階段進行精確的等離子體控制。

圖 2：等離子體電流、垂直穩(wěn)定性、位置與形狀控制的演示。

控制演示

接下來，該研究展示了所提架構(gòu)為科學(xué)研究生成復(fù)雜配置的能力。結(jié)果如圖 3 所示：

圖 3 控制演示。

全新多域等離子體演示

最后展示了架構(gòu)在探索全新等離子配置方面的強大功能。DeepMind 測試了「液滴」（droplets）的控制，這是一種在容器內(nèi)部同時存在兩個獨立等離子體的配置。通過提出的方法，DeepMind 簡單地調(diào)整了模擬切換狀態(tài)，以考慮來自單軸等離子體的不同切換條件，并定義一個獎勵函數(shù)以保持每個液滴組件的位置穩(wěn)定，同時增加域等離子體電流。

圖 4：整個 200 毫米控制窗口內(nèi)對 TCV 上兩個獨立液滴的持續(xù)控制演示。

未來展望

總而言之，隨著聚變反應(yīng)堆變得越來越大，與 DeepMind 展開合作或許是最關(guān)鍵的。盡管物理學(xué)家已經(jīng)很好地掌握了如何通過傳統(tǒng)方法控制小型托卡馬克中的等離子體，但隨著科學(xué)家們嘗試令核電站規(guī)模的版本可行，挑戰(zhàn)只會更多。該領(lǐng)域正取得緩慢但穩(wěn)定的進展。

上周，位于英國牛津郡的歐洲聯(lián)合環(huán)狀反應(yīng)堆（JET）項目取得了突破，創(chuàng)造了從聚變實驗中提取能量的新紀錄，在 5 秒時間內(nèi)產(chǎn)生了 59 兆焦耳的能量。與此同時，位于法國的國際熱核聚變實驗反應(yīng)堆（ITER）國際合作項目正在建設(shè)當(dāng)中，預(yù)計將于 2025 年啟動并成為世界上最大的實驗性聚變反應(yīng)堆。

圣地亞哥能源研究中心的副研究科學(xué)家 Dmitri Orlov 表示，「托卡馬克裝置越復(fù)雜，性能越高，就越需要通過越來越高的可靠性和準(zhǔn)確性來控制更多數(shù)量。」AI 控制的托卡馬克裝置可以通過優(yōu)化，以控制熱量從反應(yīng)中轉(zhuǎn)移到容器壁上，并防止破壞性的「等離子體不穩(wěn)定性」。反應(yīng)堆本身可以重新設(shè)計，以利用強化學(xué)習(xí)所提供的更嚴格控制。

最終，Ambrogio Fasoli 認為，與 DeepMind 的合作可以讓研究人員突破界限，加速通往聚變能量的漫長旅程。人工智能將賦能我們探索人類無法探索的東西，因為我們可以使用自己不敢冒險的控制系統(tǒng)來達到目標(biāo)。「如果我們確定自己有一個控制系統(tǒng)，讓我們接近極限但不會超出極限，則實際上可以用來探索那些不存在的可能性。」