北京時間 5 月 14 日深夜,谷歌 DeepMind 重磅發(fā)布了一款名為 AlphaEvolve 的編程 AI Agent,其將大語言模型的強大代碼生成能力與自動評估(automated evaluators)相結合,能夠針對數(shù)學和現(xiàn)代計算中的一些基礎性和復雜問題進行算法的設計與優(yōu)化。
據(jù)官方介紹,AlphaEvolve 提升了谷歌數(shù)據(jù)中心、芯片設計以及 AI 訓練流程的效率,還幫助設計了更快的矩陣乘法算法,并找到了一些數(shù)學開放問題的新解,展現(xiàn)出在多個領域廣泛應用的巨大潛力。
具體而言,AlphaEvolve 利用 Gemini 系列中的多個最新大模型,其工作流程包括從語言模型生成算法代碼到通過自動化評估器對這些代碼進行驗證和評分,最后在算法數(shù)據(jù)庫中實現(xiàn)進化機制,不斷優(yōu)化生成的方案。
上圖提示了采樣器如何首先為語言模型構建提示,隨后語言模型生成新的程序。這些程序由評估器進行評估,并存儲在程序數(shù)據(jù)庫中。該數(shù)據(jù)庫實現(xiàn)了一種進化算法,用于決定哪些程序將被用于未來的提示生成
在實際應用中,**AlphaEvolve 能夠超越單一函數(shù),演化出整個代碼庫并開發(fā)更為復雜的算法。**它通過 Gemini Flash 模型拓寬解決問題的思路范圍,而 Gemini Pro 模型則提供了深入的見解,兩者協(xié)同工作,提出了多個計算機程序,實現(xiàn)了算法解決方案的編碼化。該系統(tǒng)的工作流程包括從語言模型中自動生成新的程序,然后由評估器對其性能進行客觀和量化的評估,從而篩選出最優(yōu)質和高效的代碼。
據(jù)官方介紹,**AlphaEvolve 發(fā)現(xiàn)了一種簡單卻非常高效的啟發(fā)式方法,幫助谷歌大規(guī)模集群管理系統(tǒng) Borg 更高效地調度谷歌龐大的數(shù)據(jù)中心。**該方案已投入生產使用超過一年,平均持續(xù)恢復 0.7% 的全球計算資源。
此外,AlphaEvolve 還提出了一種新的 Verilog 重寫方法,有效去除了矩陣乘法運算電路中的不必要位數(shù)。這一改進已被整合到了谷歌即將推出的張量處理單元(TPU)中,能夠提升芯片性能。
在模型訓練方面,AlphaEvolve 優(yōu)化了 Gemini 架構中的矩陣乘法操作,將其速度提高了 23%,縮短了 1% 的訓練時間。此外,它顯著減少了內核優(yōu)化所需的工程時間,從幾周縮短到了幾天,極大地提高了研究人員的生產力。
值得一提的是,AlphaEvolve 還展示了在數(shù)學問題上的強大能力。例如,在矩陣乘法算法的發(fā)現(xiàn)上,它找到了一個僅需 48 次標量乘法即可完成 4x4 復數(shù)矩陣乘法的新算法,優(yōu)于 Strassen 在 1969 年提出的舊算法。同時,AlphaEvolve 還應用于超過 50 個數(shù)學領域的開放問題,并在近 75% 的案例中重新發(fā)現(xiàn)了最先進的解決方案,而在 20% 的案例中,它更是改進了已知的最佳方案,如提高了「親吻數(shù)問題(kissing number problem)」的解決效率,這是一個困擾數(shù)學家超 300 年的難題。
總結來看,AlphaEvolve 的應用范圍廣泛,不僅限于數(shù)學和計算領域。未來,谷歌計劃與 People + AI Research 團隊合作,開發(fā)友好用戶界面,并通過 Early Access Program 向學術用戶開放。長遠來看,AlphaEvolve 的潛力在于它可以應用于任何可以通過算法描述并自動驗證的問題,有望在材料科學、藥物發(fā)現(xiàn)、可持續(xù)性等領域取得更多突破。