人類語言和思維的力量源自系統(tǒng)的組合性。如今，人工智能（AI）或許也掌握了這種能力。

人們善于學習新概念，并將它們與已有概念進行系統(tǒng)組合。例如，一旦一個孩子學會了如何跳躍，他們可以通過組合技能理解如何向后跳或繞錐形物跳兩次。

這種將新老概念結(jié)合的能力被稱為系統(tǒng)泛化（systematic generalization）。

而此前，Jerry Fodor 和 Zenon Pylyshyn 兩位認知科學家曾主張，人工神經(jīng)網(wǎng)絡(luò)缺乏這種能力，因此不適合作為人類認知的可靠模型。

然而，一篇發(fā)表在 Nature 上的最新研究挑戰(zhàn)了這個已經(jīng)存在了 35 年的觀點。

在該研究中，紐約大學心理學和數(shù)據(jù)科學助理教授 Brenden Lake 和西班牙加泰羅尼亞研究所（ICREA）教授 Marco Baroni 提出了一個具有類似人類系統(tǒng)泛化能力的神經(jīng)網(wǎng)絡(luò)。

具體而言，研究團隊使用了一種“組合性元學習（MLC）”的方法來優(yōu)化組織能力。通過并行比較人類與神經(jīng)網(wǎng)絡(luò)，他們發(fā)現(xiàn)，MLC 能掌握、有時甚至能超過類似人類的系統(tǒng)泛化能力。另外，MLC 還在多個系統(tǒng)化泛化基準測試中提高了機器學習系統(tǒng)的組合技能。

該方法可以讓機器與人進行更自然的互動，甚至超過目前最好的 AI 系統(tǒng)。雖然基于大型語言模型（LLMs）的系統(tǒng)（如 ChatGPT）在許多情況下都能很好地進行對話，但在其他情況下卻表現(xiàn)出明顯的缺陷和不一致。

相關(guān)論文以“Human-like systematic generalization through a meta-learning neural network”為題，已發(fā)表在權(quán)威科學期刊 Nature 上。

研究團隊表示，雖然元學習方法無法讓該神經(jīng)網(wǎng)絡(luò)對訓練之外的任務進行泛化，但他們的研究結(jié)果有助于今后開發(fā)出行為更像人類大腦的 AI。

達到甚至超越人類水平

在這項研究中，MLC 方法僅使用了普通的神經(jīng)網(wǎng)絡(luò)，并沒有添加符號機制，也沒有人工設(shè)計的內(nèi)部表示或歸納偏見。

為了展示 MLC 的能力，研究人員在相同的系統(tǒng)性泛化測試中將人類和機器進行了并行評估。具體來說，他們使用了偽語言中的指令學習任務來檢查人類和機器對結(jié)構(gòu)化代數(shù)系統(tǒng)的學習能力，并通過少樣本學習的方式來評估人類的系統(tǒng)性泛化能力。

為探索人類的歸納偏見以及這些偏見如何促進或妨礙系統(tǒng)性泛化，研究人員通過研究高度模糊的語言來進行評估。在這些評估中，MLC 在實現(xiàn)（甚至超越）人類水平的系統(tǒng)性泛化方面表現(xiàn)出色。

此外，在純粹的代數(shù)推理和模擬人類復雜組合行為的情況下，MLC 均表現(xiàn)出了一種與人類相似的錯誤模式，這顯示出神經(jīng)網(wǎng)絡(luò)不僅具備出色的建模能力，也在模擬復雜的人類行為方面表現(xiàn)出了卓越的性能。

另外，研究團隊還對兩個廣泛應用的基準測試進行了嘗試，即 SCAN11 和 COGS16，著重關(guān)注MLC 在系統(tǒng)性詞匯泛化方面的表現(xiàn)，特別是處理新單詞和單詞組合（而不僅僅是新的句子結(jié)構(gòu)）。結(jié)果表明，除了在預測人類行為方面表現(xiàn)出色，MLC 在機器學習的系統(tǒng)性泛化基準測試中僅出現(xiàn)低于 1% 的錯誤率。

該研究展示了 MLC 如何通過其卓越的組合技能，使一個經(jīng)過優(yōu)化的標準神經(jīng)網(wǎng)絡(luò)能夠模仿或甚至超越人類在系統(tǒng)性泛化方面的表現(xiàn)，從而在比較中表現(xiàn)出更強的系統(tǒng)性。相較于經(jīng)過標準方式訓練的神經(jīng)網(wǎng)絡(luò)，MLC 表現(xiàn)出更細致入微的行為。此外，MLC 還讓神經(jīng)網(wǎng)絡(luò)能夠處理其他已知挑戰(zhàn)，如系統(tǒng)性地使用孤立的基元和運用互斥性來推斷含義。

有望解決更廣泛的問題

盡管 MLC 取得了一些成功，但它并不能解決所有挑戰(zhàn)。例如，MLC 不能自動處理未經(jīng)練習的泛化形式或在元學習分布之外的概念。此外，它無法泛化到它未經(jīng)優(yōu)化的歸納偏見中。

在機器學習的語境中，當泛化使新的情節(jié)相對于訓練情節(jié)處于分布中時，元學習策略會成功，即使特定的測試項目相對于情節(jié)中的研究示例是超出分布的。然而，僅僅依靠元學習不會使標準網(wǎng)絡(luò)能夠泛化到相對于元學習期間呈現(xiàn)的情節(jié)而言又超出分布的情節(jié)。當前架構(gòu)還缺乏發(fā)出新符號的機制，盡管可以通過附加的指針機制來引入通過研究示例引入的新符號。

在機器學習背景下，當新情境相對于訓練情境屬于相似分布時，元學習策略會成功。然而，僅僅依賴元學習并不能讓標準神經(jīng)網(wǎng)絡(luò)實現(xiàn)訓練情景之外的分布泛化。并且，目前的架構(gòu)也缺乏一種生成新符號的機制。

最后，MLC 在自然語言的全部復雜性和其他模態(tài)上沒有經(jīng)過測試。因此，它是否能夠在所有方面以及從實際的訓練經(jīng)驗中實現(xiàn)類似于人類的系統(tǒng)性，仍有待確定。

然而，該研究有望幫助 MLC 解決更廣泛的問題。舉例來說，一個 LLMs 可以進行專門的元學習，通過交替進行標準訓練（例如下一個單詞的預測）和不斷引入新詞匯，從而優(yōu)化其組合技能。

最后，作者在文中表示：“盡管將 MLC 應用于每個領(lǐng)域是一個長期的努力，但我們看到了在理解人類組合技能的起源以及使現(xiàn)代 AI 系統(tǒng)的行為更類似于人類方面的真正前景。”

論文鏈接：

https://www.nature.com/articles/s41586-023-06668-3

https://www.nature.com/articles/d41586-023-03272-3

作者：閆一米

編輯：學術(shù)君