10月8日，瑞典皇家科學(xué)院宣布，2024年度諾貝爾物理學(xué)獎授予美國科學(xué)家約翰·霍普菲爾德（John Hopfield）以及加拿大學(xué)者杰弗里·辛頓（Geoffrey Hinton），以表彰他們利用人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明。

此前大家預(yù)測的物理學(xué)獎熱門領(lǐng)域（如凝聚態(tài)物理或量子物理）最終都沒有獲獎，出乎很多人的意料。雖然諾獎委員會強(qiáng)調(diào)，“兩位諾貝爾物理學(xué)獎得主，利用物理學(xué)工具開發(fā)出當(dāng)今強(qiáng)大機(jī)器學(xué)習(xí)的基礎(chǔ)方法?！钡€是有網(wǎng)友感慨，“物理學(xué)（獎）不存在了?！?/p>

近幾年，人工智能（AI）在人們身邊卷起了一股熱潮，我們很容易認(rèn)為這是一項近期的創(chuàng)新。事實上，人工智能以各種形式存在已有70多年了?；仡橝I工具的研究發(fā)展歷程，對于我們理解這個大熱領(lǐng)域未來的發(fā)展之路會很有幫助。

▲圖片來源：瑞典皇家科學(xué)院

每一代AI工具都可以被視為對前代的改進(jìn)，但值得注意的是，沒有一種AI正在朝著“有意識”的方向發(fā)展。今年諾貝爾物理學(xué)獎獲獎?wù)咧唬蛔u(yù)為“AI教父”的杰弗里·辛頓也認(rèn)為，雖然AI有可能變得比人類更聰明，但應(yīng)該將其視為與人類完全不同的智能形式。

AI的發(fā)展歷程可以大致分為三個階段：符號主義AI、連接主義AI和當(dāng)前的深度學(xué)習(xí)時代。

符號主義AI時代（1950s-1980s）

1950年，計算機(jī)先驅(qū)艾倫·圖靈在一篇開創(chuàng)性的文章中提出：“機(jī)器能思考嗎？”

并提出了“模仿游戲”的概念（現(xiàn)在通常被稱為圖靈測試）。在這項測試中，如果一臺機(jī)器在純文本形式對話中的表現(xiàn)無法與真人區(qū)分開來，就被認(rèn)為是擁有智能的。

五年后，“人工智能”這個術(shù)語首次在著名的達(dá)特矛斯會議中出現(xiàn)，標(biāo)志著AI研究的正式開始。這個時期的AI主要以符號主義為主導(dǎo)，試圖通過類似于人腦的邏輯推理和知識表示來模擬人類思維。

從20世紀(jì)60年代開始，一類被稱為“專家系統(tǒng)”（Expert systems）的AI分支開始發(fā)展。這些系統(tǒng)旨在捕捉特定領(lǐng)域的人類專業(yè)知識，并使用明確的知識表示。

這類系統(tǒng)是“符號AI”的典型例子，早期出現(xiàn)了許多廣為人知的成功案例，包括用于識別有機(jī)分子、診斷血液感染和勘探礦物的系統(tǒng)。其中最引人注目的是名為R1的專家系統(tǒng)，據(jù)報道，1982年它通過設(shè)計高效的小型計算機(jī)系統(tǒng)配置，為數(shù)字設(shè)備公司每年節(jié)省2500萬美元。

▲圖片來源：medium.com

專家系統(tǒng)的主要優(yōu)勢在于，即使沒有編程專業(yè)知識的某領(lǐng)域?qū)＜?，也可以參與構(gòu)建和維護(hù)計算機(jī)的知識庫。專家系統(tǒng)中，一個被稱為“推理機(jī)”（Inference engine）的組件能夠應(yīng)用這些知識來解決領(lǐng)域內(nèi)的新問題，并提供解釋性的證據(jù)鏈。

這類系統(tǒng)在上世紀(jì)80年代非常流行，各組織爭相構(gòu)建自己的專家系統(tǒng)。值得一提的是，專家系統(tǒng)至今仍是AI的一個重要組成部分。然而，專家系統(tǒng)也面臨著一些限制，如知識獲取瓶頸和難以處理不確定性問題。這些約束促使研究人員探索新的方法。

聯(lián)結(jié)主義AI與機(jī)器學(xué)習(xí)的崛起（1980s-2000s）

人腦包含約1000億個神經(jīng)細(xì)胞（神經(jīng)元），它們通過樹突（分支）結(jié)構(gòu)相互連接。受到人腦的啟發(fā)，一個稱為“聯(lián)結(jié)主義”的獨立領(lǐng)域也應(yīng)運而生——與專家系統(tǒng)試圖模擬人類推理過程不同的是，這種新方法試圖直接模擬人腦的神經(jīng)網(wǎng)絡(luò)。

▲符號主義AI（左）和聯(lián)結(jié)主義AI（右）示意圖

早在1943年，兩位美國學(xué)者沃倫·麥卡洛克和沃爾特·皮茨就提出了人類神經(jīng)元聯(lián)結(jié)的數(shù)學(xué)模型，每個神經(jīng)元根據(jù)輸入的二進(jìn)制信號，產(chǎn)生對應(yīng)的二進(jìn)制輸出。這為后來的神經(jīng)網(wǎng)絡(luò)奠定了基礎(chǔ)。

▲圖片來源：瑞典皇家科學(xué)院

1960年，弗蘭克·羅森布拉特（Frank Rosenblatt）提出了“感知器”（Perceptron）的概念，這是一種簡單的人工神經(jīng)網(wǎng)絡(luò)。同年，伯納德·維德羅（Bernard Widrow）和泰德·霍夫（Ted Hoff）開發(fā)了ADALINE（ADAptive LInear NEuron），這些是模擬神經(jīng)元的最早實踐，雖然有趣，但實際應(yīng)用都很有限。

1969年，達(dá)特茅斯會議的發(fā)起人之一馬文·明斯基和西摩·佩珀特（Seymour Papert）在他們的著作《感知器》中指出了單層神經(jīng)網(wǎng)絡(luò)的局限性，這導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究的短暫停滯。然而，這個挫折也促使研究人員探索“更復(fù)雜”的網(wǎng)絡(luò)結(jié)構(gòu)。

1986年，今年諾貝爾物理學(xué)獎獲得者之一的杰弗里·辛頓，與幾位合作者發(fā)表了一篇開創(chuàng)性論文，介紹了反向傳播算法，這為“多層感知器”（Multi-Layered Perceptron，MLP）的學(xué)習(xí)算法奠定了基礎(chǔ)。

反向傳播算法允許神經(jīng)網(wǎng)絡(luò)探索數(shù)據(jù)內(nèi)部的深層表征，因此神經(jīng)網(wǎng)絡(luò)才能解決以前被認(rèn)為無法解決的問題。這是一項重大突破，實現(xiàn)了從一組示例（訓(xùn)練）數(shù)據(jù)中學(xué)習(xí)，然后進(jìn)行歸納總結(jié)，以便對以前未見過的輸入數(shù)據(jù)（測試數(shù)據(jù)）進(jìn)行分類。

▲圖片來源：瑞典皇家科學(xué)院

MLP通常是三層或四層簡單模擬神經(jīng)元的排列，每一層與下一層完全互連。MLP通過在神經(jīng)元之間的連接上附加數(shù)值權(quán)重并調(diào)整它們來實現(xiàn)學(xué)習(xí)，以獲得最佳的訓(xùn)練數(shù)據(jù)分類，以便對新的、未見過的數(shù)據(jù)進(jìn)行分類。

在這個階段中，今年另一位諾貝爾物理學(xué)獎獲得者約翰·霍普菲爾德也做出了重要貢獻(xiàn)。1982年，他提出了“霍普菲爾德網(wǎng)絡(luò)”，這是一種遞歸神經(jīng)網(wǎng)絡(luò)模型，能夠作為內(nèi)容可尋址的記憶系統(tǒng)。霍普菲爾德網(wǎng)絡(luò)的引入，為神經(jīng)網(wǎng)絡(luò)研究帶來了新的活力，并為后來的深度學(xué)習(xí)發(fā)展奠定了重要基礎(chǔ)。他的工作展示了如何使用物理學(xué)概念（如能量最小化）來理解神經(jīng)網(wǎng)絡(luò)的行為，為后續(xù)的神經(jīng)網(wǎng)絡(luò)研究提供了新的視角。

只要數(shù)據(jù)以適當(dāng)?shù)母袷匠尸F(xiàn)，MLP就可以廣泛處理各種實際問題。一個經(jīng)典例子是手寫筆跡的識別，但前提是圖像需要經(jīng)過“預(yù)處理”（Pre-processing）以提取關(guān)鍵特征。這個時期還出現(xiàn)了其他重要的機(jī)器學(xué)習(xí)算法，如支持向量機(jī)（SVM）和決策樹，它們在某些任務(wù)上表現(xiàn)出色。

深度學(xué)習(xí)時代（21世紀(jì)）

隨著計算機(jī)算力的顯著提升和大數(shù)據(jù)時代的萌芽，深度學(xué)習(xí)在21世紀(jì)初開始興起。2006年，杰弗里·辛頓提出了“深度信念網(wǎng)絡(luò)”（Deep Belief Networks, DBNs），這被認(rèn)為是深度學(xué)習(xí)時代的開端。

MLP取得成功后，開始出現(xiàn)了多種新型神經(jīng)網(wǎng)絡(luò)。其中一個重要的是1998年由法國計算機(jī)科學(xué)家楊立昆(Yann LeCun)等人提出的“卷積神經(jīng)網(wǎng)絡(luò)”（Convolutional Neural Network，CNN）。CNN與MLP類似，但增加了額外的神經(jīng)元層，用于識別圖像的關(guān)鍵特征，從而消除了預(yù)處理的需要。如今，CNN在圖像識別和計算機(jī)視覺任務(wù)領(lǐng)域取得了巨大成功。

▲圖片來源于網(wǎng)絡(luò)

前面所說的MLP和CNN都屬于擅長分類、判斷、預(yù)測的“判別模型”（Discriminative Model）。而近幾年來，不斷涌現(xiàn)的各種能寫詩、畫畫的“生成模型”（Generative Model），也開始大放異彩。

2014年，美國學(xué)者伊恩·古德費洛（Ian Goodfellow）等人又提出了“生成對抗網(wǎng)絡(luò)”（Generative-Adversarial Networks，GANs）。GANs的一個重要組成部分是“判別器”（Discriminator），即一個內(nèi)置的批評者，不斷要求“生成器”（Generator）提高輸出質(zhì)量。GANs在AI圖像生成、風(fēng)格遷移等任務(wù)中表現(xiàn)出色。

▲圖片來源：tensorflow.org

2017年，谷歌的研究人員提出了“轉(zhuǎn)換器”（Transformer）架構(gòu)，這是一種基于自注意力機(jī)制（Self-Attention）的神經(jīng)網(wǎng)絡(luò)模型。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的編碼器需讀取和處理整個輸入數(shù)據(jù)序列，而新的架構(gòu)并不按順序處理數(shù)據(jù)，而是使模型能夠同時查看序列的不同部分，并確定哪些部分最重要。

基于轉(zhuǎn)換器的新興模型（如BERT和GPT系列等），在自然語言處理任務(wù)中取得了突破性進(jìn)展，推動了“大型語言模型”（Large-Language Models，LLMs）領(lǐng)域的發(fā)展。這些大型語言模型從互聯(lián)網(wǎng)上抽取海量數(shù)據(jù)集進(jìn)行訓(xùn)練。通過強(qiáng)化學(xué)習(xí)（Reinforcement Learning），人類訓(xùn)練師們提供的反饋進(jìn)一步提升了它們的性能。

除了展現(xiàn)令人印象深刻的生成能力外，龐大的訓(xùn)練集使這些神經(jīng)網(wǎng)絡(luò)不再像早期AI那樣局限于狹窄領(lǐng)域，而是幾乎可以涵蓋任何主題。這些模型在各種任務(wù)中展現(xiàn)出驚人的能力，包括自然語言理解、文本生成、問答系統(tǒng)等。

大語言模型的強(qiáng)大能力引發(fā)了一些關(guān)于“AI可能接管世界”的擔(dān)憂。然而，這種危言聳聽是不合理的。盡管當(dāng)前的模型顯然比早期的AI更強(qiáng)大，但發(fā)展軌跡仍然堅定地朝著更大容量、更可靠和準(zhǔn)確的方向發(fā)展，而非朝著任何形式的“意識”進(jìn)化。

▲人工智能的發(fā)展歷程(圖片來源：github.io)

AI有許多積極和令人興奮的潛在應(yīng)用，但回顧歷史可以看出，機(jī)器學(xué)習(xí)并非唯一的工具。符號主義AI仍然發(fā)揮著重要作用，因為它允許將已知事實、理解和人類觀點納入其中。未來的AI發(fā)展可能會融合符號主義和聯(lián)結(jié)主義的優(yōu)點，形成所謂的“混合式神經(jīng)-符號人工智能”（Neuro-symbolic AI）。

例如，可以為無人駕駛汽車直接提供道路規(guī)則，而不是提供示例來開展學(xué)習(xí)。醫(yī)療診斷系統(tǒng)可以結(jié)合機(jī)器學(xué)習(xí)模型的預(yù)測能力和專家系統(tǒng)的邏輯性，根據(jù)醫(yī)學(xué)知識驗證和解釋機(jī)器學(xué)習(xí)系統(tǒng)的輸出信息。

回顧歷史不難看出，AI技術(shù)的發(fā)展過程中，不僅吸納了存在多年的成熟技術(shù)，也有不斷涌現(xiàn)的新方法。未來，我們可能會看到更多的跨學(xué)科融合，如AI與腦科學(xué)、認(rèn)知科學(xué)的結(jié)合，以及AI在科學(xué)研究、氣候變化應(yīng)對、個性化醫(yī)療等領(lǐng)域的廣泛應(yīng)用。

來源：北京科技報