在邁向通用人工智能（AGI）的道路上，不斷增加的計(jì)算性能和能源需求，已成為業(yè)內(nèi)構(gòu)建更強(qiáng)大大模型的主要限制和亟需解決的難題。

而光芯片，作為一種創(chuàng)新型技術(shù)，以其獨(dú)特的光速處理能力和低能耗特性，被寄予厚望。

最近，來(lái)自來(lái)自清華大學(xué)和北京信息科學(xué)與技術(shù)國(guó)家研究中心的研究團(tuán)隊(duì)，在光芯片領(lǐng)城實(shí)現(xiàn)了新的突破——

他們摒棄傳統(tǒng)電子深度計(jì)算范式，另辟蹊徑，首創(chuàng)分布式廣度智能光計(jì)算架構(gòu)，設(shè)計(jì)了一種能以極高能效解決先進(jìn) AI 任務(wù)的大規(guī)模光芯片——Taichi，有效地將光子架構(gòu)的網(wǎng)絡(luò)規(guī)模提升到百萬(wàn)神經(jīng)元級(jí)別，與其他光子集成電路相比，能效提高了兩倍，適用于現(xiàn)實(shí)世界中的高級(jí) AGI 應(yīng)用。

相關(guān)研究論文以“Large-scale photonic chiplet Taichi empowers 160-TOPS/W artificial general intelligence”為題，已發(fā)表在權(quán)威科學(xué)期刊 Science 上。

清華大學(xué)電子工程系博士生徐智昊、博士后周天貺（清華大學(xué)水木學(xué)者）為論文第一作者，清華大學(xué)電子工程系副教授方璐、自動(dòng)化系戴瓊海院士為論文的通訊作者。

徐智昊表示，Taichi 表明了片上光子計(jì)算在處理具有大型網(wǎng)絡(luò)模型的各種復(fù)雜任務(wù)方面的巨大潛力，實(shí)現(xiàn)了光子計(jì)算在現(xiàn)實(shí)生活中的應(yīng)用。

“我們預(yù)計(jì)，Taichi 將加速開(kāi)發(fā)更強(qiáng)大的光學(xué)解決方案，作為基礎(chǔ)模型和 AGI 新時(shí)代的關(guān)鍵支持”。

Taichi 是如何煉成的？

對(duì)于來(lái)自現(xiàn)實(shí)世界的復(fù)雜多模態(tài)信息，我們迫切需要大容量、高吞吐量的計(jì)算架構(gòu)。在后摩爾時(shí)代，滿(mǎn)足持續(xù)增長(zhǎng)的高性能需求已成為一項(xiàng)挑戰(zhàn)。

使用圖形處理器（GPU）等電子設(shè)備進(jìn)行高級(jí) AI 模型（如語(yǔ)言處理和大規(guī)模智能成像中的基礎(chǔ)模型）的計(jì)算與飽和能效有關(guān)，這對(duì)于支持現(xiàn)代 AGI 是不可持續(xù)的。

追求計(jì)算能力與能效之間的平衡是高性能計(jì)算研究的一個(gè)長(zhǎng)期目標(biāo)。光子計(jì)算吸引了越來(lái)越多的關(guān)注，提供了前所未有的光速低能耗計(jì)算。

然而，當(dāng)前的集成光子計(jì)算，特別是光學(xué)神經(jīng)網(wǎng)絡(luò)（ONN），通常包含數(shù)百到數(shù)千個(gè)參數(shù)，其中數(shù)十個(gè)是可調(diào)參數(shù)，僅支持基本任務(wù)，如簡(jiǎn)單的模式識(shí)別和元音識(shí)別。

盡管光子集成電路具有空間緊湊和能效高的優(yōu)點(diǎn)，但仍受到不可避免的時(shí)變誤差的限制，網(wǎng)絡(luò)規(guī)模和計(jì)算能力有限，難以支持現(xiàn)實(shí)世界中的 AGI 任務(wù)。

而且，要實(shí)現(xiàn)大規(guī)模、高能效的光子計(jì)算，簡(jiǎn)單地?cái)U(kuò)大現(xiàn)有的光子神經(jīng)網(wǎng)絡(luò)芯片是不現(xiàn)實(shí)的，因?yàn)殡S著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，不可避免的模擬噪聲會(huì)呈指數(shù)級(jí)擴(kuò)大。放大現(xiàn)有架構(gòu)的規(guī)模并不能成比例地提高性能。

據(jù)論文描述，Taichi 是一種采用分布式計(jì)算架構(gòu)的大規(guī)模光芯片，采用衍射-干涉混合，通過(guò)衍射編碼器和解碼器壓縮高維輸入數(shù)據(jù)，并通過(guò)可調(diào)矩陣乘法器實(shí)現(xiàn)特征提取。

Taichi 可以實(shí)現(xiàn)每瓦 160 萬(wàn)億次操作的能效，并支持超過(guò) 1000 個(gè)類(lèi)別的圖像分類(lèi)，并在 1623 個(gè)類(lèi)別的 Omniglot 數(shù)據(jù)集上達(dá)到了 91.89% 的準(zhǔn)確率，超現(xiàn)有智能芯片 2—3 個(gè)數(shù)量級(jí)，可以為百億像素大場(chǎng)景光速智能分析、百億參數(shù)大模型訓(xùn)練推理、毫瓦級(jí)低功耗自主智能無(wú)人系統(tǒng)提供算力支撐。

圖｜Taichi 光芯片（來(lái)源：該論文）

與為深度計(jì)算堆疊一系列層的傳統(tǒng)方法不同，Taichi 將計(jì)算資源分布到多個(gè)獨(dú)立的集群中，為子任務(wù)分別組織集群，并最終合成這些子任務(wù)，從而完成復(fù)雜的高級(jí)任務(wù)。

光學(xué)衍射和干涉的靈活性啟發(fā)研究團(tuán)隊(duì)設(shè)計(jì)了一種光學(xué)計(jì)算架構(gòu)，來(lái)探索其在大規(guī)模網(wǎng)絡(luò)模型和復(fù)雜任務(wù)中的獨(dú)特方式。

具體來(lái)說(shuō)，光學(xué)衍射層的全連接特性比傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中的卷積層具有更大的可變形性，這意味著光學(xué)網(wǎng)絡(luò)有可能用比電子系統(tǒng)更少的層數(shù)實(shí)現(xiàn)相同的變換。

Taichi 的分布式架構(gòu)深度較淺、寬度較寬，旨在以可持續(xù)和高效的方式擴(kuò)展計(jì)算能力。在CIFAR-10 數(shù)據(jù)集中，具有四個(gè)分布式層的 Taichi 實(shí)現(xiàn)了與 16 層電子 VGG-16 網(wǎng)絡(luò)相當(dāng)?shù)臏?zhǔn)確度。

圖｜Taichi 構(gòu)建示意圖。（來(lái)源：該論文）

另外，Taichi 利用衍射干涉混合芯片實(shí)現(xiàn)了高達(dá)兩個(gè)數(shù)量級(jí)的能效提升（能效高達(dá) 160 TOPS/W）和面積效率（878.90 TMACS/mm2)。

此外，通過(guò) Taichi 的分布式架構(gòu)，研究團(tuán)隊(duì)實(shí)現(xiàn)了片上神經(jīng)元密度（總神經(jīng)元高達(dá) 4256個(gè)，可調(diào)神經(jīng)元高達(dá) 160 個(gè)）和大規(guī)模網(wǎng)絡(luò)（實(shí)驗(yàn)中高達(dá) 1396 萬(wàn)個(gè)）。

不足與展望

盡管研究團(tuán)隊(duì)在光電芯片領(lǐng)域?qū)崿F(xiàn)了重大突破。但研究團(tuán)隊(duì)表示，光芯片與 AI 的結(jié)合依然面臨著一些難題和挑戰(zhàn)。

首先，光芯片的制造和集成仍然是一個(gè)技術(shù)難題。光芯片的制造需要高度精密的工藝和設(shè)備，目前仍然存在一定的技術(shù)瓶頸；光芯片與現(xiàn)有電子芯片的集成也是一個(gè)挑戰(zhàn)，需要解決信號(hào)轉(zhuǎn)換和兼容性問(wèn)題。

其次，光芯片的計(jì)算模型和算法需要進(jìn)一步研究和優(yōu)化。雖然光芯片的計(jì)算速度和效率高，但是如何有效利用這些計(jì)算資源，設(shè)計(jì)出適合光芯片特點(diǎn)的算法和模型，仍然是一個(gè)亟待解決的問(wèn)題。

此外，光芯片的應(yīng)用領(lǐng)域也需要進(jìn)一步拓展。目前光芯片主要應(yīng)用于一些特定領(lǐng)域，如圖像處理、大數(shù)據(jù)分析等。如何將光芯片的優(yōu)勢(shì)應(yīng)用到更廣泛的 AI 應(yīng)用中，是一個(gè)需要探索的問(wèn)題。

研究團(tuán)隊(duì)認(rèn)為，要想解決以上挑戰(zhàn)，需要在技術(shù)創(chuàng)新、算法優(yōu)化和應(yīng)用拓展等多方面繼續(xù)努力。

例如，隨著直接激光寫(xiě)入（DLW）和相變材料（PCMs）的發(fā)展，所有權(quán)重都可能是可重構(gòu)的，這將帶來(lái)靈活性的提升。

現(xiàn)成的片上激光源、調(diào)制器和檢測(cè)器可以通過(guò)晶圓鍵合共同封裝到單一平臺(tái)并共同集成，這預(yù)示著更高水平的集成。至于分布式計(jì)算架構(gòu)，它不僅僅是為 Taichi 單獨(dú)設(shè)計(jì)的算法。計(jì)算和任務(wù)分布也可以幫助現(xiàn)有的光子集成電路擴(kuò)展其計(jì)算能力，以應(yīng)對(duì)更高級(jí)的任務(wù)。

或許在不久的將來(lái)，光芯片與 AI 的結(jié)合將開(kāi)啟一個(gè)全新的計(jì)算時(shí)代。隨著技術(shù)的不斷進(jìn)步，我們期待光芯片能夠?qū)崿F(xiàn)更高性能、更低的能耗，以及更廣泛的AI應(yīng)用。

參考鏈接：

https://www.science.org/doi/10.1126/science.adl1203