據(jù)世界衛(wèi)生組織（WHO）2019 年發(fā)布的《世界視力報(bào)告》顯示，全球約有 22 億人患有視力障礙，其中至少 10 億人的視力障礙本可預(yù)防或尚待解決。

視力障礙和失明不僅影響著世界各地人們的正常生活，還給全球帶來(lái)了巨大財(cái)政負(fù)擔(dān)，據(jù)估計(jì)每年造成的全球生產(chǎn)力損失高達(dá) 4110 億美元。

對(duì)于盲人和部分視障人士而言，可穿戴電子視覺(jué)輔助系統(tǒng)有助于維持他們的日常生活，但當(dāng)前這類設(shè)備的人類適應(yīng)性還不夠，無(wú)法大規(guī)模推廣。

如今，上海交通大學(xué)計(jì)算機(jī)學(xué)院清源研究院長(zhǎng)聘教軌副教授、博士生導(dǎo)師顧磊磊團(tuán)隊(duì)及其合作團(tuán)隊(duì)，有望使用一種由 AI 驅(qū)動(dòng)的可穿戴助盲系統(tǒng)幫助更多視障人士“重獲光明”。

圖｜攝像頭目前安裝在眼鏡上，但該團(tuán)隊(duì)正在努力使這些設(shè)備更輕便、更隱蔽。

據(jù)介紹，這是一套融合柔性電子和 AI 的穿戴助盲系統(tǒng)，以聽(tīng)覺(jué)觸覺(jué)取代部分視覺(jué)，幫助盲人完成行動(dòng)及抓取的日常任務(wù)。硬件上通過(guò)結(jié)構(gòu)和功能設(shè)計(jì)盡可能實(shí)現(xiàn)輕、薄、美；軟件上優(yōu)化系統(tǒng)的信息輸出方式，使其符合人類生理的聽(tīng)覺(jué)觸覺(jué)以及大腦的認(rèn)知方式，目標(biāo)是使人像調(diào)用自己的器官一樣輕松使用外部系統(tǒng)；同時(shí)開(kāi)發(fā)了基于VR 的沉浸式虛實(shí)結(jié)合的訓(xùn)練系統(tǒng)，促進(jìn)人機(jī)融合。

經(jīng)過(guò)人形機(jī)器人以及盲人和部分視力障礙者在虛擬和真實(shí)環(huán)境中的測(cè)試，他們發(fā)現(xiàn)受試者在導(dǎo)航和導(dǎo)航后任務(wù)中的表現(xiàn)顯著提升，例如能在穿過(guò)迷宮時(shí)避開(kāi)障礙物，以及拿取和抓住某個(gè)物體。

相關(guān)研究論文以“Human-centred design and fabrication of a wearable multimodal visual assistance system”為題，已發(fā)表在國(guó)際權(quán)威科學(xué)期刊 Nature Machine Intelligence 上。

研究團(tuán)隊(duì)表示，這款以人為本的可穿戴式視覺(jué)輔助系統(tǒng)，既能滿足視障者的獨(dú)特需求，又能確保將身體和認(rèn)知壓力降至最低。該系統(tǒng)的音頻和觸覺(jué)組件的集成提供了有效的視覺(jué)支持，個(gè)性化算法和輕量級(jí)硬件為用戶友好型可穿戴視覺(jué)輔助系統(tǒng)提供了啟示。

AI 是如何為視障人士指路的？

為視障人士開(kāi)發(fā)人工視覺(jué)是人類長(zhǎng)期以來(lái)的追求。

可穿戴式電子視覺(jué)輔助系統(tǒng)為視力受損者或視障人士提供了一種前景廣闊的解決方案，為醫(yī)療和植入假肢提供了一種替代方案。這些設(shè)備不能恢復(fù)自然視力，而是通過(guò)將環(huán)境信息轉(zhuǎn)換成其他感官模式并輸入大腦來(lái)補(bǔ)償視力損失，從而協(xié)助完成日常任務(wù)。

先進(jìn)的系統(tǒng)已使視障人士能夠執(zhí)行基本的視覺(jué)功能，如導(dǎo)航、識(shí)別和尋找放錯(cuò)的鑰匙等復(fù)雜任務(wù)。盡管這些技術(shù)的功能不斷發(fā)展，但尚未在視障人士群體中得到廣泛應(yīng)用。使用過(guò)程中的認(rèn)知和體力負(fù)荷，以及使用前所需的復(fù)雜培訓(xùn)過(guò)程，導(dǎo)致了采用率有限。

為解決上述問(wèn)題，顧磊磊團(tuán)隊(duì)提出了一種旨在提高視障者獨(dú)立生活能力的可穿戴視覺(jué)輔助系統(tǒng)。該系統(tǒng)可將視覺(jué)輸入轉(zhuǎn)化為音頻和觸覺(jué)反饋，確保高精確度、低延遲和對(duì)不同環(huán)境的適應(yīng)性。

直觀的空間提示聽(tīng)覺(jué)輸出和導(dǎo)航算法，有助于減輕認(rèn)知負(fù)擔(dān)；A-skin 的獨(dú)特設(shè)計(jì)和放置有助于在惡劣環(huán)境中完成導(dǎo)航和導(dǎo)航后任務(wù)；虛擬現(xiàn)實(shí)（VR）訓(xùn)練有助于快速、安全地進(jìn)行訓(xùn)練；基于摩擦發(fā)電的智能鞋墊則能夠以最低的功耗實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界的同步運(yùn)動(dòng)。

圖｜可穿戴多模態(tài)視覺(jué)輔助系統(tǒng)概覽

整體系統(tǒng)硬件選用深度攝像頭 D435i（英特爾 RealSense）安裝在 3D 打印眼鏡框上。它通過(guò) USB 與 Raspberry Pi 4 Model B 微控制器相連。所有計(jì)算均在本地進(jìn)行，無(wú)需遠(yuǎn)程服務(wù)器或其他服務(wù)。音頻提示通過(guò)無(wú)線骨傳導(dǎo)耳機(jī)傳送至大腦。整個(gè)系統(tǒng)由商用鋰離子電池供電。智能鞋墊內(nèi)置三軸磁力計(jì)和摩擦電傳感器，所得角度和壓力數(shù)據(jù)分別用于估算行走步數(shù)和旋轉(zhuǎn)姿態(tài)。

本設(shè)計(jì)通過(guò)使用生物兼容的編碼策略來(lái)傳達(dá)高級(jí)場(chǎng)景信息，如路徑方向的結(jié)果。他們對(duì) 12 名視障者進(jìn)行了一次轉(zhuǎn)向目標(biāo)實(shí)驗(yàn)，以找到合適的音頻反饋。他們比較了三種反饋方法--二維空間提示音、三維立體聲和口語(yǔ)提示--并使用最終航向誤差和試驗(yàn)時(shí)間等指標(biāo)來(lái)評(píng)估其性能。

圖｜音頻反饋策略比較

在演示中，他們使用了人形機(jī)器人 TonyPi Pro，其原有頭部攝像頭被替換為 D435i，并在其操作系統(tǒng)中集成了與演示相關(guān)的功能模塊。

在人造皮膚的制備方面，電子元件（包括 ToF 傳感器、微控制器單元 MCU 及其他器件）通過(guò)柔性印刷電路板（FPC）工藝集成在柔性 PET 基板上。他們開(kāi)發(fā)了一種可拉伸的電子皮膚，作為音頻反饋的補(bǔ)充。 該電子皮膚是一個(gè)集成的感官-運(yùn)動(dòng)裝置，通過(guò)提供近距離警報(bào)來(lái)提示是否有碰撞風(fēng)險(xiǎn)。該系統(tǒng)的核心部件是一個(gè)緊湊型飛行時(shí)間（ToF）傳感器。當(dāng)距離小于預(yù)定閾值時(shí)，致動(dòng)器就會(huì)振動(dòng)以刺激皮膚。在驅(qū)動(dòng)電路和皮膚之間他們特意保持了間隙，這有利于致動(dòng)器的振動(dòng)，同時(shí)促進(jìn)兩者之間的空氣流通。這種空氣流通提高了皮膚的舒適度和透氣性，從而提高了長(zhǎng)期佩戴性。

該電子皮膚的放置位置以經(jīng)典的皮質(zhì)同形體為指導(dǎo)，該同形體是夸張的人體圖形，說(shuō)明大腦中用于控制身體各處傳感和運(yùn)動(dòng)的部分所占比例。為了不影響正常運(yùn)動(dòng)任務(wù)的情況下實(shí)現(xiàn)高靈敏度，電子皮膚應(yīng)放置在感覺(jué)較多但運(yùn)動(dòng)活動(dòng)較少的區(qū)域。最終致動(dòng)器和驅(qū)動(dòng)電路被放置在手腕上。傳感器安裝在食指或中指的指背上，其功能根據(jù)手指的狀態(tài)（彎曲或伸直）而改變。

圖｜用于高效觸覺(jué)反饋的人造皮膚感覺(jué)運(yùn)動(dòng)器

在驅(qū)動(dòng)系統(tǒng)設(shè)計(jì)中，PET 基板底部固定了一個(gè)薄型永磁體（厚度為 0.5 毫米，直徑為 5 毫米），而單層銅線圈（直徑同為 5 毫米）則安裝在 PET 窄帶上，二者共同構(gòu)成振動(dòng)單元。銅線圈通過(guò)電氣連接與 MCU 的輸出端相連。

ToF 傳感器與控制電路之間的可伸縮連接部分，則是通過(guò)材料打印機(jī)將銀顆粒打印在 PDMS（聚二甲基硅氧烷，Sylgard 184）基板上制成的。為了增強(qiáng)整體的柔韌性與可拉伸性，該連接區(qū)域還包覆了一層額外的 PDMS 封裝層。

在實(shí)驗(yàn)者的選擇上，通過(guò)對(duì)試點(diǎn)研究的數(shù)據(jù)進(jìn)行功率分析，估算出了視障參與者的最低人數(shù)。功率分析推薦了 9 名參與者，他們選擇了 12 名，以提供一個(gè)安全系數(shù)。他們?cè)谡鎸?shí)世界測(cè)試中又招募了 8 名視障人士，共有 20 名視障人士參與了實(shí)驗(yàn)。參與者是隨機(jī)挑選的，來(lái)自不同的教育程度、年齡、性別和個(gè)人習(xí)慣背景。所有參與者都沒(méi)有使用過(guò)類似輔助設(shè)備的經(jīng)驗(yàn)，從而最大程度地減少了參與者可能已有的知識(shí)的影響。他們都被進(jìn)一步蒙上了眼睛，以避免部分視障者的殘余視力的影響。

他們對(duì)參與者進(jìn)行了元宇宙康復(fù)訓(xùn)練和現(xiàn)實(shí)世界導(dǎo)航訓(xùn)練，使用 Unity 構(gòu)建虛擬環(huán)境。攝像頭和光線投射用于模擬 RGB-D 攝像頭。在前測(cè)和后測(cè)期間，他們?cè)诂F(xiàn)實(shí)世界中建立了虛擬場(chǎng)景，使用可穿戴系統(tǒng)進(jìn)行導(dǎo)航。為了避免場(chǎng)景記憶的影響，在訓(xùn)練過(guò)程中，場(chǎng)景 1 和場(chǎng)景 2 隨機(jī)交替出現(xiàn)，并且這些場(chǎng)景的布局隨機(jī)鏡像。每次訓(xùn)練結(jié)束后，參與者都有 2 分鐘休息時(shí)間，在此期間可以提問(wèn)和回答問(wèn)題。這些措施確保了受試者不會(huì)重復(fù)訓(xùn)練完全相同的場(chǎng)景配置。

圖｜沉浸式元宇宙訓(xùn)練

為了評(píng)估訓(xùn)練效果，他們?cè)O(shè)計(jì)了場(chǎng)景 3 進(jìn)行驗(yàn)證。它由一個(gè)迷宮組成，路徑總長(zhǎng)度約為 25 米。經(jīng)過(guò)場(chǎng)景 1 和 2 的訓(xùn)練后，視障者直接進(jìn)入場(chǎng)景 3，這是一個(gè)全新的場(chǎng)景，之前從未遇到過(guò)。參與者頭戴貼有標(biāo)簽的帽子，超寬帶系統(tǒng)（UWB）以 50 Hz 的頻率記錄標(biāo)簽的二維位置。用路徑總長(zhǎng)度除以完成時(shí)間來(lái)計(jì)算平均行走速度，同時(shí)統(tǒng)計(jì)碰撞次數(shù)。該訓(xùn)練計(jì)劃經(jīng)過(guò)精心組織，以保證用戶在不過(guò)度勞累的情況下達(dá)到一致的成績(jī)水平。

與傳統(tǒng)的白手杖相比，該系統(tǒng)轉(zhuǎn)彎更流暢，尋路效率更高。統(tǒng)計(jì)分析顯示，使用可穿戴系統(tǒng)的步行速度與使用拐杖的速度相當(dāng)。導(dǎo)航時(shí)間和行走距離大幅減少了約 25%。加入電子皮膚后，碰撞事故明顯減少。

為了進(jìn)一步評(píng)估可穿戴系統(tǒng)在不同真實(shí)世界環(huán)境中的影響，他們讓另外 8 名視障人士參與了 4 個(gè)不同場(chǎng)景的真實(shí)世界測(cè)試：室內(nèi)和室外環(huán)境、靜態(tài)和動(dòng)態(tài)障礙物、工作相關(guān)場(chǎng)景和日常生活場(chǎng)景，以及反映真實(shí)世界挑戰(zhàn)的綜合任務(wù)。這些任務(wù)的熟練完成凸顯了系統(tǒng)在應(yīng)對(duì)現(xiàn)實(shí)生活挑戰(zhàn)方面的有效性。

圖｜真實(shí)世界環(huán)境測(cè)試

所有實(shí)驗(yàn)結(jié)束后，視障人士完成了廣泛用于系統(tǒng)可用性評(píng)估的“系統(tǒng)可用性量表”。他們給可穿戴系統(tǒng)打出的平均可用性分?jǐn)?shù)為 79.6 分，在 5000 個(gè)商業(yè)和研究設(shè)備中排名第 85 位。在隨后的開(kāi)放式問(wèn)題調(diào)查問(wèn)卷中，參與者表示可穿戴系統(tǒng)提供了直觀的反饋和引人入勝的訓(xùn)練游戲。

研究結(jié)果表明，整合視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)能夠增強(qiáng)視力輔助系統(tǒng)的可用性和功能性。該系統(tǒng)反映了人眼的構(gòu)造，將中央?yún)^(qū)域用于詳細(xì)處理，外圍區(qū)域用于監(jiān)視，通過(guò)融合密集和稀疏數(shù)據(jù)處理、快速和慢速響應(yīng)速度以及前端觀察能力，以最小的功耗和低延遲有效地監(jiān)控了廣闊的區(qū)域。

同時(shí)，在硬件方面，該系統(tǒng)引入了柔性集傳感執(zhí)行于一體的電子皮膚和自供電的摩擦電智能鞋墊，與傳統(tǒng)的剛性設(shè)備相比，具有更好的可穿戴性。

而且，該系統(tǒng)是一個(gè)開(kāi)源平臺(tái)，更廣泛、更多樣化的視障者群體的參與對(duì)于開(kāi)發(fā)適合他們特定需求的導(dǎo)航輔助工具意義重大。

AI 助力視障人群“重獲光明”

科學(xué)家們一直致力于利用 AI 為視障人群研發(fā)補(bǔ)償視力損失的可穿戴設(shè)備，不僅有上述研究中視覺(jué)聽(tīng)覺(jué)觸覺(jué)一體化的系統(tǒng)，還有和智能數(shù)據(jù)手機(jī)的避障設(shè)備。

今年 3 月，Nature 發(fā)布了南京郵電大學(xué)通信與信息工程學(xué)院的一項(xiàng)研究。一副自主研發(fā)的眼鏡（重約 400 克，含約 80 克電池）和一部普通智能手機(jī)組成的可穿戴式避障設(shè)備，可以用于全面的環(huán)境感知，包括視頻和深度模態(tài)，并實(shí)現(xiàn)了深度輔助視頻壓縮模塊。

他們?cè)谥悄苁謾C(jī)上設(shè)計(jì)了一個(gè)跨模態(tài)障礙物檢測(cè)模塊，該模塊利用基于模態(tài)相關(guān)性的跨模態(tài)學(xué)習(xí)，確?？煽康臋z測(cè)，并提供用戶友好的聽(tīng)覺(jué)和觸覺(jué)警報(bào)。室內(nèi)外多個(gè)實(shí)驗(yàn)結(jié)果表明，該模塊的防撞率達(dá)到 100%，延遲小于 320 毫秒，續(xù)航時(shí)間約為 11 小時(shí)。

2023 年，由 GPT-4 提供支持的 AI 助手 Ask Envision 被設(shè)計(jì)用于輔助視障用戶。它具備多模態(tài)能力，可以接收?qǐng)D像和文本，并生成對(duì)話式回應(yīng)，還能夠?yàn)橛脩籼峁└嚓P(guān)于周圍世界的視覺(jué)信息，并提升用戶的獨(dú)立性。

未來(lái)，隨著視覺(jué)模型、集成可穿戴電子設(shè)備、神經(jīng)科學(xué)見(jiàn)解和個(gè)性化生成訓(xùn)練環(huán)境等方面的更多進(jìn)展，以及跨學(xué)科的進(jìn)一步合作，AI 幫助視障人群“重獲光明”的方式還有更大的想象空間。

作者：與可

編審：學(xué)術(shù)君