視覺(jué)是人類獲取信息的主要方式之一,占人類感官獲取所有信息的80%左右。顯示技術(shù)是終端為用戶提供視覺(jué)體驗(yàn)的關(guān)鍵技術(shù),是通信傳輸內(nèi)容的重要呈現(xiàn)方式,并對(duì)網(wǎng)絡(luò)的承載能力和業(yè)務(wù)特性產(chǎn)生較大的影響。裸眼3D技術(shù)是一種無(wú)需借助輔助設(shè)備為使用者提供三維視覺(jué)體驗(yàn)的顯示技術(shù),是終端從二維向三維演進(jìn)的重要技術(shù)路線,已有多款裸眼3D手機(jī)、Pad生產(chǎn)上市。與傳統(tǒng)2D顯示相比,裸眼3D顯示不僅提升了用戶使用的沉浸感和沖擊感,而且無(wú)頭戴式設(shè)備等存在的負(fù)重感強(qiáng)、續(xù)航時(shí)間受限問(wèn)題,用戶可輕松獲得裸眼三維視覺(jué)體驗(yàn)。此外,裸眼3D技術(shù)因其深度信息豐富、沉浸體驗(yàn)強(qiáng)烈的特點(diǎn),可結(jié)合其他技術(shù)開拓3D觀影、直播、通話、會(huì)議等多種場(chǎng)景和應(yīng)用。
1、什么是裸眼3D技術(shù)?
裸眼3D(Glasses-Free 3D)當(dāng)前業(yè)界并無(wú)完全統(tǒng)一標(biāo)準(zhǔn)的定義。一般而言,廣義的裸眼3D涵蓋所有不借助外部工具實(shí)現(xiàn)三維立體視覺(jué)效果的技術(shù),比如利用折角屏幕搭配內(nèi)容特效制造3D體驗(yàn)的成都春熙路裸眼3D大屏、利用半透半反膜投影結(jié)合舞臺(tái)設(shè)計(jì)形成的2013周杰倫演唱鄧麗君3D影像等;狹義的裸眼3D則特指基于雙目視差原理,通過(guò)向雙目投送不同圖像實(shí)現(xiàn)裸眼三維立體效果的技術(shù),比如中興Nubia系列Pad和手機(jī)等。本文出于技術(shù)發(fā)展和業(yè)內(nèi)共識(shí)考慮,采用狹義的裸眼3D概念作為定義。該定義中的雙目視差原理利用人類左右眼輸入對(duì)應(yīng)視差圖像時(shí)大腦會(huì)合成三維體驗(yàn)的機(jī)制實(shí)現(xiàn)三維效果。所謂視差圖像,可理解為人類兩只眼睛(成人眼睛瞳孔平均間距為65mm)從不同的方位觀察同一物體,獲得的左右兩幅存在微小區(qū)別的目標(biāo)物體二維圖像。
裸眼3D技術(shù)通過(guò)內(nèi)容與顯示軟硬件技術(shù)的配合,可以實(shí)現(xiàn)富有沖擊感、沉浸式的視覺(jué)效果,具有三維立體感強(qiáng)、空間信息豐富的特點(diǎn)。裸眼3D技術(shù)與智能媒體網(wǎng)絡(luò)、數(shù)字人、人工智能生成內(nèi)容(AIGC)等技術(shù)融合,可帶來(lái)沉浸、虛實(shí)融合的體驗(yàn),打破屏幕內(nèi)外的次元壁,賦能教育、游戲、娛樂(lè)、通話等一系列場(chǎng)景,塑造面向未來(lái)的沉浸式業(yè)務(wù)體系推動(dòng)產(chǎn)業(yè)向3D時(shí)代格局演進(jìn)。例如,醫(yī)學(xué)領(lǐng)域可以實(shí)現(xiàn)遠(yuǎn)程手術(shù)培訓(xùn),醫(yī)生可以在沉浸式環(huán)境中與專家進(jìn)行互動(dòng),提升醫(yī)療專業(yè)技能;教育方面,學(xué)生可以通過(guò)裸眼3D全面體驗(yàn)歷史事件,使學(xué)習(xí)變得更為生動(dòng)有趣。此外,裸眼3D也將推動(dòng)娛樂(lè)行業(yè)的創(chuàng)新,裸眼3D游戲、體育賽事將變得更加引人入勝,吸引觀眾更深度參與內(nèi)容,創(chuàng)造出更為身臨其境的娛樂(lè)體驗(yàn)。這一技術(shù)的廣泛應(yīng)用將在社交網(wǎng)絡(luò)中促使人們更加緊密地連接,無(wú)論身處何地,都能夠共享更為豐富和有趣的體驗(yàn)。
裸眼3D技術(shù)不僅可以帶來(lái)超越二維的沉浸式立體視覺(jué)體驗(yàn),同時(shí)因其特殊的技術(shù)原理、數(shù)據(jù)格式具有眾多場(chǎng)景應(yīng)用潛力,有望為用戶帶來(lái)新的體驗(yàn)推動(dòng)業(yè)務(wù)由二維向三維升級(jí)。裸眼3D技術(shù)具有以下特點(diǎn):
①三維體驗(yàn)突出:裸眼3D可對(duì)目標(biāo)用戶左右眼分別投送不同的圖像從而模擬人類視覺(jué)產(chǎn)生三維影像,與單一畫面投送的2D相比可帶來(lái)沖擊感強(qiáng)烈的沉浸式體驗(yàn)。此外,豐富的空間信息為三維模型等虛擬內(nèi)容的接入和展示提供了天然的便利條件。
②使用成本低:成本低包含佩戴負(fù)擔(dān)低和硬件實(shí)現(xiàn)成本低兩方面。首先,裸眼3D用戶無(wú)需佩戴其他輔助設(shè)備,沒(méi)有VR等頭戴設(shè)備因電池、顯示計(jì)算設(shè)備重量導(dǎo)致的用戶佩戴不適感,并且相對(duì)頭戴設(shè)備因其屏幕遠(yuǎn)離眼球故而不易產(chǎn)生視覺(jué)輻輳調(diào)節(jié)引發(fā)的暈動(dòng)癥。第二,裸眼3D顯示相對(duì)現(xiàn)行的2D顯示,硬件分光可通過(guò)增加一層光柵膜的方式支持光線的投射,膜片成本可控且邊際效應(yīng)明顯。此外,類似手機(jī)貼膜的外貼柱狀透鏡膜片升級(jí)方式逐漸成熟,無(wú)需更換設(shè)備即可支持現(xiàn)有2D終端的裸眼3D升級(jí)。第三,裸眼3D支持對(duì)2D顯示的兼容。通過(guò)對(duì)內(nèi)容和編碼方式進(jìn)行調(diào)整,可完成2D/3D顯示的熱切換。
③軟硬件系統(tǒng)協(xié)同:裸眼3D的實(shí)現(xiàn)需要硬件分光、軟件編碼渲染和3D內(nèi)容的系統(tǒng)協(xié)作實(shí)現(xiàn)。作為業(yè)內(nèi)常用3D內(nèi)容格式,SBS(Side-By-Side)格式特點(diǎn)是將左右視點(diǎn)兩路數(shù)據(jù)合并為單路傳輸,比如將左右視點(diǎn)圖像水平拼接為SBS格式圖像。3D內(nèi)容首先經(jīng)過(guò)軟件的編碼渲染形成光柵數(shù)據(jù),之后通過(guò)顯示硬件對(duì)目標(biāo)進(jìn)行分光和投射產(chǎn)生3D視覺(jué)效果。
④高流量帶寬:裸眼3D的效果實(shí)現(xiàn)需要3D內(nèi)容的配合,該類型內(nèi)容因同時(shí)包含左、右眼視圖,所需分辨率相對(duì)同層次2D效果分辨率更高。因此,對(duì)于同一素材,裸眼3D內(nèi)容傳輸帶寬和流量需求約為2D內(nèi)容的1.5~3倍,對(duì)于運(yùn)營(yíng)商的業(yè)務(wù)營(yíng)收具有明顯的帶動(dòng)價(jià)值。
⑤內(nèi)生AI:裸眼3D所需3D內(nèi)容包含左右眼兩個(gè)視角的圖像信息,直接采集需要雙路設(shè)備工作且設(shè)備間距具有一定要求,這對(duì)于現(xiàn)有高集成、小型化設(shè)備而言難以實(shí)現(xiàn)。因此需要通過(guò)AI技術(shù)將采集的單視圖2D信息轉(zhuǎn)換為雙視圖的3D信息。此外,虛擬3D內(nèi)容需求巨大,若采用人工設(shè)計(jì)建模方式生產(chǎn),其成本非常昂貴,難以滿足業(yè)務(wù)發(fā)展,需要引入AI自動(dòng)化智能生成技術(shù),快速形成海量、優(yōu)質(zhì)的3D內(nèi)容。
2、裸眼3D技術(shù)原理
裸眼3D技術(shù)通過(guò)對(duì)SBS(Side-by-Side)內(nèi)容進(jìn)行渲染處理后,向目標(biāo)用戶左右眼分別投送不同視圖從而形成3D效果。裸眼3D技術(shù)的核心是3D編碼算法和光柵硬件,分別負(fù)責(zé)對(duì)SBS內(nèi)容進(jìn)行光柵化編碼和后續(xù)分光投送,兩者協(xié)同工作形成三維效果。整體流程為:裸眼3D系統(tǒng)獲取到SBS內(nèi)容后,3D編碼算法首先通過(guò)識(shí)別定位算法獲取目標(biāo)用戶雙目位置,結(jié)合該位置信息、光柵硬件參數(shù)等對(duì)SBS內(nèi)容進(jìn)行編碼形成光柵化數(shù)據(jù)。之后由光柵硬件按照編碼數(shù)據(jù)分布對(duì)其進(jìn)行分光,控制光線向不同位置進(jìn)行投射,從而使得對(duì)應(yīng)圖像進(jìn)入目標(biāo)用戶左眼和右眼形成3D視覺(jué)體驗(yàn)(圖1)。
圖1 裸眼3D技術(shù)原理示意圖
依據(jù)光柵硬件實(shí)現(xiàn)方法不同,目前裸眼3D產(chǎn)業(yè)上主要有光屏障、柱狀透鏡和指向光源三類具體技術(shù)實(shí)現(xiàn)路線:
①光屏障技術(shù):其原理是通過(guò)遮擋光線實(shí)現(xiàn)將不同視點(diǎn)的信息分別投影到左右眼的位置(圖2)。其優(yōu)勢(shì)是簡(jiǎn)單易實(shí)現(xiàn)成本低,缺點(diǎn)是光柵不透明擋光導(dǎo)致整體亮度下降比較厲害。目前產(chǎn)業(yè)上使用此技術(shù)的一般用液晶電子光柵,通過(guò)控制液晶通過(guò)/遮擋光線可以實(shí)現(xiàn)2D/3D的無(wú)損切換。產(chǎn)業(yè)界因其亮度低的缺點(diǎn)目前使用較少。
圖2 光屏障技術(shù)原理示意圖
②柱狀透鏡技術(shù):其原理是采用微納的柱透鏡結(jié)構(gòu)折射光線實(shí)現(xiàn)對(duì)左右眼的的分光效果(圖3)。其優(yōu)勢(shì)是亮度損失低成本低(物理柱晶光柵),缺點(diǎn)是2D顯示會(huì)存在一定的鋸齒效果(物理柱晶光柵)。目前產(chǎn)業(yè)上實(shí)現(xiàn)柱狀透鏡分為兩種方式:物理柱晶光柵和液晶透鏡。其中液晶透鏡是用液晶來(lái)形成曲度可調(diào)節(jié)的柱狀透鏡,如此不僅保留柱晶光柵的優(yōu)點(diǎn)且可無(wú)損的切換2D/3D效果,但缺點(diǎn)是成本相對(duì)高。整體而言,現(xiàn)在產(chǎn)業(yè)上柱狀透鏡的路線采用較多。
圖3 柱狀透鏡技術(shù)原理示意圖
③指向光源技術(shù):其原理是增加一層指向性背光,配合快速反應(yīng)的LCD面板和驅(qū)動(dòng)方法,讓3D內(nèi)容以排序方式進(jìn)入觀看者的左右眼互換影像產(chǎn)生視差(圖4)。其優(yōu)勢(shì)是亮度高、可無(wú)損切換2D/3D效果,劣勢(shì)是由于額外多了一層背光導(dǎo)致設(shè)備厚度大且成本高?,F(xiàn)在產(chǎn)業(yè)中,部分企業(yè)采用指向性背光技術(shù)設(shè)計(jì)制造裸眼3D設(shè)備。
圖4 指向光源技術(shù)原理示意圖
3、裸眼3D技術(shù)應(yīng)用場(chǎng)景
①裸眼3D直播:基于2D轉(zhuǎn)3D平臺(tái)的實(shí)時(shí)轉(zhuǎn)碼能力,通過(guò)普通單目攝像頭采集2D圖像并編碼傳輸,經(jīng)過(guò)平臺(tái)轉(zhuǎn)碼形成SBS格式3D內(nèi)容,發(fā)送至具有裸眼3D顯示能力的終端完成定位、編碼和分光投射后為用戶呈現(xiàn)3D效果。裸眼3D直播無(wú)需升級(jí)采集端設(shè)備,即可為用戶提供實(shí)時(shí)、沉浸式的裸眼3D直播體驗(yàn)。咪咕公司在24年6月的歐洲杯直播中首次使用裸眼3D直播,并在7月的巴黎奧運(yùn)會(huì)直播中進(jìn)一步優(yōu)化升級(jí)。
圖5 裸眼3D奧運(yùn)會(huì)直播
②裸眼3D觀影:將制作或者轉(zhuǎn)制生成的SBS視頻存儲(chǔ)在云端或者終端,當(dāng)用戶發(fā)出點(diǎn)播指令時(shí)進(jìn)行傳輸、解碼和終端的渲染顯示后為用戶提供3D體驗(yàn)。裸眼3D觀影為用戶提供了新的視頻觀看體驗(yàn),其沉浸性強(qiáng)、沖擊感強(qiáng)烈的特點(diǎn)與記錄、動(dòng)作、科幻等多種類型視頻具有高度的契合性。咪咕視頻愛(ài)看版已上線裸眼3D視頻專區(qū),用戶通過(guò)裸眼3D專用設(shè)備就可觀看預(yù)制好的3D視頻源。
圖6 裸眼3D視頻
③裸眼3D通信:裸眼3D通信包括彩鈴、點(diǎn)亮屏幕等視頻播放類業(yè)務(wù)和實(shí)時(shí)3D通話業(yè)務(wù)。3D視頻彩鈴、點(diǎn)亮屏幕能夠帶來(lái)具有視覺(jué)沖擊效果的業(yè)務(wù)體驗(yàn),有效彰顯彩鈴、點(diǎn)亮屏幕在廣告和個(gè)性化展示方面的產(chǎn)品特性。裸眼3D通話基于VoLTE/VoNR視頻通話,整合高性能2D轉(zhuǎn)3D等技術(shù)實(shí)現(xiàn)為用戶帶來(lái)沉浸式三維通話新體驗(yàn),為通話業(yè)務(wù)拓展新場(chǎng)景提供了空間。
圖7 裸眼3D彩鈴和通話
4、結(jié)束語(yǔ)
裸眼3D通過(guò)軟件、硬件和內(nèi)容的系統(tǒng)配合完成左右眼圖像的準(zhǔn)確投送和響應(yīng)控制,利用雙目視差形成三維視覺(jué)。基于裸眼3D技術(shù),用戶無(wú)需佩戴額外設(shè)備即可獲得3D效果,帶來(lái)新穎的沖擊性和沉浸感體驗(yàn)。由于當(dāng)前普遍采用的光柵硬件僅能在一定角度范圍內(nèi)同時(shí)分光投送一對(duì)左右眼圖像,且精度存在不足,裸眼3D仍面臨僅支持單人使用、視角受限、虛影等問(wèn)題。但隨著裸眼3D相關(guān)技術(shù)的不斷發(fā)展,這些問(wèn)題都將逐步得到解決和優(yōu)化??梢灶A(yù)見(jiàn),裸眼3D將在直播、觀影、通話、游戲、會(huì)議等眾多場(chǎng)景逐步推廣應(yīng)用。隨著裸眼3D的大規(guī)模應(yīng)用,其高帶寬流量、內(nèi)生AI等特性將大幅拉動(dòng)網(wǎng)絡(luò)流量和算力資源需求增長(zhǎng),成為驅(qū)動(dòng)網(wǎng)絡(luò)演進(jìn)發(fā)展的新動(dòng)力。
作者:殷興華、楊本植、劉堃、姬鴻飛
單位:中國(guó)移動(dòng)研究院