一．虛擬現實(shí)的發(fā)展歷程

虛擬現實(shí)是一種存在于計算機和互聯(lián)網(wǎng)環(huán)境中人工制造的虛擬環(huán)境，人們能夠以接近自然的方式與這個(gè)虛擬環(huán)境進(jìn)行交互，從而產(chǎn)生身臨其境的沉浸感。由于虛擬現實(shí)有著(zhù)傳統人機交互無(wú)法比擬的真實(shí)感，使人們能夠如同感知真實(shí)世界一般接觸虛擬空間，為人類(lèi)文化的傳承和發(fā)展創(chuàng )造了新的可能，對教育培訓、文化旅游、社交活動(dòng)、電子商務(wù)、生物醫學(xué)等領(lǐng)域都有深遠的意義。
光場(chǎng)虛擬現實(shí)技術(shù)在傳統虛擬現實(shí)技術(shù)的基礎上，結合計算機圖形學(xué)、計算機視覺(jué)、計算機攝影學(xué)中涌現的最新成果，不僅能讓人無(wú)法區分虛擬和現實(shí)，還能實(shí)現人與虛擬環(huán)境的自然互動(dòng)，進(jìn)一步增強用戶(hù)的真實(shí)體驗。

“小孔成像”的發(fā)現

自從墨子發(fā)現了“小孔成像”現象以來(lái)，人們逐漸掌握了用光學(xué)成像技術(shù)觀(guān)察和記錄世界的能力。

照相機的發(fā)明

1826年，法國人約瑟夫·尼塞福爾·尼埃普斯發(fā)明了世界上第一臺照相機，并在巴黎拍攝了現存最早的一張照片。

各式光學(xué)儀器的出現

此后，各式各樣的光學(xué)儀器如雨后春筍般紛紛出現。其中，雙目立體鏡的出現標志著(zhù)虛擬現實(shí)雛形的誕生。人們能夠通過(guò)雙目立體鏡觀(guān)看三維圖像，相比平面照片而言真實(shí)感更為強烈，

現代虛擬現實(shí)技術(shù)的起源

真正意義上的現代虛擬現實(shí)技術(shù)起源于1965年，被譽(yù)為“計算機圖形學(xué)之父”的美國人伊萬(wàn)·薩瑟蘭發(fā)明了一臺名為“達摩克利斯之劍”的機器，能夠向雙眼顯示不同視角的圖像，實(shí)現立體顯示，同時(shí)對頭部能夠進(jìn)行位置跟蹤，實(shí)現人與虛擬環(huán)境的簡(jiǎn)單互動(dòng)。

互動(dòng)多媒體系統

虛擬現實(shí)走進(jìn)大眾視野

進(jìn)入21世紀以來(lái)，伴隨著(zhù)可穿戴設備等移動(dòng)終端的爆發(fā)式增長(cháng)，個(gè)人設備的計算能力越來(lái)越強大，虛擬現實(shí)頭戴式顯示設備得以迅速興起，虛擬現實(shí)從科學(xué)家的實(shí)驗室一躍進(jìn)入萬(wàn)千大眾的視野。經(jīng)過(guò)近兩年的快速發(fā)展，虛擬現實(shí)技術(shù)相關(guān)的產(chǎn)業(yè)生態(tài)鏈逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件產(chǎn)品相繼走入市場(chǎng)，各種應用也隨之產(chǎn)生并推廣。

二．虛擬現實(shí)的三大難題

虛擬現實(shí)之所以矚目，在于其能創(chuàng )造出一種全新的虛擬場(chǎng)景，使人們能夠產(chǎn)生身臨其境的體驗。這就要求虛擬的場(chǎng)景必須是立體的全景式圖像或視頻，能夠適應人類(lèi)頭部的運動(dòng)，同時(shí)提供深度信息和聚焦變化，使大腦能夠判別近、遠景。

虛擬現實(shí)所需要滿(mǎn)足的生理要求

制作優(yōu)秀的虛擬現實(shí)內容并不簡(jiǎn)單，必須滿(mǎn)足人類(lèi)在自然狀態(tài)下觀(guān)看外部世界的條件。人的眼睛是獲取外界信息最主要的渠道，經(jīng)過(guò)長(cháng)時(shí)間的生理進(jìn)化和日常訓練，形成了感知外部世界的一種本能，且非常挑剔。其中很重要的一點(diǎn)就是感知深度信息，這包括雙目視差、運動(dòng)視差、遮擋和聚散等幾種方式。
當人在自然狀態(tài)下觀(guān)察目標時(shí)，眼睛在不斷地變焦，并且通過(guò)前庭眼反射消除畫(huà)面切換時(shí)的抖動(dòng)和模糊。這是因為在人眼的周?chē)袩o(wú)數的光線(xiàn)，眼睛通過(guò)改變焦距，采集來(lái)自不同方向和位置的光線(xiàn)，聚焦在不同的平面。加上頭部的運動(dòng)，人可以在很大的范圍內聚焦在所關(guān)心的物體上。
在佩戴頭盔的情況下，人眼實(shí)際是聚焦在頭盔的屏幕上，而虛擬現實(shí)技術(shù)則試圖“欺騙”挑剔的人眼和大腦，仿佛雙眼是聚焦在不同的距離。一旦顯示的內容稍有差錯或延遲，人眼就會(huì )敏感地察覺(jué)到，并造成相應的神經(jīng)系統功能紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。

虛擬現實(shí)的三大難題

傳統的虛擬現實(shí)技術(shù)目前還遠遠不能達到這些要求。人工合成的360°全景圖像或視頻無(wú)法產(chǎn)生立體視覺(jué)效果，即便采用立體相機拍攝三維空間信息，取得雙目立體視差，也仍然缺乏運動(dòng)視差，不能形成進(jìn)入走出的沉浸感。還需要加入聚焦變化，即人眼對焦在不同深度時(shí)，由于雙眼的聚散程度不同，對焦所在的平面是清晰的，而其他平面則是模糊的。真實(shí)世界的景物是一個(gè)高維度的復雜數據，只有完全記錄其中的所有信息，并且進(jìn)行不失真的重現，虛擬環(huán)境才能淋漓盡致地表現出來(lái)。
因此，虛擬現實(shí)要取得成功，就必須解決立體視覺(jué)、運動(dòng)視覺(jué)和動(dòng)態(tài)對焦這三大問(wèn)題。

三．光場(chǎng)虛擬現實(shí)的最新成果

為了創(chuàng )造出人眼難以分辨的虛擬現實(shí)，人們需要運用光場(chǎng)技術(shù)，并結合計算機視覺(jué)的方法，來(lái)實(shí)現這一目標。而光場(chǎng)技術(shù)是計算成像/攝影領(lǐng)域發(fā)展起來(lái)的最新技術(shù)。
光場(chǎng)的概念早在1936年就被提出，是指光通過(guò)空間中某一點(diǎn)時(shí)在給定方向上的輻亮度。如圖1所示，人眼在觀(guān)察世界時(shí)無(wú)時(shí)無(wú)刻不在收集周?chē)墓鈭?chǎng)信息。我們可以用全光函數的概念來(lái)描述光場(chǎng)（圖2），其包括3D的空間變量和2D的方向變量，即全光函數是一個(gè)5D函數。在自由空間傳播時(shí)，光的輻亮度沿光線(xiàn)傳播方向保持不變，用光線(xiàn)在兩個(gè)任意平面上的交點(diǎn)坐標表示，可以將光場(chǎng)簡(jiǎn)化成一個(gè)4D函數。
光場(chǎng)記錄了光線(xiàn)的所有空間信息和方向信息，因此可以很容易地通過(guò)光場(chǎng)重建不同對焦平面的圖像，或渲染不同視角下的圖像，甚至合成一個(gè)不存在的虛擬圖像。
在虛擬現實(shí)中，相比傳統的雙目視覺(jué)法，通過(guò)光場(chǎng)構建的立體圖像效果更加真切。這是因為通過(guò)雙目視覺(jué)合成的立體圖像本質(zhì)上還是平面的，而通過(guò)光場(chǎng)合成的立體圖像則真正是立體的。
光場(chǎng)技術(shù)的發(fā)展給虛擬現實(shí)領(lǐng)域帶來(lái)了巨大的變革，它幾乎滿(mǎn)足了人們對于虛擬現實(shí)的所有要求：
立體視差可以帶來(lái)最真實(shí)的感受；
運動(dòng)視差讓進(jìn)入走出更加自然；
重對焦使人們更加愜意地體驗而不至于引起任何身體的不適。
但是光場(chǎng)虛擬現實(shí)任需要解決三個(gè)方面的關(guān)鍵技術(shù)問(wèn)題：光場(chǎng)的拍攝；光場(chǎng)的渲染；光場(chǎng)的顯示。
光場(chǎng)的拍攝

光場(chǎng)虛擬現實(shí)技術(shù)的核心目標就是記錄光場(chǎng)，并且把光場(chǎng)無(wú)損地再現給人眼。光場(chǎng)的拍攝主要通過(guò)兩種方式實(shí)現：一是采用相機陣列拍攝，二是采用光場(chǎng)相機拍攝。
相機陣列拍攝：采用相機陣列的方式，可以捕獲來(lái)自不同視角的高分辨率圖像，每一幅圖像相當于4D光場(chǎng)的一個(gè)2D切片，如果采集足夠多的不同2D切片，就可以重建完整的4D光場(chǎng)。上?？萍即髮W(xué)和疊境數字科技（上海）有限公司合作搭建了一種向內環(huán)視的光場(chǎng)拍攝系統，能夠對小型文物進(jìn)行拍攝和建模，可用于精細展示（圖4）。該系統采用80個(gè)單反相機同步觸發(fā)，拍攝處于中心區域的目標，再利用光場(chǎng)重建技術(shù)對目標進(jìn)行處理和建模，得到被拍攝物的3D模型。
光場(chǎng)相機拍攝：另一種獲得光場(chǎng)信息的方法是采用基于微透鏡陣列的光場(chǎng)相機。光場(chǎng)相機是一種全新的相機，可以實(shí)現先拍照后對焦的全新成像模式。單鏡頭的光場(chǎng)相機通過(guò)微透鏡陣列來(lái)采樣角度信息。每個(gè)微透鏡覆蓋一定數量的像素，對應來(lái)自主透鏡一個(gè)子孔徑的光錐，經(jīng)過(guò)每個(gè)微透鏡成像在探測器的不同位置，這種位置的變化就記錄了光線(xiàn)的方向以此類(lèi)推，將主透鏡的孔徑劃分為若干采樣單元，每個(gè)微透鏡本身便記錄了光場(chǎng)的位置信息，從而實(shí)現四維光場(chǎng)的記錄。
光場(chǎng)相機能夠通過(guò)對光線(xiàn)的重新排布實(shí)現對任意平面的重對焦。光場(chǎng)相機記錄了光場(chǎng)的位置信息和角度信息，采用兩平面光場(chǎng)表示法，根據幾何關(guān)系，計算并渲染出一個(gè)虛擬的重對焦平面上的圖像（圖6）。計算時(shí)，指定重對焦平面上的一點(diǎn)，可以找到在透鏡平面和探測器平面的坐標位置，從光場(chǎng)中取出這些對應的光線(xiàn)進(jìn)行積分，就能得到在該平面上的圖像。這個(gè)虛擬的重對焦平面可以任意指定，因此便實(shí)現了一定景深范圍內任意平面的重對焦功能。事實(shí)上，這些光場(chǎng)拍攝系統也能應用在博物館行業(yè)。例如，谷歌公司的360°全景攝像裝置Google Jump采用16個(gè)GoPro相機，形成了一個(gè)向外觀(guān)看的環(huán)形相機陣列，能夠實(shí)現3D全景高清視頻的拍攝，可以展示整個(gè)展廳甚至整個(gè)博物館的全貌，提升虛擬博物館的體驗。

互動(dòng)多媒體系統

首先，通過(guò)相機陣列或光場(chǎng)相機得到同一物體或場(chǎng)景在不同視角下的一系列圖像，再通過(guò)多視角幾何關(guān)系估計出場(chǎng)景中的深度，獲得粗略的幾何信息。同時(shí)，光場(chǎng)相機通過(guò)重新排布光線(xiàn)，實(shí)現先拍照后對焦，在一系列的焦平面位置進(jìn)行圖像渲染，獲得圖像中的深度信息。
其次，在光學(xué)成像系統中，焦平面附近的發(fā)光強度分布具有對稱(chēng)性。利用這個(gè)性質(zhì)，通過(guò)檢測不同對焦圖像附近的光強分布，計算出不同物點(diǎn)的深度信息。比較而言，這種方法在圖像噪聲 和采樣欠缺的情況下具有更強的抗變換性。

另外，可以利用場(chǎng)景中的遮擋性進(jìn)行深度估計。在無(wú)遮擋的情況下，場(chǎng)景中的物體顏色分布是均勻的，而有遮擋的部分則會(huì )出現顏色混合。在光場(chǎng)相機中，從不同視角下渲染出的圖像具有不同的統計特性，根據表面統計數據檢測遮擋情況，作為評判一致性的指標，可以計算出深度信息。

所有這些檢測圖像中幾何信息的方法，綜合起來(lái)就可以幫助我們獲得完整的幾何信息來(lái)輔助光場(chǎng)渲染，得到逼真的圖像。采用這種方法對博物館進(jìn)行建模和處理，所產(chǎn)生的渲染圖像可以方便地顯示在虛擬現實(shí)頭盔的屏幕上，為觀(guān)眾呈現藏品的全部光場(chǎng)信息，從各個(gè)角度自然地觀(guān)看藏品的虛擬模型，再配合手柄等操作設備，就能產(chǎn)生進(jìn)入走出的運動(dòng)視覺(jué)，提高互動(dòng)感受。

光場(chǎng)的顯示

由于光線(xiàn)可逆，光場(chǎng)顯示過(guò)程與光場(chǎng)成像過(guò)程互為對偶關(guān)系，因此將捕獲的光場(chǎng)信息通過(guò)光場(chǎng)顯示器件表現出來(lái)后，人眼即可看到“真實(shí)”的虛擬世界。

微透鏡陣列和光場(chǎng)渲染技術(shù)：美國英偉達公司最近發(fā)明了一種近眼光場(chǎng)頭盔。該頭盔采用微透鏡陣列和光場(chǎng)渲染技術(shù)，使人們能夠自由調節對焦，觀(guān)察到正確的聚散程度、雙目視差和深度信息。其基本原理是在有機發(fā)光二極管顯示器上覆蓋一層微透鏡陣列，在人眼的調節距離內快速合成虛擬的3D景物。由于此類(lèi)顯示設備的尺寸小、佩戴輕便，為下一代光場(chǎng)顯示和虛擬現實(shí)設備的開(kāi)發(fā)提供了新的思路。盡管這種光場(chǎng)頭盔的分辨率較低，還不足以實(shí)現商業(yè)化用途，但隨著(zhù)硬件器材和計算機算法的不斷完善，未來(lái)將有巨大的發(fā)展潛力。

壓縮光場(chǎng)顯示：另一種光場(chǎng)顯示技術(shù)稱(chēng)為壓縮光場(chǎng)顯示，也是光場(chǎng)顯示方向頗具潛力的解決方案之一。例如，麻省理工學(xué)院開(kāi)發(fā)的多層壓縮光場(chǎng)顯示裝置采用若干層掩膜和透明間隔實(shí)現光場(chǎng)顯示，通過(guò)張量分解的方法優(yōu)化每層掩膜板的透過(guò)率，將二維圖像投射到三維空間。