專利名稱：用來對(duì)光進(jìn)行建模的方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
一般地，本發(fā)明涉及計(jì)算機(jī)圖形處理與顯示系統(tǒng)，更具體地，涉及用來在時(shí)間與空間中對(duì)光進(jìn)行建模的方法與系統(tǒng)。

背景技術(shù)：
對(duì)于電影(motion picture)的制作，經(jīng)常希望結(jié)合數(shù)字繪制的圖像與例如可由傳統(tǒng)膠片相機(jī)或者更現(xiàn)代的數(shù)字相機(jī)捕獲的實(shí)際場景的圖像。例如，可能希望在所拍攝的場景內(nèi)以數(shù)字方式創(chuàng)建利用傳統(tǒng)特效工具來制作會(huì)更費(fèi)錢甚或不可能的視覺效果(VFX)。但是，人們還希望視覺效果看起來完全真實(shí)，以保持現(xiàn)實(shí)的幻覺?，F(xiàn)有技術(shù)中已知有用來繪制數(shù)字對(duì)象以插入到攝影圖像中的方法，包括有時(shí)被稱為“基于圖像的照明”的方法。簡單地說，基于圖像的照明指以下活動(dòng)收集關(guān)于在所拍照或者所捕獲的場景中的特定點(diǎn)處的照明的現(xiàn)實(shí)世界信息，然后利用該信息來繪制數(shù)字對(duì)象。由此，所繪制的對(duì)象被以與仿佛其為位于該場景中的真實(shí)對(duì)象相同的方式照射，并且可以將所繪制的對(duì)象插入到場景的照片圖像(或者視頻幀序列)中，而不會(huì)顯得與周圍環(huán)境不合適。
當(dāng)前存在幾種用來捕獲空間中點(diǎn)的全局照明的方法。當(dāng)前的技術(shù)方案包括拍攝球形鏡球(spherical mirror ball)的幾幅高動(dòng)態(tài)范圍的畫面，或者利用專用相機(jī)拍攝高動(dòng)態(tài)范圍的全景畫面等等。最簡單的方法為使用常規(guī)相機(jī)來拍攝位于場景中的鏡射球(mirrored ball)的照片。鏡射球?qū)嶋H反射了其周圍的整個(gè)世界，而不僅僅是朝向相機(jī)的半球。從該球外圓周反射的光線從環(huán)境的后半部分掃向相機(jī)。利用常規(guī)相機(jī)來獲得全方向圖像的另一種方法為拍攝朝向不同方向的許多畫面的拼圖，并且利用現(xiàn)有技術(shù)公知的圖像拼接程序來組合它們。一種在每次拍攝時(shí)都覆蓋特別大的區(qū)域的好方法是使用魚眼鏡頭，其使用戶能夠以少至兩個(gè)的圖像覆蓋全部視野。最后一種技術(shù)為使用特殊的掃描全景相機(jī)，例如可從德國的SpheronVR AG購得的PanoCamTM相機(jī)，其利用在旋轉(zhuǎn)相機(jī)頭上的垂直行的圖像傳感器來掃描通過360度的視野。但是，為了進(jìn)行光測量，需要正確檢定和校準(zhǔn)專門相機(jī)與球形鏡球。另外，這些系統(tǒng)用來僅僅捕獲空間中的一個(gè)點(diǎn)以及時(shí)間上的一個(gè)時(shí)刻的照明是足夠的。但是VFX應(yīng)用一般要求有空間中整個(gè)區(qū)域的照明信息，例如電影布景，并且有時(shí)在照明環(huán)境變化時(shí)要求有對(duì)于一段時(shí)間的照明信息。
其他方法使用相機(jī)陣列來捕獲光信息。因?yàn)樵谙鄼C(jī)陣列中將相機(jī)均勻地放置在平坦平面上，所以相機(jī)陣列的視野限于特定角度以及特定空間位置。在VFX應(yīng)用中，一般需要大得多的視野與(幾乎在每個(gè)位置處的)光信息，因此當(dāng)前的相機(jī)陣列技術(shù)方案對(duì)于VFX應(yīng)用有限制。
另外，現(xiàn)有的系統(tǒng)不收集來自多個(gè)位置和/或多個(gè)時(shí)間上的照明信息。現(xiàn)有系統(tǒng)沒有系統(tǒng)地構(gòu)造允許其預(yù)測或者內(nèi)插其他位置和/或各個(gè)時(shí)間上的照明的照明模型。因此，現(xiàn)有用于VFX合成(compositing)的系統(tǒng)的功能限于其中捕獲簡單全局照明以及對(duì)其建模就足夠了的情況。


發(fā)明內(nèi)容
提供了一種用來對(duì)電影布景上的在布景的不同位置上以及不同時(shí)間上的照明建模的方法與系統(tǒng)。本發(fā)明的方法與系統(tǒng)按照需要收集不同位置與時(shí)間上的照明讀數(shù)，以構(gòu)造用于視覺效果(VFX)合成的光模型。然后利用該光模型，可以預(yù)測或者內(nèi)插在未為其獲得特定照明讀數(shù)的其他位置和/或時(shí)間上的照明。
本發(fā)明的方法與系統(tǒng)收集某個(gè)預(yù)定物理空間中多個(gè)位置和/或多個(gè)時(shí)間上的光信息(例如多個(gè)位置上的光讀數(shù)，從其可以獲得光信息的多個(gè)點(diǎn)處的畫面或者圖像等等)，并且為該預(yù)定物理空間構(gòu)造表示跨越空間和/或時(shí)間的光分布的光模型。該光分布模型可以表征或者近似時(shí)間與空間中的輻射亮度(radiance)函數(shù)，其中該輻射亮度為在給定位置與方向上的光強(qiáng)度?？梢栽谟?jì)算場景中特定點(diǎn)的輻射亮度值時(shí)構(gòu)造光分布模型。光分布模型可以包括如何內(nèi)插在未捕獲光信息的位置與時(shí)間處的光。然后可以使用光模型來繪制對(duì)象(例如自然或者CG元素)，就仿佛其在該空間中一樣。對(duì)于繪制處理，在空間的(多個(gè))預(yù)定位置與時(shí)間的(多個(gè))時(shí)刻處進(jìn)行光內(nèi)插/預(yù)測。然后可以將所繪制的對(duì)象合成到某場景中，例如從其收集光信息的場景或者背景板中。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用來對(duì)預(yù)定物理空間中的光建模的方法。該方法包括獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)；以及根據(jù)所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，構(gòu)造所述預(yù)定物理空間中的光分布模型。所述方法還包括根據(jù)所述光分布模型，預(yù)測一空間位置處的光強(qiáng)度。
在另一個(gè)方面，所述方法還包括獲取至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻處的所述至少一個(gè)第一光讀數(shù)；以及根據(jù)所述光分布模型，預(yù)測不同于所述至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻的另一時(shí)刻處的所述第一空間位置處的光強(qiáng)度。
根據(jù)本發(fā)明的另一個(gè)方面，一種用來創(chuàng)建場景的新圖像的方法包括獲取預(yù)定時(shí)間處的場景的圖像；確定該場景的三維坐標(biāo)；根據(jù)所述預(yù)定時(shí)間與三維坐標(biāo)，預(yù)測在該場景的選定空間位置處的光信息；以及利用所預(yù)測的光信息，繪制該場景選定空間位置處的對(duì)象。
在另一個(gè)方面，提供了一種用來對(duì)預(yù)定物理空間中的光建模的系統(tǒng)。該系統(tǒng)包括至少兩個(gè)傳感器，其被配置來獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)；以及后處理設(shè)備，其被配置來創(chuàng)建至少一個(gè)光模型；該后處理設(shè)備包括光模型構(gòu)造器，其被配置來從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度，以創(chuàng)建所述預(yù)定物理空間中的光分布模型。
在另一個(gè)方面，提供了一種可由機(jī)器讀取的程序存儲(chǔ)設(shè)備，其以有形方式包含可由該機(jī)器執(zhí)行的指令程序，以執(zhí)行用來對(duì)預(yù)定物理空間中的光建模的方法步驟，該方法包括獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)；以及根據(jù)所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，構(gòu)造所述預(yù)定物理空間中的光分布模型，其中所述構(gòu)造光分布模型包括從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度；以及根據(jù)所述光分布模型，預(yù)測第四空間位置處的光強(qiáng)度。



從以下結(jié)合附圖的對(duì)優(yōu)選實(shí)施例的詳細(xì)描述，將描述或者可以看出本發(fā)明的這些與其他方面、特征、以及優(yōu)點(diǎn)。
在附圖中，類似的附圖標(biāo)記表示類似的元件 圖1為根據(jù)本發(fā)明一個(gè)方面的用來對(duì)時(shí)間與空間中光建模以及使用光模型進(jìn)行視覺效果(VFX)合成的系統(tǒng)的示范性圖示； 圖2為根據(jù)本發(fā)明一個(gè)方面的一個(gè)可能的布景中用來對(duì)光建模以及使用光模型進(jìn)行視覺效果(VFX)合成的示范性系統(tǒng)設(shè)置； 圖3為根據(jù)本發(fā)明一個(gè)方面的用來對(duì)時(shí)間與空間中光建模以及使用光模型預(yù)測光的示范性方法的流程圖； 圖4顯示根據(jù)本發(fā)明一個(gè)方面的用來將一個(gè)圖像的像素強(qiáng)度轉(zhuǎn)換為光與方向強(qiáng)度的技術(shù)； 圖5顯示根據(jù)本發(fā)明一個(gè)方面的用來匹配像素以及使用至少兩個(gè)圖像之間的三角測量來識(shí)別三維(3D)空間中的場景點(diǎn)的技術(shù)； 圖6顯示根據(jù)本發(fā)明一個(gè)方面的用來內(nèi)插場景中新位置處的光的強(qiáng)度和方向的技術(shù)；以及 圖7為根據(jù)本發(fā)明一個(gè)方面的用于VFX合成的示范性方法的流程圖。
應(yīng)該理解，附圖完全是用來說明本發(fā)明的思路，而不一定是顯示本發(fā)明唯一可能配置。

具體實(shí)施例方式 應(yīng)該理解附圖中所示的元件可以各種形式的硬件、軟件、或者其組合來實(shí)現(xiàn)。優(yōu)選地，這些元素以硬件和軟件的組合來在一個(gè)或者多個(gè)適當(dāng)編程的通用設(shè)備(其可以包括處理器、存儲(chǔ)器、以及輸入/輸出接口)上實(shí)現(xiàn)。
本說明書顯示了本發(fā)明的原理。由此應(yīng)該理解本領(lǐng)域技術(shù)人員能夠設(shè)想各種結(jié)構(gòu)，其雖然未在此處明確描述或者顯示，但是實(shí)現(xiàn)了本發(fā)明的原理，并且包含在其精神與范圍之內(nèi)。
此處描述的所有例子與條件性語言都是用于教學(xué)目的，以幫助用戶理解本發(fā)明的原理以及發(fā)明人貢獻(xiàn)來改進(jìn)現(xiàn)有技術(shù)的思路，并且應(yīng)該被理解為不限于此類具體描述的例子與條件。
另外，此處描述本發(fā)明的原理、方面、以及實(shí)施例、及其特定例子的所有語句都意在包含其結(jié)構(gòu)性與功能性等價(jià)物兩者。另外，此類等價(jià)物還要包括當(dāng)前已知的等價(jià)物以及將來開發(fā)的等價(jià)物兩者，即不論結(jié)構(gòu)如何被開發(fā)來執(zhí)行相同功能的任何元件。
由此，例如本領(lǐng)域技術(shù)人員應(yīng)該理解此處所呈現(xiàn)的方框圖表示實(shí)現(xiàn)本發(fā)明原理的說明性電路的概念性視圖。類似地，應(yīng)該理解任何流程圖、流程表、狀態(tài)轉(zhuǎn)換圖、偽代碼等等表示基本可以在計(jì)算機(jī)可讀介質(zhì)中表示、并且由此由計(jì)算機(jī)或者處理器執(zhí)行的各種處理，而不管是否明確顯示了此類計(jì)算機(jī)或者處理器。
可以通過使用專用硬件以及能夠與適當(dāng)軟件結(jié)合來執(zhí)行軟件的硬件來提供在附圖中顯示的各種元素的功能。當(dāng)由處理器提供時(shí)，這些功能可以由單個(gè)專用處理器、單個(gè)共享處理器、或者多個(gè)獨(dú)立處理器(某些可以共享)提供。另外，明確使用術(shù)語“處理器”或者“控制器”不應(yīng)該被理解為專指能夠執(zhí)行軟件的硬件，而是可以隱含地包括但不限于數(shù)字信號(hào)處理器(DSP)硬件、用來存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)訪問存儲(chǔ)器(RAM)、以及非易失存儲(chǔ)器。
也可以包括常規(guī)和/或定制的其他硬件。類似地，圖中所示的開關(guān)僅是概念性的。其功能可以通過操作程序邏輯、通過專用邏輯、通過程序控制與專用邏輯的交互、甚或手動(dòng)地來執(zhí)行，具體技術(shù)可以由實(shí)現(xiàn)者根據(jù)對(duì)情況的具體理解來選擇。
在其權(quán)利要求書中，被表示為用來執(zhí)行指定功能的部件的所有元件意在包括執(zhí)行該功能的任何方式，包括例如a)執(zhí)行該功能的電路元件的組合；或者b)任何形式的軟件，因此包括固件、微代碼等等，其與適當(dāng)電路組合，用來執(zhí)行該軟件以執(zhí)行該功能。此類權(quán)利要求所限定的本發(fā)明在于由各個(gè)所述部件提供的功能以權(quán)利要求所限定的方式組合在一起。由此應(yīng)該認(rèn)為可以提供這些功能的任何手段都等價(jià)于此處所示的手段。
本發(fā)明處理對(duì)例如在電影布景中跨越空間與時(shí)間的照明建模的問題。對(duì)于在電影中合成具備光照真實(shí)感(photorealistic)的VFX(視覺效果)，照明非常重要。合成(compositing)是一種廣泛用于電影制作的標(biāo)準(zhǔn)處理，用來組合前景和/或背景板與計(jì)算機(jī)生成(CG)元素以獲得特定視覺效果。CG元素如果用與背景和前景板相同的照明繪制與合成則看起來更具光照真實(shí)感。本發(fā)明提供一種用來對(duì)跨越空間和時(shí)間的照明建模的方法與系統(tǒng)。本發(fā)明的方法與系統(tǒng)按照需要收集不同位置與時(shí)間上的照明讀數(shù)，以構(gòu)造表示某個(gè)預(yù)定物理空間和時(shí)間(例如電影的場景或者布景)中的照明的模型。然后利用該光模型，可以預(yù)測或者內(nèi)插在未為其獲得特定光讀數(shù)的其他位置和/或時(shí)間上的照明。本發(fā)明的技術(shù)使后期制作處理能夠使用所提取的光模型來改進(jìn)對(duì)于復(fù)雜場景將VFX合成到電影中，其中照明在空間和/或時(shí)間上變化。另外，通過采集在時(shí)間上的不同時(shí)刻處的光信息，可以在其他時(shí)間上內(nèi)插照明，當(dāng)試圖表征變化的戶外照明(例如在日落期間)時(shí)，這非常有用。
現(xiàn)在參照附圖，圖1顯示根據(jù)本發(fā)明實(shí)施例的示范性系統(tǒng)組件?？梢耘鋫鋻呙柙O(shè)備103來將膠片拷貝(film print)104(例如相機(jī)原始底片)掃描為數(shù)字格式，例如Cineon格式或者SMPTE DPX文件。掃描設(shè)備103可以包括例如telecine或者從膠片生成視頻輸出(例如對(duì)于視頻輸出的Arri LocProTM)的任何設(shè)備?？商鎿Q地，可以直接使用來自后期制作處理或者數(shù)字相機(jī)106的文件(例如已經(jīng)處于計(jì)算機(jī)可讀形式的文件)。計(jì)算機(jī)可讀文件的可能來源包括但不限于AVIDTM編輯器、DPX文件、D5帶等等。
所掃描的膠片拷貝輸入到后處理設(shè)備102，例如計(jì)算機(jī)。該計(jì)算機(jī)在各種已知計(jì)算機(jī)平臺(tái)的中的任何一種上實(shí)現(xiàn)，其具有諸如以下硬件一個(gè)或多個(gè)中央處理單元(CPU)、諸如隨機(jī)訪問存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)等存儲(chǔ)器110、以及諸如鍵盤、光標(biāo)控制設(shè)備(例如鼠標(biāo)或操作桿)與顯示設(shè)備等(多個(gè))輸入/輸出(I/O)用戶接口112。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)與微指令代碼。此處描述的各種處理與功能可以為微指令代碼的一部分，或者為軟件應(yīng)用程序的一部分(或者其組合)，其通過操作系統(tǒng)執(zhí)行。另外，可以通過各種接口與總線結(jié)構(gòu)，例如并行口、串行口、或者通用串行總線(USB)，將各種其他外設(shè)連接到該計(jì)算機(jī)平臺(tái)。其他外設(shè)可以包括附加的存儲(chǔ)設(shè)備124與印片機(jī)128。印片機(jī)128可以用來印制膠片136的更新版本，其中作為以下描述的技術(shù)結(jié)果可能利用3D建模對(duì)象更改或者替換了場景。
可替換地，可以直接將已經(jīng)處于計(jì)算機(jī)可讀形式的文件/膠片拷貝106(例如數(shù)字影院，其例如可能存儲(chǔ)在外部硬驅(qū)動(dòng)器124中)輸入到計(jì)算機(jī)102中。請(qǐng)注意，此處所用的術(shù)語“膠片”可以指膠片拷貝或者數(shù)字捕獲。應(yīng)該理解，不論膠片是被掃描的還是已經(jīng)處于數(shù)字格式，膠片的數(shù)字文件都包括關(guān)于幀的位置的指示或者信息，例如幀號(hào)、從膠片開始的時(shí)間等等。數(shù)字電影的每個(gè)幀將包括一個(gè)圖像，例如I1、I2、...In。
軟件程序包括包括存儲(chǔ)在存儲(chǔ)器110中的光合成模塊114，用來在考慮到預(yù)測照明的情況下繪制對(duì)象以及將對(duì)象合成到圖像中。光合成模塊114包括光模型構(gòu)造器116，用來生成表示預(yù)定空間位置、例如場景或者布景的輻射亮度信息的至少一個(gè)光模型。該生成的至少一個(gè)光模型被存儲(chǔ)在光模型庫117中，已備以后當(dāng)繪制場景時(shí)使用。3D幾何參數(shù)檢測器118被配備來利用2D圖像或者部分2D圖像生成場景捕獲的3D幾何參數(shù)。3D幾何參數(shù)檢測器118還可以通過利用圖像編輯軟件勾勒包含對(duì)象的圖像區(qū)域來手動(dòng)地、或者通過利用自動(dòng)檢測算法孤立包含對(duì)象的圖像區(qū)域來識(shí)別對(duì)象。光合成模塊114還包括光預(yù)測器120，用來預(yù)測要放置到場景中的對(duì)象的光環(huán)境或者輻射亮度。CG元素繪制器122被配備來利用光預(yù)測器120生成的照明信息在場景中繪制對(duì)象。繪制器在現(xiàn)有技術(shù)中是已知的，并且包括但不限于LightWave 3D、Entropy與Blender。
圖2顯示示范性系統(tǒng)設(shè)置200，用來收集光讀數(shù)并且對(duì)用于VFX合成的電影布景上的光建模，其中使用照明信息進(jìn)行真實(shí)感合成。對(duì)于該應(yīng)用，光傳感器網(wǎng)絡(luò)、例如p1、p2、p3...pn，分布在布景202周圍，其也收集位置信息。布景202為用于展開電影的一個(gè)或者多個(gè)場景的預(yù)定物理空間。附加的傳感器可以附接到(多個(gè))相機(jī)204，以跟蹤其位置、走向、以及運(yùn)動(dòng)。照明信息可以在實(shí)際拍攝之前、之中、或者之后捕獲。替代光/位置傳感器網(wǎng)絡(luò)地、或者在其之外，可以編程一個(gè)或者多個(gè)配備有光傳感器的自主機(jī)器人，來收集必要的光與位置信息，以更好地覆蓋包括閉塞區(qū)域(occluded area)的目標(biāo)空間。根據(jù)所檢測的光變化，自主機(jī)器人可以決定獲得更多或者更少的光讀數(shù)。來自光傳感器、例如p1、p2、p3...pn和/或(多個(gè))相機(jī)204的信息、例如相機(jī)參數(shù)，可以通過用戶接口112手動(dòng)地輸入到系統(tǒng)100，或者可以通過硬連線或者無線連接自動(dòng)地傳送到系統(tǒng)100，如圖1所示。
圖3顯示本發(fā)明的光提取與預(yù)測技術(shù)的流程圖。該系統(tǒng)利用光傳感器按照需要收集不同位置與時(shí)間處的照明讀數(shù)，以構(gòu)造表示某個(gè)空間或者時(shí)間處的照明的模型。然后利用所構(gòu)造的照明模型，可以預(yù)測或者內(nèi)插光傳感器對(duì)其沒有直接獲得特定光讀數(shù)的其他位置和/或時(shí)間處的照明。
在步驟302、304、以及306，捕獲預(yù)定物理空間、例如布景202中的光的顏色強(qiáng)度與方向、以及傳感器p1、p2、p3...pn的空間位置?？梢愿鞣N方式捕獲光強(qiáng)度與方向。一種示范性方法為使用相機(jī)傳感器來拍攝一個(gè)或者多個(gè)畫面。該畫面編碼來自不同方向的光強(qiáng)度，如參照?qǐng)D4所述。假定相機(jī)的聚焦中心402與聚焦平面404是已知的(可以通過校準(zhǔn)獲得)，通過使光線408從聚焦中心402通過聚焦平面404(其也是圖像平面)射向特定點(diǎn)406，可以計(jì)算場景點(diǎn)406的光方向與強(qiáng)度。聚焦平面中點(diǎn)410的像素值與場景點(diǎn)406的光強(qiáng)度成比例，并且光方向由光線408指定。光線408確定對(duì)應(yīng)于從場景點(diǎn)406到聚焦中心402的光方向的方向或者角度。
在步驟308，從不同位置收集的光信息用來重構(gòu)輻射亮度。輻射亮度為5維函數(shù)，其編碼光在空間中的分布或者自由空間中每個(gè)點(diǎn)處的光方向與強(qiáng)度。在形式上，將輻射亮度定義為每單位立體角在垂直于穿行方向的每個(gè)單位區(qū)域在指定方向上某個(gè)點(diǎn)處穿行的能量(每單位時(shí)間的能量量值)。因此，輻射亮度為位置與方向的函數(shù)。假定某坐標(biāo)系統(tǒng)中的點(diǎn)P＝(x，y，z)以及球坐標(biāo)為θ與φ的方向，該坐標(biāo)系統(tǒng)的z軸沿表面法線，可以將輻射亮度表示如下 L(P，θ，φ) (1) 在布景上跨越時(shí)間不同點(diǎn)處獲得的測量結(jié)果使得系統(tǒng)能夠創(chuàng)建用于跨越時(shí)間的該5D函數(shù)的模型?？商鎿Q地，在步驟301，用戶可以輸入布景上實(shí)際光源的強(qiáng)度與位置、和/或另外輸入元數(shù)據(jù)到系統(tǒng)，例如相機(jī)參數(shù)、3d幾何參數(shù)等等。在步驟312，因?yàn)榭梢约俣ㄕ彰鳑]有隨時(shí)間顯著變化，所以對(duì)于可以用來構(gòu)造對(duì)于當(dāng)前時(shí)間的光模型的各個(gè)采樣時(shí)間，確定光模型。
如果可以完全重構(gòu)跨越時(shí)間的輻射亮度，則可以簡單地通過評(píng)估在指定空間位置處的輻射亮度函數(shù)L(P，θ，φ)，獲得每個(gè)空間位置處的光信息。因?yàn)樵诒景l(fā)明的系統(tǒng)中，相機(jī)傳感器被松散地分布跨越不同的位置，所以可能不可能一般地重構(gòu)完全輻射亮度。但是，在給定某些照明條件下，可以通過增加傳感器的數(shù)目以及優(yōu)化傳感器位置，重構(gòu)輻射亮度到特定的所希望的分辨率。例如，在均勻照明環(huán)境(如戶外場景)中，需要較少的傳感器與讀數(shù)。
對(duì)于相機(jī)傳感器系統(tǒng)的情況，可以通過找到傳感器所捕獲的至少兩個(gè)圖像的像素的對(duì)應(yīng)關(guān)系，部分地重構(gòu)輻射亮度。該技術(shù)在圖5中顯示。如果兩個(gè)相機(jī)傳感器502、504的視野重疊，則可以找到所捕獲的圖像中對(duì)應(yīng)于3D空間中的單個(gè)場景點(diǎn)506的兩個(gè)像素，例如圖像510中的像素508與圖像514中的像素512。如果識(shí)別出兩個(gè)對(duì)應(yīng)像素508與512，則可以通過交叉從聚焦中心502、504穿行到圖像像素508、512到3D點(diǎn)506的兩條光線516、518，計(jì)算場景點(diǎn)506的3D位置。這是稱為三角測量的方法。找到像素點(diǎn)的對(duì)應(yīng)關(guān)系可以通過各種方法實(shí)現(xiàn)。最直接的方法為匹配像素的顏色值。另外，可以融入空間連續(xù)性限制，以使像素匹配更可靠。例如，可以假定對(duì)應(yīng)于同一場景點(diǎn)的像素之間的差異幾乎在各處都平滑變化，并且僅小部分圖像包含在深度上不連續(xù)的邊沿。因此，匹配點(diǎn)對(duì)的差異與其最近相鄰點(diǎn)對(duì)的差異應(yīng)該類似。
為了可靠的三角測量，還必須知道相機(jī)傳感器參數(shù)?？梢灶A(yù)先已知或者通過校準(zhǔn)計(jì)算相機(jī)傳感器參數(shù)。如果使相機(jī)傳感器的聚焦中心平行于地面，則相機(jī)傳感器參數(shù)計(jì)算要簡單得多。如果兩個(gè)相機(jī)傳感器具有相同的縮放因子與其他內(nèi)在參數(shù)，則兩個(gè)相機(jī)傳感器具有相同的設(shè)置，并且因此具有相同的投影幾何參數(shù)。結(jié)果，只要已知兩個(gè)相機(jī)傳感器的位置，就可以通過三角測量來找到場景點(diǎn)。一旦找到了場景點(diǎn)位置，如果場景表面假定為Lambertian表面，則可以在該特定場景點(diǎn)處完全恢復(fù)光方向與強(qiáng)度。這在圖5中顯示。Lambertian表面為其方向性反射率不依賴于照射方向的表面。這意味著離開該表面的輻射亮度與角度無關(guān)。如果場景表面不是Lambertian表面，則所恢復(fù)的光方向與強(qiáng)度將為近似值。
根據(jù)所需要的輻射亮度分辨率，選擇相機(jī)傳感器的數(shù)目，并且相機(jī)傳感器的數(shù)目依賴于光條件。越多的相機(jī)傳感器會(huì)導(dǎo)致更高的輻射亮度空間分辨率；而更少的相機(jī)傳感器會(huì)導(dǎo)致閉塞某些場景區(qū)域。在捕獲處理中，可以動(dòng)態(tài)地添加相機(jī)傳感器。從而可以根據(jù)照明的復(fù)雜度覆蓋重要的場景區(qū)域。
在步驟314，系統(tǒng)100利用所重構(gòu)的光模型來預(yù)測在中間位置處的光信息，在該中間位置處，可能需要知道照明信息以用于VFX合成。如果對(duì)于給定時(shí)間輻射亮度被完全重構(gòu)或者近似，則可以通過在指定的位置處評(píng)估5D輻射亮度函數(shù)，容易地獲得照明信息。但是在大多數(shù)情況下，輻射亮度未被完全重構(gòu)，則將通過內(nèi)插導(dǎo)出指定位置處的光信息。圖6顯示利用線性內(nèi)插的特定預(yù)測方案。假定通過三角測量已知光源606的位置和光強(qiáng)度，則可以計(jì)算在新位置、例如場景點(diǎn)608處的光的強(qiáng)度作為在具有光傳感器(例如光傳感器602與光傳感器604)的位置處的光讀數(shù)的組合。例如，如果有兩個(gè)光傳感器，則新位置608的光強(qiáng)度為Inew＝(I1+I2)/2，其中I1與I2分別為在傳感器位置602與604處的光讀數(shù)，并且Inew為在場景點(diǎn)608處的內(nèi)插光讀數(shù)。
圖7顯示本發(fā)明的利用從系統(tǒng)100獲得的光模型進(jìn)行VFX合成的流程圖。合成處理組合背景和/或前景板與CG元素，以實(shí)現(xiàn)特定視覺效果。背景和前景板可能已經(jīng)由不同來源捕獲。在步驟702，在時(shí)間I處由系統(tǒng)102捕獲圖像，例如背景板。捕獲該圖像的相機(jī)的位置將被記錄到或者手動(dòng)輸入到后處理設(shè)備102。在一種實(shí)施例中，后處理設(shè)備102獲得計(jì)算機(jī)可讀格式的數(shù)字主圖像數(shù)據(jù)。通過利用數(shù)字相機(jī)捕獲圖像的時(shí)間序列，可以獲得數(shù)字視頻圖像。可替換地，可以通過常規(guī)膠片型相機(jī)來獲得圖像序列。在該情況下，通過掃描設(shè)備103掃描膠片，并且該處理行進(jìn)到步驟202。圖2所示的傳感器網(wǎng)絡(luò)的傳感器、例如相機(jī)的位置也被記錄和/或輸入到系統(tǒng)。
接著，在步驟704，3D幾何參數(shù)提取器118將生成真實(shí)場景的3D幾何參數(shù)。3D幾何參數(shù)提取器118可以例如通過使用用來獲取圖像的相機(jī)的位置，分割來自所捕獲的圖像的對(duì)象，并且確定場景中(多個(gè))對(duì)象的3D坐標(biāo)，例如位置p。上述的相機(jī)傳感器網(wǎng)絡(luò)可以收集對(duì)于重構(gòu)場景與布景的3D幾何參數(shù)有用的信息。因此，3D幾何參數(shù)提取器118可以與光預(yù)測器120交互和合作，以在步驟706預(yù)測要插入的元素/對(duì)象的照明信息，例如輻射亮度。
系統(tǒng)操作人員確定在何處以及何時(shí)繪制CG元素/分割對(duì)象以及將其合成到場景中。一旦確定了用來插入CG元素/分割對(duì)象的位置和時(shí)間，光預(yù)測器就采用先前由系統(tǒng)100如上所述構(gòu)造的至少一個(gè)光分布模型。例如對(duì)于時(shí)間I(由圖像的捕獲時(shí)間確定)與其中要繪制CG元素的位置的光模型與場景的3D幾何參數(shù)，被送往CG元素繪制器122，以在步驟708繪制CG元素。然后，可以例如通過合成器(未顯示)，將所繪制的元素插入到圖像中。在該程序之后，替代純CG元素地，可以在步驟710從其他圖像提取對(duì)象以繪制與合成到圖像中。
然后，可以在與包含(多個(gè))圖像的文件分離的數(shù)字文件130中保存所繪制的CG元素。CG元素?cái)?shù)字文件130可以存儲(chǔ)在存儲(chǔ)設(shè)備124中以備以后檢索，例如在膠片的編輯階段期間，其中例如通過合成器，可以將CG元素插入到先前沒有該對(duì)象的圖像中。另外，在整個(gè)電影已經(jīng)被編輯包含上述技術(shù)所創(chuàng)建的CG元素的情況下，可以創(chuàng)建對(duì)于數(shù)字影院的完整數(shù)字文件129，并且將其存儲(chǔ)在存儲(chǔ)設(shè)備124中。
已經(jīng)描述了用來跨越時(shí)間和空間對(duì)光建模的方法與系統(tǒng)。本發(fā)明的方法與系統(tǒng)收集例如電影場景或者布景上不同位置與時(shí)間上的照明讀數(shù)，以構(gòu)造用于視覺效果(VFX)合成的光模型。然后，利用該光模型，可以預(yù)測或者內(nèi)插在未為其獲得特定光讀數(shù)的其他位置和/或時(shí)間上的照明。用于CG元素或者對(duì)象的照明越匹配場景或者布景的背景與前景板，VFX看起來就越有光照真實(shí)感。因?yàn)楸景l(fā)明的方法與系統(tǒng)可以更精確地跨越整個(gè)布景與時(shí)間地對(duì)照明建模和提取，所以可以比現(xiàn)有系統(tǒng)獲得更有光照真實(shí)感的結(jié)果。
雖然此處詳細(xì)顯示和描述了融入本發(fā)明原理的實(shí)施例，但是本領(lǐng)域技術(shù)人員可以容易地設(shè)想融入這些原理的許多其他變化的實(shí)施例。已經(jīng)描述了用來對(duì)時(shí)間與空間中光建模的方法與系統(tǒng)的優(yōu)選實(shí)施例，應(yīng)該注意本領(lǐng)域技術(shù)人員在本發(fā)明教導(dǎo)下可以進(jìn)行各種修改與變化。因此應(yīng)該理解，可以對(duì)本發(fā)明所公開的特定實(shí)施例進(jìn)行變化，其在權(quán)利要求書所概括的本發(fā)明的精神與范圍之內(nèi)。
權(quán)利要求
1.一種用來對(duì)預(yù)定物理空間中的光建模的方法，該方法包括
獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)(302，304，306)；以及
根據(jù)所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，構(gòu)造所述預(yù)定物理空間中的光分布模型(308)。
2.如權(quán)利要求1所述的方法，其中所述構(gòu)造光分布模型包括從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度。
3.如權(quán)利要求2所述的方法，其中所述確定預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度通過三角測量來進(jìn)行。
4.如權(quán)利要求1所述的方法，還包括根據(jù)所述光分布模型，預(yù)測第四空間位置處的光強(qiáng)度(314)。
5.如權(quán)利要求4所述的方法，其中所述第四空間位置處的光強(qiáng)度通過內(nèi)插所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)來確定。
6.如權(quán)利要求1所述的方法，還包括獲取至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻處的所述至少一個(gè)第一光讀數(shù)。
7.如權(quán)利要求6所述的方法，還包括根據(jù)所述光分布模型，預(yù)測不同于所述至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻的另一時(shí)刻處的所述第一空間位置處的光強(qiáng)度。
8.如權(quán)利要求1所述的方法，其中所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)至少包括所述第一空間位置與第二空間位置處的光強(qiáng)度與光方向。
9.如權(quán)利要求8所述的方法，其中所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)由至少一個(gè)相機(jī)獲取，該獲取所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)還包括
確定所述相機(jī)的聚焦中心(402)與聚焦平面(404)；
使光線(408)從該聚焦中心(402)穿行到所述預(yù)定物理空間中的至少一個(gè)空間位置(406)；以及
確定所述聚焦平面(404)中該光線(408)穿過的點(diǎn)(410)。
10.如權(quán)利要求8所述的方法，其中所述聚焦平面(404)中的點(diǎn)(410)的像素值與所述預(yù)定物理空間中的所述至少一個(gè)空間位置(406)的顏色強(qiáng)度成比例；并且其中所述光線(408)從聚焦中心(402)到該預(yù)定物理空間中的所述至少一個(gè)空間位置(406)的角度確定了來自所述至少一個(gè)空間位置(406)的光的方向。
11.一種用來創(chuàng)建場景的新圖像的方法，該方法包括
獲取預(yù)定時(shí)間處的場景的圖像(702)；
確定該場景的三維坐標(biāo)(704)；
根據(jù)所述預(yù)定時(shí)間與三維坐標(biāo)，預(yù)測在該場景的選定空間位置處的光信息(706)；以及
利用所預(yù)測的光信息，繪制該場景選定空間位置處的對(duì)象(708)。
12.如權(quán)利要求11所述的方法，還包括將所繪制的對(duì)象合成到場景中。
13.如權(quán)利要求12所述的方法，其中所述對(duì)象為以下中的一個(gè)計(jì)算機(jī)圖形元素以及分割的對(duì)象。
14.如權(quán)利要求11所述的方法，其中所述預(yù)測光信息還包括
獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)(302，304，306)；以及
根據(jù)所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，構(gòu)造所述預(yù)定物理空間中的光分布模型(308)。
15.如權(quán)利要求14所述的方法，其中所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)包括所述第一空間位置與第二空間位置處的光強(qiáng)度與光方向。
16.如權(quán)利要求14所述的方法，其中所述構(gòu)造光分布模型包括從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度。
17.如權(quán)利要求14所述的方法，還包括根據(jù)所述光分布模型，預(yù)測第四空間位置處的光強(qiáng)度(314)。
18.如權(quán)利要求14所述的方法，還包括獲取至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻處的所述至少一個(gè)第一光讀數(shù)。
19.如權(quán)利要求18所述的方法，還包括根據(jù)所述光分布模型，預(yù)測不同于所述至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻的另一時(shí)刻處的所述第一空間位置處的光強(qiáng)度。
20.一種用來對(duì)預(yù)定物理空間中的光建模的系統(tǒng)(100)，該系統(tǒng)包括
至少兩個(gè)傳感器(p1，p2，p3，p4，pn)，其被配置來獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)；以及
后處理設(shè)備(102)，其被配置來創(chuàng)建至少一個(gè)光模型；該后處理設(shè)備包括
光模型構(gòu)造器(116)，其被配置來從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度，以創(chuàng)建所述預(yù)定物理空間中的光分布模型。
21.如權(quán)利要求20所述的系統(tǒng)(100)，其中所述后處理設(shè)備(102)還包括光預(yù)測器(120)，其被配置來根據(jù)所確定的光分布模型，預(yù)測第四空間位置處的光強(qiáng)度。
22.如權(quán)利要求21所述的系統(tǒng)(100)，其中所述至少兩個(gè)傳感器(p1，p2，p3，p4，pn)被進(jìn)一步配置來獲取至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻處的所述至少一個(gè)第一光讀數(shù)。
23.如權(quán)利要求22所述的系統(tǒng)(100)，其中所述光預(yù)測器(120)被進(jìn)一步配置來根據(jù)所述光分布模型，預(yù)測不同于所述至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻的另一中間時(shí)刻處的所述第一空間位置處的光強(qiáng)度。
24.如權(quán)利要求20所述的系統(tǒng)(100)，其中所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)包括所述第一空間位置與第二空間位置處的光強(qiáng)度與光方向。
25.如權(quán)利要求21所述的系統(tǒng)(100)，其中所述后處理設(shè)備(102)被進(jìn)一步配置來獲取場景在預(yù)定時(shí)間處的圖像，該后處理設(shè)備還包括幾何參數(shù)提取器(118)，其被配置來確定該場景的三維坐標(biāo)，其中所述光預(yù)測器根據(jù)所述預(yù)定時(shí)間與三維坐標(biāo)，預(yù)測在該場景的選定空間位置處的光信息。
26.如權(quán)利要求25所述的系統(tǒng)(100)，其中所述后處理設(shè)備(102)還包括繪制器(122)，其被配置來利用所預(yù)測的光信息，繪制該場景選定空間位置處的對(duì)象。
27.如權(quán)利要求26所述的系統(tǒng)(100)，還包括合成器(114)，其被配置來將所繪制的對(duì)象合成到圖像中。
28.如權(quán)利要求26所述的系統(tǒng)(100)，其中所述對(duì)象為以下中的一個(gè)計(jì)算機(jī)圖形元素以及分割的對(duì)象。
29.一種可由機(jī)器讀取的程序存儲(chǔ)設(shè)備，其以有形方式包含可由該機(jī)器執(zhí)行的指令程序，以執(zhí)行用來對(duì)預(yù)定物理空間中的光建模的方法步驟，該方法包括
獲取在第一空間位置處的至少一個(gè)第一光讀數(shù)以及在第二空間位置處的至少一個(gè)第二光讀數(shù)(302，304，306)；以及
根據(jù)所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，構(gòu)造所述預(yù)定物理空間中的光分布模型(308)，其中所述構(gòu)造光分布模型包括從所述至少一個(gè)第一光讀數(shù)以及至少一個(gè)第二光讀數(shù)，確定所述預(yù)定物理空間的至少一個(gè)第三空間位置的輻射亮度；以及
根據(jù)所述光分布模型，預(yù)測第四空間位置處的光強(qiáng)度(314)。
30.如權(quán)利要求29所述的程序存儲(chǔ)設(shè)備，其中所述方法還包括
獲取至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻處的所述至少一個(gè)第一光讀數(shù)；以及
根據(jù)所述光分布模型，預(yù)測不同于所述至少一個(gè)第一時(shí)刻以及至少一個(gè)第二時(shí)刻的另一時(shí)刻處的所述第一空間位置處的光強(qiáng)度。
全文摘要
提供了一種用來對(duì)時(shí)間與空間中的光建模的方法和系統(tǒng)。本發(fā)明的方法和系統(tǒng)收集例如電影布景上不同位置與時(shí)間上的光讀數(shù)(302，304，306)，以構(gòu)造用于視覺效果(VFX)合成的光模型(308)。該光模型表示對(duì)于預(yù)定物理空間的跨越空間和/或時(shí)間的光分布。然后利用該光模型，可以預(yù)測或者內(nèi)插在未為其獲得特定光讀數(shù)的中間或者其他位置和/或時(shí)間上的照明(314)?？梢允褂霉饽Ｐ蛠砝L制場景中的對(duì)象(例如自然或者CG元素)，就好像其在該空間中一樣。
文檔編號(hào)G06T15/50GK101542538SQ200680056435
公開日2009年9月23日 申請(qǐng)日期2006年11月20日 優(yōu)先權(quán)日2006年11月20日
發(fā)明者阿納·B·貝尼特斯, 張冬青, 吉姆·A·范徹 申請(qǐng)人:湯姆森特許公司