分布式自動(dòng)影像和視頻處理的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)碼照片和視頻的自動(dòng)捕捉和處理。
【背景技術(shù)】
[0002]在日常生活中，拍攝數(shù)碼照片和視頻變得日益重要。人們通常在運(yùn)動(dòng)、旅行和其他活動(dòng)中使用免持式攝像機(jī)，并將其固定在身體、頭盔或設(shè)備上。這類攝像機(jī)可在自動(dòng)模式下以預(yù)定的時(shí)間間隔持續(xù)拍攝視頻或照片。然而，此種方法存在一些缺點(diǎn)。持續(xù)拍攝期間會(huì)產(chǎn)生諸多大文件，這些文件中大部分都是無(wú)用和多余的照片和視頻，浪費(fèi)了諸多存儲(chǔ)空間和電池壽命，而且需要耗時(shí)的搜索和處理才能提取出視頻或相關(guān)照片的有趣部分。此外，由于儲(chǔ)存空間和電池壽命有限，就需要降低分辨率和幀頻，并延長(zhǎng)照片拍攝間隔。舉例來(lái)說(shuō)，當(dāng)使用此類攝像機(jī)每隔幾秒持續(xù)拍攝一組照片時(shí)，儲(chǔ)存空間和電池壽命甚至?xí)谂臄z到有趣時(shí)刻或值得拍攝對(duì)象之前就已耗盡，或者在兩次連續(xù)拍攝之間錯(cuò)過(guò)了有趣時(shí)刻。
[0003]此外，由于攝像機(jī)固定在用戶身體上，當(dāng)用戶想拍攝自己的照片時(shí)往往就無(wú)法從期望的角度進(jìn)行拍攝。

【發(fā)明內(nèi)容】

[0004]—種捕捉視頻和靜態(tài)影像的新方法隨著諸多技術(shù)領(lǐng)域的發(fā)展形成:
數(shù)碼成像技術(shù)的發(fā)展、光學(xué)性能的改善、分辨率和影像質(zhì)量的提高以及攝像機(jī)價(jià)格的降低，產(chǎn)生了一種新局面，那就是當(dāng)用戶被其他用戶和攝像機(jī)包圍時(shí)，該用戶能從不同角度拍攝其高分辨率的影像或視頻。
[0005]網(wǎng)絡(luò)連接的發(fā)展、帶寬和覆蓋范圍的提高以及能耗和連接價(jià)格的同步降低，實(shí)現(xiàn)了數(shù)碼相機(jī)的網(wǎng)絡(luò)連接、必要系統(tǒng)信息交換以及照片和視頻大文件的快速上傳和下載。
[0006]影像和視頻處理、視頻理解技術(shù)以及面部和目標(biāo)識(shí)別技術(shù)的發(fā)展，實(shí)現(xiàn)了從不同視角對(duì)人物和環(huán)境的識(shí)別，以及對(duì)視頻流中有趣場(chǎng)面或場(chǎng)景的自動(dòng)識(shí)別。
[0007]3D掃描、對(duì)不同視角拍攝的照片或視頻的立體處理以及計(jì)算機(jī)圖像生成的發(fā)展，實(shí)現(xiàn)了從新視角對(duì)影像或視頻進(jìn)行拍攝。
[0008]對(duì)所拍攝視頻的影像處理和理解、對(duì)身體參數(shù)的監(jiān)控以及對(duì)GPS和加速度傳感器的使用，實(shí)現(xiàn)了對(duì)用戶體驗(yàn)的重要和激動(dòng)時(shí)刻的確定，以及通過(guò)視頻拍攝、攝像機(jī)拍攝或增加分辨率、畫質(zhì)和幀頻對(duì)這些時(shí)刻進(jìn)行選擇性的捕捉。
[0009]GPS、其他導(dǎo)航系統(tǒng)以及其他技術(shù)的發(fā)展，實(shí)現(xiàn)了對(duì)攝像機(jī)位置的映射和記錄，以及對(duì)當(dāng)前事件所關(guān)聯(lián)的攝像機(jī)清單的了解。
[0010]一些社交程序能夠追蹤用戶位置、識(shí)別和標(biāo)記用戶并采用其他方法從照片和視頻中追蹤用戶物理位置并識(shí)別用戶。隨著這些社交程序以及社交網(wǎng)絡(luò)的日益普及和使用，能夠利用位于相關(guān)位置采用相關(guān)時(shí)間間隔的攝像機(jī)，從用戶親友及其他合作用戶所拍攝的照片和視頻中追蹤和識(shí)別用戶。
[0011 ] 通過(guò)結(jié)合使用上述一些解決方案、進(jìn)行相應(yīng)修改并如本披露內(nèi)容所述將其組織到恰當(dāng)系統(tǒng)，形成了一種數(shù)碼成像和視頻拍攝的新方法。在該方法中，可穿戴攝像機(jī)一直處于“就緒”狀態(tài)，不斷從處于節(jié)能“經(jīng)濟(jì)”模式的所有相關(guān)傳感器捕捉視頻、音頻和其他信息，并對(duì)其進(jìn)行持續(xù)處理，以識(shí)別“重要”情況。根據(jù)在適當(dāng)位置和恰當(dāng)時(shí)間運(yùn)行的一部或多部攝像機(jī)采集到的信息，自動(dòng)或半自動(dòng)檢測(cè)、選擇或生成最重要和有趣的事件。多部攝像機(jī)可連接至網(wǎng)絡(luò)并在事件期間協(xié)作。攝像機(jī)采集的視頻和照片也可上傳至網(wǎng)絡(luò)并在之后進(jìn)行處理。
[0012]下面以用戶在滑雪勝地滑雪這一場(chǎng)景為例，假設(shè)用戶正在進(jìn)行滑雪表演。用戶攝像機(jī)自動(dòng)檢測(cè)到表演的開(kāi)始和結(jié)束時(shí)刻，開(kāi)始采集視頻、影像以及適當(dāng)?shù)母咂焚|(zhì)設(shè)定。附近的其他協(xié)作攝像機(jī)也開(kāi)始在相關(guān)間隔拍攝視頻和影像。事件結(jié)束后，從所有攝像采集的視頻被自動(dòng)進(jìn)行處理，然后從數(shù)部攝像機(jī)的視頻中選出或生成最佳角度的最佳視頻。該視頻之后進(jìn)行穩(wěn)定處理，并基于多部攝像機(jī)的信息以及所識(shí)別個(gè)人和目標(biāo)的其他影像和視頻進(jìn)行畫質(zhì)改善。
[0013]通過(guò)處理固定在用戶身體或設(shè)備上的攝像機(jī)所拍攝的視頻、攝像機(jī)或其他裝置上傳感器的聲音、位置、速度、加速度或其他信息，包括身體監(jiān)控傳感器采集的心跳和大腦活動(dòng)等信息，找到表演的恰當(dāng)時(shí)刻。
[0014]基于其他登記和協(xié)作的攝像機(jī)的位置和視野確定相關(guān)攝像機(jī)。加速幀頻、改善畫質(zhì)以及拍攝更高分辨率的靜止影像也可應(yīng)用到事件時(shí)刻的相關(guān)協(xié)作攝像機(jī)。
[0015]根據(jù)類似視角拍攝的多個(gè)視頻/照片，選出或生成最佳視角的最佳照片和視頻。也可在之后根據(jù)所有相關(guān)攝像機(jī)的拍攝內(nèi)容以及在事件時(shí)刻和地點(diǎn)拍攝的影像/視頻數(shù)據(jù)庫(kù)離線找到最佳視角的最佳照片和視頻。
【附圖說(shuō)明】
[0016]根據(jù)以下附圖的描述，可更充分的理解本發(fā)明的諸多方面。附圖中的各部件并非為了放大或強(qiáng)調(diào)，而是為了清晰說(shuō)明當(dāng)前披露內(nèi)容的原理。在多幅附圖中，各附圖中的相同部分使用相同的參考數(shù)字標(biāo)記。
[0017]圖1是一個(gè)攝像機(jī)聯(lián)網(wǎng)協(xié)作系統(tǒng)的示意圖，與本發(fā)明的一個(gè)實(shí)施例一致。
[0018]圖2是協(xié)作攝像機(jī)連接和參與的說(shuō)明圖，與本發(fā)明的一個(gè)實(shí)施例一致。
[0019]圖3是攝像機(jī)運(yùn)行和網(wǎng)絡(luò)通訊的原理流程圖，與本發(fā)明的一個(gè)實(shí)施例一致。
[0020]圖4是攝像機(jī)系統(tǒng)的系統(tǒng)方框圖，與本發(fā)明的一個(gè)實(shí)施例一致。
[0021]圖5是攝像機(jī)與附近攝像機(jī)運(yùn)行和協(xié)作的流程圖。
[0022]圖6是處理用戶的視頻或照片改善請(qǐng)求的流程圖。
【具體實(shí)施方式】
[0023]本發(fā)明詳述如下，并附有方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖，與本發(fā)明的實(shí)施例一致。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)方框以及流程圖和/或框圖中多個(gè)方框的組合，都可以由計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可在通用處理器、應(yīng)用處理器和專用集成電路上執(zhí)行，以創(chuàng)造方法實(shí)施流程圖和/或框圖中單個(gè)或多個(gè)方框指定的功能/操作。
[0024]這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能指示計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置以特定方式工作的計(jì)算機(jī)可讀介質(zhì)中，這樣，存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令會(huì)產(chǎn)生一個(gè)包含指令方法的制品，實(shí)施流程圖和/或框圖中單個(gè)或多個(gè)方框指定的功能/操作。
[0025]附圖中的各部件并非為了放大或強(qiáng)調(diào)，而是為了清晰說(shuō)明當(dāng)前披露內(nèi)容的原理。在多幅附圖中，各附圖中的相同部分使用相同的參考數(shù)字標(biāo)記。
[0026]本發(fā)明的目標(biāo)之一是提供一種方法和一個(gè)系統(tǒng)，用于在兩個(gè)及以上協(xié)作成像系統(tǒng)環(huán)境中自動(dòng)和半自動(dòng)地拍攝視頻和靜止影像。這種系統(tǒng)又稱為成像器。
[0027]各成像器中包含一個(gè)數(shù)字成像攝像機(jī)，能夠拍攝數(shù)字靜止影像、視頻和/或3D視頻。成像器可進(jìn)一步包含一種實(shí)現(xiàn)成像器間通訊的網(wǎng)絡(luò)連接，或一種實(shí)現(xiàn)與其他協(xié)作成像器直接通訊的裝置。成像器可配備附加傳感器，如GPS及其他導(dǎo)航定位傳感器、加速度傳感器、音頻傳感器、生物傳感器等。成像器可進(jìn)一步包含影像處理硬件和/或軟件，并可將拍攝的影像和視頻上傳至網(wǎng)絡(luò)進(jìn)行處理。
[0028]在本發(fā)明中，術(shù)語(yǔ)“攝像機(jī)”指能夠拍攝靜止影像和/或視頻的數(shù)字成像攝像機(jī)。此外，在一些情況下，上文所述“成像器”也將指“攝像機(jī)”。在本發(fā)明中，將使用術(shù)語(yǔ)“影像”或“視頻”代替“靜止影像或視頻”。術(shù)語(yǔ)“自動(dòng)采集”指有無(wú)用戶直接初始化、配置、啟動(dòng)、停止和選擇都進(jìn)行的采集。為了陳述內(nèi)容的清晰簡(jiǎn)潔，這些名稱變體和名稱組合未列在文本中。
[0029]成像器的預(yù)期用途之一是固定在用戶身體或設(shè)備上，捕捉用戶希望捕捉到的運(yùn)動(dòng)或其他活動(dòng)。此類活動(dòng)包括在滑雪勝地滑雪或滑雪板、在大海沖浪或風(fēng)箏沖浪、騎自行車、徒步旅行等等。盡管用戶會(huì)長(zhǎng)時(shí)間穿戴成像器，但用戶可能只對(duì)拍攝特定事件感興趣。
[0030]術(shù)語(yǔ)“成像事件”或“事件”指特別有趣的事件，這類事件可能對(duì)用戶而言具有價(jià)值，并且值得提高成像質(zhì)量。此類事件可基于對(duì)持續(xù)拍攝的視頻和/或傳感器數(shù)據(jù)的處理自動(dòng)確定。通過(guò)場(chǎng)景、速度和用戶活動(dòng)的改變、對(duì)場(chǎng)景內(nèi)相關(guān)人物或目標(biāo)的檢測(cè)以及對(duì)加速心率、速度、高度、壓力、加速度、聲音或其他信息的檢測(cè)，能夠檢測(cè)到成像事件。我們假定成像器至少擁有兩種運(yùn)行模式。一種是正常模式，用于監(jiān)控傳感器數(shù)據(jù)，并以降低的分辨率和幀頻拍攝視頻。另一種是影像增強(qiáng)模式，以加速的幀頻、提高的分辨率、3D拍攝等進(jìn)行成像。
[0031]本發(fā)明的目標(biāo)之一是提供一種方法和一個(gè)系統(tǒng)，用于通過(guò)協(xié)作的成像器系統(tǒng)自動(dòng)拍攝視頻。當(dāng)其中一臺(tái)成像器檢測(cè)到成像事件后，該成像器切換到影像增強(qiáng)模式，并通知其附近的協(xié)作成像器。這些協(xié)作成像器開(kāi)始對(duì)同一事件成像，以從不同和更合適的視角和位置提供事件的視頻，以供進(jìn)一步處理或選擇事件的最佳視頻。
[0032]本發(fā)明的另一目標(biāo)是提供一種方法和一個(gè)系統(tǒng)，用于視頻處理。數(shù)部成像器從不同的位置和視角捕捉成像事件，并將采集到的視頻上傳至網(wǎng)絡(luò)供進(jìn)一步處理。在處理階段，根據(jù)數(shù)個(gè)采集到的視頻選擇和生成最佳視頻。最佳視頻根據(jù)影像質(zhì)量和事件描述質(zhì)量確定。
[0033]影像質(zhì)量標(biāo)準(zhǔn)包括噪點(diǎn)水平和恰當(dāng)?shù)慕咕嘀怠⑵毓庵?、白平衡值、視頻穩(wěn)定等。事件描述質(zhì)量包括比例、距離、視角、場(chǎng)景質(zhì)量(遮蔽或清晰呈現(xiàn)的主要對(duì)象或目標(biāo))、風(fēng)景等。通過(guò)影像處理、面部檢測(cè)和識(shí)別、場(chǎng)景分析以及傳感器數(shù)據(jù)處理(如位置傳感器、壓力傳感器、速度傳感器、生物傳感器等傳感器的數(shù)據(jù))，可對(duì)事件進(jìn)行定位。
[0034]在生成輸出視頻時(shí)，可通過(guò)處理多個(gè)采集到的視頻的數(shù)據(jù)和/或添加儲(chǔ)存在別處的已識(shí)別人士和目標(biāo)的影像來(lái)提升影像質(zhì)量。此外，可將諸如用戶速度、位置、加速度等其他信息層覆蓋在