本發(fā)明涉及圖像處理領域，具體地，涉及使用多波段混合拼接視頻圖像的處理方法。

背景技術：

1、通常通過拼接兩個或多個具有重疊視野的圖像來生成所謂的全景圖像。例如，多傳感器攝像機可以用于同時捕獲幾個圖像并將這些圖像拼接在一起以輸出全景圖像。全景圖像可以形成視頻序列。

2、圖像拼接通常是組合具有重疊視野的多個圖像的過程。拼接過程可以劃分成若干過程階段。首先，對齊圖像，使得它們具有匹配的視點。這能夠使用變換實現(xiàn)。例如，如果兩個圖像待被拼接，則可以變換圖像中的一個以匹配另一個圖像的視點。然后，對齊階段之后可以是混合階段，在混合階段中，例如通過形成圖像數(shù)據(jù)的線性組合，在圖像的重疊區(qū)域中將多個圖像的圖像數(shù)據(jù)組合?；旌系哪康氖鞘箞D像之間的過渡平滑，使得觀看拼接圖像的用戶將其體驗為單個圖像。

3、有不同的混合技術的變體，其中多波段混合是它們中的一種。在多波段混合中，生成待被混合的圖像數(shù)據(jù)集的代表不同的圖像頻帶的不同版本。生成能夠以不同的方式實現(xiàn)，例如通過被稱為拉普拉斯金字塔分解的技術，其中圖像數(shù)據(jù)集被分解成與不同的圖像頻帶相對應的不同分辨率的圖像。然后，生成的圖像被分離地混合，其中可以使用例如線性組合或對圖像像素值的貢獻進行加權的更復雜的方法的已知的方法。此后，組合不同頻帶的混合圖像以生成最終全景圖像的混合區(qū)域。

4、多波段混合具有最終全景圖像的拼接區(qū)域中的提高的圖像質量和改善的拼接外觀的優(yōu)點，但是具有處理成本更高的缺點。因此，存在引入其中以低處理成本實現(xiàn)多波段混合的優(yōu)點的方法的需要。

5、ca2671894公開了一種拼接輸入圖像的方法。從每個輸入圖像獲得低頻帶子圖像和高頻帶子圖像。低頻帶子圖像被混合，并且高頻帶子圖像被考慮邊緣特征切片或混合以減少偽像。

6、xp031772756，soonmin?bae等人的“構建具有淺景深的視頻攝像機”(“buildingavideorama?with?shallow?depth?of?field”)，公開了一種生成具有在其上渲染動態(tài)前景的拼接背景的視頻的方法。使用多波段混合方法混合前景和拼接的背景。

7、cn115524343公開了一種獲得用于表征冰晶物理結構的冰切片的全景圖像的方法。

技術實現(xiàn)思路

1、本發(fā)明的目的是要提供與已知解決方案相比，以降低的處理成本提供改善的拼接外觀和/或提高的圖像質量的視頻圖像的拼接方法。本發(fā)明的另一個目的是要提供關于處理效率的改進的多波段混合拼接方法。

2、本發(fā)明由所附權利要求書限定。

3、根據(jù)第一方面，上述及其他目的全部或至少部分通過限定拼接來自一個或多個圖像傳感器的圖像數(shù)據(jù)的方法的權利要求1來實現(xiàn)。

4、為了以高效處理的方式利用多波段混合的優(yōu)勢，方法包括每圖像數(shù)據(jù)的部分以及對于為每個部分單獨選擇的一個或多個圖像頻帶執(zhí)行多波段混合。本發(fā)明基于這樣的認識，即能夠關于哪些圖像頻帶和多少圖像頻帶不同地混合具有不同感興趣水平(例如，對于觀看圖像的用戶來說不同的信息值)的圖像數(shù)據(jù)。因此，待被混合的圖像數(shù)據(jù)基于感興趣水平被劃分成多個部分，并且基于其感興趣水平為每個部分進行要使用哪些頻帶的確定。

5、因此，處理資源能夠更多地用于在感興趣的圖像區(qū)域中提供良好質量，并且較少地用在不太感興趣的區(qū)域上。與對所有圖像數(shù)據(jù)混合所有頻帶的傳統(tǒng)多波段混合相比，整體處理水平也被降低了。

6、這里，圖像數(shù)據(jù)的感興趣水平意味著生成的拼接圖像的最終應用或最終用戶對描繪的事物的感興趣水平。例如，對于對象分析應用或監(jiān)視攝像機操作者來說，與描繪天空或自然元素的圖像數(shù)據(jù)相比，描繪對象的圖像數(shù)據(jù)可以具有高感興趣水平。類似地，描繪運動事物的圖像數(shù)據(jù)可以具有比描繪靜止事物的圖像數(shù)據(jù)高的感興趣水平。因此，感興趣水平可以取決于拼接圖像將被如何使用，并且換句話說，是特定于實現(xiàn)的。詳細描述將提供其中感興趣水平具有不同基礎的不同實現(xiàn)的示例。

7、對于不同部分要混合的圖像頻帶的選擇可以是自由的或受限的。在自由選擇中，關于圖像數(shù)據(jù)圖像頻率值的圖像頻率間隔內的波段的位置和大小，自由地確定圖像頻帶。換句話說，圖像頻帶的端點是自由確定的。在受限的選擇中，在預定的一組圖像頻帶(即，具有固定端點的圖像頻帶)中選擇圖像頻帶。

8、有兩種類型的將圖像數(shù)據(jù)劃分成多個部分：空間劃分和顏色分量劃分。換句話說，圖像數(shù)據(jù)可以被劃分成不同空間位置的部分，或者被劃分成顏色模型(例如，rgb、cmyk和ycbcr)中的不同分量的部分。

9、深入了解空間劃分的細節(jié)，能夠實施不同的劃分基礎。這些實施的實施例包括：

10、圖像分割產生具有不同感興趣水平的對象或事物的空間區(qū)域；

11、運動分析產生具有與不同的感興趣水平相對應的不同的運動水平的空間區(qū)域；

12、預測編碼過程產生被預測為使用例如不同的qp值的不同的編碼參數(shù)值來編碼的空間區(qū)域，從而與不同的感興趣水平相對應；

13、圖像頻率分析產生具有與不同的感興趣水平相對應的不同的圖像頻率值分布的圖像數(shù)據(jù)的空間區(qū)域；

14、用戶輸入產生具有不同的感興趣水平的用戶定義的空間區(qū)域；以及

15、歷史輸入產生與到不同感興趣水平的空間區(qū)域的歷史劃分相對應的空間區(qū)域。

16、在一個實施例中，圖像由不同的圖像傳感器同時(即，在基本上相同的時間點)獲取。圖像傳感器可以布置在單個多傳感器攝像機中。同時獲取圖像的好處是，在混合區(qū)域中存在一個或多個運動對象的情況下，簡化了對齊過程。另外，由于在實現(xiàn)實時拼接的攝像機中特別需要計算高效的拼接算法，因此本發(fā)明在多傳感器攝像機中特別有利，在多傳感器攝像機中，拼接圖像的生成是實時執(zhí)行的，即，在捕獲圖像之后不久，在從攝像機發(fā)送圖像之前。

17、根據(jù)第一方面的方法可以被實現(xiàn)為存儲在計算機程序產品上的計算機代碼指令，其中，計算機代碼指令適于在由具有處理能力的裝置執(zhí)行時實施方法。

18、根據(jù)第二方面，這些和其他目的全部或至少部分通過限定用于拼接來自一個或多個圖像傳感器的圖像數(shù)據(jù)的裝置的權利要求14來實現(xiàn)。裝置可以是監(jiān)視攝像機。第二方面的裝置通?？梢砸耘c第一方面的方法相同的方式來實施，具有伴隨的優(yōu)點。

19、根據(jù)下面給出的詳細描述，本發(fā)明的進一步適用范圍將變得顯而易見。

20、必須注意的是，如說明書和所附權利要求中所使用地，除非上下文另有明確規(guī)定，冠詞“一”、“一個”、“該”和“所述”旨在表示存在一個或多個元件。因此，例如，對“對象”或“該對象”的引用可以包括若干對象等。此外，詞語“包括”不排除其它元件或步驟。

技術特征：

1.一種為應用生成拼接圖像數(shù)據(jù)的方法，其中，所述圖像數(shù)據(jù)由一個或多個圖像傳感器獲取，所述一個或多個圖像傳感器被布置成獲取描繪場景的至少部分重疊的視角的圖像數(shù)據(jù)，所述方法包括：

2.根據(jù)權利要求1所述的方法，其中，所述確定一個或多個圖像頻帶的步驟包括從固定的一組圖像頻帶中選擇一個或多個圖像頻帶。

3.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成與所述混合區(qū)域的相同的多個空間區(qū)域相對應的部分，并且包括：

4.根據(jù)權利要求3所述的方法，其中，所述圖像分割使用背景模型來執(zhí)行。

5.根據(jù)權利要求3所述的方法，其中，所述圖像分割使用圖像分類算法或圖像識別算法來執(zhí)行。

6.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成與所述混合區(qū)域的相同的多個空間區(qū)域相對應的部分，所述方法進一步包括：

7.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成多個空間區(qū)域，所述方法進一步包括：

8.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成多個空間區(qū)域，所述方法進一步包括：

9.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成相同的多個顏色分量，其中，所述顏色分量是ycbcr顏色空間的y、cb和cr。

10.根據(jù)權利要求1所述的方法，其中，基于用戶定義的劃分，將所述圖像數(shù)據(jù)集劃分成多個部分。

11.根據(jù)權利要求1所述的方法，其中，所述圖像數(shù)據(jù)集被劃分成多個區(qū)域，所述方法進一步包括：

12.一種生成拼接圖像的序列的方法，包括：

13.一種計算機程序產品，包括具有存儲在其上的計算機代碼指令的計算機可讀介質，當由具有處理能力的裝置執(zhí)行時，所述計算機代碼指令適于實施權利要求1的所述方法。

14.一種用于為應用生成拼接圖像數(shù)據(jù)的裝置，其中，所述圖像數(shù)據(jù)由一個或多個圖像傳感器獲取，所述一個或多個圖像傳感器被布置成獲取描繪場景的至少部分重疊的視角的圖像數(shù)據(jù)，所述裝置包括：

15.一種適于提供全景視頻的直播流的監(jiān)視攝像機，其中，所述監(jiān)視攝像機裝置包括根據(jù)權利要求14所述的用于拼接圖像數(shù)據(jù)的裝置。

技術總結
公開用于拼接圖像數(shù)據(jù)的方法和裝置。本文公開了拼接來自一個或多個圖像傳感器的圖像數(shù)據(jù)的方法，一個或多個圖像傳感器被布置為獲得描繪場景的至少部分重疊的視角的圖像數(shù)據(jù)。方法包括：獲得(402)表示混合區(qū)域的圖像數(shù)據(jù)集；將每個圖像數(shù)據(jù)集劃分(404)成不同感興趣水平的部分；對于每個圖像數(shù)據(jù)的部分，基于該部分的感興趣水平確定(406)一個或多個圖像頻帶，并且從圖像數(shù)據(jù)的該部分獲得(408)確定的一個或多個圖像頻帶的圖像數(shù)據(jù)；以及通過多波段混合混合(410)第一圖像數(shù)據(jù)集和第二圖像數(shù)據(jù)集，其中，對于每個圖像數(shù)據(jù)的部分，僅混合確定的一個或多個圖像頻帶的獲得的圖像數(shù)據(jù)。還公開了適于執(zhí)行該方法的裝置。

技術研發(fā)人員：米卡埃爾·穆爾斯塔姆,約翰·斯特寧
受保護的技術使用者：安訊士有限公司
技術研發(fā)日：
技術公布日：2025/5/15