本技術(shù)涉及圖像數(shù)據(jù)處理，尤其涉及一種基于關(guān)鍵幀分析的圖像處理及裝置。

背景技術(shù)：

1、隨著信息技術(shù)的快速發(fā)展，圖像處理技術(shù)在各個(gè)領(lǐng)域得到了廣泛應(yīng)用。特別是在視頻監(jiān)控、遠(yuǎn)程醫(yī)療診斷、智能交通等領(lǐng)域，實(shí)時(shí)視頻流的處理和傳輸成為了關(guān)鍵技術(shù)之一。為了滿足這些應(yīng)用的需求，現(xiàn)場設(shè)備需要將采集到的視頻流通過高效且穩(wěn)定的方式傳輸?shù)竭h(yuǎn)端設(shè)備進(jìn)行處理和分析。同時(shí)，為了提高數(shù)據(jù)處理效率和準(zhǔn)確性，現(xiàn)場設(shè)備通常會(huì)采用先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型對視頻流中的每幀圖像進(jìn)行處理，提取特征信息。這樣的技術(shù)優(yōu)勢在于可以減少數(shù)據(jù)量，即通過特征提取和數(shù)據(jù)壓縮技術(shù)，可以大幅減少傳輸過程中的數(shù)據(jù)量，降低帶寬需求。

2、然而，在未來的應(yīng)用場景中，圖像的分辨率可能會(huì)更大，當(dāng)前的圖像處理方式可能無法滿足圖像的處理需求。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種基于關(guān)鍵幀分析的圖像處理方法及裝置，用以提升圖像處理效率。

2、為達(dá)到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，本技術(shù)實(shí)施例提供了一種基于關(guān)鍵幀分析的圖像處理方法，該方法應(yīng)用于第一裝置，該方法包括：第一裝置獲取連續(xù)的k幀圖像，k幀圖像中的第1幀圖像為關(guān)鍵幀圖像，k幀圖像中第1幀圖像后的k-1幀圖像為k-1幀非關(guān)鍵幀圖像，k為大于2的整數(shù)；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果；第一裝置向第二裝置發(fā)送關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果中的部分處理結(jié)果，部分處理結(jié)果為根據(jù)關(guān)鍵幀圖像的處理結(jié)果確定，關(guān)鍵幀圖像的處理結(jié)果以及部分處理結(jié)果用于恢復(fù)k-1幀非關(guān)鍵幀圖像。

4、可選地，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，包括：第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對關(guān)鍵幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果，關(guān)鍵幀圖像的處理結(jié)果包括按照特征相似性劃分的多個(gè)特征集合；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k-1幀非關(guān)鍵幀圖像分別進(jìn)行處理，得到k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果包括k-1幀非關(guān)鍵幀圖像各自的多個(gè)特征。

5、可選地，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對關(guān)鍵幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果，包括：第一裝置將關(guān)鍵幀圖像劃分成m1×n1個(gè)格柵，m1和n1均為大于3的整數(shù)，m1為一行的格柵數(shù)目，n1為一列的格柵數(shù)目；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對m1×n1個(gè)格柵依次進(jìn)行處理，得到m1×n1個(gè)處理結(jié)果，m1×n1個(gè)處理結(jié)果中每個(gè)處理結(jié)果包括一個(gè)比特序列；第一裝置通過計(jì)算m1×n1個(gè)處理結(jié)果相關(guān)之間比特序列的相關(guān)性，將m1×n1個(gè)處理結(jié)果劃分成p1個(gè)特征集合，p1為大于1且小于m1×n1的整數(shù)，m1×n1個(gè)處理結(jié)果中屬于同一個(gè)特征集合的處理結(jié)果為比特序列相關(guān)的處理結(jié)果，m1×n1個(gè)處理結(jié)果中屬于不同特征集合的處理結(jié)果為比特序列不相關(guān)的處理結(jié)果；相應(yīng)的，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k-1幀非關(guān)鍵幀圖像分別進(jìn)行處理，得到k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，包括：對于k-1幀非關(guān)鍵幀圖像中的第i幀非關(guān)鍵幀圖像，i為取2至k的任一整數(shù)：第一裝置將第i幀非關(guān)鍵幀圖像劃分成mi×ni個(gè)格柵，mi=m1，ni=n1，mi為一行的格柵數(shù)目，ni為一列的格柵數(shù)目；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對mi×ni個(gè)格柵依次進(jìn)行處理，得到mi×ni個(gè)處理結(jié)果，mi×ni個(gè)處理結(jié)果中每個(gè)處理結(jié)果包括一個(gè)比特序列。

6、可選地，第一裝置向第二裝置發(fā)送關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果中的部分處理結(jié)果，包括：第一裝置向第二裝置發(fā)送p1個(gè)特征集合；以及，在i遍歷2至k的情況下，第一裝置根據(jù)p1個(gè)特征集合，確定mi×ni個(gè)處理結(jié)果中與p1個(gè)特征集合一一對應(yīng)且相關(guān)的pi個(gè)處理結(jié)果，并向第二裝置發(fā)送pi個(gè)處理結(jié)果。

7、可選地，第一裝置根據(jù)p1個(gè)特征集合，確定mi×ni個(gè)處理結(jié)果中與p1個(gè)特征集合一一對應(yīng)且相關(guān)的pi個(gè)處理結(jié)果，并向第二裝置發(fā)送pi個(gè)處理結(jié)果，包括：第一裝置按照格柵的位置將mi×ni個(gè)處理結(jié)果劃分成pi個(gè)特征集合，pi個(gè)特征集合中第j個(gè)特征集合對應(yīng)的格柵在第i幀非關(guān)鍵幀圖像中的位置與p1個(gè)特征集合中第j個(gè)特征集合對應(yīng)的格柵在關(guān)鍵幀圖像中的位置相同，pi=p1，j為取1至pi的任一整數(shù)，特征集合對應(yīng)的格柵是指特征集合中的比特序列是由特征集合對應(yīng)的格柵處理得到；第一裝置從pi個(gè)特征集合的第j個(gè)特征集合中確定一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，pi個(gè)比特序列即pi個(gè)處理結(jié)果；第一裝置向第二裝置發(fā)送pi個(gè)比特序列。

8、可選地，第一裝置從pi個(gè)特征集合的第j個(gè)特征集合中確定一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，包括：在i=2的情況下，第一裝置通過依次計(jì)算pi個(gè)特征集合的第j個(gè)特征集合中每個(gè)比特序列與p1個(gè)特征集合的相關(guān)性，確定pi個(gè)特征集合的第j個(gè)特征集合中與p1個(gè)特征集合的相關(guān)性最高的一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列；在i＞2的情況下，第一裝置通過依次計(jì)算pi個(gè)特征集合的第j個(gè)特征集合中每個(gè)比特序列與pi-1個(gè)特征集合的相關(guān)性，確定pi個(gè)特征集合的第j個(gè)特征集合中與pi-1個(gè)特征集合的相關(guān)性次高的一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，pi-1個(gè)特征集合對應(yīng)k-1幀非關(guān)鍵幀圖像中第i-1幀非關(guān)鍵幀圖像。

9、可選地，第一裝置向第二裝置發(fā)送pi個(gè)比特序列，包括：針對pi個(gè)比特序列中的第j個(gè)比特序列；第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，并向第二裝置發(fā)送翻轉(zhuǎn)后的第j個(gè)比特序列，在j遍歷1至pi的情況下，共發(fā)送pi個(gè)翻轉(zhuǎn)后的比特序列。

10、可選地，第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，包括：第一裝置將第j個(gè)比特序列填充為長度為l×l的比特序列，并將長度為l×l的比特序列轉(zhuǎn)換為行列數(shù)目為l×l的矩陣；l為大于或等于3的奇數(shù)；針對矩陣的對角線上的任一個(gè)比特，第一裝置將任一個(gè)比特的取值由1翻轉(zhuǎn)為0，或?qū)⑷我粋€(gè)比特的取值由0翻轉(zhuǎn)為1，得到翻轉(zhuǎn)后的矩陣，矩陣的對角線上的比特為具有結(jié)構(gòu)性的關(guān)鍵比特；第一裝置將翻轉(zhuǎn)后的矩陣還原為序列，得到翻轉(zhuǎn)后的第j個(gè)比特序列。

11、可選地，第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，包括：第一裝置將第j個(gè)比特序列分割為多個(gè)子比特序列，多個(gè)子比特序列的長度依次從1開始遞增2；針對多個(gè)子比特序列中的任一個(gè)子比特序列，第一裝置將任一個(gè)子比特序列中位于序列兩端的比特的取值由1翻轉(zhuǎn)為0，或?qū)⑷我粋€(gè)子比特序列中位于序列兩端的比特的取值由0翻轉(zhuǎn)為1，得到翻轉(zhuǎn)后的多個(gè)子比特序列，位于列兩端的比特為具有結(jié)構(gòu)性的關(guān)鍵比特；第一裝置將翻轉(zhuǎn)后的多個(gè)子比特序列拼接，得到翻轉(zhuǎn)后的第j個(gè)比特序列。

12、第二方面，提供一種基于關(guān)鍵幀分析的圖像處理裝置，應(yīng)用于第一裝置，第一裝置被配置為：第一裝置獲取連續(xù)的k幀圖像，k幀圖像中的第1幀圖像為關(guān)鍵幀圖像，k幀圖像中第1幀圖像后的k-1幀圖像為k-1幀非關(guān)鍵幀圖像，k為大于2的整數(shù)；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果；第一裝置向第二裝置發(fā)送關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果中的部分處理結(jié)果，部分處理結(jié)果為根據(jù)關(guān)鍵幀圖像的處理結(jié)果確定，關(guān)鍵幀圖像的處理結(jié)果以及部分處理結(jié)果用于恢復(fù)k-1幀非關(guān)鍵幀圖像。

13、可選地，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，包括：第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對關(guān)鍵幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果，關(guān)鍵幀圖像的處理結(jié)果包括按照特征相似性劃分的多個(gè)特征集合；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k-1幀非關(guān)鍵幀圖像分別進(jìn)行處理，得到k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果包括k-1幀非關(guān)鍵幀圖像各自的多個(gè)特征。

14、可選地，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對關(guān)鍵幀圖像進(jìn)行處理，得到關(guān)鍵幀圖像的處理結(jié)果，包括：第一裝置將關(guān)鍵幀圖像劃分成m1×n1個(gè)格柵，m1和n1均為大于3的整數(shù)，m1為一行的格柵數(shù)目，n1為一列的格柵數(shù)目；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對m1×n1個(gè)格柵依次進(jìn)行處理，得到m1×n1個(gè)處理結(jié)果，m1×n1個(gè)處理結(jié)果中每個(gè)處理結(jié)果包括一個(gè)比特序列；第一裝置通過計(jì)算m1×n1個(gè)處理結(jié)果相關(guān)之間比特序列的相關(guān)性，將m1×n1個(gè)處理結(jié)果劃分成p1個(gè)特征集合，p1為大于1且小于m1×n1的整數(shù)，m1×n1個(gè)處理結(jié)果中屬于同一個(gè)特征集合的處理結(jié)果為比特序列相關(guān)的處理結(jié)果，m1×n1個(gè)處理結(jié)果中屬于不同特征集合的處理結(jié)果為比特序列不相關(guān)的處理結(jié)果；相應(yīng)的，第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對k-1幀非關(guān)鍵幀圖像分別進(jìn)行處理，得到k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果，包括：對于k-1幀非關(guān)鍵幀圖像中的第i幀非關(guān)鍵幀圖像，i為取2至k的任一整數(shù)：第一裝置將第i幀非關(guān)鍵幀圖像劃分成mi×ni個(gè)格柵，mi=m1，ni=n1，mi為一行的格柵數(shù)目，ni為一列的格柵數(shù)目；第一裝置通過神經(jīng)網(wǎng)絡(luò)模型對mi×ni個(gè)格柵依次進(jìn)行處理，得到mi×ni個(gè)處理結(jié)果，mi×ni個(gè)處理結(jié)果中每個(gè)處理結(jié)果包括一個(gè)比特序列。

15、可選地，第一裝置向第二裝置發(fā)送關(guān)鍵幀圖像的處理結(jié)果以及k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果中的部分處理結(jié)果，包括：第一裝置向第二裝置發(fā)送p1個(gè)特征集合；以及，在i遍歷2至k的情況下，第一裝置根據(jù)p1個(gè)特征集合，確定mi×ni個(gè)處理結(jié)果中與p1個(gè)特征集合一一對應(yīng)且相關(guān)的pi個(gè)處理結(jié)果，并向第二裝置發(fā)送pi個(gè)處理結(jié)果。

16、可選地，第一裝置根據(jù)p1個(gè)特征集合，確定mi×ni個(gè)處理結(jié)果中與p1個(gè)特征集合一一對應(yīng)且相關(guān)的pi個(gè)處理結(jié)果，并向第二裝置發(fā)送pi個(gè)處理結(jié)果，包括：第一裝置按照格柵的位置將mi×ni個(gè)處理結(jié)果劃分成pi個(gè)特征集合，pi個(gè)特征集合中第j個(gè)特征集合對應(yīng)的格柵在第i幀非關(guān)鍵幀圖像中的位置與p1個(gè)特征集合中第j個(gè)特征集合對應(yīng)的格柵在關(guān)鍵幀圖像中的位置相同，pi=p1，j為取1至pi的任一整數(shù)，特征集合對應(yīng)的格柵是指特征集合中的比特序列是由特征集合對應(yīng)的格柵處理得到；第一裝置從pi個(gè)特征集合的第j個(gè)特征集合中確定一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，pi個(gè)比特序列即pi個(gè)處理結(jié)果；第一裝置向第二裝置發(fā)送pi個(gè)比特序列。

17、可選地，第一裝置從pi個(gè)特征集合的第j個(gè)特征集合中確定一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，包括：在i=2的情況下，第一裝置通過依次計(jì)算pi個(gè)特征集合的第j個(gè)特征集合中每個(gè)比特序列與p1個(gè)特征集合的相關(guān)性，確定pi個(gè)特征集合的第j個(gè)特征集合中與p1個(gè)特征集合的相關(guān)性最高的一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列；在i＞2的情況下，第一裝置通過依次計(jì)算pi個(gè)特征集合的第j個(gè)特征集合中每個(gè)比特序列與pi-1個(gè)特征集合的相關(guān)性，確定pi個(gè)特征集合的第j個(gè)特征集合中與pi-1個(gè)特征集合的相關(guān)性次高的一個(gè)比特序列，在j遍歷1至pi的情況下，得到pi個(gè)比特序列，pi-1個(gè)特征集合對應(yīng)k-1幀非關(guān)鍵幀圖像中第i-1幀非關(guān)鍵幀圖像。

18、可選地，第一裝置向第二裝置發(fā)送pi個(gè)比特序列，包括：針對pi個(gè)比特序列中的第j個(gè)比特序列；第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，并向第二裝置發(fā)送翻轉(zhuǎn)后的第j個(gè)比特序列，在j遍歷1至pi的情況下，共發(fā)送pi個(gè)翻轉(zhuǎn)后的比特序列。

19、可選地，第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，包括：第一裝置將第j個(gè)比特序列填充為長度為l×l的比特序列，并將長度為l×l的比特序列轉(zhuǎn)換為行列數(shù)目為l×l的矩陣；l為大于或等于3的奇數(shù)；針對矩陣的對角線上的任一個(gè)比特，第一裝置將任一個(gè)比特的取值由1翻轉(zhuǎn)為0，或?qū)⑷我粋€(gè)比特的取值由0翻轉(zhuǎn)為1，得到翻轉(zhuǎn)后的矩陣，矩陣的對角線上的比特為具有結(jié)構(gòu)性的關(guān)鍵比特；第一裝置將翻轉(zhuǎn)后的矩陣還原為序列，得到翻轉(zhuǎn)后的第j個(gè)比特序列。

20、可選地，第一裝置將第j個(gè)比特序列中具有結(jié)構(gòu)性的關(guān)鍵比特翻轉(zhuǎn)，得到翻轉(zhuǎn)后的第j個(gè)比特序列，包括：第一裝置將第j個(gè)比特序列分割為多個(gè)子比特序列，多個(gè)子比特序列的長度依次從1開始遞增2；針對多個(gè)子比特序列中的任一個(gè)子比特序列，第一裝置將任一個(gè)子比特序列中位于序列兩端的比特的取值由1翻轉(zhuǎn)為0，或?qū)⑷我粋€(gè)子比特序列中位于序列兩端的比特的取值由0翻轉(zhuǎn)為1，得到翻轉(zhuǎn)后的多個(gè)子比特序列，位于列兩端的比特為具有結(jié)構(gòu)性的關(guān)鍵比特；第一裝置將翻轉(zhuǎn)后的多個(gè)子比特序列拼接，得到翻轉(zhuǎn)后的第j個(gè)比特序列。

21、第三方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有程序代碼，當(dāng)所述程序代碼被所述計(jì)算機(jī)運(yùn)行時(shí)，執(zhí)行如第一方面所述的方法。

22、綜上，上述方法及裝置具有如下技術(shù)效果：

23、由于連續(xù)的k幀圖像的內(nèi)容通常具有延續(xù)性和相關(guān)性，那么可以將k幀圖像中的第1幀圖像為關(guān)鍵幀圖像，k幀圖像中第1幀圖像后的k-1幀圖像為k-1幀非關(guān)鍵幀圖像，k為大于2的整數(shù)；此時(shí)，在通過神經(jīng)網(wǎng)絡(luò)模型對k幀圖像進(jìn)行處理的情況下，第一裝置向第二裝置發(fā)送關(guān)鍵幀圖像的處理結(jié)果，并僅發(fā)送k-1幀非關(guān)鍵幀圖像各自的處理結(jié)果中的部分處理結(jié)果，此時(shí)對側(cè)的裝置可以根據(jù)部分處理結(jié)果與關(guān)鍵幀圖像的處理結(jié)果的相關(guān)性，預(yù)測或恢復(fù)未發(fā)的處理結(jié)果對應(yīng)的圖像的內(nèi)容，如此可以提升圖像處理效率。