本申請涉及圖像處理，特別是涉及一種熱力圖軌跡生成方法、裝置、設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)：

1、隨著國家大力推進智能教學(xué)環(huán)境的普及和建設(shè)，利用多媒體技術(shù)進行輔助教學(xué)已經(jīng)成為當今課堂教學(xué)的一種趨勢，而利用圖像處理技術(shù)對課堂中教師的行為進行評價，指定教師授課量化指標并基于分析的結(jié)果向教師提供科學(xué)建議，是當前課堂教學(xué)智能化的一個重要研究領(lǐng)域。

2、在課室的教學(xué)場景中，教師通常會在課室中走動，參與學(xué)生的問題答疑、課堂互動等。通過長時間的對教師的巡堂軌跡進行分析能有效了解到課堂參與度高或是教師關(guān)注較多的區(qū)域，幫助老師分析課堂教學(xué)質(zhì)量，以及是否無意忽略了部分區(qū)域的同學(xué)。

3、近年來越來越多課室通過安裝相機采集課堂中教學(xué)過程的圖像，并利用計算機視覺技術(shù)對圖像中的學(xué)生和老師進行課堂行為分析。而現(xiàn)有方法中無論是采用目標檢測，關(guān)鍵點檢測亦或是視頻分類算法進行行為識別，關(guān)注的均為行為本身的識別，而鮮有對課堂中教師的巡堂軌跡進行宏觀分析的方法，或者是通過生成熱力圖的方式直觀分析教師巡堂軌跡的方法。

4、現(xiàn)有方法生成行為或軌跡熱力圖時，均不需要對場景中的角色或身份進行區(qū)分，而課室場景中通常存在教師和學(xué)生的角色區(qū)分，如何自適應(yīng)的對場景中的目標角色區(qū)分并針對性的輸出教師的軌跡是一大難點。同時，現(xiàn)有技術(shù)直接在圖像空間生成熱力圖會保留由于相機成像的透視變換(近大遠小)導(dǎo)致的和真實場景關(guān)聯(lián)性小的問題。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┮环N熱力圖軌跡生成方法、裝置、設(shè)備及可讀存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)的上述問題。

2、本申請第一方面提供了一種熱力圖軌跡生成方法，該熱力圖軌跡生成方法包括：

3、利用第一相機實時獲取教學(xué)場景下的第一圖像數(shù)據(jù)，以及利用第二相機實時獲取教學(xué)場景下的第二圖像數(shù)據(jù)；其中第一相機和第二相機設(shè)置于教學(xué)場景的兩端，且第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)部分重合；

4、提取第一圖像數(shù)據(jù)中的第一目標特征，以基于第一目標特征構(gòu)建目標特征庫；

5、提取第二圖像數(shù)據(jù)中的第二目標特征，對比目標特征庫和第二目標特征，以獲取特征相似度超過預(yù)設(shè)閾值的對象特征；其中對象特征表征待測對象在第二圖像數(shù)據(jù)的坐標；

6、獲取教學(xué)場景的熱力圖空間，其中熱力圖空間與第二圖像數(shù)據(jù)具有映射關(guān)系；

7、基于映射關(guān)系和坐標，生成待測對象的熱力圖軌跡。

8、進一步地，提取第一圖像數(shù)據(jù)中的第一目標特征，以基于第一目標特征構(gòu)建目標特征庫的步驟，包括：

9、基于目標檢測模型對第一圖像數(shù)據(jù)進行數(shù)據(jù)分類，以獲取第一圖像數(shù)據(jù)中的第一預(yù)設(shè)類別數(shù)據(jù)；

10、基于特征提取模型對第一預(yù)設(shè)類別數(shù)據(jù)進行特征提取，以獲取第一目標特征；

11、對第一目標特征進行聚類，以獲取目標特征簇；

12、基于目標特征簇構(gòu)建目標特征庫。

13、進一步地，對第一目標特征進行聚類，以獲取目標特征簇的步驟，包括：

14、基于聚類模型對第一目標特征進行聚類，輸出至少兩個特征簇；

15、獲取至少兩個特征簇的簇類特征數(shù)量，基于簇類特征數(shù)量對至少兩個特征簇進行排序，以將擁有簇類特征數(shù)量最多的特征簇作為目標特征簇。

16、進一步地，提取第二圖像數(shù)據(jù)中的第二目標特征，對比目標特征庫和第二目標特征，以獲取特征相似度超過預(yù)設(shè)閾值的對象特征的步驟，包括：

17、基于目標檢測模型對第二圖像數(shù)據(jù)進行數(shù)據(jù)分類，以獲取第二圖像數(shù)據(jù)中的第二預(yù)設(shè)類別數(shù)據(jù)；

18、基于特征提取模型對第二預(yù)設(shè)類別數(shù)據(jù)進行特征提取，以獲取第二目標特征；

19、獲取目標特征庫中的任意一個第一目標特征，計算第一目標特征與第二目標特征的特征相似度；

20、響應(yīng)于特征相似度超過預(yù)設(shè)閾值，輸出第二目標特征；其中第二目標特征為對象特征。

21、進一步地，熱力圖軌跡的生成方法還包括：

22、基于所有對象特征生成目標檢測框；

23、以目標檢測框的中心坐標作為待測對象在第二圖像數(shù)據(jù)的坐標。

24、進一步地，獲取教學(xué)場景的熱力圖空間的步驟，包括：

25、基于功能區(qū)域信息將第二圖像數(shù)據(jù)分割為若干功能區(qū)域和非功能區(qū)域；

26、構(gòu)建熱力圖空間，并按照功能區(qū)域信息將熱力圖空間分割成若干第一區(qū)域和第二區(qū)域；其中第一區(qū)域和功能區(qū)域的數(shù)量一致，第二區(qū)域和非功能區(qū)域的數(shù)量一致，且第一區(qū)域和第二區(qū)域與功能區(qū)域和非功能區(qū)域的排布方式相同；

27、利用若干單應(yīng)矩陣將若干第一區(qū)域映射于若干功能區(qū)域，以獲取熱力圖空間與第二圖像數(shù)據(jù)的映射關(guān)系。

28、進一步地，基于映射關(guān)系和坐標，生成待測對象的熱力圖軌跡的步驟，包括：

29、獲取坐標所對應(yīng)的功能區(qū)域；

30、基于映射關(guān)系，獲取功能區(qū)域與對應(yīng)的第一區(qū)域的單應(yīng)矩陣；

31、基于單應(yīng)矩陣獲取坐標映射于第一區(qū)域的目標坐標；

32、基于目標坐標生成待測對象的熱力圖軌跡。

33、本申請第二方面提供了一種熱力圖軌跡生成裝置，該熱力圖軌跡生成裝置包括：

34、第一相機，用于實時獲取教學(xué)場景下的第一圖像數(shù)據(jù)；

35、第二相機，用于實時獲取教學(xué)場景下的第二圖像數(shù)據(jù)；其中第一相機和第二相機設(shè)置于教學(xué)場景的兩端，且第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)部分重合；

36、處理模塊，用于提取第一圖像數(shù)據(jù)中的第一目標特征，以基于第一目標特征構(gòu)建目標特征庫；

37、處理模塊還用于提取第二圖像數(shù)據(jù)中的第二目標特征，對比目標特征庫和第二目標特征，以獲取特征相似度超過預(yù)設(shè)閾值的對象特征；其中對象特征表征待測對象在第二圖像數(shù)據(jù)的坐標；

38、處理模塊還用于獲取教學(xué)場景的熱力圖空間，其中熱力圖空間與第二圖像數(shù)據(jù)具有映射關(guān)系；

39、處理模塊還用于基于映射關(guān)系和坐標，生成待測對象的熱力圖軌跡。

40、本申請第三方面提供了一種電子設(shè)備，包括相互耦接的存儲器和處理器，處理器用于執(zhí)行存儲器中存儲的程序指令，以實現(xiàn)如上述的熱力圖軌跡生成方法。

41、本申請第四方面提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有計算機程序，計算機程序能夠被處理器執(zhí)行時實現(xiàn)如上述的熱力圖軌跡生成方法。

42、區(qū)別于現(xiàn)有技術(shù)，本申請通過第一相機實時采集第一圖像數(shù)據(jù)，并基于第一圖像數(shù)據(jù)自動識別構(gòu)建目標特征庫，通過第二相機實時采集第二圖像數(shù)據(jù)，并通過對應(yīng)第二圖像數(shù)據(jù)以及第一圖像數(shù)據(jù)，實現(xiàn)自動識別待測對象，通過自定義構(gòu)建熱力圖空間，并基于第二圖像數(shù)據(jù)和熱力圖空間的映射關(guān)系，生成與待測對象的運動軌跡對應(yīng)的熱力圖軌跡，實現(xiàn)針對性確定教師巡堂軌跡，并且由于相機成像的透視變換導(dǎo)致的近大遠小以及真實場景關(guān)聯(lián)性小的問題。

43、應(yīng)當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，而非限制本申請。

技術(shù)特征：

1.一種熱力圖軌跡生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的熱力圖軌跡生成方法，其特征在于，所述提取所述第一圖像數(shù)據(jù)中的第一目標特征，以基于所述第一目標特征構(gòu)建目標特征庫的步驟，包括：

3.根據(jù)權(quán)利要求2所述的熱力圖軌跡生成方法，其特征在于，所述對所述第一目標特征進行聚類，以獲取目標特征簇的步驟，包括：

4.根據(jù)權(quán)利要求1所述的熱力圖軌跡生成方法，其特征在于，所述提取所述第二圖像數(shù)據(jù)中的第二目標特征，對比所述目標特征庫和所述第二目標特征，以獲取特征相似度超過預(yù)設(shè)閾值的對象特征的步驟，包括：

5.根據(jù)權(quán)利要求4所述的熱力圖軌跡生成方法，其特征在于，所述熱力圖軌跡的生成方法還包括：

6.根據(jù)權(quán)利要求5所述的熱力圖軌跡生成方法，其特征在于，所述獲取所述教學(xué)場景的熱力圖空間的步驟，包括：

7.根據(jù)權(quán)利要求6所述的熱力圖軌跡生成方法，其特征在于，所述基于所述映射關(guān)系和所述坐標，生成所述待測對象的熱力圖軌跡的步驟，包括：

8.一種熱力圖軌跡生成裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括相互耦接的存儲器和處理器，所述處理器用于執(zhí)行所述存儲器中存儲的程序指令，以實現(xiàn)如權(quán)利要求1-7中任一項所述的熱力圖軌跡生成方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序能夠被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一項所述的熱力圖軌跡生成方法。

技術(shù)總結(jié)
本申請公開了一種熱力圖軌跡生成方法、裝置、設(shè)備及可讀存儲介質(zhì)，該方法包括：分別利用第一相機和第二相機實時獲取教學(xué)場景下的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)；提取第一圖像數(shù)據(jù)中的第一目標特征并基于第一目標特征構(gòu)建目標特征庫；提取第二圖像數(shù)據(jù)中的第二目標特征，對比目標特征庫和第二目標特征，以獲取特征相似度超過預(yù)設(shè)閾值的對象特征；獲取與第二圖像數(shù)據(jù)具有映射關(guān)系的熱力圖空間；基于映射關(guān)系和坐標生成待測對象的熱力圖軌跡。本申請通過第一相機自動識別構(gòu)建目標特征庫，通過第二相機識別待測對象，進而在與第二圖像數(shù)據(jù)具有映射關(guān)系的熱力圖空間生成與待測對象的運動軌跡對應(yīng)的熱力圖軌跡。

技術(shù)研發(fā)人員：朱勛沐,林劍華,傅俊杰
受保護的技術(shù)使用者：廣州視源電子科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/10