本發(fā)明屬于智能安防領(lǐng)域，涉及視頻孿生技術(shù)，具體是一種視頻孿生與目標(biāo)檢測(cè)協(xié)同的llm智能數(shù)據(jù)系統(tǒng)。

背景技術(shù)：

1、現(xiàn)有用于智能安防領(lǐng)域的目標(biāo)檢測(cè)系統(tǒng)在進(jìn)行安防異常檢測(cè)時(shí)，存在具體以下缺陷：

2、1、現(xiàn)有的目標(biāo)檢測(cè)系統(tǒng)只能通過二維監(jiān)控圖像進(jìn)行安防異常檢測(cè)，由于二維監(jiān)控圖像缺乏深度信息，難以準(zhǔn)確判斷目標(biāo)距離、高度和體積，從而導(dǎo)致檢測(cè)結(jié)果缺乏準(zhǔn)確性；

3、2、現(xiàn)有的目標(biāo)檢測(cè)系統(tǒng)無法針對(duì)具體的監(jiān)測(cè)區(qū)域創(chuàng)建對(duì)應(yīng)的視頻圖像檢測(cè)模型，從而導(dǎo)致檢測(cè)過程缺乏針對(duì)性。

4、為此，我們提出一種視頻孿生與目標(biāo)檢測(cè)協(xié)同的llm智能數(shù)據(jù)系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明目的是提供一種視頻孿生與目標(biāo)檢測(cè)協(xié)同的llm智能數(shù)據(jù)系統(tǒng)，本發(fā)明旨在提高安防異常檢測(cè)的準(zhǔn)確性和多樣性。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種視頻孿生與目標(biāo)檢測(cè)協(xié)同的llm智能數(shù)據(jù)系統(tǒng)，包括：

3、模型創(chuàng)建模塊：將目標(biāo)檢測(cè)區(qū)域創(chuàng)建為三維空間模型并將其劃分為多個(gè)圖像渲染區(qū)域，在三維空間模型創(chuàng)建三維空間坐標(biāo)系，根據(jù)三維空間坐標(biāo)系為每一個(gè)圖像渲染區(qū)域匹配最佳渲染攝像頭，使用最佳渲染攝像頭對(duì)每一個(gè)圖像渲染區(qū)域進(jìn)行圖像實(shí)時(shí)渲染來創(chuàng)建目標(biāo)區(qū)域三維渲染模型，得到模型創(chuàng)建數(shù)據(jù)；

4、目標(biāo)檢測(cè)模塊：根據(jù)模型創(chuàng)建數(shù)據(jù)對(duì)目標(biāo)區(qū)域三維渲染模型進(jìn)行圖像實(shí)時(shí)監(jiān)測(cè)，根據(jù)監(jiān)測(cè)結(jié)果將多個(gè)圖像渲染區(qū)域劃分為異常行為區(qū)域和無異常行為區(qū)域，得到目標(biāo)行為檢測(cè)數(shù)據(jù)；

5、智能安防領(lǐng)域：根據(jù)目標(biāo)行為檢測(cè)數(shù)據(jù)對(duì)目標(biāo)檢測(cè)區(qū)域進(jìn)行智能預(yù)警。

6、進(jìn)一步地，對(duì)模型創(chuàng)建數(shù)據(jù)進(jìn)行獲取，具體如下：

7、在目標(biāo)檢測(cè)區(qū)域內(nèi)，使用激光雷達(dá)對(duì)目標(biāo)檢測(cè)區(qū)域進(jìn)行三維掃描，根據(jù)掃描結(jié)果將目標(biāo)檢測(cè)區(qū)域創(chuàng)建為三維空間模型；

8、在三維空間模型進(jìn)行三維坐標(biāo)系創(chuàng)建，得到三維空間坐標(biāo)系；

9、將三維空間模型劃分為若干個(gè)圖像渲染區(qū)域，并在所劃分的多個(gè)圖像渲染區(qū)域中選取一個(gè)樣本圖像渲染區(qū)域；

10、對(duì)樣本圖像渲染區(qū)域進(jìn)行監(jiān)控?cái)z像頭選擇，得到樣本圖像渲染區(qū)域所對(duì)應(yīng)的最佳渲染攝像頭；

11、分別對(duì)每一個(gè)圖像渲染區(qū)域所對(duì)應(yīng)的最佳渲染攝像頭進(jìn)行獲取；

12、在三維空間模型中，通過圖像渲染算法將每一個(gè)最佳渲染攝像頭所獲取的監(jiān)控圖像對(duì)相應(yīng)的圖像渲染區(qū)域進(jìn)行圖像實(shí)時(shí)渲染，得到目標(biāo)區(qū)域三維渲染模型；

13、將多個(gè)圖像渲染區(qū)域、目標(biāo)區(qū)域三維渲染模型以及三維空間坐標(biāo)系定義為模型創(chuàng)建數(shù)據(jù)。

14、進(jìn)一步地，對(duì)三維空間坐標(biāo)系進(jìn)行創(chuàng)建，具體如下：

15、在三維空間模型中，任意選取一個(gè)模型底面頂點(diǎn)作為坐標(biāo)原點(diǎn)，并將模型底面標(biāo)記為第一模型特征平面，在第一模型特征平面內(nèi)，過坐標(biāo)原點(diǎn)任意作一條直線，得到坐標(biāo)x軸，過坐標(biāo)原點(diǎn)作垂直于坐標(biāo)x軸的直線，得到坐標(biāo)y軸，過坐標(biāo)x軸作垂直于第一模型特征平面的平面，得到第二模型特征平面，在第二模型特征平面內(nèi)，作垂直于坐標(biāo)x軸的直線，得到坐標(biāo)z軸，將坐標(biāo)x軸，坐標(biāo)z軸以及坐標(biāo)原點(diǎn)所組成的平面標(biāo)記為三維空間坐標(biāo)系。

16、進(jìn)一步地，對(duì)樣本圖像渲染區(qū)域所對(duì)應(yīng)的最佳渲染攝像頭進(jìn)行獲取，具體如下：

17、將三維控制模型中所安裝的監(jiān)控?cái)z像頭標(biāo)記為有效監(jiān)控?cái)z像頭和無效監(jiān)控?cái)z像頭；

18、任意選取一個(gè)有效監(jiān)控?cái)z像頭作為樣本監(jiān)控?cái)z像頭，對(duì)樣本填充像素點(diǎn)與樣本監(jiān)控?cái)z像頭之間的坐標(biāo)距離數(shù)值進(jìn)行獲取：

19、分別對(duì)每一個(gè)邊緣填充像素點(diǎn)與樣本監(jiān)控?cái)z像頭之間的坐標(biāo)距離數(shù)值進(jìn)行獲取，得到多個(gè)坐標(biāo)距離數(shù)值，對(duì)所得的多個(gè)坐標(biāo)距離數(shù)值進(jìn)行平均數(shù)計(jì)算，得到樣本監(jiān)控?cái)z像頭與樣本圖像渲染區(qū)域之間的有效監(jiān)控距離數(shù)值；

20、獲取每一個(gè)有效監(jiān)控?cái)z像頭與樣本圖像渲染區(qū)域之間的有效監(jiān)控距離數(shù)值，得到多個(gè)有效監(jiān)控距離數(shù)值，并對(duì)所得的多個(gè)有效監(jiān)控距離數(shù)值進(jìn)行數(shù)值大小比對(duì)，將有效監(jiān)控距離最小的有效監(jiān)控?cái)z像頭標(biāo)記為樣本圖像渲染區(qū)域所對(duì)應(yīng)的最佳渲染攝像頭。

21、進(jìn)一步地，對(duì)有效監(jiān)控?cái)z像頭和無效監(jiān)控?cái)z像頭進(jìn)行標(biāo)記，具體如下：

22、對(duì)三維控制模型中所安裝的監(jiān)控?cái)z像頭進(jìn)行獲取，得到多個(gè)模型監(jiān)控?cái)z像頭，分別使用每一個(gè)模型監(jiān)控?cái)z像頭對(duì)樣本圖像渲染區(qū)域進(jìn)行監(jiān)控圖像獲取，得到多個(gè)樣本區(qū)域監(jiān)控圖像，若樣本區(qū)域監(jiān)控圖像能夠?qū)颖緢D像渲染區(qū)域進(jìn)行完整圖像拍攝，則將樣本區(qū)域監(jiān)控圖像所對(duì)應(yīng)的模型監(jiān)控?cái)z像頭標(biāo)記為有效監(jiān)控?cái)z像頭，若樣本區(qū)域監(jiān)控圖像不能對(duì)樣本圖像渲染區(qū)域進(jìn)行完整圖像拍攝，則將樣本區(qū)域監(jiān)控圖像所對(duì)應(yīng)的模型監(jiān)控?cái)z像頭標(biāo)記為無效監(jiān)控?cái)z像頭。

23、進(jìn)一步地，對(duì)樣本填充像素點(diǎn)與樣本監(jiān)控?cái)z像頭之間的坐標(biāo)距離數(shù)值進(jìn)行獲取，具體如下：

24、在三維空間坐標(biāo)系中，將樣本監(jiān)控?cái)z像頭所對(duì)應(yīng)的坐標(biāo)點(diǎn)標(biāo)記為攝像頭特征點(diǎn)；

25、對(duì)樣本圖像渲染區(qū)域的區(qū)域邊緣進(jìn)行像素點(diǎn)填充，得到多個(gè)邊緣填充像素點(diǎn)，并在所填充的多個(gè)邊緣填充像素點(diǎn)中選取一個(gè)樣本填充像素點(diǎn)；

26、獲取樣本填充像素點(diǎn)在三維空間坐標(biāo)系中的三維坐標(biāo)，得到第一特征三維坐標(biāo)，獲取攝像頭特征點(diǎn)在三維空間坐標(biāo)系中的三維坐標(biāo)，得到第二特征三維坐標(biāo)；

27、將第一特征三維坐標(biāo)和第二特征三維坐標(biāo)通過計(jì)算得到樣本填充像素點(diǎn)與樣本監(jiān)控?cái)z像頭之間的坐標(biāo)距離數(shù)值；

28、對(duì)坐標(biāo)距離數(shù)值進(jìn)行計(jì)算，具體公式如下：

29、；

30、其中，zbj為坐標(biāo)距離數(shù)值，（x1,y1,z1）為第一特征三維坐標(biāo)，（x2,y2,z2）為第二特征三維坐標(biāo)。

31、進(jìn)一步地，所述對(duì)目標(biāo)行為檢測(cè)數(shù)據(jù)進(jìn)行獲取，具體如下：

32、獲取模型創(chuàng)建數(shù)據(jù)，根據(jù)模型創(chuàng)建數(shù)據(jù)分別獲取目標(biāo)區(qū)域三維渲染模型、三維空間坐標(biāo)系以及多個(gè)圖像渲染區(qū)域，并在所獲取的多個(gè)圖像渲染模型；

33、通過目標(biāo)區(qū)域三維渲染模型對(duì)每一個(gè)圖像渲染區(qū)域所對(duì)應(yīng)的實(shí)時(shí)三維圖像進(jìn)行獲?。?/p>

34、創(chuàng)建目標(biāo)行為檢測(cè)大模型，使用目標(biāo)行為檢測(cè)大模型對(duì)每一個(gè)圖像渲染區(qū)域所對(duì)應(yīng)的實(shí)時(shí)三維圖像進(jìn)行檢測(cè)，將存在目標(biāo)檢測(cè)行為圖像的圖像渲染區(qū)域標(biāo)記為異常行為區(qū)域，并對(duì)目標(biāo)行為所處位置在三維空間坐標(biāo)系的坐標(biāo)進(jìn)行獲取，得到異常檢測(cè)行為坐標(biāo)，將不存在目標(biāo)檢測(cè)行為圖像的圖像渲染區(qū)域標(biāo)記為無異常行為區(qū)域，得到目標(biāo)行為檢測(cè)數(shù)據(jù)。

35、進(jìn)一步地，所述對(duì)目標(biāo)行為檢測(cè)大模型進(jìn)行創(chuàng)建，具體如下：

36、獲取多個(gè)目標(biāo)區(qū)域三維渲染模型所對(duì)應(yīng)的歷史三維圖像，在所獲取的多個(gè)歷史三維圖像中選取一個(gè)樣本歷史三維圖像，對(duì)樣本歷史三維圖像進(jìn)行圖像類型劃分；

37、分別對(duì)每一個(gè)歷史三維圖像進(jìn)行目標(biāo)檢測(cè)行為標(biāo)記，得到歷史三維圖像標(biāo)記數(shù)據(jù)；

38、將歷史三維圖像標(biāo)記數(shù)據(jù)按照?qǐng)D像訓(xùn)練測(cè)試比劃分為模型三維圖像訓(xùn)練集和模型三維圖像測(cè)試集；

39、通過現(xiàn)有的人工智能平臺(tái)創(chuàng)建圖像識(shí)別模型，使用模型三維圖像訓(xùn)練集對(duì)圖像識(shí)別模型進(jìn)行訓(xùn)練，直至模型三維圖像訓(xùn)練集中的每一張模型三維圖像均對(duì)圖像識(shí)別模型進(jìn)行一次訓(xùn)練；

40、使用模型三維圖像測(cè)試集對(duì)圖像識(shí)別模型進(jìn)行測(cè)試，并對(duì)識(shí)別準(zhǔn)確率進(jìn)行獲取，當(dāng)識(shí)別準(zhǔn)確率大于等于目標(biāo)識(shí)別準(zhǔn)確率，則對(duì)圖像識(shí)別模型訓(xùn)練完成，得到目標(biāo)行為檢測(cè)大模型，當(dāng)識(shí)別準(zhǔn)確率小于目標(biāo)識(shí)別準(zhǔn)確率，則繼續(xù)使用模型三維圖像訓(xùn)練集對(duì)圖像識(shí)別模型進(jìn)行訓(xùn)練，直至識(shí)別準(zhǔn)確率大于等于目標(biāo)識(shí)別準(zhǔn)確率。

41、進(jìn)一步地，對(duì)樣本歷史三維圖像進(jìn)行圖像類型劃分，具體如下：

42、使用圖像識(shí)別算法對(duì)樣本歷史三維圖像中的行人進(jìn)行模型標(biāo)記，得到多個(gè)行人模型；

43、在三維空間坐標(biāo)系，獲取每一個(gè)行人模型的z軸坐標(biāo)數(shù)值，得到行人模型高度數(shù)值，對(duì)每一個(gè)行人模型在第一模型特征平面的覆蓋區(qū)域進(jìn)行面積獲取，得到行人模型占地面積數(shù)值，計(jì)算每一個(gè)行人模型高度數(shù)值與行人模型占地面積數(shù)值的比值，得到多個(gè)模型高占面積比；

44、通過llm智能模型獲取人體處于非躺臥狀態(tài)時(shí)的預(yù)設(shè)高占面積比區(qū)間；

45、若存在任意一個(gè)模型高占面積比不處于預(yù)設(shè)高占面積比區(qū)間，則將樣本歷史三維圖像標(biāo)記為目標(biāo)檢測(cè)行為圖像，若任意一個(gè)模型高占面積比均處于預(yù)設(shè)高占面積比區(qū)間，則將樣本歷史三維圖像標(biāo)記為非目標(biāo)檢測(cè)行為圖像。

46、進(jìn)一步地，所述對(duì)目標(biāo)檢測(cè)區(qū)域進(jìn)行智能安防預(yù)警，具體如下：

47、獲取目標(biāo)行為檢測(cè)數(shù)據(jù)，根據(jù)目標(biāo)行為檢測(cè)數(shù)據(jù)分別對(duì)異常行為區(qū)域以及無異常行為區(qū)域進(jìn)行獲取；

48、若目標(biāo)檢測(cè)區(qū)域存在異常行為區(qū)域，則對(duì)目標(biāo)檢測(cè)區(qū)域發(fā)布異常行為預(yù)警，并自動(dòng)輸出異常檢測(cè)行為坐標(biāo)；

49、若目標(biāo)檢測(cè)區(qū)域不存在異常行為區(qū)域，則不對(duì)目標(biāo)檢測(cè)區(qū)域發(fā)布異常行為預(yù)警。

50、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

51、1、本發(fā)明將目標(biāo)檢測(cè)區(qū)域創(chuàng)建為三維空間模型并將其劃分為多個(gè)圖像渲染區(qū)域，在三維空間模型創(chuàng)建三維空間坐標(biāo)系，根據(jù)三維空間坐標(biāo)系為每一個(gè)圖像渲染區(qū)域匹配最佳渲染攝像頭，使用最佳渲染攝像頭對(duì)每一個(gè)圖像渲染區(qū)域進(jìn)行圖像實(shí)時(shí)渲染來創(chuàng)建目標(biāo)區(qū)域三維渲染模型，通過目標(biāo)區(qū)域三維渲染模型進(jìn)行安防異常行為檢測(cè)，能夠有效提高檢測(cè)結(jié)果的準(zhǔn)確性；

52、2、本發(fā)明根據(jù)針對(duì)目標(biāo)區(qū)域三維渲染模型創(chuàng)建目標(biāo)行為檢測(cè)大模型進(jìn)行圖像實(shí)時(shí)監(jiān)測(cè)，根據(jù)監(jiān)測(cè)結(jié)果將多個(gè)圖像渲染區(qū)域劃分為異常行為區(qū)域和無異常行為區(qū)域，能夠有效保證檢測(cè)過程的環(huán)境針對(duì)性。