本發(fā)明涉及計(jì)算機(jī)視覺(jué)，具體涉及一種應(yīng)用在邊緣計(jì)算環(huán)境中的面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法。

背景技術(shù)：

1、行人重識(shí)別(re-identification,reid)技術(shù)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵技術(shù)之一，主要解決在跨攝像頭、跨場(chǎng)景下的行人識(shí)別和檢索問(wèn)題。這項(xiàng)技術(shù)對(duì)于視頻監(jiān)控、公共安全、個(gè)人身份驗(yàn)證等多個(gè)應(yīng)用場(chǎng)景至關(guān)重要。然而，在邊緣計(jì)算環(huán)境中，由于邊緣設(shè)備的處理能力有限，通常只能部署輕量級(jí)的深度學(xué)習(xí)模型。這在一定程度上限制了模型的參數(shù)規(guī)模，進(jìn)而影響了reid的精度，難以滿足復(fù)雜多變的視頻監(jiān)控環(huán)境的需求。

2、為進(jìn)一步提升reid精度，借助云計(jì)算中心來(lái)處理復(fù)雜的計(jì)算任務(wù)是一種普遍的可行方案。相較于資源受限的邊緣端，云端可以部署結(jié)構(gòu)更復(fù)雜、參數(shù)規(guī)模更龐大的深度學(xué)習(xí)模型。憑借模型強(qiáng)大的特征提取和模式識(shí)別能力，能夠大幅度提升行人重識(shí)別的準(zhǔn)確度。但是，這種基于云端的中心化計(jì)算模式存在明顯不足。首先，云計(jì)算服務(wù)通常涉及持續(xù)的計(jì)算資源租賃費(fèi)用，高昂的計(jì)算成本幾乎不可避免。其次，大規(guī)模的視頻監(jiān)控?cái)?shù)據(jù)需要在本地與云端之間進(jìn)行持續(xù)傳輸，不僅影響了系統(tǒng)的實(shí)時(shí)響應(yīng)能力還對(duì)網(wǎng)絡(luò)帶寬提出了更高的要求。此外，將大量可能包含敏感信息的視頻監(jiān)控?cái)?shù)據(jù)上傳至云端，存在潛在的安全和隱私泄露風(fēng)險(xiǎn)，這為隱私數(shù)據(jù)的保護(hù)帶來(lái)了額外的挑戰(zhàn)。

3、目前，邊緣設(shè)備所具備的計(jì)算資源難以獨(dú)立搭載復(fù)雜的深度學(xué)習(xí)模型，其所能達(dá)到的reid精度也無(wú)法滿足應(yīng)用需求。現(xiàn)有的云端處理模式雖然能夠提供強(qiáng)大的計(jì)算能力，但在實(shí)時(shí)性、帶寬和存儲(chǔ)壓力、以及隱私保護(hù)方面存在不足。

4、另外，在緊急事件響應(yīng)等需要快速識(shí)別的監(jiān)控場(chǎng)景中，云端處理的延遲和潛在的安全風(fēng)險(xiǎn)成為制約其應(yīng)用的關(guān)鍵因素。盡管，目前已有部分基于邊緣計(jì)算的分布式方法，但這些技術(shù)往往聚焦于如何提高行人重識(shí)別精度，缺乏實(shí)際應(yīng)用場(chǎng)景的考量。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明提供一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，該方法不僅解決了僅利用邊緣設(shè)備時(shí)存在的精度不足問(wèn)題，同時(shí)也避免本地與云端數(shù)據(jù)交互帶來(lái)的實(shí)時(shí)性、帶寬、存儲(chǔ)和隱私保護(hù)等方面的不足。

2、本發(fā)明通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)上述目的：

3、一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，包括：

4、視頻追蹤集群將特征提取得到的視頻幀數(shù)據(jù)，即行人特征，附上唯一識(shí)別發(fā)出設(shè)備的頭信息，形成附有頭信息的行人特征數(shù)據(jù)包，并將所述行人特征數(shù)據(jù)包發(fā)送到消息中間件中；

5、消息中間件接收并緩存所述行人特征數(shù)據(jù)包，根據(jù)行人重識(shí)別集群中各邊緣設(shè)備的實(shí)時(shí)狀態(tài)，采用負(fù)載均衡的任務(wù)轉(zhuǎn)發(fā)策略，優(yōu)先將所述行人特征數(shù)據(jù)包分配給處于空閑狀態(tài)的邊緣設(shè)備進(jìn)行處理；

6、行人重識(shí)別集群中的邊緣設(shè)備將行人特征數(shù)據(jù)包進(jìn)行行人重識(shí)別處理，生成行人重識(shí)別結(jié)果，并將該結(jié)果打包成數(shù)據(jù)包，即行人reid數(shù)據(jù)，同時(shí)附上所述頭信息，形成附有頭信息的行人reid數(shù)據(jù)包，將所述行人reid數(shù)據(jù)包發(fā)送回消息中間件對(duì)應(yīng)的消息隊(duì)列中；

7、視頻追蹤集群中的邊緣設(shè)備持續(xù)監(jiān)聽(tīng)消息中間件中行人重識(shí)別結(jié)果的消息隊(duì)列，根據(jù)頭信息識(shí)別并讀取對(duì)應(yīng)的附有頭信息的行人reid數(shù)據(jù)包，獲取行人重識(shí)別結(jié)果，并完成行人重識(shí)別的交互過(guò)程。

8、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，所述視頻追蹤集群由多個(gè)具備不同計(jì)算能力的邊緣設(shè)備構(gòu)成，這些邊緣設(shè)備各自與至少一個(gè)智能攝像頭建立數(shù)據(jù)鏈路，用于實(shí)時(shí)接收并處理來(lái)自智能攝像頭的視頻流；

9、其中，所述視頻追蹤集群的每個(gè)邊緣設(shè)備均配置為對(duì)接收到的視頻流進(jìn)行逐幀分析，以提取行人特征，并將提取的行人特征數(shù)據(jù)，附上唯一識(shí)別該邊緣設(shè)備的頭信息，形成待完成的行人重識(shí)別任務(wù)數(shù)據(jù)包；

10、其中，所述視頻追蹤集群的邊緣設(shè)備在將行人特征數(shù)據(jù)發(fā)送給消息中間件的同時(shí)，持續(xù)輪詢消息中間件中的行人重識(shí)別結(jié)果消息隊(duì)列，以根據(jù)頭信息識(shí)別并接收與其發(fā)送的行人特征數(shù)據(jù)相對(duì)應(yīng)的行人重識(shí)別結(jié)果；

11、其中，所述視頻追蹤集群的每個(gè)邊緣設(shè)備還將接收到的行人重識(shí)別結(jié)果與原始視頻幀進(jìn)行同步，將識(shí)別結(jié)果顯示在監(jiān)控視頻中，從而實(shí)現(xiàn)對(duì)行人的實(shí)時(shí)追蹤與重識(shí)別。

12、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，所述視頻追蹤集群中的每個(gè)邊緣設(shè)備均配置有一個(gè)基于“生產(chǎn)者-消費(fèi)者”模式的代理，用于實(shí)現(xiàn)行人重識(shí)別任務(wù)的發(fā)送和識(shí)別結(jié)果的接收；

13、其中，所述代理在將視頻幀數(shù)據(jù)作為行人重識(shí)別任務(wù)發(fā)送到消息中間件之前，先在視頻幀數(shù)據(jù)前添加一段頭信息，該頭信息至少包含其對(duì)應(yīng)邊緣設(shè)備的唯一標(biāo)識(shí)符，以確保后續(xù)行人重識(shí)別結(jié)果能夠依據(jù)該標(biāo)識(shí)符準(zhǔn)確返回到原邊緣設(shè)備；

14、所述代理在任務(wù)發(fā)出后，啟動(dòng)一個(gè)監(jiān)聽(tīng)進(jìn)程，該進(jìn)程持續(xù)地監(jiān)聽(tīng)消息中間件中的行人重識(shí)別結(jié)果消息隊(duì)列，通過(guò)比對(duì)消息隊(duì)列中行人reid數(shù)據(jù)包的頭信息與本地設(shè)備的唯一標(biāo)識(shí)符，來(lái)識(shí)別并接收與本地發(fā)送的行人特征數(shù)據(jù)相對(duì)應(yīng)的行人重識(shí)別結(jié)果；

15、所述代理在接收到行人重識(shí)別結(jié)果后，將其傳遞給邊緣設(shè)備進(jìn)行處理，包括與原始視頻幀進(jìn)行同步顯示或用于進(jìn)一步的分析與決策，實(shí)現(xiàn)對(duì)行人重識(shí)別任務(wù)的閉環(huán)管理。

16、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，所述行人重識(shí)別集群由多個(gè)具備不同計(jì)算能力的邊緣設(shè)備構(gòu)成，每個(gè)邊緣設(shè)備均被配置為能夠提供行人重識(shí)別服務(wù)；

17、行人重識(shí)別集群中的每個(gè)邊緣設(shè)備在接收到通過(guò)消息中間件轉(zhuǎn)發(fā)的行人特征數(shù)據(jù)后，利用本地存儲(chǔ)的行人特征庫(kù)或?qū)崟r(shí)獲取的行人特征信息進(jìn)行相似度匹配，以識(shí)別出與接收到的行人特征數(shù)據(jù)相匹配的行人身份或軌跡；

18、行人重識(shí)別集群中的邊緣設(shè)備在得到行人重識(shí)別結(jié)果后，將該結(jié)果附加上與原始行人特征數(shù)據(jù)相同的頭信息，該頭信息至少包含原始發(fā)送方邊緣設(shè)備的唯一標(biāo)識(shí)符。

19、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，所述行人重識(shí)別處理，包括：

20、計(jì)算待識(shí)別的行人特征數(shù)據(jù)與數(shù)據(jù)庫(kù)中存儲(chǔ)的行人特征之間的相似度，其中，相似度的計(jì)算采用歐式距離作為相似性度量標(biāo)準(zhǔn)，通過(guò)計(jì)算特征向量之間的歐式距離來(lái)評(píng)估待識(shí)別行人與數(shù)據(jù)庫(kù)中行人之間的相似程度；

21、根據(jù)計(jì)算出的相似度，對(duì)數(shù)據(jù)庫(kù)中的行人進(jìn)行排序，生成一個(gè)按照相似度從高到低排列的行人匹配結(jié)果列表，其中該列表包含有與待識(shí)別行人最相似的若干個(gè)行人身份或軌跡信息。

22、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，還執(zhí)行：

23、采用局部敏感哈希算法進(jìn)行行人匹配與檢索，在行人匹配與檢索過(guò)程中，首先將待匹配的行人特征向量通過(guò)哈希函數(shù)映射到相應(yīng)的哈希桶中，然后在與查詢行人特征向量相同的哈希桶內(nèi)進(jìn)行搜索，以找到與查詢行人特征向量相似的行人特征向量；

24、其中，哈希函數(shù)應(yīng)滿足局部敏感性質(zhì)，即對(duì)于任意兩個(gè)行人特征向量x和y，若兩者之間的距離d(x,y)小于或等于預(yù)設(shè)的距離閾值d1，則它們被哈希到同一個(gè)桶的概率至少為p1；若兩者的距離d(x,y)大于或等于預(yù)設(shè)的距離閾值d2(d2>d1)，則它們被哈希到同一個(gè)桶的概率至多為p2，其中p1和p2為介于0與1之間的常數(shù)。

25、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，所述消息中間件為具有緩存機(jī)制的數(shù)據(jù)流處理平臺(tái)，采用“發(fā)布-訂閱”模式實(shí)現(xiàn)視頻追蹤集群與行人重識(shí)別集群之間的異步通信，在消息中間件中定義兩個(gè)主題，即行人特征數(shù)據(jù)主題和行人重識(shí)別結(jié)果主題，行人特征數(shù)據(jù)主題用于發(fā)送待識(shí)別的視頻幀數(shù)據(jù)至空閑的邊緣設(shè)備，行人重識(shí)別結(jié)果主題用于依據(jù)頭信息將行人重識(shí)別結(jié)果返回到視頻追蹤集群中對(duì)應(yīng)的邊緣設(shè)備。

26、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，視頻追蹤集群中的邊緣設(shè)備作為發(fā)布者，將提取的行人特征數(shù)據(jù)附帶設(shè)備唯一標(biāo)識(shí)符的頭信息，發(fā)布到對(duì)應(yīng)的主題上；行人重識(shí)別集群中的邊緣設(shè)備作為訂閱者，訂閱一個(gè)或多個(gè)感興趣的主題，以便接收并處理來(lái)自這些主題的行人特征數(shù)據(jù)，執(zhí)行行人重識(shí)別任務(wù)；

27、在“發(fā)布-訂閱”模式下，發(fā)布者和訂閱者之間不存在直接的通信鏈路，它們通過(guò)消息中間件和定義的主題進(jìn)行異步的數(shù)據(jù)交換，從而實(shí)現(xiàn)松耦合的通信方式。

28、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，還包括：

29、行人特征數(shù)據(jù)主題的維護(hù)：在消息中間件中設(shè)置行人特征數(shù)據(jù)主題，用于接收和存儲(chǔ)由視頻追蹤集群中的邊緣設(shè)備發(fā)布的附帶頭信息的視頻幀數(shù)據(jù)；所述頭信息至少包含視頻幀的時(shí)間戳、設(shè)備唯一標(biāo)識(shí)符以及可能的視頻幀質(zhì)量評(píng)估指標(biāo)；

30、視頻追蹤集群的發(fā)布操作：視頻追蹤集群中的邊緣設(shè)備持續(xù)地從監(jiān)控視頻中提取行人特征，并將提取到的行人特征連同頭信息一起發(fā)布到消息中間件的行人特征數(shù)據(jù)主題上，以供行人重識(shí)別集群訂閱。

31、根據(jù)本發(fā)明提供的一種面向行人重識(shí)別場(chǎng)景的邊緣協(xié)同推理交互方法，還包括：

32、行人重識(shí)別集群的訂閱請(qǐng)求：行人重識(shí)別集群中的設(shè)備向消息中間件發(fā)送訂閱請(qǐng)求，請(qǐng)求訂閱行人特征數(shù)據(jù)主題，以便實(shí)時(shí)或按需接收來(lái)自視頻追蹤集群的行人特征數(shù)據(jù)；

33、行人重識(shí)別結(jié)果的發(fā)布：行人重識(shí)別集群中的設(shè)備在接收到行人特征數(shù)據(jù)后，進(jìn)行行人重識(shí)別處理，并將處理結(jié)果與原始頭信息進(jìn)行拼接，形成完整的行人重識(shí)別結(jié)果數(shù)據(jù)，隨后發(fā)布到消息中間件中的行人重識(shí)別結(jié)果主題上；

34、視頻追蹤集群的訂閱結(jié)果：視頻追蹤集群中的設(shè)備根據(jù)需求向消息中間件發(fā)送訂閱請(qǐng)求，請(qǐng)求訂閱行人重識(shí)別結(jié)果主題中特定頭信息對(duì)應(yīng)的行人重識(shí)別結(jié)果，以便獲取與自身監(jiān)控視頻相關(guān)的行人重識(shí)別信息。

35、由此可見(jiàn)，相比于現(xiàn)有技術(shù)，本發(fā)明通過(guò)實(shí)現(xiàn)高效的邊緣協(xié)同推理，充分利用邊緣設(shè)備集群的計(jì)算資源，同時(shí)保持高精度的reid性能。借助消息中間件的高效數(shù)據(jù)交互能力，將行人檢測(cè)、特征提取、目標(biāo)追蹤和可視化顯示等功能模塊進(jìn)行集成化處理。因此，本發(fā)明具有以下有益效果：

36、1、優(yōu)化計(jì)算資源利用：本發(fā)明采用了一種負(fù)載均衡的任務(wù)轉(zhuǎn)發(fā)策略，將待處理的任務(wù)(視頻幀)優(yōu)先發(fā)送給空閑的邊緣設(shè)備來(lái)處理。通過(guò)動(dòng)態(tài)地將視頻幀分散在整個(gè)集群中并行處理，邊緣設(shè)備的計(jì)算資源得以充分利用，同時(shí)能夠有效應(yīng)對(duì)大規(guī)模數(shù)據(jù)流，以免流量高峰對(duì)系統(tǒng)性能造成影響。

37、2、數(shù)據(jù)處理的實(shí)時(shí)性：本發(fā)明設(shè)計(jì)了一種基于消息中間件的推理協(xié)同交互方法，實(shí)現(xiàn)邊緣設(shè)備集群之間的數(shù)據(jù)傳輸，使得計(jì)算任務(wù)能夠高效地執(zhí)行，且有序、準(zhǔn)確地將行人重識(shí)別結(jié)果返回到邊緣設(shè)備。通過(guò)邊緣設(shè)備之間的協(xié)作來(lái)降低推理時(shí)延，滿足實(shí)時(shí)性要求。

38、3、數(shù)據(jù)安全與隱私保護(hù)：本發(fā)明的視頻監(jiān)控?cái)?shù)據(jù)僅在邊緣設(shè)備間傳遞而無(wú)需向外發(fā)送，有效避免了隱私泄露的風(fēng)險(xiǎn)。

39、4、系統(tǒng)的可擴(kuò)展性和可靠性：本發(fā)明基于“發(fā)布-訂閱”模式的消息中間件有助于降低系統(tǒng)模塊間的耦合，且允許兩個(gè)集群靈活地添加或減少邊緣設(shè)備，因而提高了整個(gè)系統(tǒng)的可擴(kuò)展性和可靠性。

40、下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。