本發(fā)明涉及信息安全領域與多模態(tài)行人行為監(jiān)測領域，特別涉及一種多模態(tài)行人行為監(jiān)測的隱私保護方法。

背景技術：

1、隨著城市化進程的加快和智能設備的普及，行人行為監(jiān)測作為智慧行人和城市管理中的重要組成部分，逐漸受到廣泛關注。而基于云邊端協(xié)同架構的，行人行為監(jiān)測技術能夠利用分布式計算資源高效地處理和分析海量軌跡數(shù)據(jù)，預測個體或群體在未來時間段內的運動行為，為城市行人流量管理、公共安全監(jiān)控、以及智能導航等應用提供有力支持。特別是在自動駕駛、智能出行和緊急響應等場景中，高效高準確的行人行為監(jiān)測能夠顯著提高智慧行人系統(tǒng)的響應速度和決策精度。

2、盡管基于云邊端協(xié)同的行人行為監(jiān)測技術在提升智能行人系統(tǒng)的效率與可靠性方面發(fā)揮了重要作用，但在現(xiàn)實中行人行為數(shù)據(jù)往往呈現(xiàn)稀疏性和多模態(tài)性，尤其是在復雜的城市場景中，行人行為數(shù)據(jù)通常來源于不同的傳感器和終端設備，且具有不同的采集頻率、空間分布和數(shù)據(jù)質量。這些數(shù)據(jù)往往包含敏感的個人信息，如軌跡路線、停留位置等。如果直接上傳至不可信的邊緣節(jié)點，攻擊者可以利用鏈接攻擊、中間人攻擊、側信道攻擊等手段獲取用戶軌跡中的個人敏感信息，從而造成用戶隱私泄露。

3、現(xiàn)有技術中，為保護終端設備和邊緣節(jié)點之間的行人隱私，研究者提出了一些隱私保護技術，包括加密方法、匿名化技術、差分隱私等。然而，加密方法通常需要大量計算資源，尤其是對大規(guī)模數(shù)據(jù)進行加解密時，可能會導致系統(tǒng)處理速度和響應時間下降。匿名化技術的一個核心問題是重識別風險，即使數(shù)據(jù)已經被匿名化，攻擊者仍然可能通過各種方法（例如關聯(lián)分析、外部數(shù)據(jù)等）恢復出被匿名化數(shù)據(jù)的真實身份。差分隱私的核心方法是通過注入噪聲來模糊查詢結果，從而保護個體的隱私。然而，現(xiàn)有差分隱私方法主要應用于密集型數(shù)據(jù)，面對高稀疏性的行人行為數(shù)據(jù)會添加較大的噪聲，導致數(shù)據(jù)可用性顯著降低，從而影響模型的訓練效果與預測精度。特別是在行人行為監(jiān)測任務中，模型的監(jiān)測能力通常依賴于大量的歷史行人行為數(shù)據(jù)以及多模態(tài)信息。當這些數(shù)據(jù)在加擾后變得稀疏時，模型可能無法充分挖掘數(shù)據(jù)中的規(guī)律性，進而降低其在實際應用中的魯棒性和準確性。

技術實現(xiàn)思路

1、本發(fā)明是鑒于上述問題而進行的，其目的在于，提供一種多模態(tài)行人行為監(jiān)測的隱私保護方法，基于時空混合mamba的多模態(tài)行人數(shù)據(jù)融合模塊，對本地多模態(tài)行人用戶數(shù)據(jù)進行時空多模態(tài)融合；基于自適應特征密度感知的差分隱私保護模塊，動態(tài)分配隱私預算，保護多模態(tài)行人用戶的融合數(shù)據(jù)；基于雙流動態(tài)transformer的多模態(tài)行人行為預訓練模塊，過濾冗余和無關噪聲特征并實現(xiàn)多模態(tài)行人行為監(jiān)測預訓練；面向自適應時空相關性的稀疏梯度隱私保護，計算時空相關性動態(tài)調整top-k大小，實現(xiàn)梯度稀疏化與梯度時空相關性保護；基于動態(tài)學習率的高可用多模態(tài)行人行為監(jiān)測方法，動態(tài)學習率調整權重，下發(fā)至邊緣節(jié)點實現(xiàn)高準確的行人行為監(jiān)測，基于差分隱私性質，滿足差分隱私，提高了多模態(tài)行人行為監(jiān)測的安全性和有效性。

2、具體如下，本發(fā)明的第一方面提供了一種多模態(tài)行人行為監(jiān)測的隱私保護方法，包括以下步驟：

3、步驟一：基于時空混合mamba的多模態(tài)行人數(shù)據(jù)融合方法，提取各個模態(tài)行人數(shù)據(jù)特征，執(zhí)行多模態(tài)時空特征高效融合；

4、mamba基于選擇性狀態(tài)空間模型（ssm），通過動態(tài)調整參數(shù)實現(xiàn)輸入相關的信息選擇。相較于transformer的二次復雜度，mamba具有線性時間復雜度，特別適合處理長序列數(shù)據(jù)（如視頻幀、時序信號）。

5、多模態(tài)行人數(shù)據(jù)，指的是包含多種類型信息的行人數(shù)據(jù)集，包括視頻、圖像、數(shù)值模態(tài)。

6、步驟二：基于自適應特征密度感知的差分隱私保護方法，對融合特征進行拉普拉斯噪聲擾動，保護多模態(tài)時空特征的相關性隱私；

7、步驟三：基于雙流動態(tài)transformer的多模態(tài)行人行為預訓練方法，平衡稀疏噪聲特征和密集噪聲特征，提高模型預訓練精度；

8、步驟四：面向自適應時空相關性的稀疏梯度隱私保護方法，保護模型梯度的時空相關性隱私；

9、步驟五：基于動態(tài)學習率的高可用多模態(tài)行人行為監(jiān)測方法，動態(tài)更新全局模型參數(shù)，實現(xiàn)高準確的行人行為監(jiān)測。

10、進一步地，所述步驟一，包括以下步驟：

11、步驟1.1：給定用戶的多模態(tài)行人數(shù)據(jù)，通過圖視編碼器和數(shù)值編碼器分別提取各模態(tài)的時空特征；

12、圖視編碼器和數(shù)值編碼器均為單模態(tài)編碼器，公式如下：

13、圖視編碼器：

14、；

15、；

16、其中：為經過時域依賴建模后的第n層的圖視特征；

17、為第n層的圖視特征；

18、為第n-1層的圖視特征；

19、為層歸一化函數(shù)；

20、為時域依賴建模模塊；

21、為前饋層；

22、數(shù)值編碼器：

23、；

24、；

25、；

26、；

27、其中：為更新門的輸出；

28、為sigmoid激活函數(shù)；

29、為更新門的權重矩陣；

30、為gru網絡上一時刻的隱藏狀態(tài)；

31、為注意力權重向量；

32、為hadamard積；

33、為gru網絡的輸入；

34、為重置門的輸出；

35、為重置門的權重矩陣；

36、為候選隱藏狀態(tài)的權重矩陣；

37、為候選隱藏狀態(tài)；

38、為雙曲正切函數(shù)；

39、為gru網絡當前時刻的隱藏狀態(tài)；

40、步驟1.2：通過圖視編碼器結合時域依賴建模模塊，數(shù)值編碼器引入時序動態(tài)門控機制提取模態(tài)間的時空相關性；

41、時域依賴建模模塊公式如下：

42、；

43、；

44、其中：為第g組第n層的圖視特征；

45、為激活函數(shù)；

46、為可學習的時間關系參數(shù)；

47、為第n-1層的圖視特征；

48、為時域依賴建模模塊；

49、為線性變換函數(shù)；

50、為拼接函數(shù)；

51、為第1組第n層的圖視特征；

52、時序動態(tài)門控機制公式如下：

53、；

54、其中：為注意力權重向量；

55、為激活函數(shù)；

56、為評分權重矩陣；

57、為gru網絡的上一時刻隱藏狀態(tài)；

58、為gru網絡的輸入；

59、為用于輸入數(shù)值的維度；

60、步驟1.3：基于提取的時空特征和時空相關性，通過交融模塊和mamba模塊進行跨模態(tài)特征融合，利用向量級乘法和向量級加法運算生成混合特征并通過高效空間掃描2d層捕捉時空相關性，最終輸出多模態(tài)融合行人特征。

61、交融模塊公式如下：

62、；

63、；

64、；

65、；

66、；

67、；

68、其中：為經過自注意力層后得到的第i層的圖視特征嵌入；

69、為層歸一化函數(shù)；

70、為自注意力層；

71、為第i-1層的圖視嵌入；

72、為經過自注意力層后得到的第i層的數(shù)值特征嵌入；

73、為第i-1層的數(shù)值嵌入；

74、為與上一層圖視表示間的相似度；

75、為l2范式，定義為向量各元素平方和的平方根；

76、為與上一層數(shù)值表示間的相似度；

77、為i層的圖視特征嵌入；

78、為前饋層；

79、為第i層數(shù)值特征嵌入；

80、當與上一層圖視表示間的相似度或與上一層數(shù)值表示間的相似度大于設定閾值時則重用上一層的特征嵌入。

81、mamba模塊利用向量級乘法和向量級加法運算生成混合特征并通過高效空間掃描2d層捕捉時空相關性，最終輸出多模態(tài)融合行人特征，公式如下：

82、；

83、；

84、；

85、；

86、；

87、其中：為混合特征；

88、為深度卷積操作；

89、為線性變換層；

90、為圖視特征嵌入；

91、為元素級乘法運算；

92、為元素級加法運算；

93、為數(shù)值特征嵌入；

94、為圖視混合特征嵌入；

95、為層歸一化函數(shù)；

96、為高效空間掃描2d層；

97、為數(shù)值混合特征嵌入；

98、為最終混合特征嵌入；

99、為多模態(tài)融合行人特征；

100、為通道注意力模塊；

101、進一步地，所述步驟二，包括以下步驟：

102、步驟2.1：根據(jù)多模態(tài)融合行人流特征，計算網格軌跡密度，公式如下：

103、；

104、其中：為網格i的軌跡密度；

105、為網格i的特征數(shù)量；

106、為整個網格區(qū)域的特征數(shù)量總和；

107、通過區(qū)域特征分布動態(tài)調整網格分辨率，通過迭代劃分高密度區(qū)域，確保稀疏與密集區(qū)域的精細化表征，公式如下：

108、；

109、其中：為網格i的分辨率向量；

110、為網格i的面積大??；

111、為網格i的軌跡密度；

112、步驟2.2：基于網格分辨率和初始隱私預算，動態(tài)分配每輪迭代的隱私預算，并計算剩余預算，結合區(qū)域軌跡密度權重，二次分配剩余隱私預算；

113、基于網格分辨率和初始隱私預算，動態(tài)分配每輪迭代的隱私預算，公式如下：

114、；

115、；

116、；

117、其中：為最大迭代次數(shù)；

118、為調節(jié)因子；

119、為子單元的劃分大??；

120、為多模態(tài)融合行人特征；

121、為對多模態(tài)融合行人特征進行取模運算；

122、為網格i的軌跡密度；

123、為第c次迭代的隱私預算；

124、為迭代次數(shù)；

125、為預定義的隱私預算；

126、為第i次迭代的隱私預算；

127、為網格i的分辨率向量；

128、計算剩余隱私預算，并結合區(qū)域軌跡密度權重，二次分配剩余隱私預算，公式如下：

129、計算剩余隱私預算：

130、；

131、計算區(qū)域軌跡密度權重：

132、；

133、二次分配剩余隱私預算：

134、；

135、其中：為剩余隱私預算；

136、為預定義的隱私預算；

137、為網格總數(shù)；

138、為第i次迭代的隱私預算；

139、為網格i的區(qū)域軌跡密度權重；

140、為網格i的分辨率向量；

141、為網格i的軌跡密度；

142、為二次分配的隱私預算；

143、步驟2.3：向每個網格單元的多模態(tài)融合行人特征添加拉普拉斯噪聲，生成擾動后的特征，通過調節(jié)和平衡基于網格分辨率及基于網格軌跡特征密度的噪聲強度，確保數(shù)據(jù)可用性，公式如下：

144、；

145、其中：為網格i的擾動后的特征；

146、為網格i的多模態(tài)融合行人特征；

147、為用于平衡添加的基于網格的噪聲；

148、為拉普拉斯噪聲；

149、為二次分配的隱私預算；

150、為用于平衡添加的基于區(qū)域特征的噪聲；

151、為第i次迭代的隱私預算；

152、進一步地，所述步驟三，包括以下步驟：

153、步驟3.1：設計基于平方leakyrelu的稀疏自注意力分支，通過非線性激活篩選高查詢-鍵匹配分數(shù)特征，濾除低關聯(lián)性軌跡特征，避免冗余計算，同時利用leakyrelu的負值保留特性緩解神經元死亡問題，公式如下：

154、；

155、其中：為基于平方leakyrelu的稀疏自注意力分支；

156、為激活函數(shù)；

157、為查詢矩陣；

158、為鍵矩陣的轉置；

159、為特征維度；

160、步驟3.2：構建標準密集自注意力分支，采用softmax全面捕獲多模態(tài)行人中潛在關鍵特征，防止稀疏區(qū)域特征過度稀釋，公式如下：

161、；

162、其中：為標準密集自注意力分支；

163、為激活函數(shù)；

164、為查詢矩陣；

165、為鍵矩陣的轉置；

166、為特征維度；

167、步驟3.3：提出動態(tài)權重融合機制，通過可學習參數(shù)自適應調節(jié)雙分支注意力權重，平衡密集區(qū)域的噪聲抑制與稀疏區(qū)域的特征增強，公式如下：

168、；

169、；

170、其中：為第n個可學習參數(shù)；

171、為第n個可學習的調節(jié)參數(shù)；

172、為對網格i的分辨率向量進行取模運算；

173、為網格i的分辨率向量；

174、為網格總數(shù)；

175、為雙分支注意力權重；

176、為基于平方leakyrelu的稀疏自注意力分支；

177、為標準密集自注意力分支；

178、為第1個可學習參數(shù)；

179、為第2個可學習參數(shù)；

180、為值矩陣；

181、步驟3.4：集成社交transformer解碼器，將鄰居軌跡特征矩陣經線性變換編碼為社交交互嵌入，通過編碼器-解碼器注意力層提取行人社交約束（如避讓、并行行為），生成符合社交合理性的軌跡特征，公式如下：

182、；

183、其中：為解碼器的輸入嵌入；

184、為線性嵌入；

185、為行人社交約束特征嵌入；

186、為可學習的參數(shù)矩陣；

187、步驟3.5：設計雙監(jiān)測機制，結合回歸監(jiān)測頭和分類監(jiān)測頭（輸出行人行為與對應的概率），基于最近鄰聚類中心構建聯(lián)合損失函數(shù)，聯(lián)合優(yōu)化行人行為誤差與模態(tài)交叉熵損失，生成預訓練模型梯度，公式如下：

188、；

189、其中：為預訓練模型梯度；

190、為平衡損失函數(shù)的第一參數(shù)；

191、為損失函數(shù)；

192、為真實的行人行為；

193、為預測的行人行為；

194、為平衡損失函數(shù)的第二參數(shù)；

195、為交叉熵損失函數(shù)；

196、為真實的行人行為對應的概率；

197、為預測的行人行為對應的概率；

198、進一步地，所述步驟四，包括以下步驟：

199、步驟4.1：在云服務器中選擇一個子集，計算每個邊緣節(jié)點在t輪訓練中使用樣本s計算出的原始梯度，通過誤差補償修正原始梯度，得到修正后的梯度，公式如下：

200、；

201、；

202、；

203、其中：為邊緣節(jié)點m在第t輪訓練中使用樣本s計算出的原始梯度；

204、為對損失函數(shù)求導；

205、為邊緣節(jié)點m第t輪的模型參數(shù)；

206、為樣本數(shù)量；

207、為邊緣節(jié)點m在第t輪訓練中的誤差補償；

208、為邊緣節(jié)點m在第t-1輪訓練的平均梯度；

209、為邊緣節(jié)點m在第t-1輪訓練的原始梯度；

210、為修正后的梯度；

211、為調節(jié)參數(shù)用于控制誤差補償對梯度的影響；

212、為取最大值函數(shù)；

213、為l2范式，定義為向量各元素平方和的平方根；

214、為剪裁閾值；

215、步驟4.2：計算每個邊緣節(jié)點的平均梯度，并根據(jù)上一輪的平均梯度計算時空相關性，動態(tài)調整top-k大小，公式如下：

216、；

217、；

218、；

219、其中：為邊緣節(jié)點m第t輪的平均梯度；

220、為小批量的數(shù)據(jù)樣本的樣本數(shù)量；

221、為小批量的數(shù)據(jù)樣本；

222、為修正后的梯度；

223、為第t輪平均梯度和第t-1輪平均梯度的相似度；

224、為邊緣節(jié)點m在第t-1輪的平均梯度；

225、為l2范式，定義為向量各元素平方和的平方根；

226、為top-k大??；

227、為稀疏化運算；

228、為對邊緣節(jié)點m在第t-1輪的平均梯度向量進行取模運算；

229、步驟4.3：通過top-k算子對每個邊緣節(jié)點的平均梯度進行稀疏化，得到稀疏梯度，并記錄梯度差值作為新的誤差補償，公式如下：

230、；

231、；

232、；

233、其中：為相似度運算后得到的邊緣節(jié)點m在第t輪的平均梯度；

234、為第t輪平均梯度和第t-1輪平均梯度的相似度；

235、為邊緣節(jié)點m的平均梯度；

236、為邊緣節(jié)點m的稀疏梯度；

237、為稀疏化運算；

238、為邊緣節(jié)點m的新的誤差補償；

239、為梯度差值；

240、步驟4.4：對于稀疏梯度的每個分量，邊緣節(jié)點采樣兩個變量，然后通過量化步長進行梯度量化，邊緣節(jié)點將量化梯度發(fā)送至云服務器，公式如下：

241、；

242、；

243、；

244、其中：為量化步長；

245、為采樣的第一個變量，；

246、為稀疏梯度的分量；

247、為要模擬的高斯噪聲的標準差；

248、為取最大值函數(shù)；

249、為超參數(shù)，用來限制梯度值的下界；

250、為邊緣節(jié)點m在第t輪稀疏梯度的第個分量；

251、為l2范式，定義為向量各元素平方和的平方根；

252、為邊緣節(jié)點m的量化梯度；

253、為采樣的第二個變量，；

254、為量化函數(shù)，用于將連續(xù)的梯度值映射到離散的值；

255、為向下取整；

256、為函數(shù)的參數(shù)，在第二個公式中，x為；

257、進一步地，所述步驟五，包括以下步驟：

258、步驟5.1：云服務器接收到所有邊緣節(jié)點的量化梯度后，使用邊緣節(jié)點m的共享隨機種子，采樣相同的變量，然后解碼梯度，公式如下：

259、；

260、其中：為邊緣節(jié)點m的解碼后的量化梯度；

261、為邊緣節(jié)點m的量化梯度；

262、為采樣的第二個變量，；

263、步驟5.2：云服務器聚合所有解碼后的梯度，根據(jù)每個邊緣節(jié)點的貢獻度調整權重，并使用動態(tài)學習率更新全局模型，并開始下一次迭代，公式如下：

264、；

265、；

266、；

267、其中：為全局梯度；

268、為參與第t輪訓練的邊緣節(jié)點的數(shù)量；

269、為邊緣節(jié)點m第t輪的模型參數(shù)；

270、為解碼后的梯度；

271、為第t次迭代時梯度平方的滑動平均；

272、為第t次迭代時梯度平方的指數(shù)衰減率；

273、為第t-1次迭代時梯度平方的滑動平均；

274、為第t次迭代時的學習率；

275、為常數(shù)，用來防止除零錯誤；

276、為第t+1輪的全局模型參數(shù)；

277、為第t輪的全局模型參數(shù)；

278、步驟5.3：云服務器將全局模型參數(shù)下發(fā)至各邊緣節(jié)點，進行多模態(tài)行人行為監(jiān)測任務，在模型預測階段，模型輸出多個行人行為，并使用行為多樣性增強算法來優(yōu)化選擇策略，以覆蓋多模態(tài)行人行為模式，公式如下：

279、；

280、；

281、其中：為編號為i的行人行為與編號為j的行人行為的相似度；

282、為時間步長；

283、為總時間步長；

284、為時間步為時編號為i的行人行為；

285、為時間步為時編號為j的行人行為；

286、為最大化運算；

287、為行人總數(shù)量；

288、為概率函數(shù)；

289、為編號為i的行人的行為對應的概率；

290、為編號為i的行人行為與編號為j的行人行為的相似度，行人總數(shù)為k；

291、為調節(jié)參數(shù)，用于調節(jié)行人行為的多樣性；

292、為編號為i的行人行為；

293、為編號為j的行人行為。