本發(fā)明涉及數(shù)據(jù)處理，具體是一種基于數(shù)據(jù)監(jiān)聽的消息隊列分發(fā)管理系統(tǒng)及方法。

背景技術：

1、對于實時性要求較高的業(yè)務系統(tǒng)，不管是任務式數(shù)據(jù)分發(fā)還是通過mq進行實時推送，這些方法存在以下問題：

2、分發(fā)效率低：任務式分發(fā)的性能取決于服務器的數(shù)量、任務設置的時間，容易成為性能瓶頸，尤其是在高并發(fā)場景下，分發(fā)效率顯著下降。

3、傳輸延遲高：數(shù)據(jù)同步的速度取決于任務設置的時間間隔，時間過長分發(fā)的實時性越差，時間間隔短的話，頻繁的查詢服務消耗服務器性能，難以滿足實時性要求。

4、難以適應動態(tài)環(huán)境：現(xiàn)有技術缺乏對網絡拓撲變化和節(jié)點動態(tài)加入/退出的有效處理機制以及分發(fā)瓶頸無法動態(tài)評估導致系統(tǒng)魯棒性不足。

5、安全性低：現(xiàn)有的消息分發(fā)中在依賴mq進行數(shù)據(jù)發(fā)送的情況下，如果mq發(fā)生擁堵就不能及時處理未消費的消息，導致mq數(shù)據(jù)膨脹直到內存溢出，進一步引起mq宕機。

6、因此，亟需一種高效、可靠且適應動態(tài)環(huán)境的數(shù)據(jù)分發(fā)處理方案。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種，以解決現(xiàn)有技術中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：一種基于數(shù)據(jù)監(jiān)聽的消息隊列分發(fā)管理系統(tǒng)；

3、系統(tǒng)包括：消息隊列監(jiān)控模塊、消息處理模式管理模塊、消息補償模式管理模塊、單個補償模塊、批量補償模塊、失敗告警模塊和消息隊列安全監(jiān)控模塊；

4、消息隊列監(jiān)控模塊用于將若干不同發(fā)信者發(fā)送的消息匯集入消息隊列，對消息隊列的消息處理狀態(tài)進行監(jiān)控；

5、消息處理模式管理模塊用于采集消息隊列的消息處理狀態(tài)調整消息隊列的處理模式；

6、消息補償模式管理模塊用于獲取處理消息失敗的失敗率，當失敗率小于閾值時發(fā)出單個補償指令，當失敗率大于閾值時發(fā)出批量補償指令；

7、單個補償模塊對發(fā)送失敗的消息進行單個重發(fā)；

8、批量補償模塊對發(fā)送失敗的消息進行批量重發(fā)；

9、失敗告警模塊對發(fā)送失敗的消息進行處理失敗次數(shù)統(tǒng)計，當任意一條消息處理失敗次數(shù)超過閾值時，提醒相關管理人員進行查看；

10、消息隊列安全監(jiān)控模塊計算消息隊列的安全系數(shù)，當安全數(shù)低于閾值時進行告警提示。

11、進一步的，消息隊列監(jiān)控模塊包括：積壓量管理單元、消息處理速率管理單元和失敗率管理單元；

12、積壓量管理單元用于獲取兩個時刻之間的時間段中消息隊列中消息的積壓量；

13、消息處理速率管理單元用于管理任意兩個時刻消息處理速率的速率變化量；

14、失敗率管理單元用于計算第一單位時間段中發(fā)送失敗的消息占第一單位時間段中消息總量的比例。

15、在實施例中積壓量通過兩個時刻分別探測消息隊列中消息總量，兩次消息總量的差值為消息隊列的消息積壓量。

16、進一步的，消息處理模式管理模塊包括：消息總量閾值管理單元、推薦速度閾值管理單元、閾值管理單元和規(guī)則管理單元；

17、消息總量閾值管理單元通過采集處理消息隊列的計算機的性能參數(shù)和消息隊列中消息的平均數(shù)據(jù)量大小，計算消息總量閾值，其中，計算機的性能參數(shù)包括計算機內存，計算消息總量閾值l包括，l=（r×k1）/q0，r表示計算機內存，k1表示計算機的第一評估系數(shù)，滿足條件0＜k1＜1，q0表示消息隊列中消息的平均數(shù)據(jù)量大?。?/p>

18、推薦速度閾值管理單元通過采集計算機的性能參數(shù)計算推薦速度閾值，其中，計算機的性能參數(shù)包括處理器的核心數(shù)和每個核心在單位時間內處理消息數(shù)量的平均速度，其中，計算推薦速度閾值p包括，p=code×k2×csp，code表示處理器的核心數(shù)，k2表示計算機的第二評估系數(shù)，滿足條件k2為大于1的整數(shù)，csp表示每個核心在單位時間內處理消息數(shù)量的平均速度；

19、閾值管理單元用于管理消息處理模式的判斷閾值，判定閾值包括消息總量閾值、推薦速度閾值、積壓量閾值、速率變化量閾值和處理失敗率閾值；

20、規(guī)則管理單元用于管理消息處理模式的判斷規(guī)則，將消息隊列的處理模式調整為普通處理模式和高速處理模式，其中普通處理模式為將新接收的消息按序推送入消息隊列，高速處理模型為將新接收的消息優(yōu)先存入數(shù)據(jù)庫，當至少一項指標滿足閾值判定規(guī)則時，采用高速處理模式。

21、消息總量閾值設置過低會導致頻繁觸發(fā)轉存，增加數(shù)據(jù)庫壓力；閾值過高可能引發(fā)mq宕機；

22、推薦速度閾值設置過高可能導致目標服務過載；設置過低會造成消息積壓；

23、失敗率閾值過低會導致頻繁觸發(fā)轉存，增加數(shù)據(jù)庫壓力；

24、進一步的，判斷規(guī)則包括消息隊列中消息數(shù)量是否大于消息總量閾值，消息隊列的積壓量是否大于積壓量閾值，速率變化量是否小于速率變化量閾值，處理消息的失敗率是否大于處理失敗率閾值。

25、進一步的，消息補償模式管理模塊包括：失敗消息管理單元、補償模式管理單元和補償指令管理單元；

26、失敗消息管理單元用于將消息隊列的推送端無法正確推送的消息，存入數(shù)據(jù)庫的消息；

27、補償模式管理單元用于管理第二單位時間段中處理消息失敗的失敗率，失敗率包括第二時間段中數(shù)據(jù)庫中存儲的消息的數(shù)量占第二時間段中接收消息的總數(shù)量，接收消息的總數(shù)量包括數(shù)據(jù)庫接收消息的數(shù)量和消息隊列接收消息的數(shù)量；

28、補償指令管理單元用于當消息隊列的處理模式為普通處理模式時，向消息隊列推送數(shù)據(jù)庫中存儲消息的指令，其中，當?shù)诙挝粫r間段中處理消息失敗的失敗率小于閾值時，發(fā)出單個補償指令，當?shù)诙挝粫r間段中處理消息失敗的失敗率大于閾值時，發(fā)出批量補償指令。

29、進一步的，單個補償模塊包括失敗次數(shù)管理單元和發(fā)送間隔管理單元；

30、失敗次數(shù)管理單元用于獲取任意一條消息處理失敗的失敗次數(shù)，

31、發(fā)送間隔管理單元用于獲取推送消息的基礎時間間隔和處理失敗次數(shù)，計算同一個消息的發(fā)送間隔，其中發(fā)送間隔為tp，tp=t0×2n，其中t0表示基礎時間間隔，n表示同一條消息的失敗次數(shù)。

32、進一步的，批量補償模塊包括消息優(yōu)先級計算單元和補償隊列管理單元；

33、消息優(yōu)先級計算單元用于獲取消息的處理失敗次數(shù)，消息的重要性系數(shù)和消息的接收者與消息隊列的網絡延遲，計算每條消息的優(yōu)先級系數(shù)，其中優(yōu)先級系數(shù)為f，f=（n×imp）/t2，其中，imp表示消息的重要性系數(shù)，t2表示消息的接收者與消息隊列的網絡延遲，對于不同的發(fā)信者預設對應的重要性系數(shù)，獲取消息的發(fā)信者，將發(fā)信者的重要性系數(shù)作為發(fā)信者發(fā)送的消息的重要性系數(shù)；

34、當失敗次數(shù)越多，且接收端與消息隊列的網絡延遲越高的消息，越早被推送，以便讓接收端及時收到消息，并且減少消息在系統(tǒng)中的滯留時間；

35、補償隊列管理單元用于獲取計算機處理推送消息的速率和補償頻率計算單次推送消息的數(shù)量，其中單次推送消息的數(shù)量為e，e=tp/fr，其中tp表示計算機處理推送消息的速率，fr表示補償頻率。

36、進一步的，消息隊列安全監(jiān)控模塊包括：速率評估值單元、消息量評估單元、失敗率管理單元、安全系數(shù)計算單元和告警反饋單元；

37、速率評估值單元用于計算消息處理速度評估值g1，g1=p0/p，其中p0表示當前消息隊列中消息的處理速度；

38、消息量評估單元用于計算消息隊列中消息量的評估值g2，g2=l/l0，其中l(wèi)0表示當前消息隊列中剩余的消息數(shù)量；

39、失敗率管理單元用于從失敗率管理單元獲取當前消息處理的失敗率，將失敗率記為φ；

40、安全系數(shù)計算單元用于計算當前消息處理的安全系數(shù)w，w=α×g1+β×g2+γ×（1-φ），其中滿足條件，α+β+γ=1，α＞β，α＞γ；

41、告警反饋單元用于比較安全系數(shù)w和告警閾值ω進行比較，當w＜ω時向相關工作人員進行告警提示，其中，0＜ω＜1。

42、在高速消息處理系統(tǒng)中，當消息的處理速度低于速度閾值時，g1＜1，當消息隊列中剩余的消息大于閾值時，g2＜1，因此當消息隊列的處理效率越低時g1和g2越小，同時，消息處理的成功率越低時，系統(tǒng)的運行狀態(tài)欠佳；

43、因此，當w值越接近0時，系統(tǒng)的運行風險越大。

44、為了更好地應用上述系統(tǒng)，還提出一種基于數(shù)據(jù)監(jiān)聽的消息隊列分發(fā)管理方法，方法包括：

45、步驟s1：獲取消息隊列的消息隊列的消息處理狀態(tài)；

46、步驟s2：將消息處理狀態(tài)與消息處理模式的規(guī)則進行比對，當至少一項指標滿足閾值判定規(guī)則時，采用高速處理模式，否則進入普通處理模式；

47、步驟s3：建立數(shù)據(jù)庫緩存未處理的消息，其中未處理消息包括處理失敗的消息和高速模式下緩存的消息；

48、步驟s4：在消息隊列為普通處理模式時，根據(jù)第二單位時間段中消息處理的失敗率，判斷對數(shù)據(jù)庫中的消息進行單個重發(fā)還是批量重發(fā)；

49、步驟s5：對消息的處理失敗次數(shù)進行監(jiān)控，當某一消息的處理失敗次數(shù)超過閾值時，請求人工介入操作。

50、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

51、1、本發(fā)明通過監(jiān)聽數(shù)據(jù)服務的方式，監(jiān)聽消息異步推送，實現(xiàn)快速釋放與mq消息隊列的通信，增強消息消費速率；

52、2、本發(fā)明通過分發(fā)狀態(tài)監(jiān)聽，實時監(jiān)聽mq服務，通過綜合指標來進行服務降級，因數(shù)據(jù)監(jiān)聽服務消費異?；騧q服務異常進行降級后，保存數(shù)據(jù)至數(shù)據(jù)庫，保證數(shù)據(jù)安全，同時分發(fā)狀態(tài)監(jiān)聽又作為補償服務，將未發(fā)送的數(shù)據(jù)重新推送到消息隊列中，供數(shù)據(jù)監(jiān)聽服務監(jiān)聽推送；

53、3、本發(fā)明通過數(shù)學模型實時調整處理策略，通過自動重試、定時重試和手動干預三級補償機制監(jiān)督高吞吐量的消息發(fā)送系統(tǒng)，確保消息最終一致性和高可靠性的同時保持高吞吐量。