本發(fā)明涉及數(shù)據(jù)庫，具體地說是一種基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法、設備及介質(zhì)。
背景技術(shù)：
：：1、開務數(shù)據(jù)庫(kaiwudb)是一款專為aiot場景設計的分布式、多模態(tài)融合型數(shù)據(jù)庫產(chǎn)品，其內(nèi)置了原生ai支持能力。該系統(tǒng)能夠在單一實例中同時構(gòu)建時序與關(guān)系型數(shù)據(jù)庫，并實現(xiàn)對多種數(shù)據(jù)模型的綜合處理。此外，開務數(shù)據(jù)庫具備卓越的時序數(shù)據(jù)管理性能，能夠滿足千萬級設備接入、百萬級數(shù)據(jù)秒級寫入及億級數(shù)據(jù)秒級讀取等需求。2、在aiot領(lǐng)域內(nèi)，時序數(shù)據(jù)往往表現(xiàn)出高頻率生成和實時性特征。隨著聯(lián)網(wǎng)設備數(shù)量及其產(chǎn)生的數(shù)據(jù)流持續(xù)增長，如何快速而有效地獲取時序信息成為了一個關(guān)鍵的技術(shù)難題。傳統(tǒng)時序數(shù)據(jù)庫通常依賴于批量處理或周期性輪詢的方法來獲取實時數(shù)據(jù)，但這種方法存在以下不足之處：3、①時效性不足：由于采用了預定時間間隔進行數(shù)據(jù)查詢的傳統(tǒng)機制，導致數(shù)據(jù)更新的速度受限，意味著用戶必須等到下一個預定查詢點才能接收到最新的信息變更通知，從而增加了不必要的延遲，無法達到即時數(shù)據(jù)分析的要求。4、②資源利用效率低下：頻繁執(zhí)行輪詢操作不僅加重了數(shù)據(jù)庫服務器的工作負擔，同時也消耗了大量的計算資源。特別是在面對大規(guī)模數(shù)據(jù)集和高度并發(fā)訪問請求時，會導致系統(tǒng)整體性能顯著下降。技術(shù)實現(xiàn)思路1、本發(fā)明的技術(shù)任務是提供一種基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法、設備及介質(zhì)，來解決當前時序數(shù)據(jù)庫在海量數(shù)據(jù)存儲和處理中實時地獲取所需的時序數(shù)據(jù)實時性差、資源消耗大的問題。2、本發(fā)明的技術(shù)任務是按以下方式實現(xiàn)的，一種基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法，該方法是通過預定義的sql語句構(gòu)建數(shù)據(jù)訂閱調(diào)度任務，結(jié)合基于raft日志機制的高效數(shù)據(jù)變更捕獲模塊，實時地獲取用戶所訂閱的數(shù)據(jù)，并根據(jù)定制化規(guī)則對用戶所訂閱的數(shù)據(jù)進行過濾處理；再自動將篩選后的數(shù)據(jù)以指定格式傳輸至預設的目標sink組件中，從而確保整個數(shù)據(jù)處理流程具備實時性、準確性和高可用性的特點；具體如下：3、構(gòu)建數(shù)據(jù)訂閱調(diào)度任務；4、執(zhí)行數(shù)據(jù)訂閱調(diào)度任務；5、基于raft日志的數(shù)據(jù)變更捕獲。6、作為優(yōu)選，構(gòu)建數(shù)據(jù)訂閱調(diào)度任務具體如下：7、指定數(shù)據(jù)訂閱規(guī)則：用戶通過指定的sql語句明確數(shù)據(jù)訂閱的規(guī)則；8、記錄與管理任務信息：在用戶提交sql語句后，數(shù)據(jù)庫將解析得到的任務信息存儲到數(shù)據(jù)庫的系統(tǒng)表system.topics中；9、構(gòu)建執(zhí)行算子：數(shù)據(jù)庫根據(jù)解析得到的任務信息構(gòu)建執(zhí)行計劃，通過執(zhí)行計劃構(gòu)建相關(guān)的執(zhí)行算子；其中，執(zhí)行算子包括topic執(zhí)行算子及子查詢執(zhí)行算子；topic執(zhí)行算子用于處理數(shù)據(jù)變更的捕獲、數(shù)據(jù)流的傳輸和最終結(jié)果的輸出；子查詢執(zhí)行算子用于根據(jù)子查詢的執(zhí)行計劃對捕獲到的數(shù)據(jù)進行過濾及轉(zhuǎn)換操作，確保數(shù)據(jù)符合用戶的需求。10、更優(yōu)地，sql語句的格式如下：11、create?topic[if?not?exists]<topic_name>into<sink>[with<option>＝<value>]as<subquery>；12、其中，<sink>用于指定數(shù)據(jù)接收組件的連接信息；sink是webhooks的http?url或其他支持的接收端點，通過url將實時捕獲到的數(shù)據(jù)按照指定的格式推送到外部系統(tǒng)或組件中進行后續(xù)處理；13、<option>＝<value>表示數(shù)據(jù)訂閱規(guī)則中的可選參數(shù)，用戶根據(jù)需要指定如下參數(shù)：14、①數(shù)據(jù)格式(format)：指定數(shù)據(jù)的傳輸格式，支持json或xml格式；數(shù)據(jù)格式?jīng)Q定數(shù)據(jù)在傳輸過程中的編碼方式，適用于不同接收方的解析需求；15、②操作類型輸出(operate_type_out)：決定是否輸出數(shù)據(jù)操作的類型，輸出數(shù)據(jù)操作的類型插入(insert)、更新(update)或刪除(delete)，默認為false，即不輸出操作類型；16、③變更前數(shù)據(jù)輸出(before_data_out)：決定是否輸出數(shù)據(jù)變更之前的原始值，默認為false；當變更前數(shù)據(jù)輸出的選項為true時，將在捕獲數(shù)據(jù)變更時同時輸出變更前的值，幫助接收端了解數(shù)據(jù)的歷史狀態(tài)；17、<subquery>表示指定一個查詢語句，查詢語句是對時序表的查詢；用戶根據(jù)實際需求在對應子查詢中對數(shù)據(jù)進行篩選、過濾，指定列或條件，保證訂閱的數(shù)據(jù)滿足特定要求。18、更優(yōu)地，任務信息包括如下內(nèi)容：19、①訂閱主題名(topic_name)：用于標識當前數(shù)據(jù)訂閱任務的唯一標識符；20、②任務狀態(tài)：指示數(shù)據(jù)訂閱任務的當前執(zhí)行狀態(tài)；其中，數(shù)據(jù)訂閱任務的當前執(zhí)行狀態(tài)包括待執(zhí)行、執(zhí)行中及已完成；21、③sink信息：記錄數(shù)據(jù)接收組件的連接信息(如webhooks的url、數(shù)據(jù)庫連接信息等)；22、④規(guī)則參數(shù)信息：包括數(shù)據(jù)格式、操作類型輸出選項和變更前數(shù)據(jù)輸出選項；23、⑤子查詢sql語句：記錄與對應訂閱任務相關(guān)的查詢語句，以便執(zhí)行時參考；24、⑥子查詢執(zhí)行計劃：根據(jù)子查詢語句生成的執(zhí)行計劃，指明執(zhí)行對應查詢以最大化性能的方式；25、⑦當前水位線(watermark)：用于跟蹤數(shù)據(jù)流的進度，確保數(shù)據(jù)變更的捕獲與同步的一致性要求。26、作為優(yōu)選，執(zhí)行數(shù)據(jù)訂閱調(diào)度任務具體如下：27、任務執(zhí)行初始化：topic執(zhí)行算子初始化完成后，topic執(zhí)行算子根據(jù)當前的水位線信息及表信息構(gòu)建一個數(shù)據(jù)變更捕獲請求，再將捕獲請求發(fā)送大數(shù)據(jù)變更捕獲模塊；同時數(shù)據(jù)庫為每個捕獲恩物設置超時定時器(通常為100ms)，等待捕獲到的數(shù)據(jù)變更事件；其中，超時定時器用于在一定時間內(nèi)監(jiān)測是否有新的變更數(shù)據(jù)，以便及時響應；28、處理事件消息：事件消息包括數(shù)據(jù)事件消息和結(jié)束事件消息；29、轉(zhuǎn)換并輸出數(shù)據(jù)格式：子查詢執(zhí)行算子根據(jù)訂閱任務的規(guī)則，依據(jù)輸出數(shù)據(jù)列的信息對數(shù)據(jù)進行處理；當處理完成后，數(shù)據(jù)被轉(zhuǎn)換為指定的json或xml格式，將格式化后的數(shù)據(jù)發(fā)送到指定的sink組件中，實現(xiàn)數(shù)據(jù)的輸出和分發(fā)。30、更優(yōu)地，捕獲請求的信息具體如下：31、①表id(table_id)：標識需要捕獲數(shù)據(jù)變更的具體表；32、②數(shù)據(jù)變更捕獲時間范圍(start_time,end_time)：定義捕獲的數(shù)據(jù)變更的時間范圍；33、③事件數(shù)據(jù)接收通道(channel)：指定數(shù)據(jù)變更捕獲結(jié)果的傳輸通道。34、更優(yōu)地，數(shù)據(jù)事件消息具體為：當從channel中讀取到的數(shù)據(jù)事件類型為data時，調(diào)用子查詢執(zhí)行算子對數(shù)據(jù)進行進一步處理，子查詢執(zhí)行算子根據(jù)用戶定義的過濾條件、輸出列規(guī)則對事件數(shù)據(jù)進行篩選和加工，確保只有符合條件的數(shù)據(jù)才會被進一步處理；35、結(jié)束事件消息具體為：當從channel中讀取到的數(shù)據(jù)事件類型為end時，表示本次數(shù)據(jù)變更捕獲任務已經(jīng)完成；此時，更新水位線信息，確保下一次任務從正確的狀態(tài)開始，并將更新后的水位線信息寫入system.topics表中。36、作為優(yōu)選，基于raft日志的數(shù)據(jù)變更捕獲具體如下：37、在開務數(shù)據(jù)庫(kaiwudb)中，raft日志實時記錄數(shù)據(jù)庫的狀態(tài)變更，包括所有影響數(shù)據(jù)庫狀態(tài)的操作；raft日志通過時間戳和索引精確標識每一條操作記錄，并為后續(xù)的數(shù)據(jù)變更捕獲提供了可靠的依據(jù)；38、數(shù)據(jù)變更捕獲模塊根據(jù)topic執(zhí)行算子發(fā)送的表id和時間范圍信息，使用raft日志中的時間戳和索引信息快速定位到滿足條件的日志條目，并從raft日志中提取出相關(guān)的變更數(shù)據(jù)和操作類型(如：insert、update、delete)，并將變更數(shù)據(jù)封裝成事件消息(eventmsg)發(fā)送到topic執(zhí)行算子的接收channel中；39、當數(shù)據(jù)變更捕獲模塊完成對指定時間范圍內(nèi)所有數(shù)據(jù)變更的捕獲后，向結(jié)果通道發(fā)送結(jié)束類型的事件消息(eventmsg)，標志著當前數(shù)據(jù)變更捕獲請求任務的結(jié)束。40、一種電子設備，包括：存儲器和至少一個處理器；41、其中，所述存儲器上存儲有計算機程序；42、所述至少一個處理器執(zhí)行所述存儲器存儲的計算機程序，使得所述至少一個處理器執(zhí)行如上述的基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法。43、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有計算機程序，所述計算機程序可被處理器執(zhí)行以實現(xiàn)如上述的基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法。44、本發(fā)明的基于時序數(shù)據(jù)庫的實時數(shù)據(jù)訂閱方法、設備及介質(zhì)具有以下優(yōu)點：45、(一)本發(fā)明允許用戶依據(jù)自身需求訂閱特定類型的數(shù)據(jù)，并在相關(guān)數(shù)據(jù)發(fā)生變動時即時接收通知，從而有效克服了傳統(tǒng)輪詢模式下的局限性，解決了現(xiàn)有時序數(shù)據(jù)庫中常見的高延遲、資源消耗大等問題；46、(二)本發(fā)明采用事件驅(qū)動的數(shù)據(jù)推送策略，確保信息更新能夠被迅速傳達給訂閱者，極大提升了數(shù)據(jù)處理的時效性，增強了實時響應能力；47、(三)本發(fā)明通過精簡不必要的查詢請求，優(yōu)化資源配置效率，減輕系統(tǒng)負載，進而顯著提升整體資源的使用效能；48、(四)本發(fā)明的任務信息不僅幫助系統(tǒng)管理各類數(shù)據(jù)訂閱任務，還提供了實時監(jiān)控與調(diào)度的基礎；同時通過系統(tǒng)表的管理，用戶可以隨時查看訂閱任務的執(zhí)行狀態(tài)，并對任務進行暫停、恢復等管理操作；49、(五)本發(fā)明的topic執(zhí)行算子以及子查詢執(zhí)行算子是后續(xù)任務調(diào)度和執(zhí)行的基礎，保證了數(shù)據(jù)捕獲和處理過程的高效和準確；50、(六)本發(fā)明在動態(tài)地捕捉和處理時序數(shù)據(jù)庫內(nèi)的數(shù)據(jù)變動。支持靈活的數(shù)據(jù)查詢方式及定制化的輸出格式，同時確保了數(shù)據(jù)捕獲過程中的實時性、準確性和系統(tǒng)整體性能；51、(七)本發(fā)明利用raft一致性算法的日志機制，能夠保持數(shù)據(jù)捕獲操作與整個系統(tǒng)的狀態(tài)同步一致，即便是在面對系統(tǒng)故障或恢復的情況下，也能通過raft日志完整追蹤所有發(fā)生的變更記錄，從而保障了數(shù)據(jù)的一致性和完整性；此外，結(jié)合標準sql查詢語言與高度可配置的訂閱規(guī)則，用戶可以根據(jù)自身特定需求調(diào)整數(shù)據(jù)收集策略，以此來優(yōu)化數(shù)據(jù)庫性能并簡化數(shù)據(jù)處理步驟；52、(八)在設計上，考慮到高并發(fā)環(huán)境下的任務調(diào)度問題以及對實時響應的需求，本發(fā)明采用了精細的水位線控制技術(shù)和高效的查詢執(zhí)行方案，能夠在大規(guī)模數(shù)據(jù)流場景下持續(xù)提供高質(zhì)量服務，并通過專門設立的系統(tǒng)表system.topics來管理各個訂閱活動的狀態(tài)信息、進度跟蹤及變更結(jié)果報告，進一步增強了對于訂閱任務執(zhí)行情況的監(jiān)控能力和可控度；53、(九)本發(fā)明不僅滿足了用戶對于數(shù)據(jù)采集精度和時效性的高標準要求，而且具備出色的效率表現(xiàn)和良好的擴展能力；因此，非常適合應用于金融行業(yè)、物聯(lián)網(wǎng)
技術(shù)領(lǐng)域：
：、智能制造等多個方面，用于實現(xiàn)如實時數(shù)據(jù)監(jiān)測、警報通知以及數(shù)據(jù)分析等功能。當前第1頁12當前第1頁12