數據同步方法及裝置制造方法
【專利摘要】本發(fā)明公開了數據同步方法及裝置，其中，該方法包括：在第一設備向第二設備進行數據同步完成后，第一設備接收第二設備發(fā)送的校驗信息，其中，該校驗信息用于確定數據同步是否成功；第一設備至少根據該校驗信息判斷數據同步是否成功；在數據同步失敗的情況下，第一設備向第二設備進行數據同步。本發(fā)明解決了設備之間同步數據出錯的問題，提高了數據同步的可靠性。
【專利說明】數據同步方法及裝置

【技術領域】
[0001]本發(fā)明涉及通信領域，具體而言，涉及一種數據同步方法及裝置。

【背景技術】
[0002]現有內存數據庫的同步技術在主備和多模塊(當多個模塊時I號模塊數據作為基準數據向其它模塊分發(fā))間多采用變化表和變化記錄同步的方式，當表和記錄發(fā)生變化時，把這些變化數據打包發(fā)送到備機或者其它模塊，這些同步機制只是在數據發(fā)生變化時才會觸發(fā)數據同步，而數據變化的判斷機制是表記錄是否發(fā)生修改，如果沒有數據修改就不會觸發(fā)數據同步。
[0003]由于網絡環(huán)境復雜，主備和多模塊間數據都是跨板消息，消息難免出現丟失或者同步過程中接收端出現異常的現象，尤其是同步完成后，接收端出現記錄存放的區(qū)域內存被踩的情況，這種情況一般難以發(fā)現，而此時I號模塊數據如果沒有發(fā)生修改也就不會觸發(fā)數據同步，這種情況備機和其它模塊的數據就會出現錯誤。如果這種情況下進行了主備倒換，則系統會發(fā)生未知的災難。
[0004]針對相關技術中設備之間同步數據出錯的問題，目前尚未提出有效的解決方案。


【發(fā)明內容】

[0005]本發(fā)明提供了一種數據同步方法及裝置，以至少解決設備之間同步數據出錯的問題。
[0006]根據本發(fā)明的一個方面，提供了一種數據同步方法，包括:在第一設備向第二設備進行數據同步完成后，所述第一設備接收所述第二設備發(fā)送的校驗信息，其中，所述校驗信息用于確定所述數據同步是否成功；所述第一設備至少根據所述校驗信息判斷所述數據同步是否成功；在所述數據同步失敗的情況下，所述第一設備向所述第二設備進行數據同步。
[0007]優(yōu)選地，在所述第一設備和/或所述第二設備本地空閑的設備資源超過閾值的情況下，啟動所述數據同步方法；或者，接收到啟動命令，啟動所述數據同步方法。
[0008]優(yōu)選地，所述設備包括以下至少之一:處理器資源、內存資源、帶寬資源、1資源。
[0009]優(yōu)選地，在所述校驗信息包括數據版本號的情況下，所述第一設備根據所述校驗信息判斷所述數據同步是否成功包括:所述第一設備判斷來自所述第二設備的數據版本號與所述第一設備的數據版本號是否相同，如果相同，則確定數據同步成功，如果不相同，則確定數據同步失敗。
[0010]優(yōu)選地，在數據同步的是數據庫數據的情況下，所述校驗信息包括:所述第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，所述第一設備根據所述校驗信息判斷所述數據同步是否成功包括:所述第一設備對本地存儲的與所述預定表對應的表中對應的記錄進行計算得到所述第一設備的校驗和；所述第一設備判斷所述第二設備的校驗和與所述第一設備的校驗和是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
[0011]根據本發(fā)明的另一方面，提供了一種數據同步裝置，位于第一設備中，其特征在于，包括:接收模塊，用于在第一設備向第二設備進行數據同步完成后，接收所述第二設備發(fā)送的校驗信息，其中，所述校驗信息用于確定所述數據同步是否成功；判斷模塊，用于至少根據所述校驗信息判斷所述數據同步是否成功；同步模塊，用于在所述數據同步失敗的情況下，向所述第二設備進行數據同步。
[0012]優(yōu)選地，數據同步裝置還包括:啟動模塊，用于在所述第一設備和/或所述第二設備本地空閑的設備資源超過閾值的情況下，啟動所述數據同步裝置；或者，用于接收到啟動命令，啟動所述數據同步裝置。
[0013]優(yōu)選地，所述設備資源包括以下至少之一:處理器資源、內存資源、帶寬資源、1資源。
[0014]優(yōu)選地，所述判斷模塊還用于在所述校驗信息包括數據版本號的情況下，判斷來自所述第二設備的數據版本號與所述第一設備的數據版本號是否相同，如果相同，則確定數據同步成功，如果不相同，則確定數據同步失敗。
[0015]優(yōu)選地，在數據同步的是數據庫數據的情況下，所述校驗信息包括:所述第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，所述判斷模塊還用于對本地存儲的與所述預定表對應的表中對應的記錄進行計算得到所述第一設備的校驗和，判斷所述第二設備的校驗和與所述第一設備的校驗和是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
[0016]通過本發(fā)明，采用在第一設備向第二設備進行數據同步完成后，第一設備接收第二設備發(fā)送的校驗信息，其中，校驗信息用于確定數據同步是否成功；第一設備至少根據該校驗信息判斷數據同步是否成功；在數據同步失敗的情況下，第一設備向第二設備進行數據同步，解決了設備之間同步數據出錯的問題，提高了數據同步的可靠性。

【專利附圖】

【附圖說明】
[0017]構成本申請的一部分的附圖用來提供對本發(fā)明的進一步理解，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構成對本發(fā)明的不當限定。在附圖中:
[0018]圖1是根據本發(fā)明實施例的數據同步方法的流程圖；
[0019]圖2是根據本發(fā)明實施例的數據同步裝置的結構圖；
[0020]圖3是根據本發(fā)明優(yōu)選實施例的內存數據庫數據檢查和同步的結構圖；
[0021]圖4是根據本發(fā)明優(yōu)選實施例的數據檢查和同步的流程圖；
[0022]圖5是根據本發(fā)明優(yōu)選實施例的內存數據庫同步數據校驗功能模塊拓撲結構圖；
[0023]圖6是根據本發(fā)明優(yōu)選實施例的內存數據庫同步數據校驗交互圖。

【具體實施方式】
[0024]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本發(fā)明。
[0025]本實施例中提供了一種數據同步方法，圖1是根據本發(fā)明實施例的數據同步方法的流程圖，如圖1所示，該方法包括如下的步驟:
[0026]步驟S102，在第一設備向第二設備進行數據同步完成后，第一設備接收第二設備發(fā)送的校驗信息，其中，該校驗信息用于確定所述數據同步是否成功；
[0027]步驟S104，第一設備至少根據校驗信息判斷數據同步是否成功；
[0028]步驟S106，在數據同步失敗的情況下，第一設備向第二設備進行數據同步。
[0029]通過上述步驟，增加了根據校驗信息來進行判斷的機制，從而可以使第一設備判斷出數據同步是否成功，從而為發(fā)現同步數據出錯提供了可能，解決了設備之間同步數據出錯的問題，提高了設備之間數據同步的可靠性。
[0030]優(yōu)選的，上述圖1中所示出的方法，在本實施例中，在第一設備和/或第二設備本地空閑的設備資源超過閾值的情況下，可以啟動數據同步方法；或者，可以在接收到啟動命令后，啟動數據同步方法。例如，在執(zhí)行過程中主要涉及到的資源包括CPU、內存、網口帶寬以及磁盤10，用戶可以配置這四類資源的空閑閾值，當這四類資源空閑率超過這四個閾值時認為系統空閑?？梢酝瑫r要求這四個資源均空閑超過閾值，也可以要求單個資源空閑超過閾值就可以啟動上述方法。例如，當CPU資源空閑超過50%時，則可以啟動此數據檢查機制。作為另一個優(yōu)選的方式，還可以提供用戶手工觸發(fā)或配置檢查時間點來啟動此檢查機制。
[0031]在本實施例中，第一設備和第二設備之間檢驗信息可以有很多種，例如，在校驗信息包括數據版本號的情況下，第一設備根據該校驗信息判斷數據同步是否成功包括:第一設備判斷來自第二設備的數據版本號與第一設備的數據版本號是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
[0032]檢驗信息還可以包括:第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，第一設備根據該校驗信息判斷所述數據同步是否成功包括:第一設備對本地存儲的與所述預定表對應的表中對應的記錄進行計算得到第一設備的校驗和；第一設備判斷第二設備的校驗和與第一設備的校驗和是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
[0033]優(yōu)選的，這些預定表可以是此次數據同步中涉及到的全部表，也可以是數據同步中涉及到的某些重要的表。
[0034]作為另一個較優(yōu)的實施例，在檢測到數據同步失敗之后，還可以檢測出是哪部分數據同步失敗了，然后只再次同步失敗的數據。
[0035]在本實施例中，還提供了一種數據同步裝置，該菜單處理裝置用于實現上述的方法，在上述實施例及優(yōu)選實施方式中已經進行說明，在此不再贅述。需要說明的是，下述裝置中的模塊的名稱并不構成對該模塊的實際限定，例如，接收模塊可以表述為“用于在第一設備向第二設備進行數據同步完成后，接收所述第二設備發(fā)送的校驗信息的模塊”，以下的模塊均可以在處理器中實現，例如，接收模塊可以表述為“ 一種處理器，用于在第一設備向第二設備進行數據同步完成后，接收所述第二設備發(fā)送的校驗信息”，或者，“一種處理器，包括接收模塊”等。
[0036]圖2是根據本發(fā)明實施例的數據同步裝置的結構圖，如圖2所示，該裝置20包括:接收模塊22，判斷模塊24和同步模塊26，下面對該裝置進行說明。
[0037]接收模塊22，用于在第一設備向第二設備進行數據同步完成后，接收第二設備發(fā)送的校驗信息，其中，校驗信息用于確定數據同步是否成功；判斷模塊24，用于至少根據校驗信息判斷數據同步是否成功；同步模塊26，用于在數據同步失敗的情況下，向第二設備進行數據同步。
[0038]優(yōu)選的，在本實施例中，數據同步裝置還包括:啟動模塊，用于在第一設備和/或第二設備本地空閑的設備資源超過閾值的情況下，啟動數據同步裝置；或者，用于接收到啟動命令，啟動數據同步裝置。
[0039]優(yōu)選的，設備資源包括以下至少之一:處理器資源、內存資源、帶寬資源、輸入輸出1資源。
[0040]優(yōu)選的，判斷模塊24還用于在該校驗信息包括數據版本號的情況下，判斷來自該第二設備的數據版本號與該第一設備的數據版本號是否相同，如果相同，則確定數據同步成功，如果不相同，則確定數據同步失敗。
[0041]優(yōu)選的，在數據同步的是數據庫數據的情況下，該校驗信息包括:該第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，該判斷模塊還用于對本地存儲的與該預定表對應的表中對應的記錄進行計算得到該第一設備的校驗和，判斷該第二設備的校驗和與該第一設備的校驗和是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
[0042]下面結合優(yōu)選實施例來對本發(fā)明進行說明。
[0043]圖3是根據本發(fā)明優(yōu)選實施例的內存數據庫數據檢查和同步的結構圖，如圖3所示，包括:啟動策略管理模塊32，數據檢查模塊34，數據分發(fā)模塊36，下面對各個模塊進行說明。
[0044]啟動策略管理模塊32:負責確保此檢查機制在系統空閑時間啟動，主要包括CPU、內存、網口帶寬以及磁盤1空閑閾值的配置，這四類資源占用率的統計，以及人工任務觸發(fā)的執(zhí)行(實現了上述啟動模塊的功能)。
[0045]數據檢查模塊34:負責管理待檢查表的注冊，數據表記錄的校驗和計算，校驗和數據的收發(fā)以及主備間、多模塊間校驗和檢查(實現了上述判斷模塊24的功能)；
[0046]數據分發(fā)模塊36:負責把單個表的記錄分發(fā)到指定接收端，接收端負責接收數據并更新到內存表中，發(fā)送端負責從表中打包數據發(fā)送到接收端(實現了上述同步模塊26的功能)。
[0047]圖4是根據本發(fā)明優(yōu)選實施例的數據檢查和同步的流程圖，如圖4所示，數據接收端用Rx端表示，數據發(fā)送端用Tx表示，包括步驟如下:
[0048]步驟S402，上電時Tx端和Rx端分別把所有需要做定時校驗的表注冊到校驗管理模塊；
[0049]步驟S404，Tx端定時執(zhí)行啟動策略的判斷，并通知Rx端做啟動策略的判斷，當符合策略或者用戶手工觸發(fā)啟動時，發(fā)消息到Rx端，啟動此數據檢查機制；
[0050]步驟S406，Rx端把本機的數據庫數據版本號發(fā)往Tx端；
[0051]步驟S408，Tx端收到Rx端發(fā)來的數據版本號，與本機的數據版本號比較，如果版本號不一致，則觸發(fā)數據常規(guī)同步流程進行數據同步，如果版本號一致，則發(fā)給Rx端開始進行數據檢查的消息；
[0052]步驟S410, Tx端遍歷所有已注冊的表,對每個表的記錄做校驗和計算，并存儲在表記錄校驗數據區(qū)；
[0053]步驟S412，Rx端收到Tx端發(fā)來的進行數據檢查的消息，開始遍歷所有已注冊表，對每個表的記錄做校驗和計算，并把表以及校驗和信息發(fā)往Tx端；
[0054]步驟S414，Tx端收到Rx端發(fā)來的校驗和信息與表記錄校驗區(qū)數據比較，如果一致結束本次檢查，如果不一致則將表逐個打包發(fā)往Rx端；
[0055]步驟S416，Rx端收到Tx端發(fā)來的表記錄數據和校驗和信息，進行數據校驗，如果一致，則更新到內存表中，并通知Tx端繼續(xù)下一個表的發(fā)送；如果不一致則通知Tx端重發(fā)該表；
[0056]步驟S418，Tx端發(fā)完所有不一致的表記錄后通知Rx端本次檢查結束，結束本次檢查流程。
[0057]圖5是根據本發(fā)明優(yōu)選實施例的內存數據庫同步數據校驗功能模塊拓撲結構圖，如圖5所示，啟動策略管理用于確保在系統資源空閑的情況下啟動該數據檢查機制；數據檢查模塊用于檢查數據發(fā)送端和數據接收端相關數據表記錄內存數據是否一致，對于不一致的數據，通過數據分發(fā)模塊進行分發(fā)，確保數據的正確性。
[0058]圖6是根據本發(fā)明優(yōu)選實施例的內存數據庫同步數據校驗交互圖，如圖6所示，包括如下步驟:
[0059]步驟S602，注冊待檢查的表，主要注冊變化不大的配置表，這類表長期不變，如果出現錯誤不易發(fā)現；
[0060]步驟S604，當用戶觸發(fā)啟動檢查機制或者當前系統資源符合空閑的策略，則啟動此檢查機制；
[0061]步驟S606，接收端請求校驗數據版本號，如果版本號不一致則說明數據發(fā)生了變化，觸發(fā)常規(guī)同步流程進行數據同步；如果數據版本號一致，則說明目前接收端和發(fā)送端的數據應該是一致的，此時做表記錄校驗；
[0062]步驟S608，如果校驗數據是一致的則結束本次檢查，如果不一致，則把不一致的表記錄發(fā)送到接收端，發(fā)送表記錄時帶上該表的校驗和數據用于接收端校驗。
[0063]步驟S610，接收端收到記錄后進行數據校驗，校驗不通過則通知發(fā)送端重發(fā)，校驗通過則把該記錄更新到表內存中。
[0064]本優(yōu)選實施例提供了一種利用主備和多模塊間內存塊定期做校驗和檢查的機制來確保數據的正確性。在系統資源比較空閑的情況下利用校驗和機制對數據庫內存進行檢查:由于內存數據庫為了快速響應數據訪問，把所有記錄都存放在內存中，而且這些數據集中存放在一個連續(xù)的內存數據區(qū)域中，每個表的記錄也是連續(xù)存放。每個表的記錄做校驗和檢查，在主備和多模塊間數據同步完成的情況下，備機和其它模塊定時發(fā)送校驗和數據到I號模塊主用側，主用側判斷接收端的校驗和與本機表記錄校驗和是否一致，如果不一致則觸發(fā)數據向指定接收端同步。
[0065]本優(yōu)選實施例是一種內存數據庫同步的保護機制，因為有資源空閑檢查策略和用戶手工觸發(fā)的機制，在不影響業(yè)務且合理利用系統資源的情況下保證了內存數據庫數據的正確性和可靠性。
[0066]顯然，本領域的技術人員應該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網絡上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現。這樣，本發(fā)明不限制于任何特定的硬件和軟件結合。
[0067]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。
【權利要求】
1.一種數據同步方法，其特征在于，包括: 在第一設備向第二設備進行數據同步完成后，所述第一設備接收所述第二設備發(fā)送的校驗信息，其中，所述校驗信息用于確定所述數據同步是否成功； 所述第一設備至少根據所述校驗信息判斷所述數據同步是否成功； 在所述數據同步失敗的情況下，所述第一設備向所述第二設備進行數據同步。
2.根據權利要求1所述的方法，其特征在于， 在所述第一設備和/或所述第二設備本地空閑的設備資源超過閾值的情況下，啟動所述數據同步方法；或者， 接收到啟動命令，啟動所述數據同步方法。
3.根據權利要求2所述的方法，其特征在于，所述設備包括以下至少之一:處理器資源、內存資源、帶寬資源、1資源。
4.根據權利要求1至3中任一項所述的方法，其特征在于， 在所述校驗信息包括數據版本號的情況下，所述第一設備根據所述校驗信息判斷所述數據同步是否成功包括: 所述第一設備判斷來自所述第二設備的數據版本號與所述第一設備的數據版本號是否相同，如果相同，則確定數據同步成功，如果不相同，則確定數據同步失敗。
5.根據權利要求1至3中任一項所述的方法，其特征在于， 在數據同步的是數據庫數據的情況下，所述校驗信息包括:所述第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，所述第一設備根據所述校驗信息判斷所述數據同步是否成功包括: 所述第一設備對本地存儲的與所述預定表對應的表中對應的記錄進行計算得到所述第一設備的校驗和； 所述第一設備判斷所述第二設備的校驗和與所述第一設備的校驗和是否相同，如果相同，確定數據同步成功，如果不相同，則確定數據同步失敗。
6.一種數據同步裝置，其特征在于，位于第一設備中，其特征在于，包括: 接收模塊，用于在第一設備向第二設備進行數據同步完成后，接收所述第二設備發(fā)送的校驗信息，其中，所述校驗信息用于確定所述數據同步是否成功； 判斷模塊，用于至少根據所述校驗信息判斷所述數據同步是否成功； 同步模塊，用于在所述數據同步失敗的情況下，向所述第二設備進行數據同步。
7.根據權利要求6所述的裝置，其特征在于，還包括: 啟動模塊，用于在所述第一設備和/或所述第二設備本地空閑的設備資源超過閾值的情況下，啟動所述數據同步裝置；或者，用于接收到啟動命令，啟動所述數據同步裝置。
8.根據權利要求7所述的裝置，其特征在于，所述設備資源包括以下至少之一:處理器資源、內存資源、帶寬資源、輸入輸出1資源。
9.根據權利要求6至8中任一項所述的裝置，其特征在于， 所述判斷模塊還用于在所述校驗信息包括數據版本號的情況下，判斷來自所述第二設備的數據版本號與所述第一設備的數據版本號是否相同，如果相同，則確定數據同步成功，如果不相同，則確定數據同步失敗。
10.根據權利要求6至8中任一項所述的裝置，其特征在于， 在數據同步的是數據庫數據的情況下，所述校驗信息包括:所述第二設備對數據庫中的預定表中的部分或全部記錄進行計算得到的校驗和，所述判斷模塊還用于對本地存儲的與所述預定表對應的表中對應的記錄進行計算得到所述第一設備的校驗和，判斷所述第二設備的校驗和與所述第一設備的校驗和是否相同，如果相同，在確定數據同步成功，如果不相同，則確定數據同步失敗。
【文檔編號】H04L29/08GK104426923SQ201310367360
【公開日】2015年3月18日 申請日期:2013年8月21日 優(yōu)先權日:2013年8月21日
【發(fā)明者】王奎, 張廣軍, 宋劼明 申請人:中興通訊股份有限公司