本發(fā)明涉及數(shù)字信息,具體為云計算的數(shù)字信息采集方法、系統(tǒng)、裝置及介質(zhì)。
背景技術(shù):
1、在當(dāng)前工業(yè)監(jiān)測、智慧城市、環(huán)境感知等應(yīng)用場景中,通常需要通過分布式設(shè)備持續(xù)采集大量數(shù)字信息,并將采集數(shù)據(jù)實時或周期性上傳至云計算平臺進(jìn)行處理與分析。
2、經(jīng)檢索,中國專利(公開號:cn109597838a)公開了一種基于云計算和數(shù)據(jù)挖掘的信息采集系統(tǒng)及方法,該專利包括:電源模塊、掃描模塊、故障檢測模塊、中央控制模塊、網(wǎng)絡(luò)通信模塊、數(shù)據(jù)挖掘模塊、資源調(diào)度模塊、時鐘模塊、報警模塊、打印模塊、數(shù)據(jù)存儲模塊、顯示模塊。通過數(shù)據(jù)挖掘模塊確定具有內(nèi)聚特性的標(biāo)識數(shù)據(jù)以形成內(nèi)聚集合后,各個內(nèi)聚集合之間并行發(fā)掘在相同內(nèi)聚集合中具有深層關(guān)聯(lián)關(guān)系的標(biāo)識數(shù)據(jù)。
3、現(xiàn)有的數(shù)字信息采集系統(tǒng)大多采用固定邏輯將不同類別的數(shù)據(jù)直接上傳云平臺或分配至本地處理,但在帶寬資源受限、網(wǎng)絡(luò)波動頻繁或數(shù)據(jù)特征變化劇烈的情況下,常難以實現(xiàn)對異常數(shù)據(jù)的快速識別與資源的合理調(diào)配,影響整體系統(tǒng)的穩(wěn)定性與智能水平。
4、特別是在面對多源異構(gòu)數(shù)字信息并發(fā)傳輸時,現(xiàn)有方案較少引入對數(shù)據(jù)質(zhì)量、偏差程度、任務(wù)優(yōu)先級等因素的綜合動態(tài)判斷機(jī)制,因此在異常數(shù)據(jù)突發(fā)、帶寬競爭激烈或本地計算能力受限的場景下,難以保障關(guān)鍵數(shù)據(jù)傳輸?shù)募皶r性與準(zhǔn)確性,也無法靈活優(yōu)化資源使用效率。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供了云計算的數(shù)字信息采集方法、系統(tǒng)、裝置及介質(zhì),以解決上述背景技術(shù)中提到的問題。
2、本發(fā)明可以通過以下技術(shù)方案實現(xiàn):云計算的數(shù)字信息采集系統(tǒng),包括云計算層和本地層;
3、本地層包括數(shù)據(jù)傳輸模塊、多個信息采集模塊、本地計算模塊、分流模塊;
4、各個信息采集模塊分別用于采集一組數(shù)字信息;
5、分流模塊包括判斷單元和設(shè)置單元,設(shè)置單元用于預(yù)設(shè)各組數(shù)字信息的重要性等級和分類判斷條件,分類判斷條件包括各組數(shù)字信息的傳輸數(shù)量閾值、傳輸波動閾值、界限閾值和間隔閾值;
6、數(shù)據(jù)傳輸模塊基于不同數(shù)字信息的重要性等級,對各個數(shù)字信息預(yù)設(shè)有對應(yīng)范圍的傳輸帶寬;
7、通過設(shè)置各組數(shù)字信息的重要性等級,本地層在初始階段直接將各個數(shù)字信息基于不同的計算需求劃分成云平臺計算和本地計算兩種數(shù)字信息種類;
8、云平臺計算的數(shù)字信息經(jīng)對應(yīng)的信息采集模塊采集后,經(jīng)判斷單元判斷,符合預(yù)設(shè)的重要性等級后,經(jīng)數(shù)據(jù)傳輸模塊上傳至云計算層;
9、本地計算數(shù)字信息經(jīng)對應(yīng)的信息采集模塊采集后,經(jīng)判斷單元判斷,符合預(yù)設(shè)的重要性等級和分類判斷條件,則傳輸至本地計算模塊,先進(jìn)行本地計算,再將計算結(jié)果結(jié)合所采集數(shù)字信息的通過數(shù)據(jù)傳輸模塊上傳至云計算層;
10、當(dāng)本地計算數(shù)字信息經(jīng)判斷單元判斷,不符合分類判斷條件時(即數(shù)字信息的傳輸數(shù)量相較于傳輸數(shù)量閾值過大或者過小,傳輸波動大于傳輸波動閾值,數(shù)字信息的數(shù)值大小相較于界限閾值過大或者過小,或傳輸間隔大于間隔閾值中任一項情況發(fā)生時),判斷單元將該本地計算數(shù)字信息標(biāo)記為異常信息,并將其通過數(shù)據(jù)傳輸模塊上傳至云計算層,將本地計算轉(zhuǎn)為云平臺計算;
11、并且判斷單元通過公式計算異常信息與其分類判斷條件的偏差程度,并根據(jù)偏差程度計算生成該數(shù)字信息對應(yīng)的異常等級;
12、式中,、、和分別為對應(yīng)項的權(quán)重系數(shù),并且+++=1;
13、為異常信息中傳輸數(shù)量與傳輸數(shù)量閾值之間的偏差程度;
14、為異常信息中傳輸波動與傳輸波動閾值之間的偏差程度;
15、為異常信息中數(shù)值大小與界限閾值(如上、下限)之間的偏差程度;
16、為異常信息中傳輸間隔與間隔閾值之間的偏差程度;
17、分流模塊基于該異常信息的異常等級,動態(tài)調(diào)整其余數(shù)字信息的傳輸帶寬。
18、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:所述數(shù)據(jù)傳輸模塊中設(shè)有異常等級-帶寬需求映射表,用于存儲各異常等級對應(yīng)的帶寬需求。
19、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:數(shù)據(jù)傳輸模塊對各個數(shù)字信息分配傳輸帶寬時,對其預(yù)留有可調(diào)度的讓渡部分帶寬,用于帶寬動態(tài)調(diào)配;
20、在調(diào)配傳輸帶寬時,數(shù)據(jù)傳輸模塊先計算各個數(shù)字信息中的讓渡部分帶寬是否符合異常信息對應(yīng)的帶寬需求。
21、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:在各個數(shù)字信息中的讓渡部分帶寬符合異常信息對應(yīng)的帶寬需求時,則按各個數(shù)字信息的重要等級,從低至高依次調(diào)用對應(yīng)的讓渡部分帶寬,直至滿足異常信息的帶寬需求。
22、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:在各個數(shù)字信息中的讓渡部分帶寬不符合異常信息對應(yīng)的帶寬需求時,則數(shù)據(jù)傳輸模塊將本地計算數(shù)字信息轉(zhuǎn)為周期性傳輸,在本地計算數(shù)字信息未處于傳輸周期的時間段內(nèi),讓出其對應(yīng)時間段的帶寬,并優(yōu)先補(bǔ)給異常信息的帶寬需求,同時數(shù)據(jù)傳輸模塊將剩余的帶寬需求按云計算數(shù)字信息的重要性,從低至高調(diào)取至對應(yīng)重要性等級的讓渡部分帶寬。
23、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:在云計算數(shù)字信息的讓渡部分帶寬不滿足異常信息剩余的帶寬需求時,則按云計算數(shù)字信息的重要性等級,從低至高釋放對應(yīng)的傳輸帶寬,用于補(bǔ)給異常信息的帶寬需求;
24、并且云計算數(shù)字信息在釋放帶寬時,云計算數(shù)字信息自身所使用的帶寬不低于預(yù)設(shè)范圍的最低值。
25、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:當(dāng)本地計算數(shù)字信息進(jìn)入其傳輸時間段時,數(shù)據(jù)傳輸模塊優(yōu)先將本地計算數(shù)字信息所需的帶寬從云計算數(shù)字信息的帶寬中調(diào)取,同樣在云計算數(shù)字信息釋放帶寬時,其需將其所使用帶寬保持在不低于預(yù)設(shè)的最低值。
26、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:各個云計算數(shù)字信息將其帶寬釋放至預(yù)設(shè)的最低值后,釋放出的帶寬按本地計算數(shù)字信息的重要性等級,從高至低依次分配,并且分配時,滿足本地計算數(shù)字信息預(yù)設(shè)帶寬范圍的最低值;
27、若重要性等級靠后的本地計算數(shù)字信息的分配的帶寬無法滿足其預(yù)設(shè)范圍的最低值時,則該本地計算數(shù)字信息不執(zhí)行當(dāng)前周期,推遲至下次調(diào)度周期。
28、本發(fā)明的進(jìn)一步技術(shù)改進(jìn)在于:本地層將本地計算數(shù)字信息按推遲調(diào)取周期的次數(shù),提升其臨時重要性等級,并且通過設(shè)置的等級閾值,臨時將其調(diào)整為云計算數(shù)字信息。
29、本發(fā)明還公開了云計算的數(shù)字信息采集方法,該方法包括以下步驟:
30、s1、分流模塊基于數(shù)字信息的重要性等級與計算需求,將數(shù)字信息劃分為云平臺計算與本地計算;
31、s2、云平臺計算的數(shù)字信息,經(jīng)信息采集模塊采集后,經(jīng)判斷單元判斷符合重要性等級,由數(shù)據(jù)傳輸模塊上傳至云計算層;
32、本地計算數(shù)字信息,若同時滿足重要性等級與分類判斷條件,則傳輸至本地計算模塊執(zhí)行本地計算;
33、所得計算結(jié)果連同原始數(shù)字信息一并通過數(shù)據(jù)傳輸模塊上傳至云平臺;
34、若本地計算類型的數(shù)字信息不滿足分類判斷條件,則標(biāo)記為異常信息并通過數(shù)據(jù)傳輸模塊上傳至云計算層;
35、s3、判斷單元基于異常信息的實際數(shù)值與判斷條件之間的偏差程度,計算異常等級,并且分流模塊依據(jù)異常等級,結(jié)合預(yù)設(shè)的“異常等級-帶寬需求映射表”,確定當(dāng)前異常信息所需的帶寬需求;
36、s4、數(shù)據(jù)傳輸模塊檢查所有數(shù)字信息的讓渡部分帶寬是否滿足該帶寬需求,若滿足,則按各數(shù)字信息的重要性等級由低至高依次調(diào)用對應(yīng)的讓渡部分帶寬進(jìn)行帶寬調(diào)配;
37、s5、若讓渡部分帶寬仍不足,則數(shù)據(jù)傳輸模塊將部分本地計算數(shù)字信息轉(zhuǎn)為周期性傳輸任務(wù),并釋放其非傳輸周期內(nèi)對應(yīng)時間段的傳輸帶寬,以優(yōu)先補(bǔ)給異常信息的帶寬;
38、剩余的帶寬需求,則按云計算數(shù)字信息的重要性等級從低至高依次調(diào)用其讓渡部分帶寬資源;
39、s6、若云計算任務(wù)的讓渡部分帶寬仍無法滿足異常信息的帶寬需求,則按照其重要性等級從低至高,動態(tài)壓縮其當(dāng)前傳輸帶寬至其預(yù)設(shè)傳輸帶寬的最低值;
40、在保障不低于最低值的前提下釋放帶寬,補(bǔ)給至異常信息的帶寬使用。
41、同時,本發(fā)明還公開了云計算的數(shù)字信息采集介質(zhì),該數(shù)字信息采集介質(zhì)用于承載上述云計算的數(shù)字信息采集系統(tǒng)中本地層的數(shù)據(jù)傳輸模塊、多個信息采集模塊、本地計算模塊和分流模塊。
42、另一方面,本發(fā)明還公開了云計算的數(shù)字信息裝置,該數(shù)字信息采集裝置用于承載上述的云計算的數(shù)字信息采集介質(zhì),并通過上述的數(shù)字信息采集方法進(jìn)行工作。
43、與現(xiàn)有技術(shù)相比,本發(fā)明具備以下有益效果:
44、本發(fā)明通過設(shè)置本地層的分流模塊、判斷單元和數(shù)據(jù)傳輸模塊,結(jié)合多維分類判斷條件,實現(xiàn)了對本地計算數(shù)據(jù)是否異常的自動識別,并在檢測到異常數(shù)據(jù)后,將本地計算動態(tài)切換為云平臺計算,保障了異常信息處理的及時性和準(zhǔn)確性。
45、進(jìn)一步地,本發(fā)明通過構(gòu)建異常等級-帶寬需求映射關(guān)系,在識別出異常信息后,可基于其異常等級動態(tài)分配系統(tǒng)中有限的帶寬資源,并優(yōu)先保障高等級異常信息的帶寬占用需求,從而在網(wǎng)絡(luò)資源受限或異常信息密集場景下實現(xiàn)更合理、更智能的資源調(diào)度策略。
46、此外,本發(fā)明還通過對帶寬預(yù)留機(jī)制、任務(wù)讓渡機(jī)制及帶寬下限保護(hù)機(jī)制的集成,實現(xiàn)了本地與云端數(shù)據(jù)任務(wù)間的協(xié)同讓渡、推遲與遷移機(jī)制,增強(qiáng)了系統(tǒng)對于多任務(wù)并發(fā)和動態(tài)突發(fā)情況下的調(diào)度能力,在保障系統(tǒng)穩(wěn)定運(yùn)行的同時提高了整體數(shù)據(jù)處理的靈活性與資源利用效率。