本發(fā)明涉及數(shù)據(jù)分析，具體涉及計(jì)算機(jī)應(yīng)用數(shù)據(jù)智能分析與決策方法及系統(tǒng)。

背景技術(shù)：

1、計(jì)算機(jī)應(yīng)用數(shù)據(jù)智能分析與決策是指利用計(jì)算機(jī)技術(shù)和人工智能算法對大量復(fù)雜數(shù)據(jù)進(jìn)行收集、處理、分析，從中提取有價值的信息，并根據(jù)分析結(jié)果輔助或直接完成決策的過程。這一過程結(jié)合了計(jì)算機(jī)的高效計(jì)算能力、數(shù)據(jù)科學(xué)的分析方法，以及智能算法（如機(jī)器學(xué)習(xí)、深度學(xué)習(xí)）對數(shù)據(jù)的洞察能力，從而提高決策的準(zhǔn)確性和效率。具體來說，數(shù)據(jù)智能分析與決策分為兩個關(guān)鍵環(huán)節(jié)：第一，數(shù)據(jù)智能分析，包括從各種來源（如數(shù)據(jù)庫、物聯(lián)網(wǎng)設(shè)備或網(wǎng)絡(luò)平臺）收集數(shù)據(jù)，使用統(tǒng)計(jì)學(xué)方法、數(shù)據(jù)挖掘工具或人工智能算法對數(shù)據(jù)進(jìn)行清洗、處理和模式識別，找出潛在規(guī)律或趨勢；第二，決策環(huán)節(jié)，基于分析結(jié)果，利用決策支持系統(tǒng)（dss）或自適應(yīng)模型，提供可行的建議或采取自動化決策措施。

2、現(xiàn)有技術(shù)存在以下不足之處：

3、隨著數(shù)據(jù)量的指數(shù)級增長和決策場景的多樣化，現(xiàn)有系統(tǒng)難以同時滿足實(shí)時分析與決策的要求。例如，在智能交通系統(tǒng)中，算法需要在毫秒級別處理多源視頻流和傳感器數(shù)據(jù)，以優(yōu)化交通燈控制和事故預(yù)防。當(dāng)前技術(shù)中許多模型的計(jì)算復(fù)雜度較高，導(dǎo)致決策滯后或無法滿足實(shí)時性需求。此外，實(shí)時性問題可能導(dǎo)致高風(fēng)險(xiǎn)場景中的延遲決策。例如，自動駕駛車輛如果無法及時決策，可能會導(dǎo)致嚴(yán)重交通事故。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種計(jì)算機(jī)應(yīng)用數(shù)據(jù)智能分析與決策方法及系統(tǒng)，以解決背景技術(shù)中不足。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：計(jì)算機(jī)應(yīng)用數(shù)據(jù)智能分析與決策方法，包括以下步驟：

3、s1：從多個數(shù)據(jù)源包括數(shù)據(jù)庫、物聯(lián)網(wǎng)設(shè)備、視頻流、傳感器網(wǎng)絡(luò)和網(wǎng)絡(luò)平臺實(shí)時采集原始數(shù)據(jù)，并對采集到的原始數(shù)據(jù)進(jìn)行預(yù)處理；

4、s2：基于分布式計(jì)算框架，將預(yù)處理后的數(shù)據(jù)分片分發(fā)至若干個計(jì)算節(jié)點(diǎn)，對各個計(jì)算節(jié)點(diǎn)不同類型的原始數(shù)據(jù)進(jìn)行特征提取，分別提取原始數(shù)據(jù)中的數(shù)據(jù)擴(kuò)展性特征及決策響應(yīng)延遲特征；

5、s3：基于深度學(xué)習(xí)模型，對原始數(shù)據(jù)中的數(shù)據(jù)擴(kuò)展性特征及決策響應(yīng)延遲特征進(jìn)行綜合分析，評估現(xiàn)有決策支持系統(tǒng)的時效性；

6、s4：基于分析結(jié)果，利用負(fù)載均衡策略在分布式計(jì)算框架中動態(tài)分配cpu/gpu節(jié)點(diǎn)，對于高負(fù)載節(jié)點(diǎn)，增加遷移任務(wù)。

7、優(yōu)選的，s2中，對原始數(shù)據(jù)中的數(shù)據(jù)擴(kuò)展性特征進(jìn)行分析后生成數(shù)據(jù)擴(kuò)展性指數(shù)，數(shù)據(jù)擴(kuò)展性指數(shù)的獲取方法為：

8、分析數(shù)據(jù)處理任務(wù)中并行執(zhí)行的部分，包括多節(jié)點(diǎn)處理的總數(shù)據(jù)量占比，通過運(yùn)行日志或任務(wù)分析工具估算并行比例f，根據(jù)系統(tǒng)中的實(shí)際計(jì)算節(jié)點(diǎn)數(shù)設(shè)置p，計(jì)算加速比，表達(dá)式為：；計(jì)算擴(kuò)展性指數(shù)，表達(dá)式為：；式中，hjk為數(shù)據(jù)擴(kuò)展性指數(shù)。

9、優(yōu)選的，s2中，對原始數(shù)據(jù)中的決策響應(yīng)延遲特征進(jìn)行分析后生成數(shù)據(jù)接收延遲指數(shù)，數(shù)據(jù)接收延遲指數(shù)的獲取方法為：

10、實(shí)際數(shù)據(jù)接收延遲的時間序列表示為：；為第n個時間點(diǎn)的實(shí)際接收延遲，系統(tǒng)的理想接收延遲的時間序列，表示為：；為第m個時間點(diǎn)的理想延遲，對于任意兩個點(diǎn)和，計(jì)算它們之間的距離，表達(dá)式為：；構(gòu)建累積成本矩陣d：

11、累積成本矩陣表示從到的最小累計(jì)對齊成本，遞歸計(jì)算公式為：；邊界條件：?d[0,0]=0,d[i,0]=∞,d[0,j]=∞；從累積成本矩陣的右下角(n,m)?回溯到左上角(1,1)，確定最優(yōu)對齊路徑p，路徑的每一(i,j)表示對齊了x的第i個點(diǎn)和y的第j個點(diǎn)，最小對齊成本：路徑的總成本計(jì)算表達(dá)式為：；計(jì)算路徑上的平均對齊成本，定義為數(shù)據(jù)接收延遲指數(shù)，表達(dá)式為：；其中，表示最優(yōu)路徑的長度。

12、優(yōu)選的，s3中，將數(shù)據(jù)擴(kuò)展性指數(shù)和數(shù)據(jù)接收延遲指數(shù)轉(zhuǎn)換為綜合特征向量，將綜合特征向量作為機(jī)器學(xué)習(xí)模型的輸入，機(jī)器學(xué)習(xí)模型以每組綜合特征向量預(yù)測現(xiàn)有決策支持系統(tǒng)的時效性值標(biāo)簽為預(yù)測目標(biāo)，以最小化對所有現(xiàn)有決策支持系統(tǒng)的時效性值標(biāo)簽的預(yù)測誤差之和作為訓(xùn)練目標(biāo)，對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，直至預(yù)測誤差之和達(dá)到收斂時停止模型訓(xùn)練，根據(jù)模型輸出結(jié)果確定現(xiàn)有決策支持系統(tǒng)的時效性值，其中，機(jī)器學(xué)習(xí)模型為多項(xiàng)式回歸模型。

13、優(yōu)選的，將獲取到的現(xiàn)有決策支持系統(tǒng)的時效性值與根據(jù)歷史數(shù)據(jù)預(yù)先設(shè)定的時效性參考閾值進(jìn)行比較，若現(xiàn)有決策支持系統(tǒng)的時效性值大于或等于預(yù)先設(shè)定的時效性參考閾值，說明現(xiàn)有決策支持系統(tǒng)的時效性高，不進(jìn)行額外處理；若現(xiàn)有決策支持系統(tǒng)的時效性值小于預(yù)先設(shè)定的時效性參考閾值，說明現(xiàn)有決策支持系統(tǒng)的時效性低，需要進(jìn)行負(fù)載均衡調(diào)整。

14、優(yōu)選的，s4中，基于分析結(jié)果，利用負(fù)載均衡策略在分布式計(jì)算框架中動態(tài)分配cpu/gpu節(jié)點(diǎn)，對于高負(fù)載節(jié)點(diǎn)，增加遷移任務(wù)，具體包括：

15、在分布式計(jì)算框架中，定期采集每個節(jié)點(diǎn)的實(shí)時負(fù)載、任務(wù)權(quán)重和計(jì)算能力，其中：；為節(jié)點(diǎn)i上運(yùn)行的任務(wù)數(shù)量，計(jì)算全局負(fù)載差異，表達(dá)式為：；通過遷移任務(wù)和動態(tài)分配資源，最小化；

16、確定高負(fù)載節(jié)點(diǎn)>和低負(fù)載節(jié)點(diǎn)<；為平均負(fù)載，根據(jù)動態(tài)資源分配公式，為高負(fù)載節(jié)點(diǎn)分配額外的計(jì)算資源，表達(dá)式為：；為節(jié)點(diǎn)i的調(diào)整后計(jì)算能力，為節(jié)點(diǎn)i動態(tài)增加的計(jì)算資源，k為分配比例因子，控制資源分配的靈敏度，從高負(fù)載節(jié)點(diǎn)i向低負(fù)載節(jié)點(diǎn)k遷移任務(wù)，并重新計(jì)算節(jié)點(diǎn)的負(fù)載指數(shù)，表達(dá)式為：。

17、優(yōu)選的，若分配資源后高負(fù)載仍存在，則從高負(fù)載節(jié)點(diǎn)遷移任務(wù)到低負(fù)載節(jié)點(diǎn)，遷移的任務(wù)總權(quán)重為，表達(dá)式為：；持續(xù)監(jiān)測負(fù)載均衡效果，直到全局負(fù)載差異收斂到設(shè)定閾值。

18、本發(fā)明還提供了計(jì)算機(jī)應(yīng)用數(shù)據(jù)智能分析與決策系統(tǒng)，包括數(shù)據(jù)采集模塊、分布式特征提取模塊，時效性分析模塊以及負(fù)載均衡與資源調(diào)度模塊；

19、數(shù)據(jù)采集模塊：從多個數(shù)據(jù)源包括數(shù)據(jù)庫、物聯(lián)網(wǎng)設(shè)備、視頻流、傳感器網(wǎng)絡(luò)和網(wǎng)絡(luò)平臺實(shí)時采集原始數(shù)據(jù)，并對采集到的原始數(shù)據(jù)進(jìn)行預(yù)處理；

20、分布式特征提取模塊：基于分布式計(jì)算框架，將預(yù)處理后的數(shù)據(jù)分片分發(fā)至若干個計(jì)算節(jié)點(diǎn)，對各個計(jì)算節(jié)點(diǎn)不同類型的原始數(shù)據(jù)進(jìn)行特征提取，分別提取原始數(shù)據(jù)中的數(shù)據(jù)擴(kuò)展性特征及決策響應(yīng)延遲特征；

21、時效性分析模塊：基于深度學(xué)習(xí)模型，對原始數(shù)據(jù)中的數(shù)據(jù)擴(kuò)展性特征及決策響應(yīng)延遲特征進(jìn)行綜合分析，評估現(xiàn)有決策支持系統(tǒng)的時效性；

22、負(fù)載均衡與資源調(diào)度模塊：基于分析結(jié)果，利用負(fù)載均衡策略在分布式計(jì)算框架中動態(tài)分配cpu/gpu節(jié)點(diǎn)，對于高負(fù)載節(jié)點(diǎn)，增加遷移任務(wù)。

23、在上述技術(shù)方案中，本發(fā)明提供的技術(shù)效果和優(yōu)點(diǎn)：

24、1、本發(fā)明通過引入智能化數(shù)據(jù)處理與優(yōu)化方法，有效解決了現(xiàn)有技術(shù)中因數(shù)據(jù)量指數(shù)級增長和場景多樣化導(dǎo)致的實(shí)時性不足問題。利用從多個數(shù)據(jù)源采集的實(shí)時數(shù)據(jù)，結(jié)合分布式計(jì)算框架，精準(zhǔn)提取數(shù)據(jù)擴(kuò)展性特征和決策響應(yīng)延遲特征，并通過深度學(xué)習(xí)模型綜合分析系統(tǒng)的時效性，提升了對復(fù)雜決策場景的評估能力。進(jìn)一步地，采用負(fù)載均衡策略對分布式系統(tǒng)中的計(jì)算資源進(jìn)行動態(tài)分配和任務(wù)遷移，顯著降低了高負(fù)載節(jié)點(diǎn)的壓力，優(yōu)化了系統(tǒng)的整體處理能力。

25、2、本發(fā)明通過數(shù)據(jù)擴(kuò)展性指數(shù)和數(shù)據(jù)接收延遲指數(shù)的量化分析，以及基于多項(xiàng)式回歸模型的時效性預(yù)測，實(shí)現(xiàn)了對決策支持系統(tǒng)運(yùn)行狀態(tài)的動態(tài)監(jiān)控與自適應(yīng)優(yōu)化。該方法不僅能夠在大規(guī)模數(shù)據(jù)處理中保持較高的計(jì)算效率，還能滿足高風(fēng)險(xiǎn)場景下對實(shí)時決策的嚴(yán)格需求，有效減少決策延遲帶來的潛在風(fēng)險(xiǎn)，提升了系統(tǒng)的穩(wěn)定性和可靠性，為智能化決策提供了重要支持。