本發(fā)明涉及硬盤故障預(yù)測(cè)，具體涉及硬盤故障預(yù)測(cè)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、硬盤故障嚴(yán)重影響數(shù)據(jù)安全和系統(tǒng)運(yùn)行效率，硬盤自檢程序，也即自我檢測(cè)、分析和報(bào)告技術(shù)(self-monitoring，analysis，and?reporting?technology，簡(jiǎn)稱：s.m.a.r.t.)是檢測(cè)硬盤健康狀況的常用方法，其數(shù)據(jù)集涵蓋硬盤運(yùn)行關(guān)鍵信息。

2、相關(guān)技術(shù)中，硬盤故障預(yù)測(cè)主要依賴于s.m.a.r.t.數(shù)據(jù)集中的評(píng)價(jià)指標(biāo)，但這些指標(biāo)的分析依賴經(jīng)驗(yàn)和人為閾值，存在不足。利用機(jī)器學(xué)習(xí)技術(shù)進(jìn)行硬盤故障預(yù)測(cè)成為重要研究方向，通過運(yùn)用機(jī)器學(xué)習(xí)技術(shù)對(duì)大規(guī)模的s.m.a.r.t.數(shù)據(jù)集進(jìn)行處理和分析，可以實(shí)現(xiàn)對(duì)硬盤故障的預(yù)測(cè)。

3、然而，在實(shí)際應(yīng)用中，由于硬盤故障率低且故障通常在長(zhǎng)期運(yùn)行后發(fā)生，因此很難收集到足夠的硬盤故障數(shù)據(jù)，機(jī)器學(xué)習(xí)在數(shù)據(jù)量不足的情況下難以有效提取出硬盤故障的關(guān)鍵特征，導(dǎo)致硬盤故障預(yù)測(cè)的準(zhǔn)確率較低。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種硬盤故障預(yù)測(cè)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)中由于很難收集到足夠的硬盤故障數(shù)據(jù)，機(jī)器學(xué)習(xí)在數(shù)據(jù)量不足的情況下難以有效提取出硬盤故障的關(guān)鍵特征，導(dǎo)致硬盤故障診斷的準(zhǔn)確率較低的問題。

2、第一方面，本發(fā)明提供了一種硬盤故障預(yù)測(cè)方法，所述方法包括：

3、獲取開源訓(xùn)練集；其中，所述開源訓(xùn)練集包括多種不同類型硬盤的基礎(chǔ)運(yùn)行數(shù)據(jù)，所述基礎(chǔ)運(yùn)行數(shù)據(jù)至少包括硬盤在運(yùn)行過程中產(chǎn)生的硬盤自檢數(shù)據(jù)和硬盤性能數(shù)據(jù)；

4、基于所述開源訓(xùn)練集，對(duì)初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型；

5、將所述預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)遷移到目標(biāo)模型，以將所述預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)作為所述目標(biāo)模型的目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)模型參數(shù)；

6、獲取待檢測(cè)硬盤在歷史運(yùn)行過程中產(chǎn)生的歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)；

7、以所述歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)為目標(biāo)訓(xùn)練集，所述待檢測(cè)硬盤的故障狀態(tài)為標(biāo)簽，對(duì)所述目標(biāo)模型進(jìn)行訓(xùn)練，以獲得硬盤故障預(yù)測(cè)模型；

8、獲取待檢測(cè)硬盤在當(dāng)前運(yùn)行過程中產(chǎn)生的當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)；

9、將所述當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)輸入硬盤故障預(yù)測(cè)模型，以基于所述硬盤故障預(yù)測(cè)模型，根據(jù)所述當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)，確定所述待檢測(cè)硬盤的故障預(yù)測(cè)結(jié)果。

10、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過獲取開源訓(xùn)練集，基于開源訓(xùn)練集，對(duì)初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型，將預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)遷移到目標(biāo)模型，以將預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)作為目標(biāo)模型的目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)模型參數(shù)，獲取待檢測(cè)硬盤在歷史運(yùn)行過程中產(chǎn)生的歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)；以歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)為目標(biāo)訓(xùn)練集，待檢測(cè)硬盤的故障狀態(tài)為標(biāo)簽，對(duì)目標(biāo)模型進(jìn)行訓(xùn)練，以獲得硬盤故障預(yù)測(cè)模型；獲取待檢測(cè)硬盤在當(dāng)前運(yùn)行過程中產(chǎn)生的當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)；將當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)輸入硬盤故障預(yù)測(cè)模型，以基于硬盤故障預(yù)測(cè)模型，根據(jù)當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)，確定待檢測(cè)硬盤的故障預(yù)測(cè)結(jié)果。通過將深度學(xué)習(xí)模型在大量的訓(xùn)練樣本中學(xué)到的知識(shí)應(yīng)用于僅有少量訓(xùn)練樣本的實(shí)際應(yīng)用中，重復(fù)利用深度學(xué)習(xí)模型中具有泛用性的部分特征和參數(shù)，減少了建立硬盤故障預(yù)測(cè)模型所需要訓(xùn)練的參數(shù)量，從而大幅度提升硬盤故障預(yù)測(cè)模型在小樣本條件下的特征學(xué)習(xí)能力，提高了硬盤故障預(yù)測(cè)的準(zhǔn)確率。

11、在一種可選的實(shí)施方式中，在基于所述開源訓(xùn)練集，對(duì)初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型之前，所述方法還包括：

12、對(duì)所述開源訓(xùn)練集中的多種不同類型硬盤的基礎(chǔ)運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

13、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過對(duì)開源訓(xùn)練集中的多種不同類型硬盤的基礎(chǔ)運(yùn)行數(shù)據(jù)，保證基礎(chǔ)運(yùn)行數(shù)據(jù)的質(zhì)量，進(jìn)而保證了開源訓(xùn)練集的數(shù)據(jù)準(zhǔn)確性，提高硬盤故障預(yù)測(cè)模型的準(zhǔn)確性和穩(wěn)定性。

14、在一種可選的實(shí)施方式中，所述對(duì)所述開源訓(xùn)練集中的多種不同類型硬盤的基礎(chǔ)運(yùn)行數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，包括：

15、若所述基礎(chǔ)運(yùn)行數(shù)據(jù)中存在數(shù)據(jù)缺失情況，則對(duì)缺失的數(shù)據(jù)進(jìn)行填充；

16、若所述基礎(chǔ)運(yùn)行數(shù)據(jù)中存在數(shù)據(jù)異常情況，則對(duì)異常的數(shù)據(jù)進(jìn)行修正；

17、若所述基礎(chǔ)運(yùn)行數(shù)據(jù)中存在數(shù)據(jù)重復(fù)情況，則對(duì)重復(fù)的數(shù)據(jù)進(jìn)行刪除。

18、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過根據(jù)基礎(chǔ)運(yùn)行數(shù)據(jù)中存在的各種情況，采取對(duì)應(yīng)的措施以保證數(shù)據(jù)的準(zhǔn)確性，進(jìn)而保證了開源訓(xùn)練集的數(shù)據(jù)準(zhǔn)確性，提高硬盤故障預(yù)測(cè)模型的準(zhǔn)確性和穩(wěn)定性。

19、在一種可選的實(shí)施方式中，所述基于所述開源訓(xùn)練集，對(duì)初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型，包括：

20、針對(duì)所述開源訓(xùn)練集中的任一基礎(chǔ)運(yùn)行數(shù)據(jù)，若獲取到所述基礎(chǔ)運(yùn)行數(shù)據(jù)之后的預(yù)設(shè)時(shí)間段內(nèi)，所述基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤未發(fā)生故障，則確定所述基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤的故障狀態(tài)為健康狀態(tài)；

21、若獲取到所述基礎(chǔ)運(yùn)行數(shù)據(jù)之后的預(yù)設(shè)時(shí)間段內(nèi)，所述基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤發(fā)生過故障，則確定所述基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤的故障狀態(tài)為即將故障狀態(tài)；

22、基于所述開源訓(xùn)練集，以所述開源訓(xùn)練集中的基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤的故障狀態(tài)為標(biāo)簽，對(duì)所述初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型。

23、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過引入基礎(chǔ)運(yùn)行數(shù)據(jù)作為訓(xùn)練集，并根據(jù)預(yù)設(shè)時(shí)間段內(nèi)的實(shí)際故障情況標(biāo)注標(biāo)簽，可以更準(zhǔn)確地訓(xùn)練初始深度學(xué)習(xí)模型。這種基于真實(shí)運(yùn)行環(huán)境的數(shù)據(jù)收集和標(biāo)注方法，能夠使模型更好地學(xué)習(xí)硬盤在不同狀態(tài)下表現(xiàn)出來的特征，從而提高故障預(yù)測(cè)的準(zhǔn)確性。

24、在一種可選的實(shí)施方式中，所述基于所述開源訓(xùn)練集，以所述開源訓(xùn)練集中的基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的硬盤的故障狀態(tài)為標(biāo)簽，對(duì)所述初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型，包括：

25、將所述基礎(chǔ)運(yùn)行數(shù)據(jù)輸入初始深度學(xué)習(xí)模型，以基于所述初始深度學(xué)習(xí)模型，根據(jù)所述基礎(chǔ)運(yùn)行數(shù)據(jù)，確定輸出結(jié)果；

26、將所述輸出結(jié)果和所述基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽輸入預(yù)設(shè)損失函數(shù)，獲得損失值；

27、基于所述損失值，更新所述初始深度學(xué)習(xí)模型的模型參數(shù)，繼續(xù)基于所述開源訓(xùn)練集進(jìn)行訓(xùn)練，直至達(dá)到初始深度學(xué)習(xí)模型訓(xùn)練終止條件，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型。

28、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過基于損失值動(dòng)態(tài)調(diào)整模型參數(shù)，使得模型能夠在訓(xùn)練過程中不斷改進(jìn)自身的預(yù)測(cè)能力。每一次參數(shù)更新都是對(duì)模型的一次優(yōu)化，使其逐漸逼近最佳預(yù)測(cè)性能。這種動(dòng)態(tài)調(diào)整機(jī)制能夠確保模型在面對(duì)復(fù)雜多變的硬盤數(shù)據(jù)時(shí)依然保持高精度的預(yù)測(cè)能力。

29、在一種可選的實(shí)施方式中，所述預(yù)設(shè)損失函數(shù)為：

30、

31、其中，l為損失值，n為開源訓(xùn)練集中包括的基礎(chǔ)運(yùn)行數(shù)據(jù)的數(shù)量，y(i)為第i條基礎(chǔ)運(yùn)行數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽，為第i條基礎(chǔ)運(yùn)行數(shù)據(jù)輸入初始深度學(xué)習(xí)模型獲得的輸出結(jié)果。

32、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過利用預(yù)設(shè)損失函數(shù)確定損失值，直接衡量了模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的差異，通過最小化這個(gè)差異，模型能夠精確地學(xué)習(xí)到硬盤在不同狀態(tài)下表現(xiàn)出來的特征，從而提升預(yù)測(cè)準(zhǔn)確性。

33、在一種可選的實(shí)施方式中，所述目標(biāo)模型包括基于對(duì)抗的領(lǐng)域自適應(yīng)模塊和基于注意力機(jī)制的擠壓與激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)層，其中，所述基于對(duì)抗的領(lǐng)域自適應(yīng)模塊用于基于開源訓(xùn)練集的數(shù)據(jù)分布對(duì)目標(biāo)訓(xùn)練集進(jìn)行調(diào)整，以消除開源訓(xùn)練集的數(shù)據(jù)分布與目標(biāo)訓(xùn)練集的數(shù)據(jù)分布之間的差異，所述基于注意力機(jī)制的擠壓與激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)層用于為目標(biāo)訓(xùn)練集對(duì)應(yīng)的特征進(jìn)行加權(quán)處理；所述以所述歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)為目標(biāo)訓(xùn)練集，所述待檢測(cè)硬盤的故障狀態(tài)為標(biāo)簽，對(duì)所述目標(biāo)模型進(jìn)行訓(xùn)練，以獲得硬盤故障預(yù)測(cè)模型，包括：

34、凍結(jié)所述目標(biāo)模型中除了基于注意力機(jī)制的擠壓與激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)層之外的其他模塊和其他層的目標(biāo)模型參數(shù)和目標(biāo)模型結(jié)構(gòu)；

35、針對(duì)所述目標(biāo)訓(xùn)練集中的任一訓(xùn)練樣本，若獲取到所述訓(xùn)練樣本之后的預(yù)設(shè)時(shí)間段內(nèi)，所述待檢測(cè)硬盤未發(fā)生故障，則確定所述訓(xùn)練樣本對(duì)應(yīng)的標(biāo)簽為健康狀態(tài)，其中，所述訓(xùn)練樣本包括歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)；

36、若獲取到所述訓(xùn)練樣本之后的預(yù)設(shè)時(shí)間段內(nèi)，所述待檢測(cè)硬盤發(fā)生過故障，則確定所述訓(xùn)練樣本對(duì)應(yīng)的標(biāo)簽為即將故障狀態(tài)；

37、基于所述目標(biāo)訓(xùn)練集和所述目標(biāo)訓(xùn)練集中訓(xùn)練樣本對(duì)應(yīng)的標(biāo)簽，對(duì)所述目標(biāo)模型進(jìn)行訓(xùn)練，以調(diào)整所述目標(biāo)模型中的基于注意力機(jī)制的擠壓與激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)層的目標(biāo)模型參數(shù)；

38、在目標(biāo)模型的訓(xùn)練達(dá)到目標(biāo)模型訓(xùn)練終止條件的情況下，獲得硬盤故障預(yù)測(cè)模型。

39、本實(shí)施例提供的硬盤故障預(yù)測(cè)方法，通過引入基于對(duì)抗的鄰域自適應(yīng)模塊，能夠消除開源訓(xùn)練集和目標(biāo)訓(xùn)練集之間的數(shù)據(jù)分布差異，這有助于提高模型在不同環(huán)境和不同硬盤類型下的泛化能力，使得模型能夠更好地適應(yīng)待檢測(cè)硬盤的目標(biāo)訓(xùn)練集的數(shù)據(jù)分布，使得從開源訓(xùn)練集學(xué)到的知識(shí)可以更有效地遷移到目標(biāo)訓(xùn)練集，減少了對(duì)待檢測(cè)硬盤的大量的訓(xùn)練數(shù)據(jù)的需求。通過基于注意力機(jī)制的擠壓與激勵(lì)卷積神經(jīng)網(wǎng)絡(luò)層對(duì)目標(biāo)訓(xùn)練集對(duì)應(yīng)的特征進(jìn)行加權(quán)處理，能夠突出重要的特征信息，抑制不重要的特征，進(jìn)而提高硬盤故障預(yù)測(cè)的準(zhǔn)確性。

40、第二方面，本發(fā)明提供了一種硬盤故障預(yù)測(cè)裝置，所述裝置包括：

41、第一獲取模塊，用于獲取開源訓(xùn)練集；其中，所述開源訓(xùn)練集包括多種不同類型硬盤的基礎(chǔ)運(yùn)行數(shù)據(jù)，所述基礎(chǔ)運(yùn)行數(shù)據(jù)至少包括硬盤在運(yùn)行過程中產(chǎn)生的硬盤自檢數(shù)據(jù)和硬盤性能數(shù)據(jù)；

42、預(yù)訓(xùn)練模塊，用于基于所述開源訓(xùn)練集，對(duì)初始深度學(xué)習(xí)模型進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練深度學(xué)習(xí)模型；

43、遷移模塊，用于將所述預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)遷移到目標(biāo)模型，以將所述預(yù)訓(xùn)練深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)和模型參數(shù)作為所述目標(biāo)模型的目標(biāo)網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)模型參數(shù)；

44、第二獲取模塊，用于獲取待檢測(cè)硬盤在歷史運(yùn)行過程中產(chǎn)生的歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)；

45、第三獲取模塊，用于以所述歷史硬盤自檢數(shù)據(jù)和歷史硬盤性能數(shù)據(jù)為目標(biāo)訓(xùn)練集，所述待檢測(cè)硬盤的故障狀態(tài)為標(biāo)簽，對(duì)所述目標(biāo)模型進(jìn)行訓(xùn)練，以獲得硬盤故障預(yù)測(cè)模型；

46、第四獲取模塊，用于獲取待檢測(cè)硬盤在當(dāng)前運(yùn)行過程中產(chǎn)生的當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)；

47、第一確定模塊，用于將所述當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)輸入硬盤故障預(yù)測(cè)模型，以基于所述硬盤故障預(yù)測(cè)模型，根據(jù)所述當(dāng)前硬盤自檢數(shù)據(jù)和當(dāng)前硬盤性能數(shù)據(jù)，確定所述待檢測(cè)硬盤的故障預(yù)測(cè)結(jié)果。

48、第三方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器和處理器，存儲(chǔ)器和處理器之間互相通信連接，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)指令，處理器通過執(zhí)行計(jì)算機(jī)指令，從而執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的硬盤故障預(yù)測(cè)方法。

49、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的硬盤故障預(yù)測(cè)方法。

50、第五方面，本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述第一方面或其對(duì)應(yīng)的任一實(shí)施方式的硬盤故障預(yù)測(cè)方法。