一種基于共識選擇技術的紅外光譜建模方法
【專利摘要】本發(fā)明公開了一種基于共識選擇技術的紅外光譜建模方法，步驟包括：根據(jù)樣品的原始紅外光譜數(shù)據(jù)構建多個不同階次的導數(shù)光譜空間；在的多個不同階次的導數(shù)光譜空間中，構建各自的校正集；利用共識選擇技術對各個導數(shù)光譜空間中的校正集進行處理，獲得基本校正集；根據(jù)的基本校正集對不同階次的導數(shù)光譜空間中剩余的樣本進行處理，獲得擴展校正集；的基本校正集和擴展校正集形成最終校正集；并利用該最終校正集及驗證集進行回歸建模。本發(fā)明通過構建多個不同階次的導數(shù)光譜空間，然后利用共識選擇技術在不同階次的導數(shù)光譜空間進行校正集劃分，使得由基本校正集和擴展校正集形成的最終校正集用于進行回歸建模，模型的預測精度高，穩(wěn)定性好。
【專利說明】
一種基于共識選擇技術的紅外光譜建模方法
技術領域
[0001] 本發(fā)明涉及一種基于共識選擇技術的紅外光譜建模方法，屬于光譜分析技術領 域。
【背景技術】
[0002] 多元校正方法廣泛地應用于光譜定量分析領域。在多元校正過程中最常用的方法 是PLS(偏最小二乘）回歸，其模型的性能很大程度上依賴于校正集的質量。而選取信息量豐 富且具有代表性的樣本作為校正集是一個具有挑戰(zhàn)性的難題。
[0003] 目前，已經(jīng)有幾種經(jīng)典的選取和構建校正集的方法，主要分為兩大類，一類是聚類 分析，另一類是一致化設計。聚類分析的目標首先是對樣本集依據(jù)一定規(guī)則進行聚類，依據(jù) 聚類的結果選取具有代表性的樣本。而一致性原則要求選取的樣本盡量均勻的覆蓋整個樣 本集空間。Kennard-Stone(KS)法是應用最為廣泛的經(jīng)典校正集選擇方法。KS方法的目標是 通過計算樣本光譜數(shù)據(jù)空間的歐氏距離使其選出的樣本盡可能的按照空間距離能夠均勻 地覆蓋整個樣本集區(qū)域。它的選擇原則可以確保X空間的樣本集的均勻分布。距離樣本集的 均值最近的樣本視為最具有代表性的樣本，作為第一個樣本入選校正集。算法中計算每對 樣本間X向量之間的歐式距離dx(m,η)，計算公式如下：
[0004]
m ji G [l,iV]
[0005] 對于光譜數(shù)據(jù)來說，Xm(j)和Xn(j)分別表示樣本m和η在第j點的波長或波數(shù)。j表示 波長數(shù)目或光譜的波數(shù)。具體操作步驟為：
[0006] 步驟1，，計算兩兩樣本之間空間距離，選擇距離最大的兩個樣本進入校正集；
[0007] 步驟2,分別計算剩余的樣本與已入選校正集的兩個樣本之間的空間距離；
[0008] 步驟3,對于每個剩余樣本而言，其與已入選校正集樣品之間的最短距離被選擇， 然后選擇這些最短距離中相對最長的距離所對應的樣本，作為第三個樣本；
[0009] 步驟4，重復步驟3，直至獲得指定數(shù)量的樣本。
[0010]但是，上述的校正集選擇方法僅僅是在單一的光譜空間進行，導致所建立的定量 分析模型的性能對單一光譜空間質量的依賴性很強，而且在校正集的劃分過程中存在對樣 本光譜信息挖掘不足的問題(比如有些強度較弱的光譜特征峰檢測不到），從而導致最終建 立的定量分析模型的預測精度較低，穩(wěn)定性較差。
[0011]另外，導數(shù)光譜方法是經(jīng)典的光譜處理分析方法，導數(shù)光譜能夠挖掘原始光譜中 細節(jié)、微小的信息，能夠區(qū)別重疊峰。導數(shù)光譜已經(jīng)成功的應用到復雜混合物的定性、定量 分析中。然而，現(xiàn)有的導數(shù)方法是一個經(jīng)典的病態(tài)難題，也就是說，原始光譜中小的噪聲和 誤差會在導數(shù)光譜空間被放大。因此，一個里程碑式的方法Savitzky-Golay (SG)算法被提 出來計算信號的導數(shù)，并得到了廣泛的應用，尤其是在光譜分析等領域。但是，SG算法在使 用過程中需要對多項式階次、求導窗口寬度、導數(shù)階次等參數(shù)進行選擇和優(yōu)化，導數(shù)光譜的 質量很大程度上依賴于參數(shù)選擇，導數(shù)光譜的質量難以得到客觀的保障，基于這些導數(shù)光 譜空間形成的校正集會存在劃分不夠客觀、合理的情況，進而導致最終建立的定量分析模 型的預測精度較低，穩(wěn)定性較差。

【發(fā)明內容】

[0012] 本發(fā)明的目的在于，提供一種基于共識選擇技術的紅外光譜建模方法，以解決上 述【背景技術】中提到的缺點，尤其是校正集選擇方法僅僅在單一的光譜空間進行，導致所建 立的定量分析模型的性能對單一光譜空間質量的依賴性很強，而且在校正集的劃分過程中 存在對樣本光譜信息挖掘不足的問題(比如有些強度較弱的光譜特征峰檢測不到），從而導 致最終建立的定量分析模型的預測精度較低，穩(wěn)定性較差的缺陷。
[0013] 為解決上述技術問題，本發(fā)明采用如下的技術方案：一種基于共識選擇技術的紅 外光譜建模方法，包括以下步驟：
[0014] Sl.根據(jù)樣品的原始紅外光譜數(shù)據(jù)構建多個不同階次的導數(shù)光譜空間；
[0015] S2.在所述的多個不同階次的導數(shù)光譜空間中，構建各自的校正集；
[0016] S3.利用共識選擇技術對各個階次的導數(shù)光譜空間中的校正集進行處理，獲得基 本校正集；
[0017] S4.根據(jù)所述的基本校正集對所述不同階次的導數(shù)光譜空間中剩余的樣本進行處 理，獲得擴展校正集；
[0018] S5.所述的基本校正集和擴展校正集形成最終校正集;并利用該最終校正集和最 終驗證集進行回歸建模。
[0019] 步驟S5中，所述的最終驗證集的樣本數(shù)目為所有的樣本數(shù)目與最終校正集樣本數(shù) 目的差。
[0020] 如前述的基于共識選擇技術的紅外光譜建模方法，步驟Sl中所述的不同階次的導 數(shù)光譜空間包括:零階導數(shù)光譜空間、一階導數(shù)光譜空間及二階導數(shù)光譜空間，從而可以為 共識選擇技術提供高質量的多維光譜信息空間，進而可以在提高計算效率的同時保證最終 所建模型的性能，使其預測精度較高，同時穩(wěn)定性較好。
[0021] 如前述的基于共識選擇技術的紅外光譜建模方法，根據(jù)奇異攝動技術設計導數(shù)譜 估計器DSE，用以構建導數(shù)譜空間；由于奇異攝動技術設計導數(shù)譜估計器只包含一個調整參 數(shù)ε，從而可以解決SG算法在使用過程中需要進行多參數(shù)選擇與調整，難以進行優(yōu)化的缺 陷。
[0022] 如前述的基于共識選擇技術的紅外光譜建模方法，所述的導數(shù)譜估計器為DSE導 數(shù)譜估計器，具體設計如下：
[002
[0024]其中，ε是系統(tǒng)擾動參數(shù)，ε >0; Γ =(丨：^，m= 1，2，3，n = 1，2，3; X^u(V)的零階 導數(shù)光譜信號，X2用于估計信號的一階導數(shù)光譜，X3用于估計信號的二階導數(shù)光譜;X2和X 3 能夠精確地估計信號的一階和二階導數(shù)光譜，通過利用DSE導數(shù)譜估計器構建導數(shù)譜空間， 從而可以獲得更加科學合理的校正集，使得最終所建模型的預測精度更高，穩(wěn)定性更好。
[0025] 如前述的基于共識選擇技術的紅外光譜建模方法，步驟S3具體包括:通過共識選 擇技術獲取各個導數(shù)光譜空間中的校正集的交集作為基本校正集，從而可以提高所建模型 的穩(wěn)定性和預測精度。
[0026] 如前述的基于共識選擇技術的紅外光譜建模方法，所述步驟S4具體包括:將不同 階次的導數(shù)光譜空間中剩余的樣本作為初始驗證集;利用初始驗證集和基本校正集進行回 歸建模，計算初始驗證集中每個樣本的相對預測誤差，并且按照降序進行排列;從前至后獲 取相應數(shù)目的樣本作為擴展校正集;從而可以使得校正集中包含的樣本更加豐富，使得最 終所建的定量模型更加科學、穩(wěn)定，預測精度更高。
[0027] 所述的相對預測誤差如下式所示：
[0028
[0029]其中，Yrest是初始驗證集中樣本的參考值，yrest則是相應樣本的PLS預測值;在樣本 集不存在奇異(壞)樣本的前提下，相對預測誤差越大的樣本，越是具備基本樣本集中樣本 所不包含的信息，越有代表性，應該將其添加到擴展校正集中。
[0030] 如前述的基于共識選擇技術的紅外光譜建模方法，步驟S4中所述的擴展校正集包 括的樣本數(shù)目為設定初始校正集的樣本個數(shù)與基本校正集的樣本個數(shù)的差。
[0031] 如前述的基于共識選擇技術的紅外光譜建模方法，步驟S5中所述的模型為PLS模 型。
[0032] 如前述的基于共識選擇技術的紅外光譜建模方法，所述的模型用于對樣品成分進 行定量分析。
[0033] 如前述的基于共識選擇技術的紅外光譜建模方法，所述的樣品為酒類、中藥液或 生理體液;所述的酒類優(yōu)選為啤酒。經(jīng)驗證，本發(fā)明的方法可以在所有光譜分析中得以應 用，尤其是對于酒類、中藥液以及生理體液等復雜混合液體定量分析的應用具有良好的前 景，所建模型的預測精度和穩(wěn)定性均較好;酒類中特別是對于啤酒的定量分析，所建模型的 預測精度和穩(wěn)定性更好。
[0034] 與現(xiàn)有技術相比，本發(fā)明通過構建多個不同階次的導數(shù)光譜空間，然后利用共識 選擇技術在不同階次的導數(shù)光譜空間進行校正集劃分，從而可以在劃分的過程中充分挖掘 光譜的信息，極大的減弱了所建立的定量分析模型性能對單一光譜空間質量的依賴性;使 得由基本校正集和擴展校正集形成的最終校正集用于進行回歸建模時，模型的預測精度更 高，穩(wěn)定性更好。據(jù)大量數(shù)據(jù)統(tǒng)計表明：采用本發(fā)明的方法建立的校正集更合理、更具有代 表性，利用該校正集進行建立光譜定量分析模型時，對于多種樣本，本發(fā)明的共識選擇技術 對各個階次導數(shù)譜空間的建模效果都有所改善，二階導數(shù)譜空間效果最明顯，與傳統(tǒng)KS算 法比較，CKS算法對應的該模型的校正集RMSECV預測精度提高了22.5% ;驗證集RMSEP預測 精度提高了 62.3%。
【附圖說明】
[0035]圖1為本發(fā)明方法流程圖；
[0036]圖2為本發(fā)明中基本校正集的形成方式示意圖；
[0037]圖3為采用CKS(本發(fā)明中的共識KS劃分方法)策略的校正集構建流程圖；
[0038] 圖4為實驗例中啤酒數(shù)據(jù)集樣本的空間分布示意圖；
[0039] 圖5為基于KS與CKS方法（即本發(fā)明中的共識KS劃分方法)所建模型的RH)性能指標 比較示意圖。
[0040] 附圖標記：1-基本校正集，2-零階導數(shù)光譜空間的校正集，3--階導數(shù)光譜空間的 校正集，4-二階導數(shù)光譜空間的校正集。
[0041] 下面結合附圖和【具體實施方式】對本發(fā)明作進一步的說明。
【具體實施方式】
[0042] 實施例:一種基于共識選擇技術的紅外光譜建模方法，如圖1~圖3所示，包括以下 步驟：
[0043] SI.根據(jù)樣品的原始紅外光譜數(shù)據(jù)構建多個不同階次的導數(shù)光譜空間；所述的不 同階次的導數(shù)光譜空間包括:零階導數(shù)光譜空間、一階導數(shù)光譜空間及二階導數(shù)光譜空間； 根據(jù)奇異攝動技術設計導數(shù)譜估計器，用以構建導數(shù)譜空間，所述的導數(shù)譜估計器為DSE導 數(shù)譜估計器，具體設計如下：
[0044]
[0045] 其中，ε是系統(tǒng)擾動參數(shù)，ε:
ι(ν)的零階 導數(shù)光譜信號，X2用于估計信號的一階導數(shù)光譜，X3用于估計信號的二階導數(shù)光譜；
[0046] S2.在所述的多個不同階次的導數(shù)光譜空間中，構建各自的校正集；
[0047] S3.利用共識選擇技術對各個階次的導數(shù)光譜空間中的校正集進行處理，獲得基 本校正集;具體包括:通過共識選擇技術獲取各個導數(shù)光譜空間中的校正集的交集作為基 本校正集；
[0048] S4.根據(jù)所述的基本校正集對所述不同階次的導數(shù)光譜空間中剩余的樣本進行處 理，獲得擴展校正集;具體包括:將不同的導數(shù)光譜空間中剩余的樣本作為初始驗證集;利 用初始驗證集和基本校正集進行回歸建模，計算初始驗證集中每個樣本的相對預測誤差， 并且按照降序進行排列；從前至后獲取相應數(shù)目的樣本作為擴展校正集;所述的擴展校正 集包括的樣本數(shù)目為設定初始校正集的樣本個數(shù)與基本校正集的樣本個數(shù)的差；
[0049] S5.所述的基本校正集和擴展校正集形成最終校正集;并利用該最終校正集及驗 證集進行回歸建模;其中，所述的模型為PLS模型；所述的模型用于對樣品成分進行定量分 析，所述的樣品為任意可進行光譜分析的樣品，尤其是對于酒類、中藥液以及生理體液等復 雜混合液體定量分析的應用具有良好的前景，所建模型的預測精度和穩(wěn)定性均較好;酒類 中特別是對于啤酒的定量分析，所建模型的預測精度和穩(wěn)定性更好。
[0050] 實驗例：
[0051]以60個啤酒樣本的光譜定量分析為例進一步說明本發(fā)明的方法流程，其中，啤酒 數(shù)據(jù)集樣本的空間分布如圖4所示，CKS樣本空間的劃分及構建過程如下：
[0052] 步驟1.構建零階導數(shù)光譜空間、一階導數(shù)光譜空間和二階導數(shù)光譜空間；
[0053]步驟2.在各自的導數(shù)譜空間，利用KS策略分別構建零階導數(shù)光譜空間校正集2、一 階導數(shù)光譜空間校正集3和二階導數(shù)光譜空間的校正集4(各階導數(shù)光譜空間的校正集中各 包含設定的45個樣本）；
[0054]步驟3.通過共識選擇獲取上述三個導數(shù)譜空間校正集的交集作為基本校正集1 (如包含34個樣本），其余(即剩余的26個樣本)作為初始驗證集；
[0055] 步驟4.利用基本校正集1和初始驗證集構建回歸模型，獲取初始驗證集中每個樣 本的相對預測誤差，并且按照降序進行排序；
[0056] 步驟5.依據(jù)設計的選取規(guī)則，決定添加到擴展校正集的樣本(選取11個樣本，使得 最終校正集還為45個樣本）；
[0057]步驟6.構建最終校正集和最終驗證集；其中，最終校正集由基本校正集（34個樣 本)和擴展校正集(11個樣本)共同組成。最終驗證集由最后剩余的樣本(15個樣本)組成。 [0058]其中，具體的，在零階、一階和二階三個不同階次的導數(shù)光譜空間，利用KS方法確 定各自導數(shù)譜空間的校正數(shù)據(jù)集，通過取三個校正集的交集達到共識選擇的目的，構建基 本校正集，過程如圖1所示。隨后，構建對應于不同階次的導數(shù)光譜空間的擴展校正集。N exte 是擴展校正集的樣本數(shù)目，是KS選擇策略設定的校正集的樣本個數(shù)與基本校正集的樣本個 數(shù)的差(Nextend = Ninit-NbaSic)。其中，Ninit是設定校正集樣本數(shù)目，Nbasic是基本校正集樣本數(shù) 目。剩余的樣本作為最終驗證集。利用基本校正集和驗證集進行PLS(partial least squares偏最小二乘法)建模。
[0059]另外，構建擴展校正集時，相對預測誤差作為一個指標來評判驗證集中的哪些樣 本被用來構建擴展校正集;相對預測誤差如下式所示：
[0060]
[0061 ]其中，Yrest是初始驗證集中樣本的參考值，yrest則是相應樣本的PLS預測值。在樣本 集不存在奇異(壞)樣本的前提下，相對預測誤差越大的樣本，越是具備基本樣本集中樣本 所不包含的信息，越有代表性，應該將其添加到擴展數(shù)據(jù)集。將相對預測誤差按照降序排 序，將排序前N e3xte3個樣本添加到擴展校正數(shù)據(jù)集。
[0062]本發(fā)明中最終校正集的構建過程如圖3所示。
[0063]利用本發(fā)明中的CKS法獲得的最終校正集進行PLS建模，與現(xiàn)有技術中利用KS法獲 得的校正集進行PLS建模相比，模型性能對比如表1所示：
[0064] 表1 CKS與KS建模性能比較表

[0067] 表中括號內的數(shù)字代表校正集的數(shù)目。
[0068] 另外，利用預測均方根誤差RMSEP(Root Mean Square Error of Prediction)和 交叉驗證均方根誤差RMSECV(Root Mean Square Error of Cross Validation)、以及相對 分析誤差RPD(Ratio of Performance to Standard Deviate)作為模型的主要評價指標。 RMSECV和RMSEP的值越低，RPD的值越高，則說明模型的穩(wěn)定性和預測能力越好。其中， RMSECV，RMSEP和RTO計算公式如下所示：
[0069]
[0070] nv是驗證集樣本數(shù)，yi,ref樣本參考值，yi,pre i樣本PLS預測值；
[0071]
[0072] nc是校正集樣本數(shù)目yi,ref第i個樣本參考值，and y1>pre是PLS模型的交叉驗證過程 中第i個樣本預測值；
[0073]
[0074]
[0075]其中SD是分析樣本的標準差。這個指標用來驗證模型的穩(wěn)定性和預測能力。
[0076]結合表1及圖5可知：利用本發(fā)明中的CKS法獲得的最終校正集進行PLS建模(在相 應光譜空間建模），相對于利用KS法獲得的校正集進行PLS建模(在相應光譜空間建模），預 測均方根誤差RMSEP和交叉驗證均方根誤差RMSECV更小，同時相對分析誤差RPD更高，因此 模型性能更優(yōu)。
【主權項】
1. 一種基于共識選擇技術的紅外光譜建模方法，其特征在于，包括W下步驟：51. 根據(jù)樣品的原始紅外光譜數(shù)據(jù)構建多個不同階次的導數(shù)光譜空間；52. 在所述的多個不同階次的導數(shù)光譜空間中，構建各自的校正集；53. 利用共識選擇技術對各個階次導數(shù)光譜空間中的校正集進行處理，獲得基本校正 集；54. 根據(jù)所述的基本校正集對所述不同階次的導數(shù)光譜空間中剩余的樣本進行處理， 獲得擴展校正集；55. 所述的基本校正集和擴展校正集形成最終校正集;并利用該最終校正集及驗證集 進行回歸建模。2. 根據(jù)權利要求1所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，步驟S1 中所述的不同階次的導數(shù)光譜空間包括:零階導數(shù)光譜空間、一階導數(shù)光譜空間及二階導 數(shù)光譜空間。3. 根據(jù)權利要求2所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，根據(jù)奇 異攝動技術設計導數(shù)譜估計器，用W構建導數(shù)譜空間。4. 根據(jù)權利要求3所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，所述的 導數(shù)譜估計器為DSE導數(shù)譜估計器，具體設計如下：其中，ε是系統(tǒng)擾動參數(shù)，ε>〇,.m=l，2,3，η=1，2,3;χι是u(v)的零階導數(shù) 光譜信號，X2用于估計信號的一階導數(shù)光譜，X3用于估計信號的二階導數(shù)光譜。5. 根據(jù)權利要求1所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，步驟S3 具體包括:通過共識選擇技術獲取各個導數(shù)光譜空間中的校正集的交集作為基本校正集。6. 根據(jù)權利要求1所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，所述步 驟S4具體包括:將不同階次的導數(shù)光譜空間中剩余的樣本作為初始驗證集;利用初始驗證 集和基本校正集進行回歸建模，計算初始驗證集中每個樣本的相對預測誤差，并且按照降 序進行排列;從前至后獲取相應數(shù)目的樣本作為擴展校正集。7. 根據(jù)權利要求1或6所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，步 驟S4中所述的擴展校正集包括的樣本數(shù)目為設定初始校正集的樣本個數(shù)與基本校正集的 樣本個數(shù)的差。8. 根據(jù)權利要求1所述的基于共識選擇技術的紅外光譜建模方法，步驟S5中所述的模 型為化S模型。9. 根據(jù)權利要求8所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，所述的 模型用于對樣品成分進行定量分析。10. 根據(jù)權利要求9所述的基于共識選擇技術的紅外光譜建模方法，其特征在于，所述 的樣品為酒類、中藥液或生理體液;所述的酒類優(yōu)選為啤酒。
【文檔編號】G01N21/35GK105842183SQ201610157484
【公開日】2016年8月10日
【申請日】2016年3月17日
【發(fā)明人】李志剛, 呂江濤, 王巧云
【申請人】東北大學