本發(fā)明屬于深度學(xué)習(xí)與進(jìn)化算法領(lǐng)域的結(jié)合，主要解決深度神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化問題，具體提供一種基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化。

背景技術(shù)：

20世紀(jì)80年代以來，神經(jīng)網(wǎng)絡(luò)(Neural Network,NN)進(jìn)入了發(fā)展的快車道，新的科學(xué)理論的重大突破和高性能計(jì)算機(jī)的飛速發(fā)展使NN重?zé)ㄉ鷻C(jī)。1982年加利福利亞理工學(xué)院的教授Hopfield提出了著名的Hopfield神經(jīng)網(wǎng)絡(luò)模型，從而有力地推動(dòng)了NN的研究。到了八十年代中期，Ackley，Hinton和Sejnowski，在Hopfield NN模型中基于模擬退火思想引入了隨機(jī)機(jī)制，并基于此模型分析了生物計(jì)算與傳統(tǒng)的AI計(jì)算之間的區(qū)別，提出了Boltzmann機(jī)，為NN優(yōu)化計(jì)算跳出局部極小值提供了一個(gè)有效的方法，第一次成功實(shí)現(xiàn)了多層神經(jīng)網(wǎng)絡(luò)的功能，并明確了NN中的隱單元的概念。第二年，反向傳播算法(Back-Propagation algorithm,BP)獲得進(jìn)展，Rumelhart和McClelland提出的并行分布處理理論對(duì)反向傳播算法的應(yīng)用產(chǎn)生了重要影響。這兩種模型或理論，對(duì)神經(jīng)網(wǎng)絡(luò)的發(fā)展具有非常重要的作用和意義。

近些年來，神經(jīng)科學(xué)研究人員發(fā)現(xiàn)，哺乳類動(dòng)物的大腦皮質(zhì)，在傳遞表示信息時(shí)，大腦皮質(zhì)未曾對(duì)感官信號(hào)數(shù)據(jù)直接進(jìn)行特征提取處理，接收到的刺激信號(hào)經(jīng)過一個(gè)復(fù)雜的層狀神經(jīng)元網(wǎng)絡(luò)時(shí)，呈現(xiàn)的特征會(huì)被逐層識(shí)別出來，然后每層的特征作為下一層的輸入信號(hào)，逐層進(jìn)行處理后再次傳遞。人腦是根據(jù)經(jīng)過聚集和分解處理后的外部世界感知信息對(duì)物體進(jìn)行識(shí)別，這種感知系統(tǒng)的層次結(jié)構(gòu)極大降低了神經(jīng)系統(tǒng)的數(shù)據(jù)處理量，同時(shí)仍保留了有效的物體結(jié)構(gòu)。而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，也是通過組合低層特征形成更加抽象的高層表示屬性類別或特征，最后得到數(shù)據(jù)的分布式特征表示的一種特殊網(wǎng)絡(luò)模型-深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)。DNN在很多領(lǐng)域都有著應(yīng)用，例如：語音識(shí)別，文本圖像分類，天氣預(yù)測，人臉識(shí)別等等。

目前的深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法，一種是：基于梯度的反向傳播算法，該算法隨著網(wǎng)絡(luò)結(jié)果和數(shù)據(jù)的復(fù)雜性的增加，容易陷入局部最優(yōu)解；另一種是進(jìn)化算法，由于參數(shù)維數(shù)的不斷增加，傳統(tǒng)的進(jìn)化算法不再適用。

隨著數(shù)據(jù)規(guī)模的不斷增加，在處理這種大規(guī)模，無序的數(shù)據(jù)集時(shí)，人們?cè)絹碓桨l(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，深度神經(jīng)網(wǎng)絡(luò)必將有著更好的前景。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服上述已有技術(shù)的不足，提供一種基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，避免了反向傳播算法容易陷入局部最優(yōu)解的缺陷，同時(shí)也利用反向傳播算法快速有效的優(yōu)點(diǎn)，提高進(jìn)化算法的搜索速度，通過一種迭代方式將這兩種方法的優(yōu)點(diǎn)很好的結(jié)合到一起來優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。

為此，本發(fā)明提供了基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括如下步驟：

步驟101：開始基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法；

步驟102：設(shè)定一個(gè)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用L_i表示網(wǎng)絡(luò)的第i層，N_i表示第i層的節(jié)點(diǎn)個(gè)數(shù)，初始化權(quán)重W和偏差b，設(shè)置學(xué)習(xí)率η，自定義參數(shù)H；

步驟103：向步驟102的深度神經(jīng)網(wǎng)絡(luò)輸入訓(xùn)練樣本，然后使用反向傳播算法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到深度神經(jīng)網(wǎng)絡(luò)連續(xù)兩次的迭代誤差變化值σ在范圍[0,H]內(nèi)，停止反向傳播算法；

步驟104：采用協(xié)同進(jìn)化算法對(duì)步驟103中采用反向傳播算法訓(xùn)練的權(quán)重和偏差進(jìn)行優(yōu)化；

步驟105：采用協(xié)同進(jìn)化算法優(yōu)化完權(quán)重和偏差之后，繼續(xù)使用反向傳播算法進(jìn)行優(yōu)化，直到深度神經(jīng)網(wǎng)絡(luò)連續(xù)兩次的迭代誤差變化值σ在范圍[0,H]內(nèi)，停止反向傳播算法，再次使用協(xié)同進(jìn)化算法進(jìn)行優(yōu)化，不停的進(jìn)行迭代，最后直到迭代次數(shù)為50次，迭代終止；

步驟106：得到深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化參數(shù)，即權(quán)重和偏差。

所述的步驟103，包括如下步驟：

步驟301：開始反向傳播算法；

步驟302：輸入訓(xùn)練樣本到深度神經(jīng)網(wǎng)絡(luò)，計(jì)算訓(xùn)練樣本的誤差，根據(jù)誤差的梯度來反向調(diào)整深度神經(jīng)網(wǎng)絡(luò)每一層的權(quán)重：

其中，W是調(diào)整前的權(quán)重，W′是調(diào)整后的權(quán)重，E是誤差，η是學(xué)習(xí)率；

步驟303：每次迭代，隨機(jī)選取D_s個(gè)樣本，根據(jù)步驟302中的權(quán)重調(diào)整公式來不斷更新權(quán)重；

步驟304：計(jì)算連續(xù)兩次迭代的誤差變化σ，當(dāng)0≤σ≤H時(shí)，停止反向傳播算法的迭代過程；

步驟305：結(jié)束反向傳播算法。

所述的步驟104，包括如下步驟：

步驟401：開始使用協(xié)同進(jìn)化算法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化；

步驟402：在反向傳播算法得到的權(quán)重基礎(chǔ)上，使用協(xié)同進(jìn)化算法進(jìn)行優(yōu)化，將深度神經(jīng)網(wǎng)絡(luò)按層按節(jié)點(diǎn)劃分為子問題；

步驟403：計(jì)算劃分后的每個(gè)子問題的成熟度M,并將這些成熟度按照從小到大的順序進(jìn)行排序，選取成熟度排在前30％的子問題使用差分進(jìn)化算法進(jìn)行優(yōu)化；

步驟404：采用差分進(jìn)化算法優(yōu)化完成之后，選取最優(yōu)的解去替換步驟402的權(quán)重中相應(yīng)位置的參數(shù)，直到所有被選取的子問題被優(yōu)化完成；

步驟405：結(jié)束協(xié)同進(jìn)化算法。

所述的步驟105，包括如下步驟：

步驟501：再次開始反向傳播算法；

步驟502：如果連續(xù)兩次的迭代誤差值σ在范圍[0,H]內(nèi)，停止反向傳播算法，開始進(jìn)行協(xié)同進(jìn)化；

步驟503：按照步驟402將深度神經(jīng)網(wǎng)絡(luò)按層按節(jié)點(diǎn)劃分為子問題，再按照步驟403進(jìn)行子問題的選取，然后使用差分進(jìn)化算法對(duì)這些子問題進(jìn)行優(yōu)化，選取最優(yōu)的解來替換步驟502的權(quán)重中對(duì)應(yīng)的參數(shù)；

步驟504：再次開始反向傳播算法，然后不斷的重復(fù)步驟502和步驟503，最后直到迭代次數(shù)為50次，迭代終止；

步驟505：結(jié)束基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。

所述的步驟103和步驟304中的誤差變化σ：

σ＝|E^(t)(x)-E^(t-1)(x)|

其中，E^(t)(x)和E^(t-1)(x)分別是第t次和第t-1次迭代的誤差。

所述步驟403中的成熟度M的定義：

其中，M_i是第i個(gè)子問題的成熟度，N是樣本的數(shù)量，表示第j個(gè)樣本在第i個(gè)子問題上的輸出，函數(shù)g(x)的定義如下：

其中，α是一個(gè)自適應(yīng)參數(shù)，可以被設(shè)置成0.3或0.4。

本發(fā)明的有益效果：1、本發(fā)明是針對(duì)反向傳播算法在訓(xùn)練參數(shù)的過程中容易陷入局部最優(yōu)解的缺點(diǎn)，并且由于網(wǎng)絡(luò)的參數(shù)維數(shù)太大，單獨(dú)使用傳統(tǒng)的進(jìn)化算法根本沒有辦法對(duì)其進(jìn)行優(yōu)化，因此提出了一種結(jié)合協(xié)同進(jìn)化和反向傳播算法的方法來優(yōu)化網(wǎng)絡(luò)，使得能夠更好的優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的參數(shù)。

2、本發(fā)明將進(jìn)化算法的優(yōu)點(diǎn)應(yīng)用到深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，針對(duì)大規(guī)模的參數(shù)，使用協(xié)同進(jìn)化進(jìn)行優(yōu)化，同時(shí)結(jié)合反向傳播算法，并且設(shè)計(jì)一種選擇策略，來提高協(xié)同進(jìn)化的優(yōu)化速度，使得整個(gè)網(wǎng)絡(luò)能夠更高效的被訓(xùn)練完成；

3、仿真結(jié)果表明，本發(fā)明采用的基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，優(yōu)化性能好，提高了網(wǎng)絡(luò)的分類正確率。

以下將結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。

附圖說明

圖1是基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的主流程圖；

圖2是反向傳播算法(BP)的流程圖；

圖3協(xié)同進(jìn)化的流程圖；

圖4是手寫數(shù)字識(shí)別數(shù)據(jù)集的一些樣例，每個(gè)小的數(shù)字圖片大小為28*28；

圖5是在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-300-100-10時(shí)，反向傳播算法(BP)和本申請(qǐng)的方法(BP-CCDE)的比較，只進(jìn)行一次協(xié)同進(jìn)化，在迭代次數(shù)iter＝4時(shí)，開始進(jìn)行協(xié)同進(jìn)化，縱坐標(biāo)表示average error，橫坐標(biāo)表示迭代次數(shù)；

圖6是在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-300-100-10時(shí)，反向傳播算法(BP)和本申請(qǐng)的方法(BP-CCDE)的比較，進(jìn)行了兩次協(xié)同進(jìn)化，在迭代次數(shù)iter＝4和iter＝19時(shí)，分別開始進(jìn)行協(xié)同進(jìn)化，縱坐標(biāo)表示average error，橫坐標(biāo)表示迭代次數(shù)。

圖7是在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-500-300-10時(shí)，反向傳播算法(BP)和本申請(qǐng)的方法(BP-CCDE)的比較，只進(jìn)行一次協(xié)同進(jìn)化，在迭代次數(shù)iter＝12時(shí)，開始進(jìn)行協(xié)同進(jìn)化，縱坐標(biāo)表示average error，橫坐標(biāo)表示迭代次數(shù)；

圖8是在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-500-300-10時(shí)，反向傳播算法(BP)和本申請(qǐng)的方法(BP-CCDE)的比較，進(jìn)行了兩次協(xié)同進(jìn)化，在迭代次數(shù)iter＝12和iter＝24時(shí)，分別開始進(jìn)行協(xié)同進(jìn)化，縱坐標(biāo)表示average error，橫坐標(biāo)表示迭代次數(shù)。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明提供的基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法進(jìn)行詳細(xì)的說明。

本發(fā)明提出了一種基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括如下步驟：

步驟101：開始基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法；

步驟102：設(shè)定一個(gè)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用L_i表示網(wǎng)絡(luò)的第i層，N_i表示第i層的節(jié)點(diǎn)個(gè)數(shù)，初始化權(quán)重W和偏差b，設(shè)置學(xué)習(xí)率η，自定義參數(shù)H；

步驟103：向步驟102的深度神經(jīng)網(wǎng)絡(luò)輸入訓(xùn)練樣本，然后使用反向傳播算法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到深度神經(jīng)網(wǎng)絡(luò)連續(xù)兩次的迭代誤差變化值σ在范圍[0,H]內(nèi)，停止反向傳播算法；

步驟104：采用協(xié)同進(jìn)化算法對(duì)步驟103中采用反向傳播算法訓(xùn)練的權(quán)重和偏差進(jìn)行優(yōu)化；

步驟105：采用協(xié)同進(jìn)化算法優(yōu)化完權(quán)重和偏差之后，繼續(xù)使用反向傳播算法進(jìn)行優(yōu)化，直到深度神經(jīng)網(wǎng)絡(luò)連續(xù)兩次的迭代誤差變化值σ在范圍[0,H]內(nèi)，停止反向傳播算法，再次使用協(xié)同進(jìn)化算法進(jìn)行優(yōu)化，不停的進(jìn)行迭代，最后直到迭代次數(shù)為50次，迭代終止；

步驟106：得到深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化參數(shù)，即權(quán)重和偏差。

所述的步驟103，包括如下步驟：

步驟301：開始反向傳播算法；

步驟302：輸入訓(xùn)練樣本到深度神經(jīng)網(wǎng)絡(luò)，計(jì)算訓(xùn)練樣本的誤差，根據(jù)誤差的梯度來反向調(diào)整深度神經(jīng)網(wǎng)絡(luò)每一層的權(quán)重：

其中，W是調(diào)整前的權(quán)重，W′是調(diào)整后的權(quán)重，E是誤差，η是學(xué)習(xí)率；

步驟303：每次迭代，隨機(jī)選取D_s個(gè)樣本，根據(jù)步驟302中的權(quán)重調(diào)整公式來不斷更新權(quán)重；

步驟304：計(jì)算連續(xù)兩次迭代的誤差變化σ，當(dāng)0≤σ≤H時(shí)，停止反向傳播算法的迭代過程；

步驟305：結(jié)束反向傳播算法。

所述的步驟104，包括如下步驟：

步驟401：開始使用協(xié)同進(jìn)化算法對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化；

步驟402：在反向傳播算法得到的權(quán)重基礎(chǔ)上，使用協(xié)同進(jìn)化算法進(jìn)行優(yōu)化，將深度神經(jīng)網(wǎng)絡(luò)按層按節(jié)點(diǎn)劃分為子問題；

步驟403：計(jì)算劃分后的每個(gè)子問題的成熟度M,并將這些成熟度按照從小到大的順序進(jìn)行排序，選取成熟度排在前30％的子問題使用差分進(jìn)化算法進(jìn)行優(yōu)化；

步驟404：采用差分進(jìn)化算法優(yōu)化完成之后，選取最優(yōu)的解去替換步驟402的權(quán)重中相應(yīng)位置的參數(shù)，直到所有被選取的子問題被優(yōu)化完成；

步驟405：結(jié)束協(xié)同進(jìn)化算法。

所述的步驟105，包括如下步驟：

步驟501：再次開始反向傳播算法；

步驟502：如果連續(xù)兩次的迭代誤差值σ在范圍[0,H]內(nèi)，停止反向傳播算法，開始進(jìn)行協(xié)同進(jìn)化；

步驟503：按照步驟402將深度神經(jīng)網(wǎng)絡(luò)按層按節(jié)點(diǎn)劃分為子問題，再按照步驟403進(jìn)行子問題的選取，然后使用差分進(jìn)化算法對(duì)這些子問題進(jìn)行優(yōu)化，選取最優(yōu)的解來替換步驟502的權(quán)重中對(duì)應(yīng)的參數(shù)；

步驟504：再次開始反向傳播算法，然后不斷的重復(fù)步驟502和步驟503，最后直到迭代次數(shù)為50次，迭代終止；

步驟505：結(jié)束基于協(xié)同進(jìn)化和反向傳播的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。

所述的步驟103和步驟304中的誤差變化σ：

σ＝|E^(t)(x)-E^(t-1)(x)|

其中，E^(t)(x)和E^(t-1)(x)分別是第t次和第t-1次迭代的誤差。

所述步驟403中的成熟度M的定義：

其中，M_i是第i個(gè)子問題的成熟度，N是樣本的數(shù)量，表示第j個(gè)樣本在第i個(gè)子問題上的輸出，函數(shù)g(x)的定義如下：

其中，α是一個(gè)自適應(yīng)參數(shù)，可以被設(shè)置成0.3或0.4。

需要說明的是：反向傳播算法(英:Backpropagation algorithm，簡稱:BP算法)是一種監(jiān)督學(xué)習(xí)算法，常被用來訓(xùn)練多層感知機(jī)。反向傳播算法(BP算法)主要由兩個(gè)環(huán)節(jié)(激勵(lì)傳播、權(quán)重更新)反復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)的對(duì)輸入的響應(yīng)達(dá)到預(yù)定的目標(biāo)范圍為止。差分進(jìn)化算法是一種新興的進(jìn)化計(jì)算技術(shù)，和其它演化算法一樣，DE(差分進(jìn)化算法的外文縮寫)是一種模擬生物進(jìn)化的隨機(jī)模型，通過反復(fù)迭代，使得那些適應(yīng)環(huán)境的個(gè)體被保存了下來。但相比于進(jìn)化算法，DE保留了基于種群的全局搜索策略，采用實(shí)數(shù)編碼、基于差分的簡單變異操作和一對(duì)一的競爭生存策略，降低了遺傳操作的復(fù)雜性。同時(shí)，DE特有的記憶能力使其可以動(dòng)態(tài)跟蹤當(dāng)前的搜索情況，以調(diào)整其搜索策略，具有較強(qiáng)的全局收斂能力和魯棒性，且不需要借助問題的特征信息，適于求解一些利用常規(guī)的數(shù)學(xué)規(guī)劃方法所無法求解的復(fù)雜環(huán)境中的優(yōu)化問題。進(jìn)化算法是一種成熟的具有高魯棒性和廣泛適用性的全局優(yōu)化方法，具有自組織、自適應(yīng)、自學(xué)習(xí)的特性，能夠不受問題性質(zhì)的限制，有效地處理傳統(tǒng)優(yōu)化算法難以解決的復(fù)雜問題。

以上三種算法都是現(xiàn)有的成熟的技術(shù)，其具體的定義和操作過程在此不作詳細(xì)的敘述。

本發(fā)明的效果可以通過以下仿真實(shí)驗(yàn)進(jìn)一步說明：

1、仿真參數(shù)

對(duì)于手寫數(shù)字識(shí)別數(shù)據(jù)集進(jìn)行分析，可進(jìn)行定量的結(jié)果分析：

①平均誤差：所有樣本的平均誤差，不同算法下的樣本誤差；

②分類正確率：測試樣本的正確分類的個(gè)數(shù)比上測試樣本的總的個(gè)數(shù)。

2、仿真內(nèi)容

本發(fā)明方法首先對(duì)手寫數(shù)字識(shí)別數(shù)據(jù)集訓(xùn)練，只使用反向傳播算法(BP)和本方法(BP-CCDE)進(jìn)行比較，比較平均誤差和分類正確率。

3、仿真實(shí)驗(yàn)結(jié)果及分析

手寫數(shù)字識(shí)別數(shù)據(jù)集如圖4所示，每個(gè)樣本的大小為28*28，訓(xùn)練樣本一共60000個(gè)，測試集10000個(gè)，下面對(duì)兩種不同隱含層節(jié)點(diǎn)數(shù)的網(wǎng)絡(luò)進(jìn)行驗(yàn)證。

1.深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-300-100-10，含有兩個(gè)隱含層，在同樣的結(jié)構(gòu)和初始化的條件下；通過BP和BP-CCDE的平均誤差結(jié)果如圖5所示，其中，實(shí)線和虛線分別表示BP和BP-CCDE方法隨著BP的迭代次數(shù)，平均誤差的變化；可見在加入?yún)f(xié)同進(jìn)化之后，誤差有一個(gè)明顯的下降，圖5中在iter＝4時(shí)，開始使用協(xié)同進(jìn)化。在圖6中，使用了兩次協(xié)同進(jìn)化，平均誤差都有一個(gè)明顯的下降，分別是iter＝4和iter＝19時(shí)，可以看出引進(jìn)協(xié)同進(jìn)化之后，能夠使得誤差下降明顯。使用BP和BP-CCDE方法對(duì)手寫數(shù)字識(shí)別在不同的協(xié)同進(jìn)化次數(shù)下的分類正確率如表1所示。

表1 BP和BP-CCDE方法對(duì)手寫數(shù)字識(shí)別的分類正確率

表1中BP的迭代次數(shù)iter＝50，K表示協(xié)同進(jìn)化的使用次數(shù)；從表1中可以看出，在進(jìn)行協(xié)同進(jìn)化之后，本發(fā)明方法的分類正確率明顯高于BP算法。

2.深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)：784-500-300-10，含有兩個(gè)隱含層，在同樣的結(jié)構(gòu)和初始化的條件下；通過BP和BP-CCDE的平均誤差結(jié)果如圖7所示，其中，實(shí)線和虛線分別表示BP和BP-CCDE方法隨著BP的迭代次數(shù)，平均誤差的變化，圖7中在iter＝4時(shí)，開始使用協(xié)同進(jìn)化。在圖8中，使用了兩次協(xié)同進(jìn)化，平均誤差都有一個(gè)明顯的下降，分別是iter＝6和iter＝23時(shí)，使用協(xié)同進(jìn)化。使用BP和BP-CCDE方法對(duì)手寫數(shù)字識(shí)別在不同的協(xié)同進(jìn)化次數(shù)下的分類正確率如表2所示。

表2 BP和BP-CCDE方法對(duì)手寫數(shù)字識(shí)別的分類正確率

表2中BP的迭代次數(shù)iter＝50，K表示協(xié)同進(jìn)化的使用次數(shù)；從表2中可以看出，在不同網(wǎng)絡(luò)結(jié)構(gòu)下，在進(jìn)行協(xié)同進(jìn)化之后，本發(fā)明方法的分類正確率明顯高于BP算法。隨著協(xié)同進(jìn)化方法的次數(shù)的增加，正確率也在不斷增加，可以看出本方法對(duì)于深度神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化有著明顯的優(yōu)勢(shì)。

以上例舉僅僅是對(duì)本發(fā)明的舉例說明，并不構(gòu)成對(duì)本發(fā)明的保護(hù)范圍的限制，凡是與本發(fā)明相同或相似的設(shè)計(jì)均屬于本發(fā)明的保護(hù)范圍之內(nèi)。本實(shí)施例沒有詳細(xì)敘述的部件和結(jié)構(gòu)屬本行業(yè)的公知部件和常用結(jié)構(gòu)或常用手段，這里不一一敘述。