神經(jīng)網(wǎng)絡(luò)優(yōu)化方法
【專利摘要】本發(fā)明公開了一種神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，通過遺傳算法確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)權(quán)重以及隱含層輸出參數(shù)值，隱含層輸出參數(shù)值與隱含層層數(shù)對(duì)應(yīng)，根據(jù)隱含層輸出參數(shù)值可以確定隱含層的層數(shù)，當(dāng)隱含層輸出參數(shù)值變化時(shí)，隱含層層數(shù)隨之變化，神經(jīng)網(wǎng)絡(luò)再通過權(quán)重與隱含層層數(shù)構(gòu)件神經(jīng)網(wǎng)絡(luò)，由于該權(quán)重與隱含層層數(shù)是較優(yōu)的，預(yù)測(cè)輸出結(jié)果誤差會(huì)大大減小，整個(gè)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)性能很大程度上得到提高。
【專利說明】神經(jīng)網(wǎng)絡(luò)優(yōu)化方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及人工神經(jīng)網(wǎng)絡(luò)，特別設(shè)及一種神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。

【背景技術(shù)】
[0002] 近年來，人工神經(jīng)網(wǎng)絡(luò)（ANN)提供了一種新的方法來模擬復(fù)雜而又難W定義的問 題，已經(jīng)在智能控制、機(jī)器人、模式識(shí)別、計(jì)算機(jī)視覺、生產(chǎn)過程優(yōu)化和信息處理等多種 領(lǐng)域中取得了廣泛應(yīng)用。研究結(jié)果表明，如果的網(wǎng)絡(luò)結(jié)構(gòu)太大，將導(dǎo)致歸納性較差，反 之，太小的網(wǎng)絡(luò)結(jié)構(gòu)則會(huì)造成學(xué)習(xí)能力偏低。而網(wǎng)絡(luò)中的權(quán)值和闊值直接可影響神經(jīng)網(wǎng)絡(luò) 的訓(xùn)練和識(shí)別的性能。因此，如何優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)是關(guān)鍵，W便盡量提高人工神經(jīng)網(wǎng)絡(luò)的 性能。
[0003] 傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法有很多種，主要利用主成分分析法確定輸入層節(jié)點(diǎn) 數(shù)，可使問題得到一定的解決，但是當(dāng)樣本數(shù)據(jù)很大時(shí)，樣本集本身沒有包含全部樣本的特 征，將導(dǎo)致預(yù)測(cè)的結(jié)果出現(xiàn)較大的誤差。


【發(fā)明內(nèi)容】

[0004] 基于此，有必要針對(duì)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果誤差大的問題，提出一種能減小誤差的神 經(jīng)網(wǎng)絡(luò)優(yōu)化方法。
[0005] 一種神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括W下步驟：
[0006] 對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值編碼形成遺傳算法個(gè)體；
[0007] 隨機(jī)產(chǎn)生包含多個(gè)所述個(gè)體的初始種群；
[000引計(jì)算所述種群中每個(gè)所述個(gè)體的適應(yīng)度；
[0009] 判斷是否滿足停止條件；
[0010] 若判斷不滿足，則執(zhí)行W下步驟：
[0011] 對(duì)所述個(gè)體進(jìn)行選擇；
[0012] 對(duì)選擇后的所述個(gè)體進(jìn)行隨機(jī)交叉；
[0013] 對(duì)交叉后的所述個(gè)體進(jìn)行變異；
[0014] 產(chǎn)生新個(gè)體組成的新種群；
[0015] 統(tǒng)計(jì)迭代的次數(shù)，并返回繼續(xù)執(zhí)行所述計(jì)算所述種群中每個(gè)所述個(gè)體的適應(yīng)度的 步驟；
[0016] 若判斷滿足停止條件，則執(zhí)行W下步驟：
[0017] 選擇所述適應(yīng)度最大的所述個(gè)體；
[0018] 對(duì)所述個(gè)體進(jìn)行解碼，得到神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層更輸出參數(shù)；
[0019] 根據(jù)所述權(quán)值及所述隱含層輸出參數(shù)值，構(gòu)建神經(jīng)網(wǎng)絡(luò)。
[0020] 上述神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，通過遺傳算法確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)權(quán)重W及隱含層輸出 參數(shù)，根據(jù)隱含層輸出參數(shù)值得出隱含層層數(shù)，神經(jīng)網(wǎng)絡(luò)再通過該權(quán)重與隱含層層數(shù)進(jìn)行 初始化，由于該權(quán)重與隱含層層數(shù)是較優(yōu)的，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)的過程中，輸出結(jié)果誤 差會(huì)大大減小，整個(gè)神經(jīng)網(wǎng)絡(luò)的性能很大程度上得到提高。

【專利附圖】

【附圖說明】
[0021] 圖1為一種實(shí)施方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的流程圖；
[0022] 圖2為另一種實(shí)施方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法的中對(duì)個(gè)體進(jìn)行選擇的流程圖。

【具體實(shí)施方式】
[0023] 為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了，W下根據(jù)附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用W解釋本發(fā)明，并 不限定本發(fā)明。
[0024] 遺傳算法是一種啟發(fā)式捜索算法，所要解決的問題是模擬成一個(gè)生物進(jìn)化的過 程，通過復(fù)制、交叉W及突變等操作產(chǎn)生下一代的個(gè)體，并逐步淘汰適應(yīng)度較低的個(gè)體，增 加適應(yīng)度高的個(gè)體，適應(yīng)度高的個(gè)體遺產(chǎn)到下一代的機(jī)會(huì)大，該樣可能會(huì)進(jìn)化出適應(yīng)度很 高的個(gè)體。通過遺傳算法與神經(jīng)網(wǎng)絡(luò)的結(jié)合，可W將神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層層數(shù)編碼后 看做是一個(gè)個(gè)體，對(duì)權(quán)值及隱含層層數(shù)的確定過程就是尋找近似最優(yōu)個(gè)體的過程，最終得 到適應(yīng)度高的個(gè)體時(shí)，表示權(quán)值及隱含層層數(shù)是較優(yōu)的。
[0025] 請(qǐng)參閱圖1，一種神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，包括W下步驟：
[0026] S100;對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值編碼形成遺傳算法個(gè)體。
[0027] 在創(chuàng)建神經(jīng)網(wǎng)絡(luò)時(shí)，需要根據(jù)神經(jīng)網(wǎng)絡(luò)中各層之間神經(jīng)元之間連接的權(quán)值W及隱 含層層數(shù)初始化神經(jīng)網(wǎng)絡(luò)，且權(quán)值和隱含層層數(shù)的選擇對(duì)后續(xù)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)輸出起到至 關(guān)重要的作用，所W通過遺傳算法對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值進(jìn)行選擇，得到 較優(yōu)的神經(jīng)網(wǎng)絡(luò)權(quán)值及隱含層層數(shù)來構(gòu)建神經(jīng)網(wǎng)絡(luò)。在尋找最優(yōu)解的過程中，需要將個(gè)體 編碼成字符串的形式才能使用遺傳算法，常用的編碼為二進(jìn)制編碼，即將問題的解編碼成 二進(jìn)制數(shù)組的形式。通過對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值編碼成個(gè)體，通過遺傳算 法對(duì)最優(yōu)個(gè)體的選擇，即是對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值的最優(yōu)選擇。
[002引 S200 ;隨機(jī)產(chǎn)生包含多個(gè)個(gè)體的初始種群。
[0029] 種群中包含一定數(shù)量的個(gè)體，該些個(gè)體是隨機(jī)產(chǎn)生的。遺傳算法是通過對(duì)種群中 的個(gè)體進(jìn)行最優(yōu)選擇，得到最優(yōu)的個(gè)體。
[0030] S300 ;計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度。
[0031] 遺傳算法中W個(gè)體的適應(yīng)度大小來評(píng)定各個(gè)個(gè)體的優(yōu)劣程度，從而決定其遺傳機(jī) 會(huì)的大小。
[003引 S400 ;判斷是否滿足停止條件。
[003引若判斷不滿足，則執(zhí)行W下步驟：
[0034] S410 ;對(duì)個(gè)體進(jìn)行選擇。
[0035] 對(duì)種群中多個(gè)個(gè)體進(jìn)行選擇，對(duì)被選擇次數(shù)較多的個(gè)體進(jìn)行下一步的操作，個(gè)體 被選中的概率與其適應(yīng)度是成正比的，從而被選擇次數(shù)較多的個(gè)體說明其適應(yīng)度較大，確 定各個(gè)個(gè)體被復(fù)制到下一代種群中的數(shù)量。
[0036] S420 ;對(duì)選擇后的個(gè)體進(jìn)行隨機(jī)交叉。
[0037] 對(duì)個(gè)體進(jìn)行交叉后，會(huì)形成不同的個(gè)體。即個(gè)體中的權(quán)值和隱含層輸出參數(shù)值會(huì) 發(fā)生變化。
[003引 S430 ;對(duì)交叉后的個(gè)體進(jìn)行變異。
[0039] 對(duì)交叉得到的個(gè)體再進(jìn)行變異，得到新的個(gè)體。得到由新的權(quán)值和隱含層輸出參 數(shù)值形成的個(gè)體。
[0040] S440 ;產(chǎn)生新個(gè)體組成的新種群。
[0041] 由于種群是由個(gè)體組成的，當(dāng)產(chǎn)生新的個(gè)體時(shí)，種群隨之更新為新的種群。
[0042] S450;統(tǒng)計(jì)迭代的次數(shù)，并返回繼續(xù)執(zhí)行計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度的步驟 S300。
[0043] 統(tǒng)計(jì)迭代的次數(shù)是為停止條件做準(zhǔn)備的，再計(jì)算新的種群中每個(gè)個(gè)體的適應(yīng)度， 此時(shí)的個(gè)體是更新的，則計(jì)算出的適應(yīng)度也隨之改變。在對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出 參數(shù)值編碼形成遺傳算法個(gè)體之前，迭代的次數(shù)是清零的。
[0044] 若判斷滿足停止條件，則執(zhí)行W下步驟：
[0045] S500 ;選擇適應(yīng)度最大的個(gè)體。
[0046] S600 ;對(duì)個(gè)體進(jìn)行解碼，得到神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值。
[0047] S700 ;根據(jù)權(quán)值及隱含層輸出參數(shù)值，構(gòu)建神經(jīng)網(wǎng)絡(luò)。
[0048] 當(dāng)個(gè)體的適應(yīng)度滿足停止條件時(shí)，在種群的個(gè)體中選擇適應(yīng)度最大的個(gè)體，并對(duì) 其進(jìn)行解碼，得到最優(yōu)的神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值，神經(jīng)網(wǎng)絡(luò)的隱含層層數(shù)是 根據(jù)該隱含層輸出參數(shù)值而決定的，當(dāng)最優(yōu)的隱含層之間的連接參數(shù)確定后，神經(jīng)網(wǎng)絡(luò)的 隱含層層數(shù)隨之確定，從而根據(jù)權(quán)值和隱含層層數(shù)初始化神經(jīng)網(wǎng)絡(luò)。
[0049] 上述神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，通過遺傳算法確定最優(yōu)的神經(jīng)網(wǎng)絡(luò)權(quán)重W及隱含層輸出 參數(shù)值，隱含層輸出參數(shù)值與隱含層層數(shù)對(duì)應(yīng)，根據(jù)隱含層輸出參數(shù)值可W確定隱含層的 層數(shù)，當(dāng)隱含層輸出參數(shù)值變化時(shí)，隱含層層數(shù)隨之變化，神經(jīng)網(wǎng)絡(luò)再通過權(quán)重與隱含層層 數(shù)構(gòu)件神經(jīng)網(wǎng)絡(luò)，由于該權(quán)重與隱含層層數(shù)是較優(yōu)的，預(yù)測(cè)輸出結(jié)果誤差會(huì)大大減小，整個(gè) 預(yù)測(cè)性能很大程度上得到提高。
[0050] 在其中一個(gè)實(shí)施例中，停止條件包括迭代的次數(shù)超過最大迭代次數(shù)或個(gè)體的適應(yīng) 度超過闊值。
[CK)5U 當(dāng)個(gè)體的適應(yīng)度超過預(yù)設(shè)的闊值，認(rèn)為通過遺傳算法得到了最優(yōu)的個(gè)體，則根據(jù) 最優(yōu)的個(gè)體中的權(quán)值和隱含層輸出參數(shù)值得到最優(yōu)的權(quán)值和隱含層層數(shù)，構(gòu)件最優(yōu)的神經(jīng) 網(wǎng)絡(luò)。然而，個(gè)體的適應(yīng)度一直沒有達(dá)到預(yù)設(shè)的闊值時(shí)，通過最大迭代次數(shù)來停止個(gè)體更 新，W免更新過程一直繼續(xù)。
[0化2] 在其中一個(gè)實(shí)施例中，根據(jù)權(quán)值及隱含層輸出參數(shù)值，構(gòu)建神經(jīng)網(wǎng)絡(luò)的步驟S700 之后包括W下步驟：
[0化3] S800 ;通過神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果輸出。
[0化4] 在構(gòu)建神經(jīng)網(wǎng)絡(luò)后，通過測(cè)試樣本對(duì)神經(jīng)網(wǎng)路進(jìn)行測(cè)試，得到預(yù)測(cè)結(jié)果。
[0化5] 在其中一個(gè)實(shí)施例中，計(jì)算種群中每個(gè)個(gè)體的適應(yīng)度的步驟S300包括W下步驟： [0化6] 分別計(jì)算第1隱含層至第N隱含層的輸出向量。
[0057] 根據(jù)第N隱含層的輸出向量計(jì)算輸出層神經(jīng)元的輸出。
[005引根據(jù)輸出層神經(jīng)元的輸出，計(jì)算輸出層的輸出向量。
[0化9] 計(jì)算目標(biāo)函數(shù)。
[0060] 根據(jù)目標(biāo)函數(shù)，計(jì)算個(gè)體的適應(yīng)度。
[0061] 其中，N為隱含層層數(shù)。
[0062] 神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層W及輸出層，隱含層層數(shù)是根據(jù)隱含層輸出參數(shù)值 所決定的，當(dāng)通過上述神經(jīng)網(wǎng)絡(luò)優(yōu)化方法對(duì)個(gè)體進(jìn)行更新后，則神經(jīng)網(wǎng)絡(luò)的權(quán)值W及隱含 層輸出參數(shù)值隨之更新，隱含層層數(shù)也就更新了。
[0063] 在其中一個(gè)實(shí)施例中，分別計(jì)算第1隱含層至第N隱含層的輸出向量的步驟包括 W下步驟：
[0064] 計(jì)算隱含層神經(jīng)元的輸出，計(jì)算公式為：

【權(quán)利要求】
1. 一種神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，包括以下步驟： 對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層輸出參數(shù)值編碼形成遺傳算法個(gè)體； 隨機(jī)產(chǎn)生包含多個(gè)所述個(gè)體的初始種群； 計(jì)算所述種群中每個(gè)所述個(gè)體的適應(yīng)度； 判斷是否滿足停止條件； 若判斷不滿足，則執(zhí)行以下步驟： 對(duì)所述個(gè)體進(jìn)行選擇； 對(duì)選擇后的所述個(gè)體進(jìn)行隨機(jī)交叉； 對(duì)交叉后的所述個(gè)體進(jìn)行變異； 產(chǎn)生新個(gè)體組成的新種群； 統(tǒng)計(jì)迭代的次數(shù)，并返回繼續(xù)執(zhí)行所述計(jì)算所述種群中每個(gè)所述個(gè)體的適應(yīng)度的步 驟； 若判斷滿足停止條件，則執(zhí)行以下步驟： 選擇所述適應(yīng)度最大的所述個(gè)體； 對(duì)所述個(gè)體進(jìn)行解碼，得到神經(jīng)網(wǎng)絡(luò)的權(quán)值及隱含層更輸出參數(shù)； 根據(jù)所述權(quán)值及所述隱含層輸出參數(shù)值，構(gòu)建神經(jīng)網(wǎng)絡(luò)。
2. 根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述停止條件包括所述迭 代的次數(shù)超過最大迭代次數(shù)或所述個(gè)體的所述適應(yīng)度超過閾值。
3. 根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述根據(jù)所述權(quán)值及所述 隱含層輸出參數(shù)值，構(gòu)建神經(jīng)網(wǎng)絡(luò)的步驟之后包括以下步驟： 通過所述神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，并將預(yù)測(cè)結(jié)果輸出。
4. 根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述計(jì)算所述種群中每個(gè) 所述個(gè)體的適應(yīng)度的步驟包括以下步驟： 分別計(jì)算第1隱含層至第N隱含層的輸出向量； 根據(jù)所述第N隱含層的輸出向量計(jì)算輸出層神經(jīng)元的輸出； 根據(jù)所述輸出層神經(jīng)元的輸出，計(jì)算輸出層的輸出向量； 計(jì)算目標(biāo)函數(shù)； 根據(jù)所述目標(biāo)函數(shù)，計(jì)算所述個(gè)體的所述適應(yīng)度； 其中，所述N為隱含層的層數(shù)。
5. 根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于， 所述分別計(jì)算第1隱含層至第N隱含層的輸出向量的步驟包括以下步驟： 計(jì)算隱含層神經(jīng)元的輸出，計(jì)算公式為：
其中，所述A/表示第1隱含層的第j個(gè)神經(jīng)元的輸出，所述.表示輸入層的第k個(gè)神 經(jīng)元與第1隱含層的第j個(gè)神經(jīng)元之間的權(quán)重，所述Xk表示神經(jīng)網(wǎng)絡(luò)的輸入層第k個(gè)神經(jīng) 元的輸入，所述表示第i-1隱含層的第k個(gè)神經(jīng)元與第i隱含層的第j個(gè)神經(jīng)元之間 的權(quán)重，所述表示第i隱含層的第j個(gè)神經(jīng)元的輸出，所述M1表示第i-1隱含層的第k 個(gè)神經(jīng)元的輸出，所述Iltl為輸入層的神經(jīng)元個(gè)數(shù)，所述IlH為第i-1隱含層的神經(jīng)元個(gè)數(shù)， 所述f為激活函數(shù)； 計(jì)算第1隱含層的輸出向量，計(jì)算公式為：
其中，所述H1表示第1隱含層的神經(jīng)元個(gè)數(shù)，所述1^表示為第1隱含層神經(jīng)元的輸出 向量，所述W表示第1隱含層的第1個(gè)神經(jīng)元的輸出，所述V表示第1隱含層的第j個(gè)神經(jīng) 元的輸出，所述V表示第1隱含層的第1^個(gè)神經(jīng)元的輸出，所述M1表示輸入層的第k個(gè)神 經(jīng)元與第1隱含層的第1個(gè)神經(jīng)元之間的權(quán)重，所述表示輸入層的第k個(gè)神經(jīng)元與第1 隱含層的第j個(gè)神經(jīng)元之間的權(quán)重，所述WkcU表示輸入層的第k個(gè)神經(jīng)元與第1隱含層的 第化個(gè)神經(jīng)元之間的權(quán)重； 計(jì)算第i隱含層的輸出向量，計(jì)算公式為：
其中，所述hi為第i隱含層的輸出向量，所述hH為第i-1隱含層的輸出向量，所述UH表示第i隱含層輸出參數(shù)值，所述4]1表示第i-1隱含層的第k個(gè)神經(jīng)元與第i隱含層的 第1個(gè)神經(jīng)元之間的權(quán)重，所述>0表示第i-1隱含層的第k個(gè)神經(jīng)元與第i隱含層的第j 個(gè)神經(jīng)元之間的權(quán)重，所述表示第i-1隱含層的第k個(gè)神經(jīng)元與第i隱含層的第叫個(gè) 神經(jīng)元之間的權(quán)重，所述Ili為第i隱含層的神經(jīng)元個(gè)數(shù)； 計(jì)算第N隱含層的輸出向量，計(jì)算公式為：
所述I^1表示第N隱含層輸出參數(shù)值，所述N為隱含層的層數(shù)，所述hN表示第N隱含層 的輸出向量，所述V1表示第N-I隱含層的輸出向量，所述表示第N-I隱含層的第k個(gè) 神經(jīng)元的輸出，所述Wff1.表示第N-I隱含層的第k個(gè)神經(jīng)元與第N隱含層的第1個(gè)神經(jīng)元 之間的權(quán)重，所述表示第N-I隱含層的第k個(gè)神經(jīng)元與第N隱含層的第j個(gè)神經(jīng)元之 間的權(quán)重，所述表示第N-I隱含層的第k個(gè)神經(jīng)元與第N隱含層的第nN個(gè)神經(jīng)元之間 的權(quán)重，所述nN表示第N隱含層的神經(jīng)元個(gè)數(shù)，所述nN_i表示第N-I隱含層的神經(jīng)元個(gè)數(shù)； 所述根據(jù)所述第N隱含層的輸出向量計(jì)算輸出層神經(jīng)元的輸出的步驟的計(jì)算公式為：
其中，所述表示第N隱含層的第k個(gè)神經(jīng)元和輸出層第j個(gè)神經(jīng)元之間的權(quán)重，所 述/^表示第N隱含層的第k個(gè)神經(jīng)元的輸出；所述7」表示輸出層的第j個(gè)神經(jīng)元的輸出； 所述根據(jù)所述輸出層神經(jīng)元的輸出，計(jì)算輸出層的輸出向量的步驟的計(jì)算公式為： F(U,W,X) = (y1,y2,-yllJ; 所述F(U，W，X)表示輸出層的輸出向量，所述X為輸入層的輸入向量，所述W表示神經(jīng) 網(wǎng)路權(quán)重矩陣，所述U表示隱含層輸出參數(shù)值矩陣，U= [U1，…，Ui，…，uN_J，所述U1表示第 2隱含層輸出參數(shù)值，所述Ui表示第i+1隱含層輸出參數(shù)值，其中所述up^及uN_i的取值 為〇或1 ;所述Y1表示輸出層第1個(gè)神經(jīng)元的輸出，所述y2表示輸出層第1個(gè)神經(jīng)元的輸 出，所述表示輸出層第nN+1個(gè)神經(jīng)元的輸出，所述nN+1表示輸出層神經(jīng)元的個(gè)數(shù)； 所述計(jì)算目標(biāo)函數(shù)的步驟的計(jì)算公式為： R=I|F(U,X,ff)-d|I2； 其中，所述R為所述目標(biāo)函數(shù)，所述d為神經(jīng)網(wǎng)絡(luò)的期望輸出向量； 所述根據(jù)所述目標(biāo)函數(shù)，計(jì)算所述個(gè)體的所述適應(yīng)度的步驟的計(jì)算公式為： Fit=M-R； 其中，所述Fit為所述個(gè)體的所述適應(yīng)度，所述M為一個(gè)大于O的數(shù)。
6.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述激勵(lì)函數(shù)f具體為：
其中，所述X為激勵(lì)函數(shù)f的自變量。
7. 根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述對(duì)所述個(gè)體進(jìn)行選擇 的步驟包括以下步驟： 初始化m為O; 計(jì)算每個(gè)所述個(gè)體被遺傳到下一代種群中的概率，計(jì)算公式為：
其中，所述Pz表示第z個(gè)所述個(gè)體遺傳到下一代種群的概率，所述T為所述個(gè)體的數(shù) 量，所述Fit(t)為第t個(gè)所述個(gè)體的適應(yīng)度，所述Fit(z)為第z個(gè)所述個(gè)體的適應(yīng)度，所 述z為大于等于1小于等于T的正整數(shù)，所述t為大于等于1小于等于T的正整數(shù)； 計(jì)算每個(gè)所述個(gè)體的累積概率，計(jì)算公式為：
其中，所述qt為第t個(gè)所述個(gè)體的累積概率； 判斷所述m是否大于預(yù)設(shè)值； 若大于，則執(zhí)行所述對(duì)選擇后的所述個(gè)體進(jìn)行隨機(jī)交叉的步驟； 若小于，則執(zhí)行以下步驟： 在〇到1之間隨機(jī)產(chǎn)生一個(gè)隨機(jī)數(shù)r; 判斷所述r是否小于第1個(gè)所述個(gè)體的累積概率q1; 若判斷所述r小于第1個(gè)所述個(gè)體的累積概率qi，則執(zhí)行以下步驟： 選擇第1個(gè)所述個(gè)體，第1個(gè)所述個(gè)體被選擇的次數(shù)增加1，所述m增加1，并返回繼續(xù) 執(zhí)行判斷所述m是否大于預(yù)設(shè)值的步驟； 若判斷所述r大于等于第1個(gè)所述個(gè)體的累積概率qi，則執(zhí)行以下步驟： 當(dāng)<qjt，選擇第s個(gè)所述個(gè)體，第s個(gè)所述個(gè)體被選擇的次數(shù)增加1 ;所述m增加1，并返回繼續(xù)執(zhí)行判斷所述m是否大于預(yù)設(shè)值的步驟； 其中，所述s為大于等于2小于等于T的正整數(shù)。
8. 根據(jù)權(quán)利要求7所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述對(duì)選擇后的所述個(gè)體 進(jìn)行隨機(jī)交叉的步驟具體為： 對(duì)被選擇的次數(shù)大于預(yù)設(shè)次數(shù)的所述個(gè)體進(jìn)行隨機(jī)交叉。
9. 根據(jù)權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述對(duì)選擇后的所述個(gè)體 進(jìn)行隨機(jī)交叉的步驟包括以下步驟： 對(duì)所述個(gè)體進(jìn)行隨機(jī)配對(duì)； 隨機(jī)設(shè)置交叉點(diǎn)位置； 所述配對(duì)個(gè)體的一個(gè)個(gè)體以所述交叉點(diǎn)位置為分界點(diǎn)分為第一部分和第二部分； 所述配對(duì)個(gè)體的另一個(gè)個(gè)體以所述交叉點(diǎn)位置相對(duì)應(yīng)的以分界點(diǎn)分為第三部分和第 四部分； 將所述第一部分與所述第三部分交換，或所述第二部分與所述第四部分交換； 得到交叉后的個(gè)體。
10.根據(jù)權(quán)利要求9所述的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，其特征在于，所述對(duì)交叉后的所述個(gè)體 進(jìn)行變異的步驟包括以下步驟： 選擇所述個(gè)體的變異位置點(diǎn)； 對(duì)所述個(gè)體的所述變異位置點(diǎn)的值取反。
【文檔編號(hào)】G06N3/02GK104504442SQ201410843528
【公開日】2015年4月8日 申請(qǐng)日期:2014年12月30日 優(yōu)先權(quán)日:2014年12月30日
【發(fā)明者】楊玉林, 謝松均, 柏智 申請(qǐng)人:湖南強(qiáng)智科技發(fā)展有限公司