能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)及優(yōu)化求解方法
【專(zhuān)利摘要】一種能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)及優(yōu)化求解方法。神經(jīng)網(wǎng)絡(luò)包括：多個(gè)神經(jīng)元、連接權(quán)值、控制器和神經(jīng)元輸出；多個(gè)神經(jīng)元包括神經(jīng)元S1…Sn；多個(gè)連接權(quán)值包括連接權(quán)值W11…W1n、W21…W2n…Wn1…Wnn；多個(gè)控制器包括控制器u1…un；多個(gè)神經(jīng)元輸出包括多個(gè)神經(jīng)元輸出x1…xn。本發(fā)明提供的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)可以用軟件或硬件實(shí)現(xiàn)；針對(duì)不同特性的優(yōu)化問(wèn)題，設(shè)置不同控制量ui，使得網(wǎng)絡(luò)有針對(duì)性地求解優(yōu)化問(wèn)題，提高求解效率和準(zhǔn)確性。還可通過(guò)設(shè)置不同的控制量ui控制網(wǎng)絡(luò)按照指定的搜索路徑搜索優(yōu)化問(wèn)題的解。
【專(zhuān)利說(shuō)明】能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)及優(yōu)化求解方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于神經(jīng)網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，特別是涉及一種能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)及優(yōu)化求解方法。
【背景技術(shù)】
[0002]自從連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)問(wèn)世以來(lái)，在求解優(yōu)化問(wèn)題、聯(lián)想記憶、模式辨識(shí)以及圖像處理等領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用。特別是在優(yōu)化領(lǐng)域，連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)更是大顯身手。但是，現(xiàn)有連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)和其相關(guān)的改進(jìn)神經(jīng)網(wǎng)絡(luò)都是根據(jù)網(wǎng)絡(luò)自身的神經(jīng)元的運(yùn)算來(lái)進(jìn)行優(yōu)化求解的。當(dāng)網(wǎng)絡(luò)的參數(shù)設(shè)定好，并將問(wèn)題映射到網(wǎng)絡(luò)能量函數(shù)后，網(wǎng)絡(luò)只能靠自身的迭代搜索能量函數(shù)最優(yōu)解，即為優(yōu)化問(wèn)題的最優(yōu)解，但是，由于網(wǎng)絡(luò)參數(shù)的設(shè)定沒(méi)有針對(duì)性，所以使搜索比較盲目，效率較低；因此，能通過(guò)控制其網(wǎng)絡(luò)的能量，改變能量函數(shù)值，從而能根據(jù)不同優(yōu)化問(wèn)題的特性，按照預(yù)定設(shè)計(jì)好的搜索方向或路徑進(jìn)行優(yōu)化問(wèn)題求解，將是對(duì)連續(xù)Hopfield網(wǎng)絡(luò)的一個(gè)突破性的改進(jìn)，必將提高其優(yōu)化求解能力，具有十分重要的理論價(jià)值和現(xiàn)實(shí)意義。

【發(fā)明內(nèi)容】

[0003]為了解決上述問(wèn)題，本發(fā)明的目的在于提供一種能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)及優(yōu)化求解方法。
[0004]為了達(dá)到上述目的，本發(fā)明提供的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)包括:多個(gè)神經(jīng)元、連接權(quán)值、控制器和神經(jīng)元輸出；多個(gè)神經(jīng)元包括神經(jīng)元sf-sn ;多個(gè)連接權(quán)值包括連接權(quán)值Wll...Wln、W21...W2n…Wnl...Wnn ;多個(gè)控制器包括控制器ul…un ;多個(gè)神經(jīng)元輸出包括多個(gè) 神經(jīng)元輸出XI…Xn ;其中:控制器UL...!!!!為神經(jīng)元的控制輸入，其分別與神經(jīng)元SP^Sn相連接；神經(jīng)元輸出xl…xn為神經(jīng)元SP^Sn的輸出信號(hào)，其分別與神經(jīng)元SP^Sn相連接；每個(gè)神經(jīng)元具有η個(gè)輸入端，神經(jīng)元S1的η個(gè)輸入端分別與連接權(quán)值W11...Win相連接，以此類(lèi)推,神經(jīng)元Sn的η個(gè)輸入端分別與連接權(quán)值WnP^Wnn相連接；連接權(quán)值W11的輸入端分別與連接權(quán)值Ι21...Ιη1的輸入端相連接、同時(shí)還與神經(jīng)元S1的神經(jīng)元輸出xl相連接；以此類(lèi)推，連接權(quán)值Win的輸入端分別與連接權(quán)值W2rr"Wnn的輸入端相連接，同時(shí)還與神經(jīng)元Sn的神經(jīng)元輸出xn相連接。
[0005]所述的神經(jīng)元由累加器Σ、連續(xù)且單調(diào)遞增的神經(jīng)元激活函數(shù)Ψ以及電阻和電容來(lái)實(shí)現(xiàn)，或者由功能類(lèi)似的函數(shù)或硬件來(lái)實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程為:
【權(quán)利要求】
1.一種能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，其特征在于:其包括:多個(gè)神經(jīng)元(1)、連接權(quán)值(2)、控制器(3)和神經(jīng)元輸出(4);多個(gè)神經(jīng)元(1)包括神經(jīng)元S^-Sn ;多個(gè)連接權(quán)值(2)包括連接權(quán)值111...1111、121..1211...1111..恥11 ;多個(gè)控制器(3)包括控制器uh.un ；多個(gè)神經(jīng)元輸出(4)包括多個(gè)神經(jīng)元輸出xL...? ;其中:控制器uL...?為神經(jīng)元的控制輸入，其分別與神經(jīng)元SP^Sn相連接；神經(jīng)元輸出χΡ..χη為神經(jīng)元SP^Sn的輸出信號(hào)，其分別與神經(jīng)元Sb-Sn相連接；每個(gè)神經(jīng)元具有η個(gè)輸入端，神經(jīng)元S1的η個(gè)輸入端分別與連接權(quán)值Wll...Wln相連接，以此類(lèi)推，神經(jīng)元Sn的η個(gè)輸入端分別與連接權(quán)值Wnl...Wnn相連接；連接權(quán)值W11的輸入端分別與連接權(quán)值Ι21...Ιη1的輸入端相連接、同時(shí)還與神經(jīng)元S1的神經(jīng)元輸出xl相連接；以此類(lèi)推，連接權(quán)值Win的輸入端分別與連接權(quán)值W2rr"Wnn的輸入端相連接，同時(shí)還與神經(jīng)元Sn的神經(jīng)元輸出xn相連接。
2.根據(jù)權(quán)利要求1所述的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，其特征在于:所述的神經(jīng)元(1)由累加器Σ、連續(xù)且單調(diào)遞增的神經(jīng)元激活函數(shù)Ψ以及電阻和電容來(lái)實(shí)現(xiàn)，或者由功能類(lèi)似的函數(shù)或硬件來(lái)實(shí)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程為:
3.根據(jù)權(quán)利要求1所述的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，其特征在于:所述的神經(jīng)元(1)內(nèi)部狀態(tài)的起始值為在[-1，1]連續(xù)范圍內(nèi)的隨機(jī)數(shù)。
4.根據(jù)權(quán)利要求1所述的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)，其特征在于:當(dāng)所述的連接權(quán)值(2)用矩陣表示時(shí)，該矩陣應(yīng)為對(duì)稱(chēng)矩陣；所述連接權(quán)值或者是正或者是負(fù)。
5.—種如權(quán)利要求1所述的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)的優(yōu)化求解方法，其特征在于:所述的優(yōu)化求解方法包括按順序進(jìn)行的下列步驟:步驟一、建立能量函數(shù)的S01階段:為所求解的優(yōu)化問(wèn)題建立一個(gè)能量函數(shù)E ;步驟二、設(shè)置參數(shù)初始值的S02階段:設(shè)置yi的起始值為[-1，1]的連續(xù)范圍內(nèi)的隨機(jī)數(shù)；設(shè)置k，α，β，ε值為任意實(shí)數(shù)；步驟三、制定控制定律的S03階段:根據(jù)優(yōu)化問(wèn)題的特性，設(shè)置Ui的控制規(guī)律；步驟四、設(shè)置最大迭代步數(shù)的S04階段:根據(jù)具體情況設(shè)定最大迭代步數(shù)；步驟五、計(jì)算所有神經(jīng)元輸出的初始值的S05階段:根據(jù)初始的內(nèi)部狀態(tài)yi和Ui，計(jì)算所有神經(jīng)網(wǎng)絡(luò)神經(jīng)元輸出的初始值Xi ；步驟六、根據(jù)串行工作方式，更新神經(jīng)元內(nèi)部狀態(tài)和輸出的S06階段:以串行工作方式，根據(jù)神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)方程和當(dāng)前的Xi和yi;更新神經(jīng)網(wǎng)絡(luò)的所有神經(jīng)元內(nèi)部狀態(tài)yi和神經(jīng)元輸出Xi，完成一次神經(jīng)網(wǎng)絡(luò)的迭代；步驟七、計(jì)算優(yōu)化目標(biāo)函數(shù)結(jié)果的S07階段:根據(jù)神經(jīng)網(wǎng)絡(luò)神經(jīng)元的輸出計(jì)算能量函數(shù)的結(jié)果；步驟八、判斷是否優(yōu)于上一次結(jié)果的S08階段:檢查此計(jì)算結(jié)果是否比上一次的計(jì)算結(jié)果好，如判斷結(jié)果為“是”，則進(jìn)入下一步S09階段，否則下一步進(jìn)入S10階段；步驟九、保留此結(jié)果的S09階段:保存此次計(jì)算的結(jié)果，然后進(jìn)入下一步S11階段；步驟十、放棄此結(jié)果的S10階段，放棄此次計(jì)算的結(jié)果，然后進(jìn)入下一步S11階段；步驟十一、判斷是否達(dá)到最大迭代步數(shù)的S11階段:判斷是否達(dá)到設(shè)置的最大迭代步數(shù)，如果判斷結(jié)果為“是”，則進(jìn)入下一步S13階段，否則下一步進(jìn)入S12階段；步驟十二、更新控制量的S12階段:根據(jù)Ui的變換規(guī)則，更新Ui的值，然后下一步重新進(jìn)入S06階段；步驟十三、輸出最終結(jié)果的S13階段:輸出S09階段所保存的計(jì)算結(jié)果，結(jié)束迭代，求得能量函數(shù)的最優(yōu)值，也就是要求解的優(yōu)化問(wèn)題的最優(yōu)值；本流程至此結(jié)束。
6.根據(jù)權(quán)利要求6所述的優(yōu)化求解方法，其特征在于:在SOI階段中，所述的建立能量函數(shù)的方法為:首先為所求解的優(yōu)化問(wèn)題建立一個(gè)能量函數(shù)E，并將此能量函數(shù)映射到所述的能量可控的連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)中，映射后的神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)方程為:
7.根據(jù)權(quán)利要求6所述的優(yōu)化求解方法，其特征在于:在S03階段中，所述的設(shè)置Ui的控制規(guī)律采用如下的控制量設(shè)計(jì)方法:(1)先設(shè)計(jì)控制量控制此神經(jīng)網(wǎng)絡(luò)能量上升到最大值，然后控制此神經(jīng)網(wǎng)絡(luò)能量慢慢下降，搜索最優(yōu)解；如果得到的結(jié)果滿意，則停止，否則控制此神經(jīng)網(wǎng)絡(luò)能量再次上升到最大值，改變控制量的大小并滿足網(wǎng)絡(luò)能量下降的條件，以不同的下降速度控制此神經(jīng)網(wǎng)絡(luò)能量下降，重新搜索最優(yōu)解；重復(fù)上述過(guò)程η次，從中找到較好的解作為最終的結(jié)論；(2)當(dāng)所設(shè)計(jì)控制量使此神經(jīng)網(wǎng)絡(luò)陷入局部最小或不合理解，通過(guò)設(shè)計(jì)控制量控制此神經(jīng)網(wǎng)絡(luò)能量增加逃離局部最小或不合理解，然后重新設(shè)定控制量的大小，并控制此神經(jīng)網(wǎng)絡(luò)保持下降條件，改變下降的方向和幅度，從而改變此神經(jīng)網(wǎng)絡(luò)搜索的路徑，進(jìn)行優(yōu)化求解。
【文檔編號(hào)】G06N3/02GK103646283SQ201310594388
【公開(kāi)日】2014年3月19日 申請(qǐng)日期:2013年11月21日 優(yōu)先權(quán)日:2013年11月21日
【發(fā)明者】費(fèi)春國(guó), 陳維興, 張積洪 申請(qǐng)人:中國(guó)民航大學(xué)