本發(fā)明屬于醫(yī)學(xué)圖像分類技術(shù)領(lǐng)域，適用于超聲甲狀腺分類，具體涉及一種基于遷移學(xué)習(xí)與特征融合的超聲甲狀腺結(jié)節(jié)良惡性分類方法。
背景技術(shù)：
超聲檢查是甲狀腺結(jié)節(jié)最有價值的診斷方法之一。超聲波在人體內(nèi)傳播時，由于不同組織的聲阻抗和衰減特性不同，表現(xiàn)出不同的回聲強度。良惡性結(jié)節(jié)在超聲圖像中表現(xiàn)不同，因此可用圖像識別和圖像分類的方法，對甲狀腺的結(jié)節(jié)進(jìn)行良惡性自動分類與判別。該方法可為醫(yī)生提供輔助性診斷手段，減輕醫(yī)生臨床診斷壓力，解決診斷結(jié)果過度依賴醫(yī)生主觀經(jīng)驗問題，具有重要實用價值與理論意義。
甲狀腺結(jié)節(jié)良惡性分類的關(guān)鍵在于尋找合適的有區(qū)分度的特征。傳統(tǒng)方法是提取底層紋理特征、灰度特征等用于分類，如梯度直方圖(HOG)、局部二值模式(LBP)、灰度共生矩陣(GLCM)、尺度不變特征(SIFT)、局部特征聚合描述符(VLAD)等特征。然而，超聲圖像具有斑點噪聲嚴(yán)重、對比度低的固有成像特點，甲狀腺結(jié)節(jié)的形狀大小和病例特點又不盡相同，這些底層特征由于其單一性和局域性，缺少語義層次上對結(jié)節(jié)特性的有效描述，因此無法在結(jié)節(jié)良惡性分類任務(wù)中獲得令人滿意的結(jié)果。
近年來，深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在圖像識別領(lǐng)域展現(xiàn)了巨大的應(yīng)用潛力。CNNs由多個卷積層和特征映射層組成，由CNNs提取得到的特征，可以看做是輸入圖像的一種高度融合的特征表達(dá)方式，其中體現(xiàn)了語義層次上的隱含信息。這類高層的語義特征正好可以補充傳統(tǒng)底層特征在表達(dá)深度上的不足。將此特征引入超聲圖像分類的困難是，在醫(yī)學(xué)領(lǐng)域無法獲得如此大的數(shù)據(jù)集來訓(xùn)練一個針對性的深度網(wǎng)絡(luò)，而采用小規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)集(通常在數(shù)百張左右)訓(xùn)練一個含有上百萬參數(shù)的深度網(wǎng)絡(luò)，可以預(yù)見到訓(xùn)練會陷入過擬合。
技術(shù)實現(xiàn)要素：
為了克服上述現(xiàn)有技術(shù)的缺點，本發(fā)明的目的在于提供一種基于遷移學(xué)習(xí)與特征融合的超聲甲狀腺結(jié)節(jié)良惡性分類方法，通過引入遷移學(xué)習(xí)的概念，將自然圖像中經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到的模型，應(yīng)用到醫(yī)學(xué)圖像處理中，從而為醫(yī)學(xué)圖像提取更高層次的語義特征，能夠較好地識別甲狀腺結(jié)節(jié)的良惡性，獲得更高的分類精度。
為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：
一種基于遷移學(xué)習(xí)與特征融合的超聲甲狀腺結(jié)節(jié)良惡性分類方法，包括以下步驟：
步驟1，對包含結(jié)節(jié)區(qū)域的超聲圖像進(jìn)行預(yù)處理，并將圖像縮放為統(tǒng)一尺寸；
步驟2，對步驟1得到的每一張圖像，分別提取底層特征；
步驟3，將步驟1得到的每一張圖像，輸入到已通過ImageNet數(shù)據(jù)集訓(xùn)練后的VGG-F模型，并提取第二個全連接層的輸出向量作為該圖像的高層語義特征；
步驟4，將步驟2和3提取的特征合并，根據(jù)良惡性甲狀腺結(jié)節(jié)的區(qū)分度進(jìn)行特征篩選，得到最終的顯著特征描述向量；
步驟5，將醫(yī)生已標(biāo)記好的甲狀腺結(jié)節(jié)超聲圖像作為訓(xùn)練集，利用支持向量機(SVM)及步驟4得到的顯著特征描述向量進(jìn)行樣本訓(xùn)練，得到針對超聲甲狀腺結(jié)節(jié)的分類器；
步驟6，將待分類的甲狀腺結(jié)節(jié)超聲圖像按照步驟2-4提取到其特征向量，并輸入步驟5得到的分類器，得到該結(jié)節(jié)良惡性分類結(jié)果。
所述步驟1中，采用各向異性擴(kuò)散斑點抑制方法進(jìn)行斑點噪聲消除。
所述步驟2中，底層特征包括HOG、LBP、SIFT-VLAD。
所述步驟3中，VGG-F模型是牛津大學(xué)VGG小組在ImageNet圖像集上訓(xùn)練的深度模型，包括5個卷積層和3個全連接層，所述第二個全連接層是指VGG-F模型特征映射層的第二層，也是該模型的第7層，該層輸出向量為4096維。
所述步驟4中，底層特征與高層語義特征合并方法是將各特征向量首尾相連直接連綴成一維向量。
所述步驟4中，根據(jù)良惡性甲狀腺的區(qū)分度進(jìn)行特征篩選指的是，根據(jù)以下公式得到N維特征的區(qū)分度，從N維特征分量中選擇K個顯著分量：
其中，MB代表良性，MM代表惡性，N代表特征維數(shù)，vik代表第i個圖像樣本的第k維特征，將計算得到的diffk從大到小排列，選擇前K個對應(yīng)的特征描述子分量作為顯著特征，組成新的特征描述子。
所述步驟5中，SVM分類器訓(xùn)練是指，在特征空間內(nèi)，尋找一個超平面，使得不同良惡性類別的特征點位于超平面的兩邊，并且特征點距離該超平面盡可能的遠(yuǎn)，此超平面即為訓(xùn)練所得分類面。
與現(xiàn)有技術(shù)相比，本發(fā)明先通過遷移學(xué)習(xí)得到關(guān)于圖像的高層語義特征，其后將底層特征與高層特征相融合，并進(jìn)行特征篩選得到顯著性特征，最后再進(jìn)行甲狀腺結(jié)節(jié)的良惡性分類，其有益效果包括：
1)本發(fā)明對于超聲甲狀腺圖像引入了通過深度學(xué)習(xí)得到的高層語義特征，并將這種高層語義特征與傳統(tǒng)的底層特征相結(jié)合，更好地刻畫了超聲甲狀腺結(jié)節(jié)的病例特性。
2)本發(fā)明利用遷移學(xué)習(xí)的方法，將利用自然圖像訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型作為高層特征提取器，避免了醫(yī)學(xué)圖像數(shù)據(jù)少無法訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的障礙。
3)本發(fā)明將高層特征與底層特征融合篩選，有效提高了超聲甲狀腺結(jié)節(jié)的良惡性分類精度。
附圖說明
圖1是本發(fā)明超聲甲狀腺結(jié)節(jié)良惡性分類方法流程圖。
具體實施方式
下面結(jié)合附圖和實施例詳細(xì)說明本發(fā)明的實施方式。
如圖1所示，本發(fā)明一種基于遷移學(xué)習(xí)與特征融合的超聲甲狀腺結(jié)節(jié)良惡性分類方法，包括以下步驟：
步驟1，對包含腫瘤區(qū)域的超聲圖像進(jìn)行預(yù)處理，具體利用各向異性擴(kuò)散斑點抑制方法進(jìn)行斑點噪聲消除，并將圖像縮放到統(tǒng)一尺寸。
在本實施例中，采用超聲甲狀腺結(jié)節(jié)圖像1037張。為統(tǒng)一尺寸，將圖片統(tǒng)一采樣縮放為224*224大小。
步驟2，對步驟1得到的每一張圖像，分別提取傳統(tǒng)底層特征HOG特征，LBP特征，SIFT-VLAD特征。
在本實施例中，HOG特征算法參數(shù)選擇為：直方圖計算范圍(Cell)大小64*64像素，塊大小4*4Cell，利用該算子可得到144維的特征向量；LBP特征算法參數(shù)選擇為：鄰近像素數(shù)目為24，半徑為3像素，利用該算子可得到26維的特征向量；VLAD特征算法參數(shù)選擇為：碼本詞匯數(shù)為4，該算子提取特征為512維向量。
步驟3，將步驟1得到的每一張圖像，作為輸入到已通過ImageNet數(shù)據(jù)集訓(xùn)練后的VGG-F模型，并提取第二個全連接層的輸出向量作為該圖像的高層語義特征；經(jīng)過VGG-F模型，可提取得到4096維的特征向量。
步驟4，將步驟2和3提取的特征向量合并，根據(jù)良惡性甲狀腺結(jié)節(jié)的區(qū)分度進(jìn)行特征篩選，得到最終的顯著特征描述向量；
圖像特征向量合并得到4887維的特征向量。本實施例中，根據(jù)良惡性甲狀腺結(jié)節(jié)的區(qū)分度大小進(jìn)行排列，并選取前1100個分量作為顯著特征描述向量。
步驟5，將醫(yī)生已標(biāo)記好的甲狀腺結(jié)節(jié)超聲圖像作為訓(xùn)練集，利用支持向量機(SVM)對步驟4得到的顯著特征描述向量進(jìn)行訓(xùn)練，得到針對超聲甲狀腺結(jié)節(jié)的分類器；
本實施例中，采用933張已標(biāo)記甲狀腺結(jié)節(jié)超聲圖像樣本作為訓(xùn)練集。采用步驟4中得到1100維的顯著特征描述向量，訓(xùn)練出針對超聲甲狀腺結(jié)節(jié)的SVM分類器。
步驟6，將待分類的甲狀腺結(jié)節(jié)超聲圖像按照步驟2-4提取到其特征向量，并輸入步驟5得到的分類器，得到該結(jié)節(jié)良惡性分類結(jié)果。
本實施例中，將剩余104張圖片作為待分類的甲狀腺結(jié)節(jié)圖像。分別得到1100維的顯著特征描述向量后，進(jìn)行分類，分類精度為93.3％。
綜上，本發(fā)明將底層特征和高層特征相融合、并進(jìn)行顯著性特征篩選，彌補了單一特征在語義層次上對甲狀腺結(jié)節(jié)特性描述能力的不足，有效提高了分類精度；通過引入遷移學(xué)習(xí)，解決了醫(yī)學(xué)樣本圖像少、無法直接訓(xùn)練獲取深度特征的問題。