本發(fā)明涉及計算機控制領(lǐng)域，尤其涉及一種電梯緊固螺帽松動的圖像識別檢測方法。

背景技術(shù)：

電梯是一種以電動機為動力的升降機裝置，在現(xiàn)代化和高速化的今天，廣泛服務(wù)于人類社會中多層建筑之間的人或貨物運輸。近幾年，頻繁發(fā)生的電事故引起社會關(guān)注，保證電梯正常運行，關(guān)心乘車人人身安全勢在必行，因此就電梯運行中的保險杠螺栓松動檢測研究，保證設(shè)備的安全可靠運行具有重要意義。

傳統(tǒng)螺栓檢測包括人工檢測和自動檢測兩大類。人工檢測是指配備專門的工作人員定期以肉眼觀測螺栓是否有松動。此種方法簡單易行，不需要依靠復(fù)雜的設(shè)備。但此方法的缺點一是效率低，勞動強度大，檢測人員易疲勞；二是較大地依賴工作人員的專業(yè)素質(zhì)和工作態(tài)度，檢測質(zhì)量難以得到保障。

第二大類方法是利用裝置或者內(nèi)置算法自動檢測螺栓的松動。加入探測器的螺栓松動檢測方法是通過檢測器讀取傳感器發(fā)出的信號，當(dāng)螺母出現(xiàn)松動時便會帶著主動輪轉(zhuǎn)動，，當(dāng)從動齒輪表面的金屬涂層所在區(qū)域轉(zhuǎn)到傳感器安裝槽的上方時，便會擋住傳感器向探測器發(fā)出的信號，從而便能探測出緊固件出現(xiàn)松動。

比較常用內(nèi)置算法的是利用螺栓旋轉(zhuǎn)角度來考慮保險杠螺栓的松動。一般做法是在螺栓連接部位畫出一條連續(xù)垂直清晰的標(biāo)記，當(dāng)螺栓發(fā)生松動時必然使得螺栓之間的角度發(fā)生變化，此時提取照片并檢測標(biāo)記之間的角度即可檢測出螺栓是否松動，但是此方法在螺栓剛好旋轉(zhuǎn)整數(shù)圈時就故障排除效果不佳。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種

為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種電梯緊固螺帽松動的圖像識別檢測方法，包括：

s1，通過訓(xùn)練足量擰緊的保險杠螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準(zhǔn)配對候選形狀；

s2，通過bing算法選擇出若干候選框，并根據(jù)顏色值濾出多余候選框；

s3，對保留的候選框進(jìn)行邊緣檢測，得到螺栓顏色標(biāo)記部分的邊緣閉合形狀；

s4，根據(jù)邊緣幾何形狀以及距離判斷螺栓是否發(fā)生松動。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s1包括：

s1-1，通過足量擰緊的保險杠螺栓正樣本圖像得到各螺帽間的微小間距，螺帽校準(zhǔn)形狀水平對齊和垂直對齊平均允許誤差，以及校準(zhǔn)配對候選形狀幾何、顏色信息，訓(xùn)練得到最佳距離允許閾值和最佳校準(zhǔn)配對候選形狀。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s2通過bing算法選擇出若干候選框包括：

s2-1，bing算法中首先選定標(biāo)注目標(biāo)位置的樣本圖像生成不同尺度的正負(fù)樣本，并將各樣本尺寸縮放至固定8×8大小；在該尺寸下，螺栓紋理、局部形狀等細(xì)節(jié)特征將丟失，只保留對象的邊界梯度輪廓特征；物體輪廓梯度值更高，與其周圍背景區(qū)域形成強烈對比；

s2-2，其次利用線性支持向量機訓(xùn)練正負(fù)樣本集，獲得目標(biāo)似物性檢測模板；一個與目標(biāo)對象同大小的像素尺寸候選框更有可能表達(dá)該目標(biāo)對象，因此該模板同樣保證為64維的8×8大??；然后利用打分系統(tǒng)機制，計算每個尺度下的濾波得分并排序，利用非極大值抑制算法(non-maximumsuppression，nms)消除局部冗余；

s2-3，最后在原始圖像中找到打分點對應(yīng)的候選框大小并保存。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s2-3包括：

a：bing對各尺寸樣本計算梯度特征，根據(jù)梯度特征匹配得到一組帶有濾波得分的候選框，濾波得分sl定義如下：

s(i,x,y)＝＜w,g(i,x,y)＞，

其中，w為訓(xùn)練獲得的模型參數(shù)，g(i,x,y)是尺度為i的位置坐標(biāo)(x,y)的圖像框縮放至小尺寸下的ng(normedgradients)特征，符號“<，>”表示內(nèi)積運算；w，g都為矩陣；

對于每一個像素的梯度幅值計算，采用prewitt算子方式獲得：

g(i,x,y)＝min{|gx|+|gy|,255}，其中g(shù)(i,x,y)表示尺度i的位置坐標(biāo)(x,y)每一個像素梯度幅值，gx為x坐標(biāo)的像素梯度幅值，gy為y坐標(biāo)的像素梯度幅值；

由于濾波分?jǐn)?shù)會因為尺寸的不同而存在偏差，因此當(dāng)對最終候選得分重排序時需要校準(zhǔn)得到最終不同尺寸帶有的候選窗組得分，定義對象性得分ol如下：

其中，vi是尺寸i下的獨立學(xué)習(xí)系數(shù)，ti表示尺寸i的偏移量；

獲得的候選框不僅僅應(yīng)該具有全局范圍內(nèi)的最高得分，還應(yīng)該具有鄰域最高得分，以避免由于最高窗口得分過于集中某一區(qū)域而可能導(dǎo)致人臉漏檢的現(xiàn)象；因此利用非極大值約束算法選擇邊緣點，從而使得最終候選窗口具有全局較高得分的同時，還具備鄰域得分最高。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s2包括：

為提高計算速度，加速特征提取和測試過程，模板與特征的二值化近似過程的具體步驟如下：

特征二值化：由于梯度幅值取值范圍[0，255]，因此利用如下公式方式進(jìn)行二進(jìn)制比特流替換；

其中，bk∈{0,1}表示第k位二進(jìn)制值，ng表示選取的二進(jìn)制位個數(shù)，由于后四位值對梯度影響并不大；

將8×8每點對應(yīng)的第k位聯(lián)合表示成二進(jìn)制流bk∈{0,1}⁶⁴；因此對應(yīng)8×8矩陣區(qū)域有：

模板二值化：對于w為訓(xùn)練獲得的模型參數(shù)，則看作多個基向量的組合，近似表示為其中，βj表示第j個基向量的系數(shù)，aj表示第j個基向量，aj∈{-1,1}⁶⁴，nw表示基向量個數(shù)，將aj轉(zhuǎn)化到[0，1]范圍：

故w表示為：

式s(i,x,y)＝＜w,g(i,x,y)＞的二值化公式表達(dá)如下：

其中指代將aj向量中的負(fù)值置為零，正值則不變。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述模板w的過程包括：

輸入：初始化的基向量ε，

輸出：模板w，

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，還包括：

為消除多余的選框，具體實現(xiàn)如下：

(1)將所有框的得分降序排列，選中最高分及其對應(yīng)的框，

(2)遍歷其余的框，如果和當(dāng)前最高分框的重疊面積(iou)大于一定閾值，我們就將框刪除，

(3)從未處理的框中繼續(xù)選一個得分最高的，重復(fù)上述過程。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s3還包括：

s3-1，利用canny對候選區(qū)域進(jìn)行邊緣檢測，先用2d高斯濾波模板進(jìn)行卷積以消除圖像噪聲，對濾波后的圖像中的每個像素點計算其梯度小大和方向，通過梯度方向找到該像素梯度方向的鄰接像素，最后通過非最大抑制以及閾值化和邊緣鏈接得到螺栓邊緣閉合形狀曲線，計算邊緣閉合形狀的面積；

s3-2，算法過程如下：

采用2d高斯濾波模板進(jìn)行卷積降噪中使用的size＝5的高斯內(nèi)核如下：

計算像素點的幅度和方向，這里按照sobel濾波器的步驟進(jìn)行介紹：

a.運用一對卷積陣列，分別作用于x,y方向，陣列

b.使用下列公式計算梯度值和方向：

梯度方向近似到四個可能角度之一；

沿幅角方向檢測模值的極大值點，即邊緣點，遍歷像素點，把每個像素偏導(dǎo)值與相鄰像素的模值比較，取其最大值為邊緣點，置像素灰度值為0；

s3-3，用雙用雙閾值算法檢測和連接邊緣：

a.對非極大值抑制圖像作用兩個閾值th1和th2，兩者關(guān)系th1＝0.4th2；我們把梯度值小于th1的像素的灰度值設(shè)為0，得到圖像1；然后把梯度值小于th2的像素的灰度值設(shè)為0，得到圖像2；由于圖像2的閾值較高，去除大部分噪音，但同時也損失了有用的邊緣信息；而圖像1的閾值較低，保留了較多的信息，我們可以以圖像2為基礎(chǔ)，以圖像1為補充來連結(jié)圖像的邊緣；

b.鏈接邊緣的具體步驟如下：

對圖像2進(jìn)行掃描，當(dāng)遇到一個非零灰度的像素p(x,y)時，跟蹤以p(x,y)為開始點的輪廓線，直到輪廓線的終點q(x,y)；考察圖像1中與圖像2中q(x,y)點位置對應(yīng)的點s(x,y)的8鄰近區(qū)域；如果在s(x,y)點的8鄰近區(qū)域中有非零像素s(x,y)存在，則將其包括到圖像2中，作為r(x,y)點；從r(x,y)開始，重復(fù)第一步，直到我們在圖像1和圖像2中都無法繼續(xù)為止；

當(dāng)完成對包含p(x,y)的輪廓線的連結(jié)之后，將這條輪廓線標(biāo)記為已經(jīng)訪問；回到第一步，尋找下一條輪廓線；重復(fù)第一步、第二步、第三步，直到圖像2中找不到新輪廓線為止；

至此，完成canny算子的邊緣檢測，得到螺栓紅色標(biāo)記部分的兩個邊緣閉合形狀。

所述的電梯緊固螺帽松動的圖像識別檢測方法，優(yōu)選的，所述s4包括：

s4-1，計算螺栓兩個紅色標(biāo)記部分的邊緣閉合形狀，并與正樣本中閉合形狀進(jìn)行比較，當(dāng)閉合形狀的面積與正樣本相差較多，或者只有一個閉合形狀，那么認(rèn)為螺栓發(fā)生松動；

s4-2，在滿足幾何形狀的前提下，再來判斷兩閉合形狀的中間距離是否在所允許的閾值范圍內(nèi)，如果在閾值范圍了，則認(rèn)為螺栓沒有發(fā)生松動，如果不滿足，則認(rèn)定螺栓發(fā)生了松動。

綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

從角度和幾何形狀兩個方面一起來判斷螺栓是否發(fā)生松動，進(jìn)一步提高了檢測的準(zhǔn)確率。

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明電梯運行中保險扛螺栓松動檢測方法流程圖；

圖2是本發(fā)明電梯運行中保險扛螺栓松動檢測方法螺栓擰緊和松動的示意圖；

圖3是利用canny算法完成邊緣檢測的步驟圖；

圖4a為邊緣方向示意圖，圖4b為8鄰域幅角方向示意圖；

具體實施方式

下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術(shù)語“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，除非另有規(guī)定和限定，需要說明的是，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語的具體含義。

本發(fā)明提供了一種電梯運行中保險扛螺栓松動的檢測方法，創(chuàng)新性地從距離和幾何形狀的角度來解決螺栓松動識別不精確問題。

為了實現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種電梯運行中保險扛螺栓松動的檢測方法，包括：

步驟1：通過訓(xùn)練足量擰緊的保險杠螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準(zhǔn)配對候選形狀；

步驟2：通過bing算法選擇出若干候選框，并根據(jù)顏色值濾出多余候選框。

步驟3：對保留的候選框進(jìn)行邊緣檢測，得到螺栓顏色標(biāo)記部分的邊緣閉合形狀；

步驟4：根據(jù)邊緣幾何形狀以及距離判斷螺栓是否發(fā)生松動。

上述技術(shù)方案的有益效果為：本發(fā)明提出的螺栓檢測方法，從幾何形狀和距離兩個標(biāo)準(zhǔn)較為全面的對螺栓松動做出了檢測，該方法具有較高的準(zhǔn)確率，并且能夠進(jìn)行自動檢測，省時省力，提高了螺栓松動檢測的針對性，保證設(shè)備的安全可靠運行；本發(fā)明不需要添置任何設(shè)備，只需要定時拍攝螺栓圖片傳至處理端即可實時檢測出螺栓是否松動，并且能及時報警。

所述的電梯運行中保險扛螺栓松動檢測方法，優(yōu)選的，所述步驟1包括：

步驟1-1通過足量擰緊的保險杠螺栓正樣本圖像得到各螺帽間的微小間距，螺帽校準(zhǔn)形狀水平對齊和垂直對齊平均允許誤差，以及校準(zhǔn)配對候選形狀幾何、顏色信息，訓(xùn)練得到最佳距離允許閾值和最佳校準(zhǔn)配對候選形狀；

上述技術(shù)方法的有益效果為：通過訓(xùn)練正樣本得到最佳允許閾值和最佳校準(zhǔn)匹配候選形狀，對螺栓松動提供了較為準(zhǔn)確的判斷標(biāo)注，提高了螺栓松動的查準(zhǔn)率和查全率。

所述的電梯運行中保險扛螺栓松動檢測方法，優(yōu)選的，所述步驟2包括：

步驟2-1，利用bing算法檢測出螺栓候選框區(qū)域，

(1)bing算法中首先選定標(biāo)注目標(biāo)位置的樣本圖像生成不同尺度的正負(fù)樣本，并將各樣本尺寸縮放至固定8×8大小。在該尺寸下，螺栓紋理、局部形狀等細(xì)節(jié)特征將丟失，只保留對象的邊界梯度輪廓特征。物體輪廓梯度值更高，與其周圍背景區(qū)域形成強烈對比。

(2)其次利用線性支持向量機訓(xùn)練正負(fù)樣本集，獲得目標(biāo)似物性檢測模板。一個與目標(biāo)對象同大小的像素尺寸候選框更有可能表達(dá)該目標(biāo)對象，因此該模板同樣保證為64維的8×8大小。然后利用打分系統(tǒng)機制，計算每個尺度下的濾波得分并排序，利用非極大值抑制算法(non-maximumsuppression，nms)消除局部冗余。

(3)最后在原始圖像中找到打分點對應(yīng)的候選框大小并保存。

a：bing對各尺寸樣本計算梯度特征，根據(jù)梯度特征匹配得到一組帶有濾波得分的候選框，濾波得分sl定義如下：

s(i,x,y)＝＜w,g(i,x,y)＞

其中，w為訓(xùn)練獲得的模型參數(shù)(后文簡稱模板w)，g(i,x,y)為尺度為i、位置坐標(biāo)為(x,y)的圖像框縮放至小尺寸下的ng特征，這里采用8×8尺寸。而符號“<，>”表示內(nèi)積運算。

對于每一個像素的梯度幅值計算，這里采用第二章介紹的prewitt算子方式獲得：

g(i,x,y)＝min{|gx|+|gy|,255}

由于濾波分?jǐn)?shù)會因為尺寸的不同而存在偏差，例如在10×80的窗口中存在人臉的可能性遠(yuǎn)遠(yuǎn)小于尺寸為30×30的窗口中。因此當(dāng)對最終候選得分重排序時需要校準(zhǔn)得到最終不同尺寸帶有的候選窗組得分，定義對象性得分ol如下：

其中，vi是尺寸i下的獨立學(xué)習(xí)系數(shù)和ti表示尺寸i的偏移量。

獲得的候選框不僅僅應(yīng)該具有全局范圍內(nèi)的最高得分，還應(yīng)該具有鄰域最高得分，以避免由于最高窗口得分過于集中某一區(qū)域而可能導(dǎo)致人臉漏檢的現(xiàn)象。因此利用非極大值約束算法選擇邊緣點，從而使得最終候選窗口具有全局較高得分的同時，還具備鄰域得分最高。

為提高計算速度，加速特征提取和測試過程，模板與特征的二值化近似過程的具體步驟如下：

1、特征二值化：由于梯度幅值取值范圍[0，255]，因此可利用如下公式方式進(jìn)行二進(jìn)制比特流替換。

其中，bk∈{0,1}表示第k位二進(jìn)制值，ng表示選取的二進(jìn)制位個數(shù)，由于后四位值對梯度影響并不大，為進(jìn)一步加速運算，這里ng＝4，只保留高四位數(shù)值。以數(shù)值122為例，二值化后為01111010，保留高四位數(shù)值為0111。

擴展至8×8的區(qū)域來說，共存在64個梯度幅值，每點的梯度幅值都可用二進(jìn)制比特流?，F(xiàn)將8×8每點對應(yīng)的第k位聯(lián)合表示成二進(jìn)制流bk∈{0,1}⁶⁴。因此對應(yīng)8×8矩陣區(qū)域有：

2、模板二值化：對于模板w，則可看作多個基向量的組合，近似表示為其中，βj表示第j個基向量的系數(shù)，aj表示第j個基向量，aj∈{-1,1}⁶⁴，nw表示基向量個數(shù)，這里取2。為處理方便，將aj轉(zhuǎn)化到[0，1]范圍：

故w可表示為：

模板w的具體計算流程如下：

綜上，式s(i,x,y)＝＜w,g(i,x,y)＞的二值化公式表達(dá)如下：

b：利用非極大值抑制應(yīng)用十分廣泛，在這里是為看消除多余的選框，具體實現(xiàn)如下：

(1)將所有框的得分降序排列，選中最高分及其對應(yīng)的框，

(2)遍歷其余的框，如果和當(dāng)前最高分框的重疊面積(iou)大于一定閾值，我們就將框刪除，

(3)從未處理的框中繼續(xù)選一個得分最高的，重復(fù)上述過程。

上述技術(shù)方法的有益效果為：利用bing算法可以將所有與正樣本梯度值相接近區(qū)域標(biāo)記出來，并結(jié)合nms消除一部分不滿足要求的區(qū)域。

步驟2-2：根據(jù)螺栓中標(biāo)記的顏色值范圍再濾除一部分候選框，得到包含螺栓的最佳候選框；

在實際場景中，需要在螺栓鏈接部位畫出一條寬約1厘米的清晰且垂直的紅色條形框，并且能夠保持長時間不褪色，劃線標(biāo)記操作簡單，應(yīng)用成本低，可以對后面的自動識別起到很大的輔助作用。在此實驗中，紅色標(biāo)記區(qū)域的rgb三顏色均值分別為119.37，43.45和53.73，因此我們可以限定當(dāng)候選框內(nèi)物體rgb滿足三色范圍時，才認(rèn)為這個候選框包含螺栓區(qū)域。

螺栓上紅色標(biāo)記區(qū)域的rgb三色范圍如下：

根據(jù)rgb三色范圍值即可濾除沒有包含此顏色信息的候選框，得到最佳候選框。

上述技術(shù)方法的有益效果為：經(jīng)過步驟2所得到的的候選框只是與正樣本有相似梯度值的區(qū)域，而并且包含螺栓部分的區(qū)域，因此采樣顏色標(biāo)記的方法可以進(jìn)一步濾出顏色信息不符合的區(qū)域。

所述的電梯運行中保險扛螺栓松動檢測方法，優(yōu)選的，所述步驟3包括：

步驟3-1，利用canny對候選區(qū)域進(jìn)行邊緣檢測，先用2d高斯濾波模板進(jìn)行卷積以消除圖像噪聲，對濾波后的圖像中的每個像素點計算其梯度小大和方向，通過梯度方向找到該像素梯度方向的鄰接像素，最后通過非最大抑制以及閾值化和邊緣鏈接得到螺栓邊緣閉合形狀曲線，計算邊緣閉合形狀的面積。算法過程如下：

(1)采用2d高斯濾波模板進(jìn)行卷積降噪中使用的size＝5的高斯內(nèi)核如下：

(2)計算像素點的幅度和方向，這里按照sobel濾波器的步驟進(jìn)行介紹：

a.運用一對卷積陣列(分別作用于x,y方向)

b.使用下列公式計算梯度值和方向：

梯度方向近似到四個可能角度之一(一般0，45，90，135度)

(3)僅僅得到全局的梯度并不足以確定邊緣，因此為確定邊緣，必須保留局部梯度最大的點。非極大值抑制算法(non-maximumsuppression，nms)的本質(zhì)是搜索局部極大值，抑制非極大值元素。

圖4a為邊緣方向示意圖，圖4b為8鄰域幅角方向示意圖；

如圖4所示，沿幅角方向檢測模值的極大值點，即邊緣點，遍歷8個方向像素點，把每個像素偏導(dǎo)值與相鄰像素的模值比較，取其最大值為邊緣點，置像素灰度值為0。

(4)用雙用雙閾值算法檢測和連接邊緣：

a.對非極大值抑制圖像作用兩個閾值th1和th2，兩者關(guān)系th1＝0.4th2。我們把梯度值小于th1的像素的灰度值設(shè)為0，得到圖像1。然后把梯度值小于th2的像素的灰度值設(shè)為0，得到圖像2。由于圖像2的閾值較高，去除大部分噪音，但同時也損失了有用的邊緣信息。而圖像1的閾值較低，保留了較多的信息，我們可以以圖像2為基礎(chǔ)，以圖像1為補充來連結(jié)圖像的邊緣。

b.鏈接邊緣的具體步驟如下：

對圖像2進(jìn)行掃描，當(dāng)遇到一個非零灰度的像素p(x,y)時，跟蹤以p(x,y)為開始點的輪廓線，直到輪廓線的終點q(x,y)?？疾靾D像1中與圖像2中q(x,y)點位置對應(yīng)的點s(x,y)的8鄰近區(qū)域。如果在s(x,y)點的8鄰近區(qū)域中有非零像素s(x,y)存在，則將其包括到圖像2中，作為r(x,y)點。從r(x,y)開始，重復(fù)第一步，直到我們在圖像1和圖像2中都無法繼續(xù)為止。

當(dāng)完成對包含p(x,y)的輪廓線的連結(jié)之后，將這條輪廓線標(biāo)記為已經(jīng)訪問?；氐降谝徊?，尋找下一條輪廓線。重復(fù)第一步、第二步、第三步，直到圖像2中找不到新輪廓線為止。

至此，完成canny算子的邊緣檢測，得到螺栓紅色標(biāo)記部分的兩個邊緣閉合形狀。

上述技術(shù)方法的有益效果為：當(dāng)圖片中存在顏色信息與螺栓上所標(biāo)記的顏色信息相近的時候，就不能很好的判斷到底哪一個是包含有螺栓區(qū)域的樣本。因此要結(jié)合邊緣檢測計算出候選框所含物體的邊緣幾何形狀與正樣本所包含的幾何形狀相比較，以更進(jìn)一步濾出不滿足條件的候選框，最終找到螺栓所在區(qū)域。

所述的電梯運行中保險扛螺栓松動檢測方法，優(yōu)選的，所述步驟1包括：

步驟4-1，計算螺栓兩個紅色標(biāo)記部分的邊緣閉合形狀，并與正樣本中閉合形狀進(jìn)行比較，當(dāng)閉合形狀的面積與正樣本相差較多，或者只有一個閉合形狀，那么認(rèn)為螺栓發(fā)生松動。

步驟4-2，在滿足幾何形狀的前提下，再來判斷兩閉合形狀的中間距離是否在所允許的閾值范圍內(nèi)，如果在閾值范圍了，則認(rèn)為螺栓沒有發(fā)生松動，如果不滿足，我們則認(rèn)為螺栓發(fā)生了松動。

上述技術(shù)方法的有益效果為：從幾何角度以及距離兩個方面結(jié)合了判斷螺栓是否發(fā)生了松動，能夠從一定程度上減少誤檢和漏檢的概率，從而提升整個算法的工程應(yīng)用價值。

綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

(1)內(nèi)置檢測程序，能夠自動檢測螺栓松動情況，避免人工檢測的低效率，并且在檢測出螺栓發(fā)生松動時能第一時間報警，避免了由于螺栓松動所帶來的安全隱患；

(2)該套方案不需要購買其他輔助設(shè)備，只需將程序內(nèi)置到單片機中，省事省力，并且是一種較為經(jīng)濟的方案。

(3)該套螺栓松動檢測算法從幾何形狀及距離兩個方面對螺栓進(jìn)行松動檢測，能以較大的概率檢測出松動情況，具有較低的漏檢率和誤檢。

本發(fā)明公開一種電梯運行中保險杠螺栓松動檢測方法，包括：

步驟1：通過訓(xùn)練足量擰緊的保險杠螺栓正樣本圖像得到各螺帽間最佳距離允許閾值和最佳校準(zhǔn)配對候選形狀；

步驟2：通過bing算法選擇出若干候選框，并根據(jù)顏色值濾出多余候選框。

步驟3：對保留的候選框進(jìn)行邊緣檢測，得到螺栓顏色標(biāo)記部分的邊緣閉合形狀；

步驟4：根據(jù)邊緣幾何形狀以及距離判斷螺栓是否發(fā)生松動。

如圖1所示，當(dāng)采樣拍照模式時，基于幾何形狀及中心距離的螺栓松動加測方法由以下步驟組成：

s1、計算正樣本圖片的螺栓區(qū)域的幾何形狀以及兩標(biāo)記部位的中心距離，確定幾何形狀以及距離閾值。

s2、于電梯井壁或者管井架設(shè)固定的攝像機，對螺栓所在區(qū)域持續(xù)拍攝圖片。

通常電梯中的螺栓的位置是固定不變的，攝像頭所拍攝的圖片具有較為固定的背景，這對于后面的自動檢測具有輔助作用。本發(fā)明綜合考慮樓層層高、電梯移動速度、攝像機視角廣度、攝像機幀率、終端存儲容量等因素，選取適當(dāng)?shù)臅r間間隔進(jìn)行拍攝。

s3、利用bing算法對所拍攝的圖片進(jìn)行相關(guān)處理，提取出符合相關(guān)要求的候選框。

為了更好的對螺栓松動進(jìn)行檢測，首先輸入螺栓未松動的正樣本圖片，獲取此區(qū)域的相關(guān)信息，其次將待檢測圖片送至處理器，利用bing算法挑選出與正樣本信息相似的候選框。完成后，再結(jié)合非極大值抑制算法濾出置信度較低的候選框，為保證后面檢測的順利進(jìn)行。

s4：上一步驟所獲得的候選框通常較多，因此再利用螺栓所標(biāo)記的顏色信息來進(jìn)一步濾出一部分候選框。

首選取得正樣本中螺栓紅色標(biāo)記部分的rgb平均值，并根據(jù)此值設(shè)置不同的tgb取值范圍；接著再計算待檢測圖片中每一候選框所包含物體的rgb彩色信息，如果該候選框中所包含物體的rgb值在所設(shè)置的范圍內(nèi)，就保留此候選框，否則就剔除。

s5、就算保留候選框中標(biāo)記區(qū)域的邊緣形狀，并計算其幾何信息。

經(jīng)過上兩步所保留下來的候選框在梯度和顏色信息方面都與正樣本相符，但是當(dāng)背景圖片中出現(xiàn)與標(biāo)記部分顏色相似的物體的時，就會對后續(xù)的識別工作產(chǎn)生干擾。此時同樣將標(biāo)記出了若干候選框的待檢測圖片進(jìn)行檢測，對候選框中的物體利用canny算法進(jìn)行邊緣檢測，得到其邊緣閉合形狀，并計算其幾何信息。

s6：判斷計算出的幾何信息是否和正樣本的幾何信息相符，如果不不相符則說明螺栓發(fā)生了松動，如果相符再進(jìn)一步判斷兩閉合區(qū)域的中間距離是否小于設(shè)置的相關(guān)閾值，如果大于則也認(rèn)為螺栓發(fā)生了松動，則在第一時間報警。以上兩個條件都滿足的話，我們就認(rèn)為螺栓是正常運行。

在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。