本發(fā)明屬于光電技術(shù)領(lǐng)域，適用于可見光、紅外光和熱成像，基于嵌入式安卓系統(tǒng)，涉及一種多源圖像融合顯示的可穿戴視頻監(jiān)視系統(tǒng)，本發(fā)明還涉及一種多源圖像的融合方法。

背景技術(shù)：

傳統(tǒng)的可見光圖像反映的是物體在可見光波段的反射特性，所成圖像在光照良好時清晰可見，一旦光線灰暗，內(nèi)容不易分辨。而紅外光圖像可以在夜間光照不良時，達(dá)到夜視效果，紅外熱成像圖像可以測得物體的溫度場分布，捕獲肉眼看不到的物體，也可以克服煙霧的影響。

同一場景的可見光、紅外光和熱成像的融合可以提供更多、更有效的信息。在夜間和失火產(chǎn)生濃密的煙霧時，可見光無法識別被困對象，可見光、紅外光和紅外熱圖像的融合能夠提供更多關(guān)于被困者的信息，在消防等領(lǐng)域有極大的應(yīng)用價值?，F(xiàn)有技術(shù)中的熱像儀多為手提式，其體積龐大、結(jié)構(gòu)復(fù)雜，使用不便和攜帶不便，難以滿足消防領(lǐng)域的使用需要。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種多源圖像融合顯示的可穿戴視頻監(jiān)視系統(tǒng)，解決了現(xiàn)有技術(shù)中沒有對可見光、紅外光和熱成像的融合設(shè)備，存在設(shè)備單一、攜帶不方便、使用局限性大的問題。

本發(fā)明同時提供一種多源圖像的融合方法。

本發(fā)明所采用的技術(shù)方案是，一種多源圖像融合顯示的可穿戴視頻監(jiān)視系統(tǒng)，包括設(shè)置在頭盔上的熱成像相機、ir相機、led紅外補光燈、亮度感應(yīng)器及觸摸顯示屏，還包括設(shè)置在腰帶上的安卓嵌入式控制器及電源模塊；安卓嵌入式控制器的電源線與電源模塊連接，安卓嵌入式控制器的各個信號線纜分別與熱成像相機、ir相機、led紅外補光燈、亮度感應(yīng)器及觸摸顯示屏對應(yīng)連接。

本發(fā)明所采用的另一技術(shù)方案是，一種多源圖像的融合方法，利用上述的多源圖像融合顯示的可穿戴視頻監(jiān)視系統(tǒng)，按照以下步驟實施：

步驟1：設(shè)置參照物的實際尺寸s和物體距離攝像頭的物理距離d；

步驟2：通過ir相機采集到參照物的10幅圖像，并測出10幅圖像中參照物的對應(yīng)公式(1)中的影像尺寸s'；

步驟3：根據(jù)下式(1)，計算上述的10幅圖像中相距的平均值作為相距d'的常數(shù)值；

其中，d為物體距離攝像頭的物理距離，d'為物體的影像距離攝像頭光心的相距；s為待測目標(biāo)物體的實際尺寸，s'為物體由攝像機形成影像后的影像尺寸；

步驟4：通過圖像識別方法計算目標(biāo)物體在圖像中所占的像素個數(shù)，結(jié)合ir相機的像素尺寸，對目標(biāo)物體的實際尺寸進(jìn)行估算；

步驟5：根據(jù)公式(1)得到目標(biāo)物體的物距d；

步驟6：利用canny邊緣檢測可見光圖像得到邊緣圖像c，將邊緣圖像c中的值為1的像素點為邊緣點；

步驟7：利用圖像的brovery變換，將輸入的熱成像圖像3個波段按照以下公式計算，得到融合圖像；

步驟8：在得到融合圖像的紅、綠、藍(lán)三個波段的數(shù)據(jù)矩陣后，按照下式(4)對三個數(shù)據(jù)矩陣分別進(jìn)行歸一化處理；

步驟9：將可見光圖像中邊緣圖像c值為1的點，用可見光圖像中紅、綠、藍(lán)三個波段的數(shù)據(jù)替代步驟8得到的融合圖像中的數(shù)據(jù)，得到最終的融合圖像。

本發(fā)明的有益效果是，利用了兩個平行設(shè)置的攝像頭，在圖像配準(zhǔn)處理中，提高了配準(zhǔn)的精度，之后進(jìn)行圖像融合時，將多光譜圖像的像方空間分解為色彩和亮度成分并進(jìn)行計算，其特點是簡化了圖像轉(zhuǎn)化過程的系數(shù)，最大限度的保留了過光譜圖像的信息，具體包括：

1)實現(xiàn)了可見光、紅外光和熱成像的信息融合，提高了顯示清晰度，并可以監(jiān)視到隱蔽的發(fā)熱目標(biāo)；

2)解決了復(fù)雜環(huán)境作業(yè)中的監(jiān)視問題，不但可以看到目標(biāo)，而且能夠得到溫度場分布，實現(xiàn)對溫度的測量、顯示與警示，便于及時發(fā)現(xiàn)高、低溫目標(biāo)，避免不必要的誤操作及傷害；

3)可穿戴，軟件采用app移植方便，易操作，使用方便、靈活。

附圖說明

圖1是本發(fā)明裝置的熱像儀系統(tǒng)頭盔框圖；

圖2是本發(fā)明裝置的熱像儀系統(tǒng)腰帶框圖；

圖3是本發(fā)明裝置中的安卓嵌入式控制器細(xì)分結(jié)構(gòu)框圖；

圖4是本發(fā)明裝置提供的可見光圖像；

圖5是本發(fā)明裝置提供的熱成像圖像；

圖6是本發(fā)明裝置提供的可見光與熱成像融合后的圖像。

圖中，1.頭盔，2.熱成像相機，3.ir相機，4.led紅外補光燈，5.亮度感應(yīng)器，6.觸摸顯示屏，7.腰帶，8.安卓嵌入式控制器，9.電源模塊。

具體實施方式

下面結(jié)合附圖和具體實施方式對本發(fā)明進(jìn)行詳細(xì)說明。

參照圖1、圖2、圖3，本發(fā)明裝置的硬件結(jié)構(gòu)是，包括設(shè)置在頭盔1上的熱成像相機2、ir相機3、led紅外補光燈4、亮度感應(yīng)器5及觸摸顯示屏6，還包括設(shè)置在腰帶7上的安卓嵌入式控制器8及電源模塊9；安卓嵌入式控制器8的電源線與電源模塊9連接，安卓嵌入式控制器8的各個信號線纜分別與熱成像相機2、ir相機3、led紅外補光燈4、亮度感應(yīng)器5及觸摸顯示屏6對應(yīng)連接。

熱成像相機2選用flirone二代型號的熱成像相機，分辨率為640*480像素，雖然無法提供高清晰的熱成像照片，但是對于根據(jù)熱成像圖片來尋找發(fā)熱的人員或物體是足夠的。ir相機3為普通的低照度黑白相機。

電源模塊9選用移動手機使用的充電寶，通過usb連接線為安卓嵌入式控制器8提供電源。

亮度感應(yīng)器5用于判斷環(huán)境光線的強弱，從而將檢測到的光線信號輸入到安卓嵌入式控制器8，如果周圍環(huán)境的光線過暗，則由安卓嵌入式控制器8控制調(diào)節(jié)led紅外補光燈4的亮度來增強周圍環(huán)境光線的強度。

安卓嵌入式控制器8中的軟件基于flironesdk二次開發(fā)app，實現(xiàn)對可見光圖像、紅外光圖像和熱成像圖像的融合，包括圖像預(yù)處理單元和圖像融合單元、功能顯示單元、報警提示單元。圖像預(yù)處理單元主要完成可見光、紅外光、熱成像圖像的預(yù)處理，圖像融合單元實現(xiàn)了可見光、紅外光和熱成像圖像融合，功能顯示單元可以基于熱成像相機測得目標(biāo)區(qū)域溫度，可劃分區(qū)域，可區(qū)分高低溫顯示，也可以拍照和錄像，也可以進(jìn)行不同視頻圖像切換顯示或融合顯示，或畫中畫顯示。報警提示單元可設(shè)置高溫閾值，進(jìn)入高溫區(qū)域語言報警提示。

本發(fā)明裝置的工作原理是，當(dāng)光照條件良好時，應(yīng)用ir相機3捕獲可見光圖像，當(dāng)光照不足時，系統(tǒng)自動打開led紅外補光燈4配合熱成像相機2，捕獲紅外夜視圖像，同時用熱成像相機2捕獲熱成像圖像，將可見光圖像和熱成像圖像分別與紅外圖像進(jìn)行圖像融合。

本發(fā)明多源圖像的融合方法，按照以下步驟實施：

步驟1：設(shè)置參照物的實際尺寸s和物體距離攝像頭的物理距離d；

步驟2：通過ir相機3采集到參照物的10幅圖像，并測出10幅圖像中參照物的對應(yīng)公式(1)中的影像尺寸s'；

步驟3：根據(jù)如下的公式(1)，計算上述的10幅圖像中相距的平均值作為相距d'的常數(shù)值；

其中，d為物體距離攝像頭的物理距離，d'為物體的影像距離攝像頭光心的相距；s為待測目標(biāo)物體的實際尺寸，s'為物體由攝像機形成影像后的影像尺寸。

步驟4：通過圖像識別方法計算目標(biāo)物體在圖像中所占的像素個數(shù)，結(jié)合ir相機3的像素尺寸(由相機廠商獲得)，對目標(biāo)物體的實際尺寸進(jìn)行估算。

步驟5：根據(jù)公式(1)得到目標(biāo)物體的物距d。

步驟6：利用canny邊緣檢測可見光圖像得到邊緣圖像c，將邊緣圖像c中的值為1的像素點為邊緣點。

步驟7：利用圖像的brovery變換，將輸入的熱成像圖像3個波段按照以下公式計算，得到融合圖像：

i＝(br-m)+(bg-m)+(bb-m)，(3)

其中，rf、gf、bf分別為融合圖像紅、綠、藍(lán)三個波段的數(shù)據(jù)矩陣，r、g、b分別為熱成像圖像中紅、綠、藍(lán)三個波段的數(shù)據(jù)矩陣，p為可見光圖像的數(shù)據(jù)矩陣，i是系數(shù)，br-m、bg-m、bb-m分別代表熱成像圖像中的紅、綠、藍(lán)波段數(shù)值。

步驟8：在得到融合圖像的紅、綠、藍(lán)三個波段的數(shù)據(jù)矩陣后，按照下式(4)對三個數(shù)據(jù)矩陣分別進(jìn)行歸一化處理，

rfg、gfg、bfg分別為歸一化處理后融合圖像紅、綠、藍(lán)三個波段的數(shù)據(jù)矩陣,rfmax、rfmin分別為rf矩陣中像素值的最大值和最小值，gfmax、gfmin分別為gf矩陣中像素值的最大值和最小值，bfmax、bfmin分別為bf矩陣中像素值的最大值和最小值。

步驟9：將可見光圖像中邊緣圖像c值為1的點，用可見光圖像中紅、綠、藍(lán)三個波段的數(shù)據(jù)替代步驟8得到的融合圖像中的數(shù)據(jù)，得到最終的融合圖像。

本發(fā)明的創(chuàng)新點主要在于上述的步驟3、步驟4、步驟6及步驟9，即步驟3依據(jù)小孔成像原理，依據(jù)攝像機形成影像后的像素點的面積進(jìn)行計算、步驟4單目測距估計目標(biāo)物體的實際尺寸、步驟6和步驟9融合進(jìn)邊緣特征信息，使融合后的圖像既能看得見溫度場信息，又能看得見輪廓。融合圖像后，即可得到目標(biāo)物體粗的距離信息。

圖4-圖6是可見光和熱成像圖像融合的實施例，圖4是本發(fā)明裝置采集的可見光圖像；圖5是本發(fā)明裝置采集的熱成像圖像；圖6是本發(fā)明方法對可見光圖像與熱成像圖像進(jìn)行復(fù)合處理后的融合圖像。紅外圖像與熱成像圖像的復(fù)合處理與上述的方法相同。