本發(fā)明涉及圖像識別，特別是涉及一種基于視頻的跌倒檢測方法。

背景技術(shù)：

隨著經(jīng)濟(jì)的迅猛發(fā)展，科技的日益進(jìn)步，先進(jìn)醫(yī)療技術(shù)的應(yīng)用，公共衛(wèi)生水平提高，人均壽命延長。另一方面育兒費用提高、生產(chǎn)生活節(jié)奏的加快、生活壓力加大，造成生育率不斷下降，從而導(dǎo)致我國老齡化問題日益嚴(yán)重。

跌倒已經(jīng)成為老年人生活中最多也最嚴(yán)重的安全問題之一，室內(nèi)的跌倒率遠(yuǎn)高于室外，世界衛(wèi)生組織報告指出，全球每年有30余萬人死于跌倒，其中一半是60歲以上老人。跌倒是我國65歲以上老年人傷害死亡的首位原因。根據(jù)另外一項數(shù)據(jù)統(tǒng)計，老年人跌倒之后造成的損傷不僅僅是由于跌倒過程中造成的，更多的方面還在于跌倒之后沒有進(jìn)行及時的救助產(chǎn)生的。對于獨居老人，一旦跌倒不能及時發(fā)現(xiàn)的話，很可能會造成嚴(yán)重的后果。

目前，隨著攝像頭制造成本的下降和互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)攝像頭已經(jīng)逐漸在普通民眾家里得到使用，用戶可以通過客戶端在遠(yuǎn)程實時觀看家里發(fā)生的一切情況，對于需要工作不能全天照看老人的子女，使用網(wǎng)絡(luò)攝像頭可以實時遠(yuǎn)程監(jiān)護(hù)獨居的老人，如果發(fā)現(xiàn)突發(fā)情況可以得到相對及時的處理，但是這種方法的缺點是需要頻繁的查看影像，這樣需要耗費大量的精力，不能全身心的投入工作，如果老人跌倒可能不能及時發(fā)現(xiàn)，往往會造成非常嚴(yán)重的后果，所以人工監(jiān)控的方法效率低甚至耽誤處理時間。

近幾年來，深度學(xué)習(xí)在圖像識別、目標(biāo)檢測、語義分割等領(lǐng)域取得了突破性的進(jìn)展，深度學(xué)習(xí)與傳統(tǒng)模式識別方法的最大不同在于它是從大數(shù)據(jù)中自動學(xué)習(xí)特征，而非采用手工設(shè)計的特征。好的特征可以極大提高模式識別系統(tǒng)的性能。

在目前研究領(lǐng)域，可穿戴式傳感器檢測跌倒的發(fā)明成果較多。但是需要長時間佩戴設(shè)備，這樣會給老年人帶來極大的不便。基于環(huán)境布設(shè)傳感器進(jìn)行跌倒檢測，可以不適用穿戴式設(shè)備，減小了老人的負(fù)擔(dān)，同時還可以取得比較好的檢測效果。但是受外界干擾比較大，容易發(fā)生誤報的情況，給監(jiān)護(hù)者帶來較大的麻煩。使用kinect攝像機(jī)采集深度圖像進(jìn)行跌倒檢測的方法具有很高的精確度和很好的魯棒性。但是kinect的價格是網(wǎng)絡(luò)攝像頭的四倍以上，而且對數(shù)據(jù)處理的資源要求較高，對于跌倒這一低概率時間來說，成本太高。因此研制一款低成本，且準(zhǔn)確率較高的跌倒檢測方法是十分必要的。

技術(shù)實現(xiàn)要素：

本發(fā)明的主要目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于視頻的跌倒檢測方法,能夠準(zhǔn)確、便捷地監(jiān)護(hù)獨居老人。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于視頻的跌倒檢測方法，包括以下步驟：

s1、對視頻圖像進(jìn)行處理，識別和定位圖像中的人體區(qū)域；

s2、針對所述人體區(qū)域進(jìn)行基于級聯(lián)回歸網(wǎng)絡(luò)的關(guān)節(jié)點提取，得到一組人體關(guān)節(jié)點，其中第一級網(wǎng)絡(luò)后級聯(lián)了多個相同結(jié)構(gòu)的回歸網(wǎng)絡(luò)，用來精調(diào)人體關(guān)節(jié)點的坐標(biāo)位置；

s3、將每個人體關(guān)節(jié)點的運動向量作為人體運動的特征，通過分析關(guān)節(jié)點的變化，來動態(tài)分析人體是否發(fā)生跌倒。

進(jìn)一步地：

步驟s1中，采用高斯背景建模方法，對靜態(tài)的背景進(jìn)行建模，并提取運動的前景區(qū)域，對該區(qū)域通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，判斷是否為人體區(qū)域。

步驟s1包括：

對背景進(jìn)行建模，對視頻的每一幀圖像用高斯混合模型進(jìn)行模擬；

建好模型以后，對視頻的每一幀圖像的每個像素進(jìn)行匹配，若是匹配則是背景，否則為前景；

提取到運動前景區(qū)域后，生成的圖像為二值圖像，前景區(qū)域像素值為255，背景區(qū)域像素值為0；

使用連通區(qū)域標(biāo)記法提取前景區(qū)域；

篩選提取到的區(qū)域，計算所有提取到的區(qū)域的面積，與設(shè)定的面積的閾值比較，將不符合的剔除出候選集；

計算區(qū)域的長寬比，與設(shè)定的長寬比閾值比較，將不符合的剔除出候選集；

將提取的到候選集區(qū)域映射到原圖像中，從而生成矩形的候選框。

每一級所述深度卷積神經(jīng)網(wǎng)絡(luò)由5層結(jié)構(gòu)組成，每一層都包括可學(xué)習(xí)的參數(shù)，該網(wǎng)絡(luò)的前3層為特征提取層，每個特征提取層都包含了卷積層、激活層和池化層，其中激活層優(yōu)選使用relu函數(shù)；該網(wǎng)絡(luò)的最后兩層為全連接層，并添加有softmax函數(shù)，用來將網(wǎng)絡(luò)的輸出轉(zhuǎn)化為類別的概率，如式(1)所示；

優(yōu)選地，網(wǎng)絡(luò)的訓(xùn)練采用negitivelog-likelihood作為損失函數(shù)，如式(2)所示；

yi＝softmax(zi)(1)

其中，zi為網(wǎng)絡(luò)最后全連接層的輸出向量，對應(yīng)第i個類別；yi輸出類別的概率值；ti是數(shù)據(jù)第i個類別的標(biāo)簽；優(yōu)選地，使用隨機(jī)梯度下降法優(yōu)化目標(biāo)函數(shù)j。

步驟s2中，將關(guān)節(jié)點相對于整幅圖像的關(guān)節(jié)點坐標(biāo)標(biāo)準(zhǔn)化為相對于人體包含框的坐標(biāo)，將其數(shù)值標(biāo)準(zhǔn)化在0到1之間；其中定義人體包含框的中心坐標(biāo)為其中，為2維坐標(biāo)點向量，同時定義包含框的寬度和高度分別為bw和bh，人體包含框定義為b＝(bc,bw,bh)；根據(jù)人體包含框b的中心坐標(biāo)和尺寸使用式(3)將關(guān)節(jié)點坐標(biāo)進(jìn)行并準(zhǔn)化；

對于關(guān)節(jié)點相對于人體包含框的坐標(biāo)向量k和關(guān)節(jié)點相對于整幅圖像的坐標(biāo)向量k^*，向量表示第i個關(guān)節(jié)點坐標(biāo)(x,y)，其中i∈{1,…,k}，ki^*為相對于整幅圖像的第i個關(guān)節(jié)點坐標(biāo)；由此可以得到標(biāo)準(zhǔn)化后的人體關(guān)節(jié)點向量n(k^*；b)＝(…,n(ki^*；b)^t,…)^t；

通過求解模型k＝ψ(x；θ),來估計人體關(guān)節(jié)點，其中,為2k維坐標(biāo)點向量，x為裁剪后的輸入圖像，θ表示整個模型的參數(shù)；根據(jù)式(4)預(yù)測得到最終相對于整幅圖像的坐標(biāo)向量

n^-1為相對于式(3)的相反過程。

使用多層卷積神經(jīng)網(wǎng)絡(luò)擬合復(fù)雜的非線性模型ψ(·)；其中每一級網(wǎng)絡(luò)由7層結(jié)構(gòu)組成，該網(wǎng)絡(luò)的前5層為特征提取層，每個特征提取層均包括卷積層、激活層和池化層，優(yōu)選地，激活函數(shù)為relu，該網(wǎng)絡(luò)的后兩層為兩個全連接層，在網(wǎng)絡(luò)中起到將前面的卷積層提取到的“分布式特征表示”映射到樣本標(biāo)記空間的作用；優(yōu)選地，全連接層使用的激活函數(shù)與卷積層相同，為relu。

在網(wǎng)絡(luò)訓(xùn)練中，該模型最后一個全連接層添加的損失函數(shù)為歐式距離損失函數(shù)如式(5)，通過網(wǎng)絡(luò)訓(xùn)練改變可學(xué)習(xí)參數(shù)，來最小化網(wǎng)絡(luò)輸出的預(yù)測關(guān)節(jié)點坐標(biāo)向量與真實關(guān)節(jié)點坐標(biāo)向量的歐氏距離；

其中，ψ(·)為網(wǎng)絡(luò)模型，θ為網(wǎng)絡(luò)模型的參數(shù)，x為從原數(shù)據(jù)集d中的圖像x^*中裁剪出的包含人體的圖像，在訓(xùn)練過程中對所有坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化，即k＝n(k^*)，標(biāo)準(zhǔn)化后的數(shù)據(jù)集為dn，網(wǎng)絡(luò)模型的輸出與關(guān)節(jié)點坐標(biāo)向量k維度相同，為2k維。

級聯(lián)回歸網(wǎng)絡(luò)共為s級，記為s∈{1,2,…,s}；為第i個關(guān)節(jié)點的第s級精調(diào)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，為第i個關(guān)節(jié)點通過第s-1級精調(diào)網(wǎng)絡(luò)精調(diào)后的關(guān)節(jié)點坐標(biāo)為中心，裁剪出的矩形框，每一級的模型表示為定義以關(guān)節(jié)點ki為中心的矩形框bi(k:σ)＝(ki,σdiam(k),σdiam(k))，其中，diam(k)為人體軀干的長度，σ為控制矩形框尺寸的比例系數(shù)；

使用包含整個人體的矩形框b⁰作為初始化網(wǎng)絡(luò)的輸入，即輸入為x⁰，得到粗略估計的人體關(guān)節(jié)點向量如下式所示：

其中，n^-1(·)將相對于人體矩形框的歸一化坐標(biāo)轉(zhuǎn)換為相對于整幅圖像的坐標(biāo)，為網(wǎng)絡(luò)預(yù)測出的關(guān)節(jié)點坐標(biāo)，x⁰表示初始化網(wǎng)絡(luò)的輸入，即第0級網(wǎng)絡(luò)輸入，θ⁰為初始化網(wǎng)絡(luò)的參數(shù)，即第0級網(wǎng)絡(luò)的參數(shù)；

在接下來的第s級第i個關(guān)節(jié)點對應(yīng)的網(wǎng)絡(luò)中，網(wǎng)絡(luò)輸入為網(wǎng)絡(luò)輸出為其中表示第s級第i個關(guān)節(jié)點對應(yīng)的網(wǎng)絡(luò)預(yù)測出的關(guān)節(jié)點坐標(biāo)，該坐標(biāo)點是相對于整幅圖像的，表示為網(wǎng)絡(luò)輸出為坐標(biāo)點的偏差值；第s-1級得到的關(guān)節(jié)點坐標(biāo)直接計算出的值，計算方法如下式所示：

在步驟s3中，分析該模型的8個關(guān)節(jié)點的變化，定義每個關(guān)節(jié)點的運動向量為ωj＝{ψj，θj}，其中，ψj為第j個關(guān)節(jié)點變化向量的模值，θj為第j個關(guān)節(jié)點變化向量的方向，θ∈(-π,π)；

將所有關(guān)節(jié)點的運動向量聯(lián)合起來，組成一個反應(yīng)身體運動狀態(tài)的特征ω，每個特征中包含n幀信息，ω表示如下：

其中為身體8個關(guān)節(jié)點第n幀的運動特征向量；

提取跌倒視頻片段的運動狀態(tài)的特征，作為跌倒的樣本；再提取正常活動狀態(tài)下的視頻片段的運動狀態(tài)的特征，作為正常行為的樣本；使用上述數(shù)據(jù)訓(xùn)練adaboost分類器，并使用該分類器識別人體是否跌倒。

本發(fā)明的有益效果：

本發(fā)明的跌倒檢測方法可以快速準(zhǔn)確的檢測識別出人體，使用深度學(xué)習(xí)的方法提取人體關(guān)節(jié)點，通過分析關(guān)節(jié)點的變化來檢測人體的運動狀態(tài)，判斷是否發(fā)生跌倒。本發(fā)明的跌倒檢測方法能夠用于準(zhǔn)確、便捷地監(jiān)護(hù)獨居老人，滿足監(jiān)護(hù)人對獨居老人的監(jiān)護(hù)需求。本發(fā)明能夠使在家庭中普及的網(wǎng)絡(luò)攝像頭變得智能化，能夠?qū)崟r準(zhǔn)確地監(jiān)護(hù)獨居老人，識別跟蹤老人的活動，對出現(xiàn)的意外跌倒情況進(jìn)行及時地報警?；诒景l(fā)明的方法，可以將可能出現(xiàn)的跌倒情況及時地發(fā)送至監(jiān)護(hù)人的客戶端，從而進(jìn)行及時的救治。

附圖說明

圖1為本發(fā)明基于視頻的跌倒檢測方法的流程圖；

圖2為本發(fā)明實施例中的人體檢測算法流程圖；

圖3為本發(fā)明實施例中的人體識別網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖4為本發(fā)明實施例中的第1級人體關(guān)節(jié)點估計模型網(wǎng)絡(luò)結(jié)構(gòu)；

圖5為本發(fā)明實施例中的第s級人體關(guān)節(jié)點估計模型網(wǎng)絡(luò)結(jié)構(gòu)。

具體實施方式

以下對本發(fā)明的實施方式作詳細(xì)說明。應(yīng)該強(qiáng)調(diào)的是，下述說明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。

參閱圖1，在一種實施例中，基于視頻的跌倒檢測方法包括：人體檢測、基于級聯(lián)回歸網(wǎng)絡(luò)的關(guān)節(jié)點提取、基于關(guān)節(jié)點的跌倒檢測。

人體檢測是在視頻圖像中，識別定位到人體區(qū)域，以便于后續(xù)關(guān)節(jié)點定位。本發(fā)明實施例中選擇靈明度高、魯棒性好、計算量小的高斯背景建模方法，對靜態(tài)的背景進(jìn)行建模，并提取運動的前景區(qū)域，對該區(qū)域通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，判斷是否為人體。

基于級聯(lián)回歸網(wǎng)絡(luò)的關(guān)節(jié)點提取中，將關(guān)節(jié)點檢測問題視為回歸問題，但是由于圖像尺寸的限制，僅僅使用一個網(wǎng)絡(luò)得到的定位點精度不高，所以在第一級網(wǎng)絡(luò)后級聯(lián)了多個相同結(jié)構(gòu)的回歸網(wǎng)絡(luò)，用來精調(diào)坐標(biāo)點的位置。這樣就可以得到一組人體關(guān)節(jié)點，組成了人體骨架模型。

在基于人體骨架模型關(guān)節(jié)點的跌倒檢測過程中，通過分析該模型的關(guān)節(jié)點的變化，來動態(tài)分析人體是否發(fā)生跌倒，將每個關(guān)節(jié)點的運動向量作為人體運動的特征。優(yōu)選地，使用adaboost分類器進(jìn)行分類，判斷是否發(fā)生跌倒。

1.人體檢測

在檢測人體跌倒的過程中，首要的任務(wù)就是在視頻畫面中檢測到人體所處的區(qū)域。本發(fā)明實施例采用經(jīng)典高斯混合模型背景建模與前景檢測檢測運動區(qū)域。再采用深度神經(jīng)網(wǎng)絡(luò)對運動區(qū)域進(jìn)行分類，識別是否為人體。主要步驟如圖2所示。高斯混合模型背景建模與前景檢測的主要步驟是把圖像中的每個像素點的值用k個高斯分布疊加進(jìn)行表示。將像素點的值x視為隨機(jī)變量。首先，對背景進(jìn)行建模，對視頻的每一幀圖像用高斯混合模型進(jìn)行模擬。建好模型以后，對視頻的每一幀圖像的每個像素進(jìn)行匹配，若是匹配則是背景，否則為前景。提取到運動前景區(qū)域后，生成的圖像為二值圖像，前景區(qū)域像素值為255，背景區(qū)域像素值為0。使用連通區(qū)域標(biāo)記法提取前景區(qū)域。篩選提取到的區(qū)域，計算所有提取到的團(tuán)的面積，與設(shè)定的面積的閾值比較，不符合的剔除候選集。計算長寬比，不符合閾值的剔除候選集。將提取的到候選集區(qū)域映射到原圖像中，從而生成矩形的候選框。

使用卷積神經(jīng)網(wǎng)絡(luò)對人體進(jìn)行分類。如圖3所示，該網(wǎng)絡(luò)由5層結(jié)構(gòu)組成，每一層都包括可學(xué)習(xí)的參數(shù)。該網(wǎng)絡(luò)的輸入是尺寸為64×64的rgb圖像。前3層為特征提取層，每個特征提取層都包含了卷積層、激活層和池化層。激活層選擇使用relu函數(shù)，主要是為了給網(wǎng)絡(luò)引入非線性特征，同時還可以減小計算量，降低梯度消失，提高了網(wǎng)絡(luò)訓(xùn)練的速度。池化層選擇為最大池化方式，可以保留圖像更多的紋理信息。最后兩層為全連接層，并添加了softmax函數(shù)用來將網(wǎng)絡(luò)的輸出轉(zhuǎn)化為類別的概率，如式(1)所示。具體網(wǎng)絡(luò)參數(shù)如表1所示。

在訓(xùn)練中，為了優(yōu)化網(wǎng)絡(luò)參數(shù)，這里選擇negitivelog-likelihood作為損失函數(shù)，如式(2)所示：

yi＝softmax(zi)(1)

其中，zi為網(wǎng)絡(luò)最后全連接層的輸出向量，對應(yīng)第i個類別。yi輸出類別的概率值。ti是數(shù)據(jù)第i個類別的標(biāo)簽。我們使用隨機(jī)梯度下降法優(yōu)化目標(biāo)函數(shù)minj。

2.基于級聯(lián)回歸網(wǎng)絡(luò)的關(guān)節(jié)點提取

關(guān)節(jié)點坐標(biāo)預(yù)處理，為了方便在下文中表示關(guān)節(jié)點坐標(biāo)，我們將k個關(guān)節(jié)點表示為向量其中i∈{1,…,k}，ki為其中第i個關(guān)節(jié)點坐標(biāo)(x,y)。

關(guān)節(jié)點坐標(biāo)是相對于整幅圖像的坐標(biāo)，我們將其標(biāo)準(zhǔn)化為相對于人體包含框的坐標(biāo)，將其數(shù)值標(biāo)準(zhǔn)化在0到1之間，這樣有利于提高預(yù)測坐標(biāo)的精度，并且有助于使用反向傳播方法訓(xùn)練網(wǎng)絡(luò)，防止反向傳播過大的誤差值導(dǎo)致網(wǎng)絡(luò)收斂于局部點，可以提高網(wǎng)絡(luò)訓(xùn)練的成功率。首先定義人體包含框的表示方法，定義包含框的中心坐標(biāo)為同時定義包含框的寬度和高度分別為bw和bh，那么包含框可以定義為b＝(bc,bw,bh)。根據(jù)包含框b的中心坐標(biāo)和尺寸可以使用式(3)將關(guān)節(jié)點坐標(biāo)進(jìn)行并準(zhǔn)化。

其中，k為相對于人體包含框的坐標(biāo)向量，k^*為相對于整幅圖像的坐標(biāo)向量，由此可以得到標(biāo)準(zhǔn)化后的人體關(guān)節(jié)點向量n(k^*；b)＝(…,n(ki^*；b)^t,…)^t。

在估計人體關(guān)節(jié)點的過程中，我們將其視為線性回歸問題。我們將整個過程定義為求解模型k＝ψ(x；θ),的過程,其中x為裁剪后的輸入圖像，k為標(biāo)準(zhǔn)化后的關(guān)節(jié)點坐標(biāo)向量，θ表示整個模型的參數(shù)。根據(jù)如下式我們可以預(yù)測得到最終相對于整幅圖像的坐標(biāo)向量

n^-1為相對于式(3)的相反過程。

在過去傳統(tǒng)的人體關(guān)節(jié)點預(yù)測的方法中，常常使用人工設(shè)計的較為復(fù)雜的檢測器，檢測效果并不理想。在此處我們將模型ψ(·)視為一個復(fù)雜的非線性模型，并使用多層卷積神經(jīng)網(wǎng)絡(luò)擬合這個模型。因此我們設(shè)計了一個深層的卷積神經(jīng)網(wǎng)絡(luò)。使用預(yù)處理后的固定尺寸的整幅圖像作為網(wǎng)絡(luò)的輸入，其中輸入圖像為3通道的彩色圖像。該網(wǎng)絡(luò)結(jié)構(gòu)由7層結(jié)構(gòu)組成。前5層為特征提取層，每個特征提取層都包括卷積層、激活層和池化層。在池化過程中，最大化池化方式相對于其他方式可以保留圖像的更多紋理信息，所以池化方式選擇為最大池化。激活函數(shù)選擇為relu，選擇該激活函數(shù)同時還可以減小計算量，降低梯度發(fā)散，提高網(wǎng)絡(luò)訓(xùn)練的速度。最后兩層結(jié)構(gòu)為兩個全連接層，在網(wǎng)絡(luò)中起到將前面卷積層提取到的“分布式特征表示”映射到樣本標(biāo)記空間的作用，全連接層使用的激活函數(shù)與卷積層相同，為relu。最后的那個全連接層，維度為2k，可以直接輸出維度為2k的人體關(guān)節(jié)點坐標(biāo)向量。網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示，具體參數(shù)如表2所示。

在模型訓(xùn)練中，和分類網(wǎng)絡(luò)不同，該模型最后一個全連接層添加的損失函數(shù)為歐式距離損失函數(shù)，也就是均方根誤差(mse)。網(wǎng)絡(luò)訓(xùn)練的目標(biāo)是改變可學(xué)習(xí)參數(shù)以最小化網(wǎng)絡(luò)輸出的預(yù)測關(guān)節(jié)點坐標(biāo)向量與真實關(guān)節(jié)點坐標(biāo)向量的歐氏距離。損失函數(shù)如式(5)所示。

其中，ψ(·)為網(wǎng)絡(luò)模型，θ為網(wǎng)絡(luò)模型的參數(shù)，x為從原數(shù)據(jù)集d中的圖像x^*中裁剪出的包含人體的圖像，在訓(xùn)練過程中對所有坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化，即k＝n(k^*)，標(biāo)準(zhǔn)化后的數(shù)據(jù)集為dn，網(wǎng)絡(luò)模型的輸出與關(guān)節(jié)點坐標(biāo)向量k維度相同，為2k維。

在第一級網(wǎng)絡(luò)粗略的定位到關(guān)節(jié)點位置后，增加下一級網(wǎng)絡(luò)，輸入圖像以上一級網(wǎng)絡(luò)估計到的關(guān)節(jié)點為中心進(jìn)行裁剪，圖像尺寸同樣為224×224，可以使網(wǎng)絡(luò)捕捉到更多的人體肢體輪廓的信息，提高定位的精度。通過多級網(wǎng)絡(luò)的級聯(lián)，最終可以得到更精確的關(guān)節(jié)點坐標(biāo)。

為了保留上一級定位坐標(biāo)的信息，我們使下一級回歸網(wǎng)絡(luò)輸出為真實坐標(biāo)與上一級網(wǎng)絡(luò)預(yù)測出的坐標(biāo)值的差值，而不是直接輸出關(guān)節(jié)坐標(biāo)點。每一級使用的網(wǎng)絡(luò)參數(shù)與表1表示的網(wǎng)絡(luò)除了最后一層全連接層輸出不同外，其他結(jié)構(gòu)基本一致。

定義級聯(lián)網(wǎng)絡(luò)共為s級，記為s∈{1,2,…,s}。定義每一級網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)為θs，為第i個關(guān)節(jié)點通過第s-1級精調(diào)網(wǎng)絡(luò)精調(diào)后的關(guān)節(jié)點坐標(biāo)為中心，裁剪出的矩形框。因此每一級的模型可表示為即為了精調(diào)上一級預(yù)測出的第i個關(guān)節(jié)點ki的坐標(biāo)，我們定義以關(guān)節(jié)點ki為中心的矩形框bi(k:σ)＝(ki,σdiam(k),σdiam(k))，其中，diam(k)為人體軀干的長度，本文定義為右肩膀到左側(cè)臀部的距離，該長度依賴于上一級網(wǎng)絡(luò)估計出的關(guān)節(jié)點向量，σ為控制矩形框尺寸的比例系數(shù)。具體步驟如下：

首先，我們使用包含整個人體的矩形框b⁰作為初始化網(wǎng)絡(luò)的輸入，即輸入為x⁰，這樣可以得到粗略估計的人體關(guān)節(jié)點向量如下式所示。

其中，n^-1(·)將相對于人體矩形框的歸一化坐標(biāo)轉(zhuǎn)換為相對于整幅圖像的]坐標(biāo)。注意，為網(wǎng)絡(luò)預(yù)測出的關(guān)節(jié)點坐標(biāo)，而k^*為數(shù)據(jù)集中標(biāo)注好的關(guān)節(jié)點坐標(biāo)。

在接下來的s級網(wǎng)絡(luò)中，每個關(guān)節(jié)點i∈{1,…,k}都有一個網(wǎng)絡(luò)進(jìn)行精調(diào)其位置結(jié)構(gòu)如圖所示。

網(wǎng)絡(luò)輸入為網(wǎng)絡(luò)輸出為網(wǎng)絡(luò)結(jié)構(gòu)類似第1級的網(wǎng)絡(luò)結(jié)構(gòu)，如圖5所示。

第s級估計的第i個人體關(guān)節(jié)點計算方法如下式所示。

同時我們也可以得到新的矩形框

在跌倒檢測中，我們僅僅通過判斷頭頂、頸部、左右臀部、左右膝蓋和左右腳踝處共8個關(guān)節(jié)點即可準(zhǔn)確的判斷人體是否跌倒。所以為了減小計算量，在第一級初始化所有16個關(guān)鍵點的粗略位置后，僅僅對上述8個關(guān)節(jié)點使用級聯(lián)網(wǎng)絡(luò)進(jìn)行精調(diào)。我們可以從圖像中得到八個人體關(guān)節(jié)點，即可將其組合為一個人體的骨架模型。

3.跌倒檢測

我們通過分析該模型的8個關(guān)節(jié)點的變化，來動態(tài)分析人體是否發(fā)生跌倒，將每個關(guān)節(jié)點的運動向量作為人體運動的特征。定義運動向量為ωj＝{ψj，θj}。其中，ψj為第j個關(guān)節(jié)點變化向量的模值，θj為第j個關(guān)節(jié)點變化向量的方向，θ∈(-π,π)。那么可以得到n幀圖像中，人體的連續(xù)運動狀態(tài)。因此，定義運動特征為：

其中，為人體的第j個關(guān)節(jié)點在第i幀圖像中的坐標(biāo)相對于第i-1幀圖像中關(guān)節(jié)點坐標(biāo)的變化向量。表示身體關(guān)節(jié)點位置變化的幅度和變化的方向。在視頻采集處理過程中，我們選擇的頻率為每秒10幀，這樣，不僅可以反映出關(guān)節(jié)點變化的快慢程度，同時通過多個關(guān)節(jié)點變化向量的組合也可以反映出身體運動的趨勢。因此，我們將人體骨架模型中所有關(guān)節(jié)點的運動向量聯(lián)合起來，組成一個反應(yīng)身體運動狀態(tài)的特征ω，假設(shè)每個特征中包含n幀信息，ω表示如下。

我們從196個跌倒視頻中剪切了196個跌倒片段，每一跌倒片段包含在10幀圖像中，提取其關(guān)節(jié)點運動數(shù)據(jù)，提取其運動特征，作為跌倒的樣本。再提取200個左右正?；顒訝顟B(tài)下的視頻片段，提取其運動特征，作為正常行為的樣本。使用上述數(shù)據(jù)訓(xùn)練adaboost分類器。使用該分類器識別人體是否跌倒。

系統(tǒng)搭建

視頻采集使用opencv的videocapture接口驅(qū)動攝像頭，每秒從視頻流里提取10幀分辨率為640*480圖像，并進(jìn)行壓縮。與服務(wù)器端建立一個tcp連接，持續(xù)的將壓縮后的圖像傳輸給服務(wù)器端。此時服務(wù)器端作為一個數(shù)據(jù)中轉(zhuǎn)站，將接收的數(shù)據(jù)轉(zhuǎn)發(fā)給客戶端。我們的圖像處理服務(wù)器在此視為客戶端角色?？蛻舳伺c服務(wù)器端也建立一個tcp連接，服務(wù)器端將接收到的數(shù)據(jù)持續(xù)發(fā)送至客戶端。客戶端收到持續(xù)發(fā)送來的數(shù)據(jù)后，將數(shù)據(jù)還原成圖像格式。此時就完成了視頻圖像的傳輸。

圖像處理服務(wù)器可以持續(xù)的接收攝像頭采集的數(shù)據(jù)，調(diào)用算法進(jìn)行處理。處理流程如圖1所示。

在系統(tǒng)中，視頻采集使用微型電腦和其板載攝像頭，將采集的視頻發(fā)送至服務(wù)端，在服務(wù)器端使用上述算法處理視頻，一旦檢測到跌倒信息立刻將跌倒信息傳送到用戶的手機(jī)端。

當(dāng)圖像處理服務(wù)器的算法檢測到跌倒發(fā)生時，將設(shè)備、跌倒信息、時間信息和圖像使用python的urllib庫以post方式上傳到用戶數(shù)據(jù)服務(wù)器端的http接口，上傳成功后返回成功信息。用戶數(shù)據(jù)服務(wù)器端，使用php接收到設(shè)備端上傳的信息，根據(jù)用戶注冊的設(shè)備信息查找到注冊的用戶，根據(jù)用戶注冊時的手機(jī)appid進(jìn)行信息推送，使用第三方的sdk工具推送信息包括圖片的網(wǎng)絡(luò)地址和跌倒信息。通過這種方式，用戶可以接收到家里發(fā)生的跌倒情況和圖像。

以上內(nèi)容是結(jié)合具體/優(yōu)選的實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，其還可以對這些已描述的實施方式做出若干替代或變型，而這些替代或變型方式都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。