本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域，具體而言，涉及一種姿勢檢測方法、裝置及服務(wù)器。

背景技術(shù)：

人體姿勢檢測是計算機(jī)視覺領(lǐng)域的重要組成部分。人體姿勢檢測具有很高的社會應(yīng)用價值。例如，人體姿勢估計結(jié)合健身軟件，對人們的健身動作進(jìn)行打分和修正，讓人們在家中就能夠享受到健身教練的待遇；可以根據(jù)人體姿勢估計提取出病人骨架線，對后續(xù)的醫(yī)療診治起到輔助性作用。姿勢骨架線可用于識別人體姿勢。利用姿勢骨架線進(jìn)行人體姿勢檢測得到的結(jié)果更加精確，且不易暴露隱私。

但即使發(fā)展了這么多年，人體姿勢檢測依然是計算機(jī)視覺方面的一個難題。進(jìn)行人體則是檢測需要極高的硬件條件：在gpu方面，大多數(shù)采用多張顯卡，每張顯卡的型號不亞于nvidiateslak80；在cpu方面，多數(shù)采用core^tmi5，以這樣的條件做到生活普遍應(yīng)用是很困難的，影響其推廣使用。

技術(shù)實現(xiàn)要素：

為了解決上述問題，本發(fā)明實施例采用的技術(shù)方案如下：

本發(fā)明實施例提供的一種姿勢檢測方法，所述方法包括：對獲取的圖像數(shù)據(jù)進(jìn)行檢測；當(dāng)檢測到所述圖像數(shù)據(jù)中出現(xiàn)人物圖像數(shù)據(jù)時，從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)；獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息；根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖；根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的位置信息；根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖，其中，每一段所述肢體均包括兩個屬于不同類別且相鄰的關(guān)節(jié)點；根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度；依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。

本發(fā)明實施例還提供的一種姿勢檢測裝置，所述裝置包括：檢測模塊、關(guān)節(jié)點檢測模塊、第一建立模塊、定位模塊、第二建立模塊、計算模塊及生成模塊。其中，檢測模塊，用于對獲取的圖像數(shù)據(jù)進(jìn)行檢測；及還用于當(dāng)檢測到所述圖像數(shù)據(jù)中出現(xiàn)人物圖像數(shù)據(jù)時，從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)；關(guān)節(jié)點檢測模塊，用于獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息；第一建立模塊，用于根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖；定位模塊，用于根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的位置信息；第二建立模塊，用于根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖，其中，每一段所述肢體均包括兩個屬于不同類別且相鄰的關(guān)節(jié)點；計算模塊，用于根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度；生成模塊，用于依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。

本發(fā)明實施例還提供一種服務(wù)器，所述服務(wù)器包括：存儲器；處理器；以及姿勢檢測裝置，所述姿勢檢測裝置安裝于所述第一存儲器中并包括一個或多個由所述第一處理器執(zhí)行的軟件功能模組，所述姿勢檢測裝置包括：檢測模塊、關(guān)節(jié)點檢測模塊、第一建立模塊、定位模塊、第二建立模塊、計算模塊及生成模塊。其中，檢測模塊，用于對獲取的圖像數(shù)據(jù)進(jìn)行檢測；及還用于當(dāng)檢測到所述圖像數(shù)據(jù)中出現(xiàn)人物圖像數(shù)據(jù)時，從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)；關(guān)節(jié)點檢測模塊，用于獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息；第一建立模塊，用于根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖；定位模塊，用于根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的位置信息；第二建立模塊，用于根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖，其中，每一段所述肢體均包括兩個屬于不同類別且相鄰的關(guān)節(jié)點；計算模塊，用于根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度；生成模塊，用于依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。

與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種姿勢檢測方法、裝置及服務(wù)器。其中，所述方法包括從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)；獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息；根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖；根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的位置信息；根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖；根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度；依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。降低后續(xù)計算的復(fù)雜性，也降低了對硬件設(shè)備的要求，速度快，精度高。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細(xì)說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應(yīng)被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明較佳實施例提供的服務(wù)器的方框示意圖。

圖2示出了本發(fā)明實施例提供的姿勢檢測方法流程圖。

圖3為圖2中步驟s106的子步驟流程圖。

圖4為圖2中步驟s108的子步驟流程圖。

圖5為肢體區(qū)域示例圖。

圖6示出了本發(fā)明實施例提供的姿勢檢測裝置的示意圖。

圖標(biāo)：100-服務(wù)器；111-存儲器；112-處理器；113-通信單元；200-姿勢檢測裝置；201-獲取模塊；202-處理模塊；203-檢測模塊；204-關(guān)節(jié)點檢測模塊；205-第一建立模塊；206-定位模塊；207-第二建立模塊；208-計算模塊；209-生成模塊。

具體實施方式

下面將結(jié)合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設(shè)計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細(xì)描述并非旨在限制要求保護(hù)的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

應(yīng)注意到：相似的標(biāo)號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步定義和解釋。同時，在本發(fā)明的描述中，術(shù)語“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

請參照圖1，是服務(wù)器100的方框示意圖。所述服務(wù)器100包括姿勢檢測裝置200、存儲器111、處理器112及通信單元113。

所述存儲器111、處理器112以及通信單元113各元件相互之間直接或間接地電性連接，以實現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現(xiàn)電性連接。所述姿勢檢測裝置200包括至少一個可以軟件或固件(firmware)的形式存儲于所述存儲器111中或固化在所述服務(wù)器100的操作系統(tǒng)(operatingsystem，os)中的軟件功能模塊。所述處理器112用于執(zhí)行所述存儲器111中存儲的可執(zhí)行模塊，例如所述姿勢檢測裝置200所包括的軟件功能模塊及計算機(jī)程序等。

其中，所述存儲器111可以是，但不限于，隨機(jī)存取存儲器(randomaccessmemory，ram)，只讀存儲器(readonlymemory，rom)，可編程只讀存儲器(programmableread-onlymemory，prom)，可擦除只讀存儲器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲器111用于存儲程序或者數(shù)據(jù)。所述通信單元113用于通過所述網(wǎng)絡(luò)建立所述服務(wù)器100與其它通信終端之間的通信連接，并用于通過所述網(wǎng)絡(luò)收發(fā)數(shù)據(jù)。

應(yīng)當(dāng)理解的是，圖1所示的結(jié)構(gòu)僅為服務(wù)器100的結(jié)構(gòu)示意圖，所述服務(wù)器100還可包括比圖1中所示更多或者更少的組件，或者具有與圖1所示不同的配置。圖1中所示的各組件可以采用硬件、軟件或其組合實現(xiàn)。

第一實施例

請參考圖2，圖2為本發(fā)明較佳實施例提供的一種姿勢檢測方法的流程圖。姿勢檢測方法包括以下步驟：

步驟s101，獲取rgb初始圖像。

在本實施例中，rgb初始圖像可以通過通信單元113接收與服務(wù)器100通信連接的終端發(fā)送的rgb初始圖像。所述終端可以是圖像采集設(shè)備(例如，攝像頭、手機(jī))，也可以是可存儲圖像的電子設(shè)備。在本實施例中，終端為攝像頭，服務(wù)器100可以從攝像頭拍攝視頻中獲取一幀rgb初始圖像。

步驟s102，對所述rgb初始圖像進(jìn)行歸一化處理，生成特定類型的圖像數(shù)據(jù)。

在本實施例中，可以通過計算rgb初始圖像上所有像素均值，然后求得rgb初始圖像像素的標(biāo)準(zhǔn)差。對rgb初始圖像上的像素進(jìn)行減去均值除以標(biāo)準(zhǔn)差的操作，將像素值歸一化到[-1,1]區(qū)間上。以形成特定類型的圖像數(shù)據(jù)。特定類型的圖像數(shù)據(jù)是指便于提取特征點類型的圖像數(shù)據(jù)，以特定類型的圖像數(shù)據(jù)作為模型訓(xùn)練集數(shù)據(jù)。特定類型的圖像數(shù)據(jù)可以是lmdb格式的圖像數(shù)據(jù)，但不限于此。

步驟s103，對獲取的圖像數(shù)據(jù)進(jìn)行檢測。

在本實施例中，利用卷積神經(jīng)網(wǎng)絡(luò)檢測所述獲取的圖像數(shù)據(jù)，檢測獲取的圖像數(shù)據(jù)中是否存在人物。當(dāng)所述圖像數(shù)據(jù)中出現(xiàn)人物圖像數(shù)據(jù)時，流程進(jìn)入步驟s104；當(dāng)所述圖像數(shù)據(jù)中未出現(xiàn)人物圖像數(shù)據(jù)時，流程回到步驟s101，從視頻中重新獲取一幀rgb初始圖像。

步驟s104，從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)。

在本實施例中，當(dāng)圖像數(shù)據(jù)中是否存在人物時，圖像數(shù)據(jù)包括人物圖像數(shù)據(jù)及背景圖像數(shù)據(jù)。通過卷積神經(jīng)網(wǎng)絡(luò)，將人物圖像數(shù)據(jù)從圖像數(shù)據(jù)中分割出來，即將人物圖像數(shù)據(jù)與背景圖像數(shù)據(jù)分離。

步驟s105，獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息。

在本實施例中，關(guān)節(jié)點為預(yù)先定義的需要從人物圖像數(shù)據(jù)中提取的部位，例如，關(guān)節(jié)點的類別可以定義為鼻，左耳、右耳，左眼、右眼，頸，左肩、右肩，左肘、右肘，左腕、右腕，左胯、右胯，左膝、右膝，左踝、右踝。將分割出來的人物圖像數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)，獲取人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息。關(guān)節(jié)點的特征信息可以是提取到的屬于對應(yīng)關(guān)節(jié)點的特征點的位置信息。例如，特征點在人物圖像數(shù)據(jù)中的坐標(biāo)值。需要說明的是，人物圖像數(shù)據(jù)中出現(xiàn)多少個人，則從獲得的屬于同一類的關(guān)節(jié)點的數(shù)量最多為出現(xiàn)人的個數(shù)。例如，人物圖像數(shù)據(jù)中出現(xiàn)5個人，則最多可從人物圖像數(shù)據(jù)中獲取的5個鼻子，5個左耳等。

步驟s106，根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖。

在本實施例中，置信圖可以是關(guān)節(jié)點置信圖。每一類關(guān)節(jié)點對應(yīng)一置信圖，是以每一類關(guān)節(jié)點為中心的高斯分布圖。越靠近關(guān)節(jié)點的部分?jǐn)?shù)值越大。例如，左肩對應(yīng)左肩置信圖。如圖3所示，步驟s106包括以下子步驟：

子步驟s1061，根據(jù)所述關(guān)節(jié)點的特征信息中的特征點位置信息，利用公式：

生成每一個所述關(guān)節(jié)點對應(yīng)的高斯分布圖。其中，si為提取到的特征信息所對應(yīng)的關(guān)節(jié)點對應(yīng)的高斯分布圖。p為以關(guān)節(jié)點對應(yīng)的特征點為中心，預(yù)設(shè)值距離為半徑內(nèi)的圓范圍內(nèi)的點。xi為關(guān)節(jié)點對應(yīng)的特征點位置信息。

子步驟s1062，根據(jù)所述關(guān)節(jié)點對應(yīng)的高斯分布圖，建立每一類所述關(guān)節(jié)點對應(yīng)的置信圖。

在本實施例中，分別根據(jù)屬于同一類的關(guān)節(jié)點對應(yīng)的高斯分布圖，利用公式：

建立每一類所述關(guān)節(jié)點對應(yīng)的置信圖。其中，s^*(p)為一類關(guān)節(jié)點對于的置信圖。si代表這一類關(guān)節(jié)點中第i個關(guān)節(jié)點的高斯分布圖，n代表從人物圖像數(shù)據(jù)中檢測出的屬于這一類關(guān)節(jié)點的總個數(shù)。代表求取n個同類關(guān)節(jié)點高斯分布圖的最大值。例如，從人物圖像數(shù)據(jù)中檢測出五個人的鼻子，則依次將獲得的五個人的鼻子對應(yīng)的高斯分布圖進(jìn)行最大值求取，獲得鼻子這一類關(guān)節(jié)點的置信圖。每一類關(guān)節(jié)點對應(yīng)一張置信圖。

步驟s107，根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的準(zhǔn)確的位置信息。

本實施例中，根據(jù)待定位的關(guān)節(jié)點所對應(yīng)的置信圖，結(jié)合對比關(guān)節(jié)點的特征信息，依次獲取待定位的關(guān)節(jié)點的位置信息。特征點的位置信息僅為對應(yīng)的關(guān)節(jié)點的大概位置。未獲取到準(zhǔn)確的位置信息的關(guān)節(jié)點為待定位關(guān)節(jié)點。因此，需要依次對人物圖像數(shù)據(jù)中的每一個關(guān)節(jié)點進(jìn)行定位，確保精準(zhǔn)度。具體地，通過與待定位的關(guān)節(jié)點屬于不同類的對比關(guān)節(jié)點之間的間接關(guān)系對待定位的關(guān)節(jié)點進(jìn)行定位，以獲取準(zhǔn)確的位置信息。

需要說明的是，對比關(guān)節(jié)點選擇臨近所述待定位的關(guān)節(jié)點且與待定位的關(guān)節(jié)點屬于同一肢體的關(guān)節(jié)點。肢體的兩端為兩個屬于不同類的關(guān)節(jié)點。例如，肢體為左手臂時，肢體則是由左手肘和左手腕連接而成，當(dāng)待定位的關(guān)節(jié)點是左手肘，則對比關(guān)節(jié)點可選擇左手腕。根據(jù)待定位的關(guān)節(jié)點的特征信息、待定位的關(guān)節(jié)點所屬類別對應(yīng)的置信圖及對比關(guān)節(jié)點的特征信息，利用公式：

vk,j(p)＝s^*(p)||uj-xi||，

獲得待定位的關(guān)節(jié)點相對于與對比關(guān)節(jié)點構(gòu)成的肢體的位置向量，vk,j(p)代表待定位的關(guān)節(jié)點相對于與對比關(guān)節(jié)點j所構(gòu)成的肢體k的位置向量。s^*(p)為待定位的關(guān)節(jié)點所屬的關(guān)節(jié)點類別對應(yīng)的置信圖，uj為對比關(guān)節(jié)點j的特征信息中的特征點位置信息，xi為待定位的關(guān)節(jié)點i的特征信息中的特征點位置信息。再獲取位置向量的最大值，即為待定位的關(guān)節(jié)點的精確位置信息。

步驟s108，根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖，其中，每一段所述肢體均包括兩個屬于不同類別且相鄰的關(guān)節(jié)點。

在本實施例中，肢體由兩個屬于不同類且臨近的關(guān)節(jié)點連接構(gòu)成。肢體信息包括肢體的線段的位置信息。如圖4所示，步驟s108包括以下子步驟：

子步驟s1081，獲取每一段肢體的法向量。

在本實施例中，根據(jù)每一段肢體的肢體線段找出肢體的法向量方向，以預(yù)設(shè)寬度法向量的模。

子步驟s1082，根據(jù)每一段所述肢體的線段為中線，沿對應(yīng)的所述法向量方向，根據(jù)預(yù)設(shè)寬度劃分為肢體區(qū)域。

在本實施例中，將每段肢體的線段為中線，把沿著中線將對應(yīng)法向量正方向及反方向劃分肢體區(qū)域，即以中線為中心，兩倍法向量的模的內(nèi)的范圍，如圖5所示，法向量為a，法向量反方向的向量為-a，陰影區(qū)域為肢體區(qū)域。

子步驟s1083，在所述肢體區(qū)域設(shè)置非零向量。

在本實施例中，將肢體區(qū)域中每一個點設(shè)置非零向量。其中，非零向量的方向為肢體包括的兩個關(guān)節(jié)點之間的方向。具體地，預(yù)先定義肢體中的一個關(guān)節(jié)點與肢體對應(yīng)。則肢體對應(yīng)的非零向量的方向為從肢體對應(yīng)的關(guān)節(jié)點朝向肢體的另一個關(guān)節(jié)點的方向。例如，左手臂包括左手肘和左手腕兩個關(guān)節(jié)，預(yù)先定義了左手肘對應(yīng)左手臂，則設(shè)置的左手臂的肢體區(qū)域非零向量的方向為左手肘向左手腕的方向。并將肢體區(qū)域以外的區(qū)域設(shè)置為零向量。需要說明的是，肢體是由兩個臨近且屬于不同類的關(guān)節(jié)點連接構(gòu)成的，所述有多少類關(guān)節(jié)點有多少個肢體。因此，可以預(yù)先定義肢體中一個關(guān)節(jié)點與肢體對應(yīng)。

子步驟s1084，根據(jù)同類肢體對應(yīng)的肢體區(qū)域的非零向量，生成每一類肢體的親密區(qū)域特征圖。

在本實施例中，分別根據(jù)人物圖像數(shù)據(jù)中每一類肢體中的每一段肢體的肢體區(qū)域?qū)?yīng)的非零向量求取平均值獲得這一類肢體的親密區(qū)域特征圖。這樣能夠達(dá)到了讓某個關(guān)節(jié)點與兩段肢體都相關(guān)的關(guān)系，使得關(guān)節(jié)點檢測精度高。如果存在兩段肢體交疊部分，那么求取平均值就相當(dāng)于計算這兩段肢體法向量的和向量，再除以2，再加上向量信息取最大值，就得到重疊部分的點與兩段肢體都相關(guān)的關(guān)系。進(jìn)而，得到關(guān)于這一類肢體的親密關(guān)系領(lǐng)域特征圖。每個關(guān)節(jié)點與自己臨近的一個關(guān)節(jié)點構(gòu)，構(gòu)成一個肢體，本實施例中，定義了19類關(guān)節(jié)點，則總共有19類肢體，肢體可以看作是一個向量，用[x,y]表示。每段肢體都不僅僅是一條直線，而是一段區(qū)域，并且，在這段區(qū)域內(nèi)點的值是非零向量，向量值為肢體方向的單位向量，而這段區(qū)域外的點值為零向量。然后構(gòu)成的一個二分特征圖，網(wǎng)絡(luò)最后輸出的就是這個二分特征圖。因為有19個關(guān)節(jié)點，每個關(guān)節(jié)點單獨預(yù)測一段肢體，每段肢體都由二維向量表示，所以輸出是一個19×2個通道的特征圖組。

步驟s109，根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度。

在本實施例中，根據(jù)被計算的兩個關(guān)節(jié)點構(gòu)成的一段肢體所屬類別的親密區(qū)域特征圖，獲取對應(yīng)肢體的非零向量。位置信息包括被計算的兩個關(guān)節(jié)點的位置信息。根據(jù)獲取的對應(yīng)的肢體的非零向量及位置信息，利用插值積分算法，計算兩個所述關(guān)節(jié)點之間的所述親密度。具體地，在兩個關(guān)節(jié)點之間每一個插入位置點與對應(yīng)的肢體的非零向量計算內(nèi)積，然后積分。在具體的運算中采用等間距取點求和來代替積分運算，最后得到一個積分?jǐn)?shù)值，這個積分?jǐn)?shù)值則為被計算的兩個關(guān)節(jié)點之間的親密度。

步驟s110，依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。

在本實施例中，當(dāng)兩個所述關(guān)節(jié)點之間的親密度大于預(yù)設(shè)親密度閾值時，說明這兩個關(guān)節(jié)點組成的肢體就被預(yù)測為真實存在，則將兩個所述關(guān)節(jié)點連接，以生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線。如果兩個所述關(guān)節(jié)點之間的親密度小于預(yù)設(shè)親密度閾值，就被判別為錯誤預(yù)測，也就是所謂的誤檢。這樣就避免了，當(dāng)人物圖像數(shù)據(jù)中出現(xiàn)多個人是，將第一人的左手肘與第二人的左手腕誤判為一條左手臂。

在本實施例中，步驟s110之后還包括將關(guān)節(jié)點及姿勢骨架線通過開發(fā)軟件繪制在rgb初始圖像上，進(jìn)行顯示的步驟。

第二實施例

請參照圖6，圖6為本發(fā)明實施例提供的姿勢檢測裝置200的功能模塊示意圖。所述姿勢檢測裝置200包括：獲取模塊201、處理模塊202、檢測模塊203、關(guān)節(jié)點檢測模塊204、第一建立模塊205、定位模塊206、第二建立模塊207、計算模塊208及生成模塊209。

獲取模塊201，用于獲取rgb初始圖像。

在本發(fā)明實施例中，所述步驟s101可以由獲取模塊201執(zhí)行。

處理模塊202，用于對所述rgb初始圖像進(jìn)行歸一化處理，生成特定類型的圖像數(shù)據(jù)。

在本發(fā)明實施例中，所述步驟s102可以由處理模塊202執(zhí)行。

檢測模塊203，用于對獲取的圖像數(shù)據(jù)進(jìn)行檢測；及還用于當(dāng)檢測到所述圖像數(shù)據(jù)中出現(xiàn)人物圖像數(shù)據(jù)時，從所述圖像數(shù)據(jù)中分割出所述人物圖像數(shù)據(jù)。

在本發(fā)明實施例中，所述步驟s103及步驟s104可以由檢測模塊203執(zhí)行。

關(guān)節(jié)點檢測模塊204，用于獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息。

在本發(fā)明實施例中，所述步驟s105可以由關(guān)節(jié)點檢測模塊204執(zhí)行。

第一建立模塊205，用于根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖。

在本發(fā)明實施例中，所述步驟s106可以由第一建立模塊205執(zhí)行。具體地，第一建立模塊205執(zhí)行步驟s106的方式為：根據(jù)所述關(guān)節(jié)點的特征信息中的特征點位置信息，利用公式：

生成每一個所述關(guān)節(jié)點對應(yīng)的高斯分布圖。其中，si為提取到的特征信息所對應(yīng)的關(guān)節(jié)點對應(yīng)的高斯分布圖。p為以關(guān)節(jié)點對應(yīng)的特征點為中心，預(yù)設(shè)值距離為半徑內(nèi)的圓范圍內(nèi)的點。xi為關(guān)節(jié)點對應(yīng)的特征點位置信息。根據(jù)所述關(guān)節(jié)點對應(yīng)的高斯分布圖，建立每一類所述關(guān)節(jié)點對應(yīng)的置信圖。分別根據(jù)屬于同一類的關(guān)節(jié)點對應(yīng)的高斯分布圖，利用公式：

建立每一類所述關(guān)節(jié)點對應(yīng)的置信圖。其中，s^*(p)為一類關(guān)節(jié)點對于的置信圖。si代表這一類關(guān)節(jié)點中第i個關(guān)節(jié)點的高斯分布圖，n代表從人物圖像數(shù)據(jù)中檢測出的屬于這一類關(guān)節(jié)點的總個數(shù)。代表求取n個同類關(guān)節(jié)點高斯分布圖的最大值。例如，從人物圖像數(shù)據(jù)中檢測出五個人的鼻子，則依次將獲得的五個人的鼻子對應(yīng)的高斯分布圖進(jìn)行最大值求取，獲得鼻子這一類關(guān)節(jié)點的置信圖。每一類關(guān)節(jié)點對應(yīng)一張置信圖。

定位模塊206，用于根據(jù)所述關(guān)節(jié)點及所述關(guān)節(jié)點對應(yīng)的置信圖，依次獲取每個待定位的關(guān)節(jié)點的準(zhǔn)確的位置信息。

在本發(fā)明實施例中，所述步驟s107可以由定位模塊206執(zhí)行。定位模塊206執(zhí)行步驟s107的方式為根據(jù)待定位的關(guān)節(jié)點所對應(yīng)的置信圖，結(jié)合對比關(guān)節(jié)點的特征信息，依次獲取待定位的關(guān)節(jié)點的位置信息，其中，所述待定位的關(guān)節(jié)點與所述對比關(guān)節(jié)點為同一個肢體且屬于不同類別的關(guān)節(jié)點。

第二建立模塊207，用于根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖，其中，每一段所述肢體均包括兩個屬于不同類別且相鄰的關(guān)節(jié)點。

在本發(fā)明實施例中，所述步驟s108可以由第二建立模塊207執(zhí)行。具體地，第二建立模塊207執(zhí)行步驟s108的方式為：獲取每一段肢體的法向量。根據(jù)每一段肢體的肢體線段找出肢體的法向量方向，以預(yù)設(shè)寬度法向量的模。根據(jù)每一段所述肢體的線段為中線，沿對應(yīng)的所述法向量方向，根據(jù)預(yù)設(shè)寬度劃分為肢體區(qū)域。將每段肢體的線段為中線，把沿著中線將對應(yīng)法向量正方向及反方向劃分肢體區(qū)域，即以中線為中心，兩倍法向量的模的內(nèi)的范圍。在所述肢體區(qū)域設(shè)置非零向量。將肢體區(qū)域中每一個點設(shè)置非零向量。其中，非零向量的方向為肢體包括的兩個關(guān)節(jié)點之間的方向。具體地，預(yù)先定義肢體中的一個關(guān)節(jié)點與肢體對應(yīng)。則肢體對應(yīng)的非零向量的方向為從肢體對應(yīng)的關(guān)節(jié)點朝向肢體的另一個關(guān)節(jié)點的方向。例如，左手臂包括左手肘和左手腕兩個關(guān)節(jié)，預(yù)先定義了左手肘對應(yīng)左手臂，則設(shè)置的左手臂的肢體區(qū)域非零向量的方向為左手肘向左手腕的方向。并將肢體區(qū)域以外的區(qū)域設(shè)置為零向量。需要說明的是，肢體是由兩個臨近且屬于不同類的關(guān)節(jié)點連接構(gòu)成的，所述有多少類關(guān)節(jié)點有多少個肢體。因此，可以預(yù)先定義肢體中一個關(guān)節(jié)點與肢體對應(yīng)。根據(jù)同類肢體對應(yīng)的肢體區(qū)域的非零向量，生成每一類肢體的親密區(qū)域特征圖。分別根據(jù)人物圖像數(shù)據(jù)中每一類肢體中的每一段肢體的肢體區(qū)域?qū)?yīng)的非零向量求取平均值獲得這一類肢體的親密區(qū)域特征圖。如果存在兩段肢體交疊部分，那么求取平均值就相當(dāng)于計算這兩段肢體法向量的和向量，再除以2，再加上向量信息取最大值，就得到重疊部分的點與兩段肢體都相關(guān)的關(guān)系。進(jìn)而，得到關(guān)于這一類肢體的親密關(guān)系領(lǐng)域特征圖。每個關(guān)節(jié)點與自己臨近的一個關(guān)節(jié)點構(gòu)，構(gòu)成一個肢體，本實施例中，定義了19類關(guān)節(jié)點，則總共有19類肢體，肢體可以看作是一個向量，用[x,y]表示。每段肢體都不僅僅是一條直線，而是一段區(qū)域，并且，在這段區(qū)域內(nèi)點的值是非零向量，向量值為肢體方向的單位向量，而這段區(qū)域外的點值為零向量。然后構(gòu)成的一個二分特征圖，網(wǎng)絡(luò)最后輸出的就是這個二分特征圖。因為有19個關(guān)節(jié)點，每個關(guān)節(jié)點單獨預(yù)測一段肢體，每段肢體都由二維向量表示，所以輸出是一個19×2個通道的特征圖組。

計算模塊208，用于根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度。

在本發(fā)明實施例中，所述步驟s109可以由計算模塊208執(zhí)行。計算模塊208執(zhí)行步驟s109的方式為根據(jù)所述關(guān)節(jié)點對應(yīng)肢體所屬類別的親密區(qū)域特征圖，獲取所述關(guān)節(jié)點對應(yīng)肢體的非零向量；根據(jù)所述關(guān)節(jié)點對應(yīng)肢體的非零向量及兩個所述關(guān)節(jié)點分別對應(yīng)的位置信息，利用插值積分算法，計算兩個所述關(guān)節(jié)點之間的所述親密度。

生成模塊209，用于依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。

在本發(fā)明實施例中，所述步驟s110可以由生成模塊209執(zhí)行。具體地，生成模塊209執(zhí)行步驟s110的方式為：當(dāng)兩個所述關(guān)節(jié)點之間的親密度大于預(yù)設(shè)親密度閾值時，則將兩個所述關(guān)節(jié)點連接，以生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線。

綜上所述，本發(fā)明提供的一種姿勢檢測方法、裝置及服務(wù)器。其中，所述方法包括獲取所述人物圖像數(shù)據(jù)中的各個關(guān)節(jié)點的特征信息；根據(jù)所述關(guān)節(jié)點的特征信息，建立每一類關(guān)節(jié)點對應(yīng)的置信圖；獲取每個關(guān)節(jié)點的準(zhǔn)確的位置信息；根據(jù)從所述人物圖像數(shù)據(jù)中檢測出的每一段肢體的肢體信息，構(gòu)建每一類肢體的親密區(qū)域特征圖；根據(jù)所述親密區(qū)域特征圖及所述位置信息，計算任意兩個分別屬于不同類別且相鄰的關(guān)節(jié)點之間的親密度；依據(jù)所述親密度生成所述人物圖像數(shù)據(jù)中人物的姿勢骨架線，以實現(xiàn)對圖像數(shù)據(jù)中人物姿勢的檢測。降低后續(xù)處理的復(fù)雜性，也降低了對硬件的要求，處理速度快，檢測精度高。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的裝置和方法，也可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的裝置、方法和計算機(jī)程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實現(xiàn)方式中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機(jī)指令的組合來實現(xiàn)。

另外，在本發(fā)明各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。

所述功能如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：u盤、移動硬盤、只讀存儲器(rom，read-onlymemory)、隨機(jī)存取存儲器(ram，randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。應(yīng)注意到：相似的標(biāo)號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進(jìn)行進(jìn)一步定義和解釋。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。