本發(fā)明實(shí)施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練、手勢(shì)檢測(cè)及控制方法、系統(tǒng)及終端。

背景技術(shù)：

近年來(lái)，隨著人工智能技術(shù)的普及與發(fā)展，利用計(jì)算機(jī)對(duì)圖像進(jìn)行識(shí)別被應(yīng)用到越來(lái)越多的場(chǎng)景當(dāng)中。圖像識(shí)別能夠?yàn)橛脩籼峁┖芏喾奖悖鐝膱D像中識(shí)別得到人臉，進(jìn)而利用人臉進(jìn)行安全驗(yàn)證；從圖像中識(shí)別得到車牌，進(jìn)而對(duì)車牌進(jìn)行篩選。

但是，目前并沒(méi)有有效的從圖像中識(shí)別得到手勢(shì)的技術(shù)手段。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練、手勢(shì)檢測(cè)及控制方法、系統(tǒng)及終端技術(shù)方案。

根據(jù)本發(fā)明實(shí)施例的一方面，提供了一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，包括：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)所述樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正所述人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的所述人手候選區(qū)域的預(yù)測(cè)信息和所述樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)和所述第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在所述第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持所述特征提取層的參數(shù)不變。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)所述樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，將多個(gè)補(bǔ)充負(fù)樣本圖像和所述人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾所述人手候選區(qū)域中的負(fù)樣本，得到修正后的所述人手候選區(qū)域的預(yù)測(cè)信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，所述第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，所述第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種手勢(shì)檢測(cè)方法，包括：采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得所述圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，所述圖像包括靜態(tài)圖像或視頻中的圖像，所述第一特征信息包括手部特征信息；將所述第一特征信息和所述人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用所述第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第二特征信息進(jìn)行所述圖像的手勢(shì)檢測(cè)，得到所述圖像的手勢(shì)檢測(cè)結(jié)果；其中，所述第五卷積神經(jīng)網(wǎng)絡(luò)和所述第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)方法，所述第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)所述圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)方法，所述第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述圖像的手勢(shì)檢測(cè)結(jié)果。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)方法，所述手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)方法，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)方法，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種手勢(shì)控制方法，包括：采用如上任一所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如上任一所述的手勢(shì)檢測(cè)方法檢測(cè)視頻圖像，得到所述手勢(shì)檢測(cè)結(jié)果；根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，將所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；響應(yīng)于所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；在所述展示位置采用計(jì)算機(jī)繪圖方式繪制所述業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，所述展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，所述預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，所述業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，所述業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制方法，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，包括：第一訓(xùn)練模塊，用于根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)所述樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正模塊，用于修正所述人手候選區(qū)域的預(yù)測(cè)信息；第二訓(xùn)練模塊，用于根據(jù)修正后的所述人手候選區(qū)域的預(yù)測(cè)信息和所述樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)和所述第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在所述第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持所述特征提取層的參數(shù)不變。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)所述樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述修正模塊，用于將多個(gè)補(bǔ)充負(fù)樣本圖像和所述人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾所述人手候選區(qū)域中的負(fù)樣本，得到修正后的所述人手候選區(qū)域的預(yù)測(cè)信息。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，所述第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，所述第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種手勢(shì)檢測(cè)系統(tǒng)，包括：圖像檢測(cè)模塊，用于采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得所述圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，所述圖像包括靜態(tài)圖像或視頻中的圖像，所述第一特征信息包括手部特征信息；手勢(shì)檢測(cè)模塊，用于將所述第一特征信息和所述人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用所述第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第二特征信息進(jìn)行所述圖像的手勢(shì)檢測(cè)，得到所述圖像的手勢(shì)檢測(cè)結(jié)果；其中，所述第五卷積神經(jīng)網(wǎng)絡(luò)和所述第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)系統(tǒng)，所述第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)所述圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)系統(tǒng)，所述第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述圖像的手勢(shì)檢測(cè)結(jié)果。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)系統(tǒng)，所述手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)系統(tǒng)，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)檢測(cè)系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種手勢(shì)控制系統(tǒng)，包括：檢測(cè)模塊，用于采用如上任一所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如上任一所述的手勢(shì)檢測(cè)系統(tǒng)檢測(cè)視頻圖像，得到所述手勢(shì)檢測(cè)結(jié)果；展示模塊，用于根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述展示模塊，包括：比較模塊，用于將所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；確定模塊，用于響應(yīng)于所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；繪制模塊，用于在所述展示位置采用計(jì)算機(jī)繪圖方式繪制所述業(yè)務(wù)對(duì)象。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實(shí)施例提供的任一種手勢(shì)控制系統(tǒng)，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行前述任一項(xiàng)所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法對(duì)應(yīng)的操作。

根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行前述任一項(xiàng)所述的手勢(shì)檢測(cè)方法對(duì)應(yīng)的操作。

根據(jù)本發(fā)明實(shí)施例的再一方面，還提供了一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行前述任一項(xiàng)所述的手勢(shì)控制方法對(duì)應(yīng)的操作。

根據(jù)本發(fā)明實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有：用于根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)所述樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息的可執(zhí)行指令；用于修正所述人手候選區(qū)域的預(yù)測(cè)信息的可執(zhí)行指令；用于根據(jù)修正后的所述人手候選區(qū)域的預(yù)測(cè)信息和所述樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)和所述第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在所述第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持所述特征提取層的參數(shù)不變的可執(zhí)行指令。

根據(jù)本發(fā)明實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有：用于采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得所述圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，所述圖像包括靜態(tài)圖像或視頻中的圖像，所述第一特征信息包括手部特征信息的可執(zhí)行指令；用于將所述第一特征信息和所述人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用所述第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第二特征信息進(jìn)行所述圖像的手勢(shì)檢測(cè)，得到所述圖像的手勢(shì)檢測(cè)結(jié)果；其中，所述第五卷積神經(jīng)網(wǎng)絡(luò)和所述第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層的可執(zhí)行指令。

根據(jù)本發(fā)明實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有：用于采用如上任一所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如上任一所述的手勢(shì)檢測(cè)方法檢測(cè)視頻圖像，得到所述手勢(shì)檢測(cè)結(jié)果的可執(zhí)行指令；用于根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象的可執(zhí)行指令。

根據(jù)本發(fā)明實(shí)施例提供的技術(shù)方案，分別訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)存在如下關(guān)聯(lián)關(guān)系：第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

由于訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，先將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正(如通過(guò)手動(dòng)進(jìn)行修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等)，再將修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像作為第二卷積神經(jīng)網(wǎng)絡(luò)的輸入，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率，進(jìn)一步降低利用第二卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)檢測(cè)的誤檢率。

而且，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變，第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層可以直接利用第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層，為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)提供了便利，減少了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明實(shí)施例一的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法的步驟流程圖；

圖2a是根據(jù)本發(fā)明實(shí)施例一的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法中的一種標(biāo)注有人手信息的樣本圖像的示意圖；

圖2b是根據(jù)本發(fā)明實(shí)施例一的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法中的另一種標(biāo)注有人手信息的樣本圖像的示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例一的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法中第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)的邏輯關(guān)系示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例二的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法的步驟流程圖；

圖5是根據(jù)本發(fā)明實(shí)施例二的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法中的第一卷積神經(jīng)網(wǎng)絡(luò)、第二卷積神經(jīng)網(wǎng)絡(luò)和第三卷積神經(jīng)網(wǎng)絡(luò)的邏輯關(guān)系示意圖；

圖6是根據(jù)本發(fā)明實(shí)施例三的手勢(shì)檢測(cè)方法的步驟流程圖；

圖7是根據(jù)本發(fā)明實(shí)施例四的手勢(shì)控制方法的步驟流程圖；

圖8是根據(jù)本發(fā)明實(shí)施例五的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)的結(jié)構(gòu)框圖；

圖9是根據(jù)本發(fā)明實(shí)施例六的手勢(shì)檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖；

圖10是根據(jù)本發(fā)明實(shí)施例七的手勢(shì)控制系統(tǒng)的結(jié)構(gòu)框圖；

圖11是根據(jù)本發(fā)明實(shí)施例八的第一終端的結(jié)構(gòu)示意圖；

圖12是根據(jù)本發(fā)明實(shí)施例九的第二終端的結(jié)構(gòu)示意圖；

圖13是根據(jù)本發(fā)明實(shí)施例十的第三終端的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號(hào)表示相同的元素)和實(shí)施例，對(duì)本發(fā)明實(shí)施例的具體實(shí)施方式作進(jìn)一步詳細(xì)說(shuō)明。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明實(shí)施例中的“第一”、“第二”等術(shù)語(yǔ)僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實(shí)施例一

參照?qǐng)D1，示出了根據(jù)本發(fā)明實(shí)施例一的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法的步驟流程圖。

本實(shí)施例的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法包括以下步驟。

步驟s100、根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息。

含有人手標(biāo)注信息的樣本圖像可以是來(lái)源于圖像采集設(shè)備的視頻圖像，由一幀一幀的圖像組成，也可以為單獨(dú)的一幀圖像或者一幅圖像，還可以來(lái)源于其他設(shè)備，然后在樣本圖像中進(jìn)行標(biāo)注操作。具體可以在樣本圖像中標(biāo)注多個(gè)候選區(qū)域。本實(shí)施例對(duì)含有人手標(biāo)注信息的樣本圖像的來(lái)源和獲得途徑等不做限制。

人手候選區(qū)域的預(yù)測(cè)信息可以包括：樣本圖像中的人手所在區(qū)域的位置信息，例如，坐標(biāo)點(diǎn)信息或者像素點(diǎn)信息；人手所在區(qū)域中人手的完整度信息，例如，人手所在區(qū)域中包括一只完整的人手或者只包括一只手指；人手所在區(qū)域中具體的手勢(shì)信息，例如，手勢(shì)類型，等等。本實(shí)施例對(duì)人手候選區(qū)域的預(yù)測(cè)信息的具體內(nèi)容不做限制。

本實(shí)施例中，第一卷積神經(jīng)網(wǎng)絡(luò)可以包括：輸入層、特征提取層和分類層。輸入層用于輸入樣本圖像，特征提取層用于對(duì)樣本圖像進(jìn)行特征提取，然后將提取得到的特征通過(guò)分類層進(jìn)行分類得到人手候選區(qū)域的預(yù)測(cè)信息。

訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)即訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)的輸入層、特征提取層和分類層的網(wǎng)絡(luò)參數(shù)，再根據(jù)訓(xùn)練得到的網(wǎng)絡(luò)參數(shù)構(gòu)建第一卷積神經(jīng)網(wǎng)絡(luò)。

具體可以使用含有人手標(biāo)注信息的樣本圖像對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，為使得訓(xùn)練得到的第一卷積神經(jīng)網(wǎng)絡(luò)更加準(zhǔn)確，在選擇樣本圖像時(shí)可以選擇多種情況下的樣本圖像，樣本圖像中可以包括標(biāo)注有人手信息的樣本圖像，還可以包括未標(biāo)注有人手信息的樣本圖像。具體地，參見圖2a和圖2b，提供了兩種標(biāo)注有人手信息的樣本圖像的示意圖。

其中，樣本圖像中人手信息的標(biāo)注可以采用人工標(biāo)注的方式。若標(biāo)注的人手信息為人手區(qū)域，則人手區(qū)域可以是樣本圖像中能覆蓋整手的最小矩形區(qū)域。

而且，本實(shí)施例中的樣本圖像可以為滿足一定分辨率條件的樣本圖像。例如，樣本圖像的分辨率調(diào)整為統(tǒng)一的分辨率，該統(tǒng)一的分辨率可以為640×480，或者其他合適的分辨率。采用樣本圖像對(duì)第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，可以采用梯度下降法和反向傳播算法進(jìn)行訓(xùn)練。

步驟s102、修正人手候選區(qū)域的預(yù)測(cè)信息。

本實(shí)施例中，訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率。而且，人手候選區(qū)域的預(yù)測(cè)信息在后續(xù)步驟中作為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的輸入項(xiàng)，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正。

具體的修正過(guò)程可以通過(guò)手動(dòng)修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等，修正的目的在于，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。本實(shí)施例對(duì)具體的修正過(guò)程不做限制。

步驟s104、根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。

本實(shí)施例中，第二卷積神經(jīng)網(wǎng)絡(luò)可以包括：輸入層、特征提取層和分類層。輸入層用于輸入人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像，特征提取層用于對(duì)人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像進(jìn)行特征提取，然后通過(guò)分類層對(duì)手勢(shì)提取到的特征進(jìn)行分類，得到手勢(shì)預(yù)測(cè)結(jié)果。

本實(shí)施例中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)具有關(guān)聯(lián)性，由于第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)中均包含特征提取層，為便于進(jìn)行訓(xùn)練，減小計(jì)算量，可以將上述兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)中的特征提取層的網(wǎng)絡(luò)參數(shù)設(shè)置為相同的網(wǎng)絡(luò)參數(shù)，即第二卷積神經(jīng)網(wǎng)絡(luò)和第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。如圖3所示，輸入層、特征提取層和第一分類層構(gòu)成第一卷積神經(jīng)網(wǎng)絡(luò)，輸入層、特征提取層和第二分類層構(gòu)成第二卷積神經(jīng)網(wǎng)絡(luò)，其中，除特征提取層可以共享之外，輸入層也可以共享。

基于此，在本實(shí)施例中，訓(xùn)練得到第二卷積神經(jīng)網(wǎng)絡(luò)時(shí)，可以先訓(xùn)練得到輸入層的網(wǎng)絡(luò)參數(shù)和分類層的網(wǎng)絡(luò)參數(shù)，再將第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層的網(wǎng)絡(luò)參數(shù)確定為第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層的網(wǎng)絡(luò)參數(shù)，然后根據(jù)輸入層的網(wǎng)絡(luò)參數(shù)、分類層的網(wǎng)絡(luò)參數(shù)和特征提取層的網(wǎng)絡(luò)參數(shù)構(gòu)建第二卷積神經(jīng)網(wǎng)絡(luò)。

具體可以使用修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像對(duì)第二卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，為使得訓(xùn)練得到的第二卷積神經(jīng)網(wǎng)絡(luò)更加準(zhǔn)確，在選擇樣本圖像時(shí)可以選擇多種情況下的樣本圖像，樣本圖像中可以包括標(biāo)注有手勢(shì)的樣本圖像，還可以包括未標(biāo)注有手勢(shì)的樣本圖像。

其中，樣本圖像中手勢(shì)的標(biāo)注可以采用人工標(biāo)注的方式。標(biāo)注的手勢(shì)可以是樣本圖像中能覆蓋整手的最小矩形區(qū)域。

而且，本實(shí)施例中的樣本圖像可以為滿足上述分辨率條件或者其他分辨率條件的樣本圖像。

通過(guò)本實(shí)施例提供的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，分別訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)存在如下關(guān)聯(lián)關(guān)系：第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

由于訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，先將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正(如通過(guò)手動(dòng)進(jìn)行修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等)，再將修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像作為第二卷積神經(jīng)網(wǎng)絡(luò)的輸入，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。

而且，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變，第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層可以直接利用第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層，為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)提供了便利，減少了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

實(shí)施例二

參照?qǐng)D4，示出了根據(jù)本發(fā)明實(shí)施例二的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法的步驟流程圖。

本實(shí)施例在上述實(shí)施例的基礎(chǔ)上，強(qiáng)調(diào)與上述實(shí)施例的不同之處，相同之處可以參照上述實(shí)施例中的介紹和說(shuō)明。

步驟s400、根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息。

樣本圖像中的人手標(biāo)注信息可以包括人手區(qū)域的標(biāo)注信息，還可以包括手勢(shì)的標(biāo)注信息。具體地，樣本圖像中的人手標(biāo)注信息可以只包括人手區(qū)域的標(biāo)注信息，或者只包括手勢(shì)的標(biāo)注信息，或者既包括人手區(qū)域的標(biāo)注信息，又包括手勢(shì)的標(biāo)注信息。

其中，人手區(qū)域的標(biāo)注信息可以包括人手區(qū)域所在的位置或者范圍的坐標(biāo)信息等，手勢(shì)的標(biāo)注信息可以包括手勢(shì)的具體類型信息等。本實(shí)施例對(duì)人手區(qū)域的標(biāo)注信息和手勢(shì)的標(biāo)注信息不做限制。

本實(shí)施例中，第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。因此，人手候選區(qū)域的預(yù)測(cè)信息可以包括指示樣本圖像中的候選區(qū)域是否包括人手候選區(qū)域的信息，若包括人手候選區(qū)域，預(yù)測(cè)信息還可以包括人手候選區(qū)域的數(shù)量以及具體位置等等。

本實(shí)施例中，第一卷積神經(jīng)網(wǎng)絡(luò)可以是rpn(regionproposalnetwork，區(qū)域方案網(wǎng)絡(luò))，當(dāng)然，本實(shí)施例只是以此為例進(jìn)行說(shuō)明，實(shí)際應(yīng)用中第一卷積神經(jīng)網(wǎng)絡(luò)并不僅限于此，例如，還可以是其他二分類或更多分類的卷積神經(jīng)網(wǎng)絡(luò)。

步驟s402、將多個(gè)補(bǔ)充負(fù)樣本圖像和人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾人手候選區(qū)域中的負(fù)樣本，得到修正后的人手候選區(qū)域的預(yù)測(cè)信息。

本實(shí)施例中，補(bǔ)充負(fù)樣本圖像可以是沒(méi)有人手的空白樣本圖像，或者是包括像人手但標(biāo)注有不是人手的信息的樣本圖像，或者沒(méi)有人手的圖像，等等。補(bǔ)充負(fù)樣本圖像不輸入第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)，只在第三卷積神經(jīng)網(wǎng)絡(luò)中輸入，補(bǔ)充負(fù)樣本圖像只有負(fù)樣本圖像，沒(méi)有正樣本圖像。

本實(shí)施例中，輸入至第三卷積神經(jīng)網(wǎng)絡(luò)的補(bǔ)充負(fù)樣本圖像的具體數(shù)量可以與人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量的差異落入預(yù)定容許范圍，其中，預(yù)定容許范圍可以根據(jù)實(shí)際情況設(shè)定，例如，設(shè)定為3-5的范圍，包括3、4和5。例如，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量為5，則補(bǔ)充負(fù)樣本圖像的數(shù)量可以為8、9或10。當(dāng)預(yù)定容許范圍設(shè)定為0時(shí)，表示輸入至第三卷積神經(jīng)網(wǎng)絡(luò)的補(bǔ)充負(fù)樣本圖像的具體數(shù)量可以與人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量相等，例如，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量為5，則補(bǔ)充負(fù)樣本圖像的數(shù)量也為5。

本實(shí)施例中，第三卷積神經(jīng)網(wǎng)絡(luò)用于對(duì)訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的人手候選區(qū)域的預(yù)測(cè)信息進(jìn)行修正。具體可以過(guò)濾掉人手候選區(qū)域中的負(fù)樣本，即過(guò)濾掉人手候選區(qū)域中非人手區(qū)域，得到修正后的人手候選區(qū)域的預(yù)測(cè)信息，使得修正后的人手候選區(qū)域的預(yù)測(cè)信息更加準(zhǔn)確。第三卷積神經(jīng)網(wǎng)絡(luò)可以為frcnn(fastregionwithconvolutionalneuralnetwork，快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò))，還可以是其他二分類或多分類卷積神經(jīng)網(wǎng)絡(luò)。

步驟s404、根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。

第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。其中，手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型和其他手勢(shì)類型。其中，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。其他手勢(shì)類型，即除上述預(yù)定手勢(shì)類型之外的手勢(shì)類型。通過(guò)增加其他手勢(shì)類型，可以明顯提高第二卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)分類準(zhǔn)確度，也就是說(shuō)第二卷積神經(jīng)網(wǎng)絡(luò)把不屬于預(yù)定手勢(shì)類型的手勢(shì)類型都劃分為其他手勢(shì)類型，例如將不是手的圖片、空白圖片以及手勢(shì)并非預(yù)定手勢(shì)類型的其他手勢(shì)類型等等都統(tǒng)一歸為一類，即其他手勢(shì)類型，由此實(shí)現(xiàn)預(yù)定手勢(shì)類型的精準(zhǔn)分類。

本實(shí)施例中，第二卷積神經(jīng)網(wǎng)絡(luò)可以是frcnn，當(dāng)然，本實(shí)施例只是以此為例進(jìn)行說(shuō)明，實(shí)際應(yīng)用中第二卷積神經(jīng)網(wǎng)絡(luò)并不僅限于此，例如，還可以是其他二分類或多分類卷積神經(jīng)網(wǎng)絡(luò)。

本實(shí)施例中的第一卷積神經(jīng)網(wǎng)絡(luò)可以劃分為輸入層、特征提取層和第一分類層；第二卷積神經(jīng)網(wǎng)絡(luò)可以劃分為輸入層、特征提取層和第二分類層，如圖5所示。其中，第三卷積神經(jīng)網(wǎng)絡(luò)還分別與第一分類層和第二分類層連接，本實(shí)施例中的補(bǔ)充負(fù)樣本圖像輸入第三卷積神經(jīng)網(wǎng)絡(luò)。

通過(guò)本實(shí)施例提供的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，分別訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)存在如下關(guān)聯(lián)關(guān)系：第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

由于訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，先將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正(如通過(guò)手動(dòng)進(jìn)行修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等)，再將修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像作為第二卷積神經(jīng)網(wǎng)絡(luò)的輸入，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。

補(bǔ)充負(fù)樣本圖像的數(shù)量與人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域的數(shù)量，二者數(shù)量相同或相當(dāng)對(duì)過(guò)濾人手候選區(qū)域中負(fù)樣本的效果有很大的影響，可以明顯提高人手候選區(qū)域的預(yù)測(cè)信息的準(zhǔn)確率，使得經(jīng)過(guò)第三卷積神經(jīng)網(wǎng)絡(luò)得到的修正后的人手候選區(qū)域的正樣本準(zhǔn)確率明顯提高。

而且，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變，第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層可以直接利用第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層，為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)提供了便利，減少了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

通過(guò)增加其他手勢(shì)類型，可以明顯提高第二卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)分類準(zhǔn)確度，也就是說(shuō)第二卷積神經(jīng)網(wǎng)絡(luò)把不屬于預(yù)定手勢(shì)類型的手勢(shì)類型都劃分為其他手勢(shì)類型，由此實(shí)現(xiàn)預(yù)定手勢(shì)類型的精準(zhǔn)分類。

實(shí)施例三

參照?qǐng)D6，示出了根據(jù)本發(fā)明實(shí)施例三的手勢(shì)檢測(cè)方法的步驟流程圖。

本實(shí)施例的手勢(shì)檢測(cè)方法包括以下步驟。

步驟s600、采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息。

本實(shí)施例中，第四卷積神經(jīng)網(wǎng)絡(luò)可以為上述實(shí)施例中訓(xùn)練得到的第一卷積神經(jīng)網(wǎng)絡(luò)。第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

圖像可以是來(lái)源于圖像采集設(shè)備的圖像，由一幀一幀的圖像組成，也可以為單獨(dú)的一幀圖像或者一幅圖像，還可以來(lái)源于其他設(shè)備，圖像包括靜態(tài)圖像或視頻中的圖像。

具體可以將圖像輸入至第四卷積神經(jīng)網(wǎng)絡(luò)，得到圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息。其中，第一特征信息包括手部特征信息。人手候選區(qū)域的預(yù)測(cè)信息可以參照上述實(shí)施例中的介紹和說(shuō)明，在此不再贅述。

步驟s602、將第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)第二特征信息進(jìn)行圖像的手勢(shì)檢測(cè)，得到圖像的手勢(shì)檢測(cè)結(jié)果。

其中，第五卷積神經(jīng)網(wǎng)絡(luò)可以認(rèn)為是上述實(shí)施例中的第二卷積神經(jīng)網(wǎng)絡(luò)，因此，與上述第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)之間的關(guān)聯(lián)性相同，第五卷積神經(jīng)網(wǎng)絡(luò)和第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出圖像的手勢(shì)檢測(cè)結(jié)果。手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型和其他手勢(shì)類型。其中，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。其他手勢(shì)類型，即除上述預(yù)定手勢(shì)類型之外的手勢(shì)類型。通過(guò)增加其他手勢(shì)類型，可以明顯提高第二卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)分類準(zhǔn)確度，也就是說(shuō)第二卷積神經(jīng)網(wǎng)絡(luò)把不屬于預(yù)定手勢(shì)類型的手勢(shì)類型都劃分為其他手勢(shì)類型，例如將不是手的圖片、空白圖片以及手勢(shì)并非預(yù)定手勢(shì)類型的其他手勢(shì)類型等等都統(tǒng)一歸為一類，即其他手勢(shì)類型，由此實(shí)現(xiàn)預(yù)定手勢(shì)類型的精準(zhǔn)分類。

需要說(shuō)明的是，本實(shí)施例是針對(duì)上述實(shí)施例一和實(shí)施例二訓(xùn)練得到的第一卷積神經(jīng)網(wǎng)絡(luò)(第四卷積神經(jīng)網(wǎng)絡(luò))和第二卷積神經(jīng)網(wǎng)絡(luò)(第五卷積神經(jīng)網(wǎng)絡(luò))的應(yīng)用的實(shí)施例。相關(guān)內(nèi)容可以參照上述實(shí)施例中的介紹和說(shuō)明，本實(shí)施例在此不再贅述。

通過(guò)本實(shí)施例提供的手勢(shì)檢測(cè)方法，利用訓(xùn)練完畢的第四卷積神經(jīng)網(wǎng)絡(luò)和第五卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中檢測(cè)得到手勢(shì)檢測(cè)結(jié)果。不需要借助傳感器等相關(guān)設(shè)備檢測(cè)手勢(shì)，降低了用戶的使用要求，節(jié)省了從圖像中檢測(cè)手勢(shì)的硬件成本。

實(shí)施例四

參照?qǐng)D7，示出了根據(jù)本發(fā)明實(shí)施例四的手勢(shì)控制方法的步驟流程圖。

本實(shí)施例的手勢(shì)控制方法包括以下步驟。

步驟s700、對(duì)視頻圖像進(jìn)行檢測(cè)，得到手勢(shì)檢測(cè)結(jié)果。

本實(shí)施例中對(duì)視頻圖像進(jìn)行檢測(cè)可以采用上述實(shí)施例中訓(xùn)練得到第一卷積神經(jīng)網(wǎng)絡(luò)(第四卷積神經(jīng)網(wǎng)絡(luò))和第二卷積神經(jīng)網(wǎng)絡(luò)(第五卷積神經(jīng)網(wǎng)絡(luò))對(duì)視頻圖像進(jìn)行檢測(cè)，具體檢測(cè)過(guò)程可以參照上述實(shí)施例三中的相關(guān)介紹和說(shuō)明，本實(shí)施例在此不再贅述。

本實(shí)施例中的視頻圖像可以為直播類視頻圖像。

步驟s702、根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。

本實(shí)施例中的業(yè)務(wù)對(duì)象可以為包含有語(yǔ)義信息的特效，具體可以包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?，如二維形式的廣告貼紙(使用貼紙形式展示的廣告)、三維特效(使用3d特效形式展示的廣告)、粒子特效。但不限于此，其它形式的業(yè)務(wù)對(duì)象也同樣適用本實(shí)施例提供的手勢(shì)控制方案，如app或其它應(yīng)用的文字說(shuō)明或介紹，或者一定形式的與視頻觀眾交互的對(duì)象(如電子寵物)等。

本步驟具體可以包括如下步驟。

步驟s7020、將手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較。

手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型和其他手勢(shì)類型。其中，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。其他手勢(shì)類型，即除上述預(yù)定手勢(shì)類型之外的手勢(shì)類型。關(guān)于手勢(shì)檢測(cè)結(jié)果可以參照上述實(shí)施例中關(guān)于手勢(shì)檢測(cè)結(jié)果的說(shuō)明和介紹，在此不再贅述。預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

步驟s7022、響應(yīng)于手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

若步驟s7020中將手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較的結(jié)果為，手勢(shì)檢測(cè)結(jié)果為預(yù)定觸發(fā)手勢(shì)中的一種，例如為剪刀手，則確定手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，進(jìn)一步確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置。

本實(shí)施例中，在確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置時(shí)，可行的實(shí)現(xiàn)方式包括：使用卷積網(wǎng)絡(luò)模型確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置，或者按照預(yù)定觸發(fā)手勢(shì)對(duì)應(yīng)的業(yè)務(wù)對(duì)象展示區(qū)域，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置等等。本實(shí)施例對(duì)確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置的方式不做限制。

若本實(shí)施例應(yīng)用于對(duì)直播類視頻圖像進(jìn)行手勢(shì)檢測(cè)，并根據(jù)手勢(shì)檢測(cè)結(jié)果進(jìn)行控制的場(chǎng)景，則業(yè)務(wù)對(duì)象(廣告)在直播類視頻圖像中的展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域等等。

步驟s7024、在展示位置采用計(jì)算機(jī)繪圖方式繪制業(yè)務(wù)對(duì)象。

在確定了展示位置后，即可在該展示位置采用計(jì)算機(jī)繪圖方式進(jìn)行業(yè)務(wù)對(duì)象繪制，以進(jìn)行業(yè)務(wù)對(duì)象展示。

其中，對(duì)業(yè)務(wù)對(duì)象的采用計(jì)算機(jī)繪圖方式繪制可以通過(guò)適當(dāng)?shù)挠?jì)算機(jī)圖形圖像繪制或渲染等方式實(shí)現(xiàn)，包括但不限于：基于opengl圖形繪制引擎進(jìn)行繪制等。opengl定義了一個(gè)跨編程語(yǔ)言、跨平臺(tái)的編程接口規(guī)格的專業(yè)的圖形程序接口，其與硬件無(wú)關(guān)，可以方便地進(jìn)行2d或3d圖形圖像的繪制。通過(guò)opengl，不僅可以實(shí)現(xiàn)2d效果如2d貼紙的繪制，還可以實(shí)現(xiàn)3d特效的繪制及粒子特效的繪制等等。但不限于opengl，其它方式，如unity或opencl等也同樣適用。

通過(guò)本實(shí)施例提供的在手勢(shì)控制方法，采用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行檢測(cè)，得到手勢(shì)檢測(cè)結(jié)果。進(jìn)而根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。當(dāng)業(yè)務(wù)對(duì)象用于展示廣告時(shí)，與傳統(tǒng)的視頻廣告方式相比，一方面，該業(yè)務(wù)對(duì)象與視頻播放相結(jié)合，無(wú)須通過(guò)網(wǎng)絡(luò)傳輸與視頻無(wú)關(guān)的額外廣告視頻數(shù)據(jù)，節(jié)約了網(wǎng)絡(luò)資源和客戶端的系統(tǒng)資源；另一方面，業(yè)務(wù)對(duì)象與視頻圖像中的手勢(shì)緊密結(jié)合，以一種不打擾觀眾的方式展示業(yè)務(wù)對(duì)象，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例五

參照?qǐng)D8，示出了根據(jù)本發(fā)明實(shí)施例五的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)的結(jié)構(gòu)框圖。

本實(shí)施例中的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)包括：第一訓(xùn)練模塊800，用于根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正模塊802，用于修正人手候選區(qū)域的預(yù)測(cè)信息；第二訓(xùn)練模塊804，用于根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，第二卷積神經(jīng)網(wǎng)絡(luò)和第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

可選地，人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

可選地，人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

可選地，第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

可選地，手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

可選地，修正模塊802，用于將多個(gè)補(bǔ)充負(fù)樣本圖像和人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾人手候選區(qū)域中的負(fù)樣本，得到修正后的人手候選區(qū)域的預(yù)測(cè)信息。

可選地，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

可選地，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

可選地，第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

可選地，第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

通過(guò)本實(shí)施例提供的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，分別訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)存在如下關(guān)聯(lián)關(guān)系：第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

由于訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，先將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正(如通過(guò)手動(dòng)進(jìn)行修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等)，再將修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像作為第二卷積神經(jīng)網(wǎng)絡(luò)的輸入，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。

補(bǔ)充負(fù)樣本圖像的數(shù)量與人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域的數(shù)量，二者數(shù)量相同或相當(dāng)對(duì)過(guò)濾人手候選區(qū)域中負(fù)樣本的效果有很大的影響，可以明顯提高人手候選區(qū)域的預(yù)測(cè)信息的準(zhǔn)確率，使得經(jīng)過(guò)第三卷積神經(jīng)網(wǎng)絡(luò)得到的修正后的人手候選區(qū)域的正樣本準(zhǔn)確率明顯提高。

而且，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變，第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層可以直接利用第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層，為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)提供了便利，減少了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

通過(guò)增加其他手勢(shì)類型，可以明顯提高第二卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)分類準(zhǔn)確度，也就是說(shuō)第二卷積神經(jīng)網(wǎng)絡(luò)把不屬于預(yù)定手勢(shì)類型的手勢(shì)類型都劃分為其他手勢(shì)類型，由此實(shí)現(xiàn)預(yù)定手勢(shì)類型的精準(zhǔn)分類。

實(shí)施例六

參照?qǐng)D9，示出了根據(jù)本發(fā)明實(shí)施例六的手勢(shì)檢測(cè)系統(tǒng)的結(jié)構(gòu)框圖。

本實(shí)施例中的手勢(shì)檢測(cè)系統(tǒng)包括：圖像檢測(cè)模塊900，用于采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，圖像包括靜態(tài)圖像或視頻中的圖像，第一特征信息包括手部特征信息；手勢(shì)檢測(cè)模塊902，用于將第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)第二特征信息進(jìn)行圖像的手勢(shì)檢測(cè)，得到圖像的手勢(shì)檢測(cè)結(jié)果；其中，第五卷積神經(jīng)網(wǎng)絡(luò)和第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

可選地，第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

可選地，第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出圖像的手勢(shì)檢測(cè)結(jié)果。

可選地，手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

可選地，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

通過(guò)本實(shí)施例提供的手勢(shì)檢測(cè)系統(tǒng)，利用訓(xùn)練完畢的第四卷積神經(jīng)網(wǎng)絡(luò)和第五卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中檢測(cè)得到手勢(shì)檢測(cè)結(jié)果。不需要借助傳感器等相關(guān)設(shè)備檢測(cè)手勢(shì)，降低了用戶的使用要求，節(jié)省了從圖像中檢測(cè)手勢(shì)的硬件成本。

實(shí)施例七

參照?qǐng)D10，示出了根據(jù)本發(fā)明實(shí)施例七的手勢(shì)控制系統(tǒng)的結(jié)構(gòu)框圖。

本實(shí)施例中的手勢(shì)控制系統(tǒng)包括：檢測(cè)模塊1000，用于采用如上述實(shí)施例五所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如上述實(shí)施例六所述的手勢(shì)檢測(cè)系統(tǒng)檢測(cè)視頻圖像，得到手勢(shì)檢測(cè)結(jié)果；展示模塊1002，用于根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。

可選地，展示模塊1002包括：比較模塊10020，用于將手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；確定模塊10022，用于響應(yīng)于手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；繪制模塊10024，用于在展示位置采用計(jì)算機(jī)繪圖方式繪制業(yè)務(wù)對(duì)象。

可選地，展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

可選地，預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

可選地，業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

可選地，業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；視頻圖像為直播類視頻圖像。

可選地，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

通過(guò)本實(shí)施例提供的在手勢(shì)控制系統(tǒng)，采用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行檢測(cè)，得到手勢(shì)檢測(cè)結(jié)果。進(jìn)而根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。當(dāng)業(yè)務(wù)對(duì)象用于展示廣告時(shí)，與傳統(tǒng)的視頻廣告方式相比，一方面，該業(yè)務(wù)對(duì)象與視頻播放相結(jié)合，無(wú)須通過(guò)網(wǎng)絡(luò)傳輸與視頻無(wú)關(guān)的額外廣告視頻數(shù)據(jù)，節(jié)約了網(wǎng)絡(luò)資源和客戶端的系統(tǒng)資源；另一方面，業(yè)務(wù)對(duì)象與視頻圖像中的手勢(shì)緊密結(jié)合，以一種不打擾觀眾的方式展示業(yè)務(wù)對(duì)象，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

實(shí)施例八

參照?qǐng)D11，示出了根據(jù)本發(fā)明實(shí)施例八的第一終端的結(jié)構(gòu)示意圖，本發(fā)明具體實(shí)施例并不對(duì)第一終端的具體實(shí)現(xiàn)做限定。

如圖11所示，該第一終端可以包括：處理器(processor)1102、通信接口(communicationsinterface)1104、存儲(chǔ)器(memory)1106、以及通信總線1108。

處理器1102、通信接口1104、以及存儲(chǔ)器1106通過(guò)通信總線1108完成相互間的通信。

通信接口1104，用于與其它設(shè)備比如其它客戶端或服務(wù)器等的網(wǎng)元通信。

處理器1102，用于執(zhí)行程序1110，具體可以執(zhí)行上述方法實(shí)施例中的相關(guān)步驟。

具體地，程序1110可以包括程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。

處理器1110可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路，或者是圖形處理器gpu(graphicsprocessingunit)。第一終端包括的一個(gè)或多個(gè)處理器，可以是同一類型的處理器，如一個(gè)或多個(gè)cpu，或者，一個(gè)或多個(gè)gpu；也可以是不同類型的處理器，如一個(gè)或多個(gè)cpu以及一個(gè)或多個(gè)gpu。

存儲(chǔ)器1106，用于存放程序1110。存儲(chǔ)器1106可能包含高速ram存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatilememory)，例如至少一個(gè)磁盤存儲(chǔ)器。

程序1110具體可以用于使得處理器1102執(zhí)行以下操作：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，第二卷積神經(jīng)網(wǎng)絡(luò)和第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

在一種可選的實(shí)施方式中，人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

在一種可選的實(shí)施方式中，人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

在一種可選的實(shí)施方式中，第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

在一種可選的實(shí)施方式中，第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

在一種可選的實(shí)施方式中，手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

在一種可選的實(shí)施方式中，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

在一種可選的實(shí)施方式中，手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

在一種可選的實(shí)施方式中，程序1110還用于使得處理器1102在修正人手候選區(qū)域的預(yù)測(cè)信息時(shí)，將多個(gè)補(bǔ)充負(fù)樣本圖像和人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾人手候選區(qū)域中的負(fù)樣本，得到修正后的人手候選區(qū)域的預(yù)測(cè)信息。

在一種可選的實(shí)施方式中，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

在一種可選的實(shí)施方式中，人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

在一種可選的實(shí)施方式中，第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

在一種可選的實(shí)施方式中，第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

程序1110中各步驟的具體實(shí)現(xiàn)可以參見上述實(shí)施例一或?qū)嵤├械南鄳?yīng)步驟和單元中對(duì)應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的設(shè)備和模塊的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程描述，在此不再贅述。

通過(guò)本實(shí)施例提供的第一終端，分別訓(xùn)練兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；修正人手候選區(qū)域的預(yù)測(cè)信息；根據(jù)修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)。其中，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)存在如下關(guān)聯(lián)關(guān)系：第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變。

由于訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息是粗略判斷結(jié)果，可能存在一定的錯(cuò)誤率，因此在訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)之前，先將訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)得到的粗略判斷結(jié)果進(jìn)行修正(如通過(guò)手動(dòng)進(jìn)行修正，或引入其他卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行錯(cuò)誤結(jié)果的過(guò)濾等)，再將修正后的人手候選區(qū)域的預(yù)測(cè)信息和樣本圖像作為第二卷積神經(jīng)網(wǎng)絡(luò)的輸入，在保證第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息準(zhǔn)確的情況下，提高了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。

補(bǔ)充負(fù)樣本圖像的數(shù)量與人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域的數(shù)量，二者數(shù)量相同或相當(dāng)對(duì)過(guò)濾人手候選區(qū)域中負(fù)樣本的效果有很大的影響，可以明顯提高人手候選區(qū)域的預(yù)測(cè)信息的準(zhǔn)確率，使得經(jīng)過(guò)第三卷積神經(jīng)網(wǎng)絡(luò)得到的修正后的人手候選區(qū)域的正樣本準(zhǔn)確率明顯提高。

而且，第一卷積神經(jīng)網(wǎng)絡(luò)和第二卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持特征提取層的參數(shù)不變，第二卷積神經(jīng)網(wǎng)絡(luò)的特征提取層可以直接利用第一卷積神經(jīng)網(wǎng)絡(luò)的特征提取層，為訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)提供了便利，減少了訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算量。

通過(guò)增加其他手勢(shì)類型，可以明顯提高第二卷積神經(jīng)網(wǎng)絡(luò)的手勢(shì)分類準(zhǔn)確度，也就是說(shuō)第二卷積神經(jīng)網(wǎng)絡(luò)把不屬于預(yù)定手勢(shì)類型的手勢(shì)類型都劃分為其他手勢(shì)類型，由此實(shí)現(xiàn)預(yù)定手勢(shì)類型的精準(zhǔn)分類。

實(shí)施例九

參照?qǐng)D12，示出了根據(jù)本發(fā)明實(shí)施例九的第二終端的結(jié)構(gòu)示意圖，本發(fā)明具體實(shí)施例并不對(duì)第二終端的具體實(shí)現(xiàn)做限定。

如圖12所示，該第二終端可以包括：處理器(processor)1202、通信接口(communicationsinterface)1204、存儲(chǔ)器(memory)1206、以及通信總線1208。

處理器1202、通信接口1204、以及存儲(chǔ)器1206通過(guò)通信總線1208完成相互間的通信。

通信接口1204，用于與其它設(shè)備比如其它客戶端或服務(wù)器等的網(wǎng)元通信。

處理器1202，用于執(zhí)行程序1210，具體可以執(zhí)行上述方法實(shí)施例中的相關(guān)步驟。

具體地，程序1210可以包括程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。

處理器1210可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路，或者是圖形處理器gpu(graphicsprocessingunit)。第二終端包括的一個(gè)或多個(gè)處理器，可以是同一類型的處理器，如一個(gè)或多個(gè)cpu，或者，一個(gè)或多個(gè)gpu；也可以是不同類型的處理器，如一個(gè)或多個(gè)cpu以及一個(gè)或多個(gè)gpu。

存儲(chǔ)器1206，用于存放程序1210。存儲(chǔ)器1206可能包含高速ram存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatilememory)，例如至少一個(gè)磁盤存儲(chǔ)器。

程序1210具體可以用于使得處理器1202執(zhí)行以下操作：采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，圖像包括靜態(tài)圖像或視頻中的圖像，第一特征信息包括手部特征信息；將第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)第二特征信息進(jìn)行圖像的手勢(shì)檢測(cè)，得到圖像的手勢(shì)檢測(cè)結(jié)果；其中，第五卷積神經(jīng)網(wǎng)絡(luò)和第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

在一種可選的實(shí)施方式中，第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

在一種可選的實(shí)施方式中，第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出圖像的手勢(shì)檢測(cè)結(jié)果。

在一種可選的實(shí)施方式中，手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

在一種可選的實(shí)施方式中，預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

在一種可選的實(shí)施方式中，手勢(shì)檢測(cè)結(jié)果還包括：其他手勢(shì)類型。

程序1210中各步驟的具體實(shí)現(xiàn)可以參見上述實(shí)施例三中的相應(yīng)步驟和單元中對(duì)應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的設(shè)備和模塊的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程描述，在此不再贅述。

通過(guò)本實(shí)施例提供的第二終端，利用訓(xùn)練完畢的第四卷積神經(jīng)網(wǎng)絡(luò)和第五卷積神經(jīng)網(wǎng)絡(luò)可以從圖像中檢測(cè)得到手勢(shì)檢測(cè)結(jié)果。不需要借助傳感器等相關(guān)設(shè)備檢測(cè)手勢(shì)，降低了用戶的使用要求，節(jié)省了從圖像中檢測(cè)手勢(shì)的硬件成本。

實(shí)施例十

參照?qǐng)D13，示出了根據(jù)本發(fā)明實(shí)施例十的第三終端的結(jié)構(gòu)示意圖，本發(fā)明具體實(shí)施例并不對(duì)第三終端的具體實(shí)現(xiàn)做限定。

如圖13所示，該第三終端可以包括：處理器(processor)1302、通信接口(communicationsinterface)1304、存儲(chǔ)器(memory)1306、以及通信總線1308。

處理器1302、通信接口1304、以及存儲(chǔ)器1306通過(guò)通信總線1308完成相互間的通信。

通信接口1304，用于與其它設(shè)備比如其它客戶端或服務(wù)器等的網(wǎng)元通信。

處理器1302，用于執(zhí)行程序1310，具體可以執(zhí)行上述方法實(shí)施例中的相關(guān)步驟。

具體地，程序1310可以包括程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。

處理器1310可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路，或者是圖形處理器gpu(graphicsprocessingunit)。第三終端包括的一個(gè)或多個(gè)處理器，可以是同一類型的處理器，如一個(gè)或多個(gè)cpu，或者，一個(gè)或多個(gè)gpu；也可以是不同類型的處理器，如一個(gè)或多個(gè)cpu以及一個(gè)或多個(gè)gpu。

存儲(chǔ)器1306，用于存放程序1310。存儲(chǔ)器1306可能包含高速ram存儲(chǔ)器，也可能還包括非易失性存儲(chǔ)器(non-volatilememory)，例如至少一個(gè)磁盤存儲(chǔ)器。

程序1310具體可以用于使得處理器1302執(zhí)行以下操作：采用如實(shí)施例一或?qū)嵤├我坏姆椒ㄓ?xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如實(shí)施例三的方法檢測(cè)視頻圖像，得到手勢(shì)檢測(cè)結(jié)果；根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。

在一種可選的實(shí)施方式中，程序1310還可以用于使得處理器1302在根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象時(shí)，將手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；響應(yīng)于手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定業(yè)務(wù)對(duì)象在視頻圖像中的展示位置；在展示位置采用計(jì)算機(jī)繪圖方式繪制業(yè)務(wù)對(duì)象。

在一種可選的實(shí)施方式中，展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

在一種可選的實(shí)施方式中，預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

在一種可選的實(shí)施方式中，業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

在一種可選的實(shí)施方式中，業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；視頻圖像為直播類視頻圖像。

在一種可選的實(shí)施方式中，業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

程序1310中各步驟的具體實(shí)現(xiàn)可以參見上述實(shí)施例四中的相應(yīng)步驟和單元中對(duì)應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的設(shè)備和模塊的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程描述，在此不再贅述。

通過(guò)本實(shí)施例提供的第三終端，采用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻圖像進(jìn)行檢測(cè)，得到手勢(shì)檢測(cè)結(jié)果。進(jìn)而根據(jù)手勢(shì)檢測(cè)結(jié)果在視頻圖像上展示業(yè)務(wù)對(duì)象。當(dāng)業(yè)務(wù)對(duì)象用于展示廣告時(shí)，與傳統(tǒng)的視頻廣告方式相比，一方面，該業(yè)務(wù)對(duì)象與視頻播放相結(jié)合，無(wú)須通過(guò)網(wǎng)絡(luò)傳輸與視頻無(wú)關(guān)的額外廣告視頻數(shù)據(jù)，節(jié)約了網(wǎng)絡(luò)資源和客戶端的系統(tǒng)資源；另一方面，業(yè)務(wù)對(duì)象與視頻圖像中的手勢(shì)緊密結(jié)合，以一種不打擾觀眾的方式展示業(yè)務(wù)對(duì)象，不影響觀眾的正常視頻觀看體驗(yàn)，不易引起觀眾反感，可以有效實(shí)現(xiàn)預(yù)想的效果。

需要指出，根據(jù)實(shí)施的需要，可將本發(fā)明實(shí)施例中描述的各個(gè)部件/步驟拆分為更多部件/步驟，也可將兩個(gè)或多個(gè)部件/步驟或者部件/步驟的部分操作組合成新的部件/步驟，以實(shí)現(xiàn)本發(fā)明實(shí)施例的目的。需要指出，根據(jù)實(shí)施的需要，可將本發(fā)明實(shí)施例中描述的各個(gè)部件/步驟拆分為更多部件/步驟，也可將兩個(gè)或多個(gè)部件/步驟或者部件/步驟的部分操作組合成新的部件/步驟，以實(shí)現(xiàn)本發(fā)明實(shí)施例的目的。

上述根據(jù)本發(fā)明實(shí)施例的方法可在硬件、固件中實(shí)現(xiàn)，或者被實(shí)現(xiàn)為可存儲(chǔ)在記錄介質(zhì)(諸如cdrom、ram、軟盤、硬盤或磁光盤)中的軟件或計(jì)算機(jī)代碼，或者被實(shí)現(xiàn)通過(guò)網(wǎng)絡(luò)下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)中并將被存儲(chǔ)在本地記錄介質(zhì)中的計(jì)算機(jī)代碼，從而在此描述的方法可被存儲(chǔ)在使用通用計(jì)算機(jī)、專用處理器或者可編程或?qū)Ｓ糜布?諸如asic或fpga)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫猓?jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼的存儲(chǔ)組件(例如，ram、rom、閃存等)，當(dāng)所述軟件或計(jì)算機(jī)代碼被計(jì)算機(jī)、處理器或硬件訪問(wèn)且執(zhí)行時(shí)，實(shí)現(xiàn)在此描述的處理方法。此外，當(dāng)通用計(jì)算機(jī)訪問(wèn)用于實(shí)現(xiàn)在此示出的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計(jì)算機(jī)。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來(lái)實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明實(shí)施例的范圍。

以上實(shí)施方式僅用于說(shuō)明本發(fā)明實(shí)施例，而并非對(duì)本發(fā)明實(shí)施例的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明實(shí)施例的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明實(shí)施例的范疇，本發(fā)明實(shí)施例的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。

本發(fā)明實(shí)施例提供了a1、一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，包括：

根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)所述樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；

修正所述人手候選區(qū)域的預(yù)測(cè)信息；

根據(jù)修正后的所述人手候選區(qū)域的預(yù)測(cè)信息和所述樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)和所述第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在所述第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持所述特征提取層的參數(shù)不變。

a2、根據(jù)a1所述的方法，所述人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

a3、根據(jù)a2所述的方法，所述人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

a4、根據(jù)a1-a3任一所述的方法，所述第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)所述樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

a5、根據(jù)a1-a4任一所述的方法，所述第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

a6、根據(jù)a1-a5任一所述的方法，所述手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

a7、根據(jù)a6所述的方法，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

a8、根據(jù)a6或a7所述的方法，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

a9、根據(jù)a1-a8任一所述的方法，所述修正所述人手候選區(qū)域的預(yù)測(cè)信息，包括：

將多個(gè)補(bǔ)充負(fù)樣本圖像和所述人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾所述人手候選區(qū)域中的負(fù)樣本，得到修正后的所述人手候選區(qū)域的預(yù)測(cè)信息。

a10、根據(jù)a9所述的方法，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

a11、根據(jù)a10所述的方法，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

a12、根據(jù)a1-a11任一所述的方法，所述第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，所述第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

a13、根據(jù)a1-a12任一所述的方法，所述第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

本發(fā)明實(shí)施例還提供了b14、一種手勢(shì)檢測(cè)方法，包括：

采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得所述圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，所述圖像包括靜態(tài)圖像或視頻中的圖像，所述第一特征信息包括手部特征信息；

將所述第一特征信息和所述人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用所述第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第二特征信息進(jìn)行所述圖像的手勢(shì)檢測(cè)，得到所述圖像的手勢(shì)檢測(cè)結(jié)果；其中，所述第五卷積神經(jīng)網(wǎng)絡(luò)和所述第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

b15、根據(jù)b14所述的方法，所述第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)所述圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

b16、根據(jù)b14或b15所述的方法，所述第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述圖像的手勢(shì)檢測(cè)結(jié)果。

b17、根據(jù)b14-b16任一所述的方法，所述手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

b18、根據(jù)b17所述的方法，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

b19、根據(jù)b17或b18所述的方法，所述手勢(shì)檢測(cè)結(jié)果還包括：其他手勢(shì)類型。

本發(fā)明實(shí)施例還提供了c20、一種手勢(shì)控制方法，包括：

采用如a1-a13任一所述的方法訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如b14-b19任一所述的方法檢測(cè)視頻圖像，得到手勢(shì)檢測(cè)結(jié)果；

根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象。

c21、根據(jù)c20所述的方法，根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象，包括：

將所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；

響應(yīng)于所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

在所述展示位置采用計(jì)算機(jī)繪圖方式繪制所述業(yè)務(wù)對(duì)象。

c22、根據(jù)c21所述的方法，所述展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

c23、根據(jù)c21或c22所述的方法，所述預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

c24、根據(jù)c20-c23任一所述的方法，所述業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

c25、根據(jù)c20-c24任一所述的方法，所述業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；所述視頻圖像為直播類視頻圖像。

c26、根據(jù)c25所述的方法，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

本發(fā)明實(shí)施例還提供了d27、一種手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練系統(tǒng)，包括：

第一訓(xùn)練模塊，用于根據(jù)含有人手標(biāo)注信息的樣本圖像訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)，得到所述第一卷積神經(jīng)網(wǎng)絡(luò)針對(duì)所述樣本圖像的人手候選區(qū)域的預(yù)測(cè)信息；

修正模塊，用于修正所述人手候選區(qū)域的預(yù)測(cè)信息；

第二訓(xùn)練模塊，用于根據(jù)修正后的所述人手候選區(qū)域的預(yù)測(cè)信息和所述樣本圖像訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)，其中，所述第二卷積神經(jīng)網(wǎng)絡(luò)和所述第一卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層，并在所述第二卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中保持所述特征提取層的參數(shù)不變。

d28、根據(jù)d27所述的系統(tǒng)，所述人手標(biāo)注信息包括人手區(qū)域的標(biāo)注信息。

d29、根據(jù)d28所述的系統(tǒng)，所述人手標(biāo)注信息包括手勢(shì)的標(biāo)注信息。

d30、根據(jù)d27-d29任一所述的系統(tǒng)，所述第一卷積神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)所述樣本圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

d31、根據(jù)d27-d30任一所述的系統(tǒng)，所述第二卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述樣本圖像的手勢(shì)預(yù)測(cè)結(jié)果。

d32、根據(jù)d27-d31任一所述的系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

d33、根據(jù)d32所述的系統(tǒng)，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

d34、根據(jù)d32或d33所述的系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

d35、根據(jù)d27-d34任一所述的系統(tǒng)，所述修正模塊，用于將多個(gè)補(bǔ)充負(fù)樣本圖像和所述人手候選區(qū)域的預(yù)測(cè)信息輸入第三卷積神經(jīng)網(wǎng)絡(luò)以進(jìn)行分類，以過(guò)濾所述人手候選區(qū)域中的負(fù)樣本，得到修正后的所述人手候選區(qū)域的預(yù)測(cè)信息。

d36、根據(jù)d35所述的系統(tǒng)，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量的差異落入預(yù)定容許范圍。

d37、根據(jù)d36所述的系統(tǒng)，所述人手候選區(qū)域的預(yù)測(cè)信息中人手候選區(qū)域數(shù)量與所述補(bǔ)充負(fù)樣本圖像的數(shù)量相等。

d38、根據(jù)d27-d37任一所述的系統(tǒng)，所述第一卷積神經(jīng)網(wǎng)絡(luò)為rpn，和/或，所述第二卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

d39、根據(jù)d27-d38任一所述的系統(tǒng)，所述第三卷積神經(jīng)網(wǎng)絡(luò)為frcnn。

本發(fā)明實(shí)施例還提供了e40、一種手勢(shì)檢測(cè)系統(tǒng)，包括：

圖像檢測(cè)模塊，用于采用第四卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)圖像，獲得所述圖像的第一特征信息和人手候選區(qū)域的預(yù)測(cè)信息，所述圖像包括靜態(tài)圖像或視頻中的圖像，所述第一特征信息包括手部特征信息；

手勢(shì)檢測(cè)模塊，用于將所述第一特征信息和所述人手候選區(qū)域的預(yù)測(cè)信息作為第五卷積神經(jīng)網(wǎng)絡(luò)的第二特征信息，并采用所述第五卷積神經(jīng)網(wǎng)絡(luò)根據(jù)所述第二特征信息進(jìn)行所述圖像的手勢(shì)檢測(cè)，得到所述圖像的手勢(shì)檢測(cè)結(jié)果；其中，所述第五卷積神經(jīng)網(wǎng)絡(luò)和所述第四卷積神經(jīng)網(wǎng)絡(luò)共享特征提取層。

e41、根據(jù)e40所述的系統(tǒng)，所述第四卷積神經(jīng)網(wǎng)絡(luò)用于檢測(cè)所述圖像劃分的多個(gè)候選區(qū)域是否為人手候選區(qū)域。

e42、根據(jù)e40或e41所述的系統(tǒng)，所述第五卷積神經(jīng)網(wǎng)絡(luò)用于輸出所述圖像的手勢(shì)檢測(cè)結(jié)果。

e43、根據(jù)e40-e42任一所述的系統(tǒng)，所述手勢(shì)檢測(cè)結(jié)果包括：預(yù)定手勢(shì)類型。

e44、根據(jù)e43所述的系統(tǒng)，所述預(yù)定手勢(shì)類型包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

e45、根據(jù)e43或e44所述的系統(tǒng)，所述手勢(shì)預(yù)測(cè)結(jié)果還包括：其他手勢(shì)類型。

本發(fā)明實(shí)施例還提供了f46、一種手勢(shì)控制系統(tǒng)，包括：

檢測(cè)模塊，用于采用如d27-d39任一所述的系統(tǒng)訓(xùn)練而得的手勢(shì)檢測(cè)網(wǎng)絡(luò)檢測(cè)視頻圖像，或者，采用如e40-e45任一所述的系統(tǒng)檢測(cè)視頻圖像，得到手勢(shì)檢測(cè)結(jié)果；

展示模塊，用于根據(jù)所述手勢(shì)檢測(cè)結(jié)果在所述視頻圖像上展示業(yè)務(wù)對(duì)象。

f47、根據(jù)f46所述的系統(tǒng)，所述展示模塊，包括：

比較模塊，用于將所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)進(jìn)行比較；

確定模塊，用于響應(yīng)于所述手勢(shì)檢測(cè)結(jié)果與預(yù)定觸發(fā)手勢(shì)匹配，確定所述業(yè)務(wù)對(duì)象在所述視頻圖像中的展示位置；

繪制模塊，用于在所述展示位置采用計(jì)算機(jī)繪圖方式繪制所述業(yè)務(wù)對(duì)象。

f48、根據(jù)f47所述的系統(tǒng)，所述展示位置包括以下至少之一：視頻圖像中人物的頭發(fā)區(qū)域、額頭區(qū)域、臉頰區(qū)域、下巴區(qū)域、頭部以外的身體區(qū)域、視頻圖像中的背景區(qū)域、視頻圖像中以手部所在的區(qū)域?yàn)橹行牡脑O(shè)定范圍內(nèi)的區(qū)域、視頻圖像中預(yù)先設(shè)定的區(qū)域。

f49、根據(jù)f47或f48所述的系統(tǒng)，所述預(yù)定觸發(fā)手勢(shì)包括以下至少之一：揮手、剪刀手、握拳、托手、豎大拇指、手槍手、ok手、桃心手、張開、閉合。

f50、根據(jù)f46-f49任一所述的系統(tǒng)，所述業(yè)務(wù)對(duì)象的類型包括以下至少之一：額頭貼片類型、臉頰貼片類型、下巴貼片類型、虛擬帽子類型、虛擬服裝類型、虛擬妝容類型、虛擬頭飾類型、虛擬發(fā)飾類型、虛擬首飾類型。

f51、根據(jù)f46-f50任一所述的系統(tǒng)，所述業(yè)務(wù)對(duì)象為包含有語(yǔ)義信息的特效；所述視頻圖像為直播類視頻圖像。

f52、根據(jù)f51所述的系統(tǒng)，所述業(yè)務(wù)對(duì)象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

本發(fā)明實(shí)施例還提供了g53、一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如a1-a13任一所述的手勢(shì)檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法對(duì)應(yīng)的操作。

本發(fā)明實(shí)施例還提供了h54、一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如b14-b19任一所述的手勢(shì)檢測(cè)方法對(duì)應(yīng)的操作。

本發(fā)明實(shí)施例還提供了i55、一種終端，包括：處理器、存儲(chǔ)器、通信接口和通信總線，所述處理器、所述存儲(chǔ)器和所述通信接口通過(guò)所述通信總線完成相互間的通信；

所述存儲(chǔ)器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如c20-c26任一所述的手勢(shì)控制方法對(duì)應(yīng)的操作。