本申請涉及計算機視覺,尤其涉及一種機器人動作生成方法、裝置及機器人。
背景技術:
1、機器人動作生成是機器人技術中的關鍵一環(huán),它涉及運動學、動力學、控制理論等多個學科。通過不斷優(yōu)化和改進機器人的動作生成能力,可以推動相關學科的發(fā)展,促進技術創(chuàng)新。
2、相關技術中,通過人工編程輸入、傳感器采集或靜態(tài)標注的數(shù)據(jù)集學習的傳統(tǒng)方法使機器人生成動作,傳統(tǒng)方法僅能讓機器人在特定環(huán)境中生成特定動作,當涉及動態(tài)變化的場景時,機器人無法生成適應動態(tài)變化場景的動作。
技術實現(xiàn)思路
1、本說明書實施例提供一種機器人動作生成方法,以解決現(xiàn)有技術中存在的當涉及動態(tài)變化的場景時,機器人無法生成適應動態(tài)變化場景的動作的問題。
2、為解決上述技術問題,本說明書實施例是這樣實現(xiàn)的:
3、第一方面,本說明書實施例提供的一種機器人動作生成方法,包括:
4、獲取當前場景下視頻中的多個關鍵幀;
5、提取每個所述關鍵幀中的空間特征、時序特征、目標特征和環(huán)境特征;
6、將所述空間特征、所述時序特征、所述目標特征和所述環(huán)境特征進行融合,得到與每個所述關鍵幀相對應的特征向量;
7、將全部所述特征向量輸入強化學習模型,生成動作指令,以便機器人根據(jù)所述動作指令,生成機器人動作;所述強化學習模型是在訓練場景下進行優(yōu)化后的;所述訓練場景與所述當前場景不同。
8、第二方面,本說明書實施例提供的一種機器人動作生成裝置,包括:
9、獲取模塊,用于獲取當前場景下視頻中的多個關鍵幀;
10、提取模塊,用于提取每個所述關鍵幀中的空間特征、時序特征、目標特征和環(huán)境特征;
11、融合模塊,用于將所述空間特征、所述時序特征、所述目標特征和所述環(huán)境特征進行融合,得到與每個所述關鍵幀相對應的特征向量;
12、生成模塊,用于將全部所述特征向量輸入強化學習模型,生成動作指令,以便機器人根據(jù)所述動作指令,生成機器人動作;所述強化學習模型是在訓練場景下進行優(yōu)化后的;所述訓練場景與所述當前場景不同。
13、第三方面,本說明書實施例提供的一種機器人,包括機器人主體和數(shù)據(jù)處理中心,所述數(shù)據(jù)處理中心用于實現(xiàn)方案一中的機器人動作生成方法。
14、本說明書一個實施例實現(xiàn)了能夠達到以下有益效果:將融合空間特征、時序特征、目標特征和環(huán)境特征的特征向量輸入在訓練場景下優(yōu)化后的強化學習模型,通過優(yōu)化后的強化學習模型學習動態(tài)變化的目標和環(huán)境,可以在當前場景下,生成機器人動作,提高了機器人的動作生成能力,使機器人生成適應動態(tài)變化場景的動作。
1.一種機器人動作生成方法,其特征在于,包括:
2.根據(jù)權利要求1所述的方法,其特征在于,所述獲取當前場景下視頻中的多個關鍵幀,具體包括:
3.根據(jù)權利要求1所述的方法,其特征在于,所述提取每個所述關鍵幀中的空間特征、時序特征、目標特征和環(huán)境特征,具體包括:
4.根據(jù)權利要求1所述的方法,其特征在于,所述將全部所述特征向量輸入強化學習模型之前,所述方法還包括:
5.根據(jù)權利要求1所述的方法,其特征在于,所將全部所述特征向量輸入強化學習模型,生成動作指令之后,所述方法還包括:
6.根據(jù)權利要求1所述的方法,其特征在于,所述方法還包括:
7.一種機器人動作生成裝置,其特征在于,包括:
8.根據(jù)權利要求7所述的裝置,其特征在于,所述獲取當前場景下視頻中的多個關鍵幀,具體包括:
9.根據(jù)權利要求7所述的裝置,其特征在于,所述提取每個所述關鍵幀中的空間特征、時序特征、目標特征和環(huán)境特征,具體包括:
10.一種機器人,包括機器人主體和數(shù)據(jù)處理中心,其特征在于:所述數(shù)據(jù)處理中心用于實現(xiàn)權利要求1至6中任一項所述方法的步驟。