本發(fā)明涉及機器人，尤其涉及一種教學類視頻具身服務方法及相關裝置。

背景技術：

1、機器人技術在近年來取得了顯著的進展，并逐漸從機械臂演化成為人形機器人，并用到各個領域中。由于人形機器人具有的擬人外形、靈活移動、具身智能、外表親和等等特點，使得人形機器人應用在日常教學等方面具有顯著優(yōu)勢。

2、具身智能是一種通過將感知、決策和行動融合在一起，使機器能夠像人類一樣具備身體和運動能力的概念，使機器人能夠根據(jù)環(huán)境變化進行自主運動，靈活適應不同的任務和工作環(huán)境，人形機器人由于其具身智能的特性，人形機器人基于具身智能的特性可以進行具身服務，通過智能系統(tǒng)與環(huán)境的實時互動，為用戶提供更加個性化和高效的服務體驗。

3、兒童教育是針對兒童進行德育、智育、體育等方面的培養(yǎng)和訓練。它是提高人口素質的重要環(huán)節(jié)。目前，對于低齡人群的教學往往需要花費大量的時間和精力，而很多情況下照顧者可能無法抽出充足時間對低齡人群進行教學。人形機器人可以彌補這一問題，進行教學任務。而目前，人形機器人需要先對人類的演示和對應指令進行學習，從人類演示中提取技能信息并學習，進而進行演示學習，具有不夠智能，不能靈活調整學習內容。

技術實現(xiàn)思路

1、本技術實施例提供了一種教學類視頻具身服務方法及相關裝置，能夠靈活針對不同輸入內容進行教學演示，有利于提高人形機器人具身服務的靈活性和智能性。

2、第一方面，本技術實施例提供一種教學類視頻具身服務方法，應用于人形機器人的控制器，人形機器人與移動終端通信連接，方法包括：

3、獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學任務的多個動作任務具有對應關系，單個動作任務的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務約束條件，單個動作任務約束條件為單個動作任務流轉至下一個單個動作任務或者確認教學任務已完成的觸發(fā)條件；

4、根據(jù)單個動作參數(shù)集控制人形機器人對第一目標物體進行操作教學，第一目標物體為人形機器人的操作對象；

5、控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務完成時第一目標物體的影像，第二物體狀態(tài)圖像為單個動作任務完成時第二目標物體的影像，第二目標物體為用戶的操作對象；

6、根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關系確定機器人任務完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務完成度；

7、根據(jù)機器人任務完成度、用戶任務完成度以及動作任務約束條件，對接續(xù)的單個動作任務基于接續(xù)對應的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學，直至確認教學任務已完成。

8、在一種可能的實施例中，人形機器人還包括頭部結構，頭部結構設置有畫面獲取裝置，控制人形機器人基于目標角度獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像包括：

9、根據(jù)單個幀圖像獲取單個幀圖像的拍攝角度；

10、根據(jù)拍攝角度和頭部結構的位置參數(shù)得到目標角度，目標角度為人形機器人的頭部結構的旋轉角度，頭部結構的位置參數(shù)為頭部結構與第一目標物體或第二目標物體的相對位置；

11、根據(jù)目標角度控制人形機器人的頭部結構調整位置，使得畫面獲取裝置獲取到的畫面角度與單個幀圖像的畫面角度一致；

12、獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像。

13、在一種可能的實施例中，根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關系確定機器人任務完成度包括：

14、根據(jù)第一物體狀態(tài)圖像得到第一圖像特征，以及，根據(jù)單個幀圖像得到第二圖像特征；

15、根據(jù)第一圖像特征和第二圖像特征進行誤差分析，得到機器人任務完成度。

16、在一種可能的實施例中，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務完成度包括：

17、根據(jù)二物體狀態(tài)圖像得到第三圖像特征，以及，根據(jù)單個幀圖像得到第四圖像特征；

18、根據(jù)第三圖像特征和第四圖像特征進行誤差分析，得到用戶任務完成度。

19、在一種可能的實施例中，動作任務約束條件包括機器人任務完成度滿足第一完成度閾值和/或用戶任務完成度滿足第二完成度閾值，根據(jù)機器人任務完成度、用戶任務完成度以及動作任務約束條件，對接續(xù)的單個動作任務基于接續(xù)對應的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學包括：

20、判斷機器人任務完成度是否滿足第一完成度閾值，以及，判斷用戶任務完成度是否滿足第二完成度閾值，第一完成度閾值和第二完成度閾值為預設的閾值；

21、若機器人任務完成度滿足第一完成度閾值，且用戶任務完成度滿足第二完成度閾值，則流轉至接續(xù)的單個動作任務，并基于接續(xù)對應的動作環(huán)節(jié)配置數(shù)據(jù)集對接續(xù)的單個動作任務進行操作教學；

22、若機器人任務完成度不滿足第一完成度閾值或用戶任務完成度不滿足第一完成度閾值，則重新對當前的單個動作任務進行操作教學。

23、在一種可能的實施例中，動作環(huán)節(jié)配置數(shù)據(jù)集還包括該動作任務的任務幀圖像，任務幀圖像為除單個幀圖像以外的其他幀圖像，任務幀圖像為單個動作任務在非完成狀態(tài)下的影響信息，方法還包括：

24、若機器人任務完成度滿足第一完成度閾值，對第一物體狀態(tài)圖像對應的單個動作任務的動作環(huán)節(jié)配置數(shù)據(jù)集進行存儲；當接收到用戶發(fā)出的疑問指令，則控制人形機器人的畫面獲取裝置獲取第三物體狀態(tài)圖像，第三物體狀態(tài)圖像為人形機器人獲取的當前的用戶的操作目標的圖像；

25、基于第三物體狀態(tài)圖像匹配對應的任務幀圖像或單個幀圖像；

26、基于任務幀圖像或單個幀圖像對應的單個動作任務，調取單個動作任務對應的動作環(huán)節(jié)配置數(shù)據(jù)集；

27、基于調取的動作環(huán)節(jié)配置數(shù)據(jù)集以及動作模仿系統(tǒng)控制人形機器人對第一目標物體進行操作教學，動作模仿系統(tǒng)用于將單個動作參數(shù)集轉化為機器任務。

28、在一種可能的實施例中，人形機器人還包括音頻播放裝置，動作環(huán)節(jié)配置數(shù)據(jù)集還包括多個音頻，單個音頻與單個動作任務對應，方法還包括：

29、在人形機器人為對單個動作任務進行操作教學的狀態(tài)時，控制音頻播放裝置播放與單個動作任務對應的單個音頻；

30、若操作教學在暫停教學狀態(tài)，則暫停播放單個音頻，暫停教學狀態(tài)表征當前人形機器人未處在操作教學的狀態(tài)。

31、在一種可能的實施例中，獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集包括：

32、檢測用戶是否輸入目標教學視頻，若檢測到目標教學視頻，則對目標教學視頻進行幀圖像拆分，得到多個教學幀圖像；

33、根據(jù)多個教學幀圖像進行動作任務分割得到多個動作任務，單個動作任務包括至少一個教學幀圖像；

34、根據(jù)多個動作任務生成動作環(huán)節(jié)配置數(shù)據(jù)集。

35、第二方面，本技術實施例提供一種教學類視頻具身服務裝置，應用于人形機器人的控制器，人形機器人與移動終端通信連接，裝置包括：

36、數(shù)據(jù)獲取模塊，用于獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學任務的多個動作任務具有對應關系，時序約束關系表征多個動作任務在目標教學視頻中的時序關系，單個動作任務的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務約束條件，單個動作任務約束條件為單個動作任務流轉至下一個動作任務或者確認教學任務已完成的觸發(fā)條件；

37、第一操作教學模塊，用于根據(jù)單個動作參數(shù)集控制人形機器人對第一目標物體進行操作教學，第一目標物體為人形機器人的操作對象；

38、狀態(tài)圖像獲取模塊，用于控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務完成時第一目標物體的影像第二物體狀態(tài)圖像為單個動作任務完成時第二目標物體的影像，第二目標物體為用戶的操作對象；

39、完成度確定模塊，用于根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關系確定機器人任務完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務完成度；

40、第二操作教學模塊，用于根據(jù)機器人任務完成度、用戶任務完成度以及動作任務約束條件，對接續(xù)的單個動作任務基于接續(xù)對應的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學，直至確認教學任務已完成。

41、第三方面，本技術實施例提供一種計算機可讀存儲介質，其上存儲有教學類視頻具身服務程序，包括執(zhí)行指令，當處理器執(zhí)行執(zhí)行指令，處理器執(zhí)行如第一方面所描述的部分或全部步驟。

42、第四方面，本技術實施例提供一種電子設備，包括處理器以及存儲有執(zhí)行指令的存儲器，上述一個或多個程序被存儲在上述存儲器中，當處理器執(zhí)行存儲器存儲的執(zhí)行指令時，處理器執(zhí)行如第一方面所描述的部分或全部步驟。

43、第五方面，本技術實施例提供了一種計算機程序產品，其中，上述計算機程序產品包括存儲了計算機程序的非瞬時性計算機可讀存儲介質，上述計算機程序可操作來使計算機執(zhí)行如本技術實施例第一方面中所描述的部分或全部步驟。該計算機程序產品可以為一個軟件安裝包。

44、通過實施本技術實施例，獲取來自移動終端的多個動作環(huán)節(jié)配置數(shù)據(jù)集，多個動作環(huán)節(jié)配置數(shù)據(jù)集與教學任務的多個動作任務具有對應關系，單個動作任務的單個動作環(huán)節(jié)配置數(shù)據(jù)集包括單個幀圖像、單個動作參數(shù)集以及單個動作任務約束條件，單個動作任務約束條件為單個動作任務流轉至下一個動作任務或者確認教學任務已完成的觸發(fā)條件，根據(jù)單個動作參數(shù)集控制人形機器人對第一目標物體進行操作教學，第一目標物體為人形機器人的操作對象，控制人形機器人獲取第一物體狀態(tài)圖像和第二物體狀態(tài)圖像，第一物體狀態(tài)圖像為單個動作任務完成時第一目標物體的影像，第二物體狀態(tài)圖像為單個動作任務完成時第二目標物體的影像，第二目標物體為用戶的操作對象，根據(jù)第一物體狀態(tài)圖像與單個幀圖像的關系確定機器人任務完成度，以及，根據(jù)第二物體狀態(tài)圖像與單個幀圖像確定用戶任務完成度，根據(jù)機器人任務完成度、用戶任務完成度以及動作任務約束條件，對接續(xù)的單個動作任務基于接續(xù)對應的動作環(huán)節(jié)配置數(shù)據(jù)集進行操作教學，直至確認教學任務已完成。相較于現(xiàn)有的機器人直接基于人類演示視頻生成演示方案的策略，本方案對待演示的目標教學視頻進行任務拆分并基于每一個動作任務之間增加了流轉判斷條件，基于用戶的實際情況進行演示或暫?；蛑貜脱菔荆岣吡巳诵螜C器人教學類視頻具身服務的靈活性和智能性，有利于提高針對不同教學情況的個性化程度，提升用戶體驗感。