技術(shù)特征：

1.一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，步驟包括：

2.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述人類演示視頻的獲取過(guò)程如下：

3.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述初始狀態(tài)圖像潛在特征表示的獲取過(guò)程如下：

4.根據(jù)權(quán)利要求3所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述空間信息處理模塊中的u型網(wǎng)絡(luò)對(duì)圖片在低維空間的向量表示進(jìn)行處理，通過(guò)下采樣和上采樣的過(guò)程獲得該向量表示在不同尺度上的特征表達(dá)；那么通過(guò)空間處理模塊獲得的不同尺寸的特征如下：

5.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述將人類演示中第一幀和整個(gè)演示視頻的視覺(jué)信息輸入時(shí)空信息處理模塊，具體如下：

6.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述時(shí)空信息處理模塊的去噪過(guò)程具體如下：

7.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，所述機(jī)器人操作視頻的生成過(guò)程具體如下：

8.根據(jù)權(quán)利要求1所述的一種基于人類演示指導(dǎo)的機(jī)器人控制方法，其特征在于，預(yù)測(cè)所述機(jī)器人接下來(lái)的動(dòng)作序列過(guò)程具體如下：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8任一項(xiàng)所述基于人類演示指導(dǎo)的機(jī)器人控制方法的步驟。

技術(shù)總結(jié)
本發(fā)明屬于機(jī)器人和計(jì)算機(jī)視覺(jué)領(lǐng)域，公開(kāi)了一種基于人類演示指導(dǎo)的機(jī)器人控制方法、裝置及介質(zhì)，首先，獲取機(jī)器人所執(zhí)行任務(wù)對(duì)應(yīng)的人類演示視頻；提取機(jī)器人初始狀態(tài)圖像中的潛在特征表示與人類演示視頻中第一幀和整個(gè)演示視頻的視覺(jué)信息；將所提取的機(jī)器人初始狀態(tài)潛在特征表示輸入空間信息處理模塊，將U型網(wǎng)絡(luò)各層提取出的不同尺寸特征輸入時(shí)空信息處理模塊U型網(wǎng)絡(luò)對(duì)應(yīng)的層中；將人類演示視頻的視覺(jué)信息輸入時(shí)空信息處理模塊，由時(shí)空信息處理模塊進(jìn)行逐步去噪，生成機(jī)器人操作視頻并預(yù)測(cè)出要執(zhí)行的動(dòng)作序列。與現(xiàn)有技術(shù)相比，本發(fā)明能夠高效利用人類演示的信息，通過(guò)擴(kuò)散模型的能力，實(shí)現(xiàn)對(duì)于機(jī)器人的準(zhǔn)確控制，使其有效地執(zhí)行目標(biāo)任務(wù)。

技術(shù)研發(fā)人員：姜育剛,吳祖煊,謝思程,曹海東
受保護(hù)的技術(shù)使用者：復(fù)旦大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15