本公開涉及人工智能，尤其涉及一種控制參數(shù)生成方法、模型訓(xùn)練方法及裝置。

背景技術(shù)：

1、控制參數(shù)生成是機(jī)器人離線編程和軌跡規(guī)劃的前提，是機(jī)器人運(yùn)動(dòng)控制的重要基礎(chǔ)。

2、然而，在一些控制參數(shù)生成的實(shí)踐中，所生成的機(jī)器人控制參數(shù)存在實(shí)時(shí)性差、多樣性不足的現(xiàn)象。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供了一種控制參數(shù)生成方法、模型訓(xùn)練方法及裝置、電子設(shè)備和介質(zhì)。

2、根據(jù)本公開的一方面，提供了一種控制參數(shù)生成的模型訓(xùn)練方法，方法包括：利用隨機(jī)噪聲向量，對(duì)機(jī)器人的樣本關(guān)節(jié)狀態(tài)進(jìn)行加噪處理，得到擾動(dòng)關(guān)節(jié)狀態(tài)；將與樣本關(guān)節(jié)狀態(tài)匹配的動(dòng)作執(zhí)行器的末端位姿參數(shù)作為約束條件，利用待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，確定與擾動(dòng)關(guān)節(jié)狀態(tài)匹配的預(yù)測噪聲向量；基于預(yù)測噪聲向量，對(duì)擾動(dòng)關(guān)節(jié)狀態(tài)進(jìn)行去噪處理，得到預(yù)測關(guān)節(jié)狀態(tài)；基于隨機(jī)噪聲向量和預(yù)測噪聲向量，確定模型代價(jià)函數(shù)；根據(jù)模型代價(jià)函數(shù)，調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，得到經(jīng)訓(xùn)練的目標(biāo)網(wǎng)絡(luò)模型。

3、在一些實(shí)施例中，利用隨機(jī)噪聲向量，對(duì)機(jī)器人的樣本關(guān)節(jié)狀態(tài)進(jìn)行加噪處理，得到擾動(dòng)關(guān)節(jié)狀態(tài)，包括：根據(jù)預(yù)設(shè)時(shí)間步長，確定基于各步次的噪聲強(qiáng)度，以得到隨機(jī)噪聲向量；根據(jù)基于第1步次的噪聲強(qiáng)度，對(duì)樣本關(guān)節(jié)狀態(tài)進(jìn)行噪聲注入，得到噪聲擾動(dòng)后的初始關(guān)節(jié)狀態(tài)；根據(jù)基于第t步次的噪聲強(qiáng)度，對(duì)第t-1步次所對(duì)應(yīng)的噪聲擾動(dòng)后的在前關(guān)節(jié)狀態(tài)進(jìn)行噪聲注入，得到噪聲擾動(dòng)后的后續(xù)關(guān)節(jié)狀態(tài)，t為整數(shù)且1＜t≤t，t為大于1的整數(shù)；以及第t步次噪聲注入所得到的最終關(guān)節(jié)狀態(tài)趨近標(biāo)準(zhǔn)高斯正態(tài)分布，最終關(guān)節(jié)狀態(tài)構(gòu)成擾動(dòng)關(guān)節(jié)狀態(tài)。

4、在一些實(shí)施例中，將與樣本關(guān)節(jié)狀態(tài)匹配的動(dòng)作執(zhí)行器的末端位姿參數(shù)作為約束條件，利用待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，確定與擾動(dòng)關(guān)節(jié)狀態(tài)匹配的預(yù)測噪聲向量，包括：將動(dòng)作執(zhí)行器的末端位姿參數(shù)作為約束條件，根據(jù)基于第t步次的后續(xù)關(guān)節(jié)狀態(tài)的概率分布，確定基于第t-1步次的在前關(guān)節(jié)狀態(tài)的條件概率分布中的均值和方差參數(shù)；以及根據(jù)基于任意時(shí)刻的均值和方差參數(shù)，確定與相應(yīng)時(shí)刻匹配的預(yù)測噪聲強(qiáng)度，以得到預(yù)測噪聲向量。

5、在一些實(shí)施例中，基于預(yù)測噪聲向量，對(duì)擾動(dòng)關(guān)節(jié)狀態(tài)進(jìn)行去噪處理，得到預(yù)測關(guān)節(jié)狀態(tài)，包括：根據(jù)由預(yù)測噪聲向量指示的與各步次匹配的預(yù)測噪聲強(qiáng)度，對(duì)擾動(dòng)關(guān)節(jié)狀態(tài)進(jìn)行迭代去噪處理，以得到預(yù)測關(guān)節(jié)狀態(tài)。

6、在一些實(shí)施例中，根據(jù)隨機(jī)噪聲向量和預(yù)測噪聲向量，確定模型代價(jià)函數(shù)，包括：確定基于隨機(jī)噪聲向量與預(yù)測噪聲向量的差值向量；計(jì)算差值向量的均方誤差，以作為噪聲預(yù)測誤差；以及基于噪聲預(yù)測誤差，確定模型代價(jià)函數(shù)。

7、在一些實(shí)施例中，基于噪聲預(yù)測誤差，確定模型代價(jià)函數(shù)，包括：確定樣本關(guān)節(jié)狀態(tài)與預(yù)測關(guān)節(jié)狀態(tài)之間的狀態(tài)差異值，以得到基于狀態(tài)差異值的狀態(tài)預(yù)測誤差；對(duì)噪聲預(yù)測誤差和狀態(tài)預(yù)測誤差進(jìn)行加權(quán)融合，以得到模型代價(jià)函數(shù)，其中，關(guān)節(jié)狀態(tài)包括關(guān)節(jié)角度、關(guān)節(jié)角速度和關(guān)節(jié)力矩中的至少之一。

8、在一些實(shí)施例中，基于噪聲預(yù)測誤差，確定模型代價(jià)函數(shù)，包括：將預(yù)測關(guān)節(jié)狀態(tài)輸入正運(yùn)動(dòng)學(xué)模型，得到與預(yù)測關(guān)節(jié)狀態(tài)匹配的動(dòng)作執(zhí)行器的預(yù)測位姿參數(shù)；確定末端位姿參數(shù)與預(yù)測位姿參數(shù)之間的位姿差異值，以得到基于位姿差異值的位姿跟隨誤差；以及對(duì)噪聲預(yù)測誤差和位姿跟隨誤差進(jìn)行加權(quán)融合，以得到模型代價(jià)函數(shù)。

9、在一些實(shí)施例中，基于噪聲預(yù)測誤差，確定模型代價(jià)函數(shù)，包括：根據(jù)預(yù)設(shè)的最大關(guān)節(jié)角度、最小關(guān)節(jié)角度和預(yù)測關(guān)節(jié)狀態(tài)，確定避免關(guān)節(jié)極限的代價(jià)函數(shù)；根據(jù)由神經(jīng)網(wǎng)絡(luò)模型輸出的基于相鄰時(shí)刻的預(yù)測關(guān)節(jié)狀態(tài)，確定關(guān)于運(yùn)動(dòng)連續(xù)的代價(jià)函數(shù)；根據(jù)由預(yù)測關(guān)節(jié)狀態(tài)指示的機(jī)器人的機(jī)械臂臂型面，確定機(jī)械臂臂型面與預(yù)設(shè)障礙物之間的距離，以得到基于距離的避障代價(jià)函數(shù)；根據(jù)預(yù)設(shè)的避奇異閾值和由預(yù)測關(guān)節(jié)狀態(tài)指示的關(guān)節(jié)角度，確定避奇異代價(jià)函數(shù)；以及根據(jù)與對(duì)應(yīng)代價(jià)函數(shù)匹配的預(yù)設(shè)縮放因子，對(duì)噪聲預(yù)測誤差與以上代價(jià)函數(shù)中的至少之一進(jìn)行加權(quán)融合，得到模型代價(jià)函數(shù)。

10、在一些實(shí)施例中，本方法還包括：獲取機(jī)器人在執(zhí)行樣本動(dòng)作過程中的關(guān)節(jié)狀態(tài)參數(shù)和動(dòng)作執(zhí)行器的末端位姿參數(shù)；基于關(guān)節(jié)狀態(tài)參數(shù)和預(yù)設(shè)的自碰撞評(píng)估函數(shù)，確定機(jī)器人的各關(guān)節(jié)之間的自碰撞評(píng)估值；以及在任意目標(biāo)關(guān)節(jié)之間的自碰撞評(píng)估值高于預(yù)設(shè)閾值的情況下，對(duì)目標(biāo)關(guān)節(jié)的關(guān)節(jié)狀態(tài)參數(shù)進(jìn)行剔除，剔除后剩余的有效關(guān)節(jié)狀態(tài)參數(shù)構(gòu)成樣本關(guān)節(jié)狀態(tài)。

11、在一些實(shí)施例中，本方法還包括：在機(jī)器人存在多個(gè)機(jī)械臂的情況下，利用神經(jīng)網(wǎng)絡(luò)模型中的多層感知機(jī)，學(xué)習(xí)多個(gè)機(jī)械臂之間的耦合約束關(guān)系；將動(dòng)作執(zhí)行器的末端位姿參數(shù)作為約束條件，利用待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，確定與擾動(dòng)關(guān)節(jié)狀態(tài)匹配的預(yù)測噪聲向量，包括：將耦合約束關(guān)系和末端位姿參數(shù)作為約束條件，利用神經(jīng)網(wǎng)絡(luò)模型，確定與擾動(dòng)關(guān)節(jié)狀態(tài)匹配的預(yù)測噪聲向量。

12、根據(jù)本公開的另一方面，提供了一種控制參數(shù)生成方法，方法包括：將機(jī)器人的動(dòng)作執(zhí)行器的期望末端位姿，輸入經(jīng)訓(xùn)練的目標(biāo)網(wǎng)絡(luò)模型；根據(jù)與預(yù)設(shè)任務(wù)目標(biāo)匹配的目標(biāo)權(quán)重，生成待執(zhí)行的機(jī)器人動(dòng)作過程中的任務(wù)約束函數(shù)；以及將期望末端位姿和任務(wù)約束函數(shù)作為約束條件，利用目標(biāo)網(wǎng)絡(luò)模型，生成與期望末端位姿匹配的關(guān)節(jié)狀態(tài)參數(shù)，以作為機(jī)器人控制參數(shù)，其中，目標(biāo)網(wǎng)絡(luò)模型是根據(jù)上述方法訓(xùn)練得到的。

13、在一些實(shí)施例中，任務(wù)目標(biāo)包括以下目標(biāo)中的至少之一：雙臂抓取、運(yùn)動(dòng)連續(xù)性、規(guī)避障礙物、規(guī)避奇異位形和避免關(guān)節(jié)極限。

14、在一些實(shí)施例中，本方法還包括：在機(jī)器人存在多個(gè)機(jī)械臂的情況下，根據(jù)期望末端位姿、任務(wù)約束函數(shù)和多個(gè)機(jī)械臂之間的耦合約束關(guān)系，生成全局約束函數(shù)；以及基于全局約束函數(shù)，利用目標(biāo)網(wǎng)絡(luò)模型，生成與各機(jī)械臂的期望末端位姿匹配的關(guān)節(jié)狀態(tài)參數(shù)，以作為機(jī)器人控制參數(shù)。

15、在一些實(shí)施例中，基于全局約束函數(shù)，利用目標(biāo)網(wǎng)絡(luò)模型，生成與各機(jī)械臂的期望末端位姿匹配的關(guān)節(jié)狀態(tài)參數(shù)，包括：根據(jù)基于全局約束函數(shù)的梯度函數(shù)，通過最小化梯度函數(shù)值的方式引導(dǎo)目標(biāo)網(wǎng)絡(luò)模型，生成與各機(jī)械臂匹配的關(guān)節(jié)狀態(tài)參數(shù)。

16、根據(jù)本公開的另一方面，提供了一種控制參數(shù)生成的模型訓(xùn)練裝置，裝置包括：加噪處理模塊，用于利用隨機(jī)噪聲向量，對(duì)機(jī)器人的樣本關(guān)節(jié)狀態(tài)進(jìn)行加噪處理，得到擾動(dòng)關(guān)節(jié)狀態(tài)；噪聲預(yù)測模塊，用于將與樣本關(guān)節(jié)狀態(tài)匹配的動(dòng)作執(zhí)行器的末端位姿參數(shù)作為約束條件，利用待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，確定與擾動(dòng)關(guān)節(jié)狀態(tài)匹配的預(yù)測噪聲向量；去噪處理模塊，用于基于預(yù)測噪聲向量，對(duì)擾動(dòng)關(guān)節(jié)狀態(tài)進(jìn)行去噪處理，得到預(yù)測關(guān)節(jié)狀態(tài)；代價(jià)函數(shù)確定模塊，用于基于隨機(jī)噪聲向量和預(yù)測噪聲向量，確定模型代價(jià)函數(shù)；以及模型參數(shù)調(diào)節(jié)模塊，用于根據(jù)模型代價(jià)函數(shù)，調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，得到經(jīng)訓(xùn)練的目標(biāo)網(wǎng)絡(luò)模型。

17、根據(jù)本公開的另一方面，提供了一種控制參數(shù)生成裝置，裝置包括：輸入模塊，用于將機(jī)器人的動(dòng)作執(zhí)行器的期望末端位姿，輸入經(jīng)訓(xùn)練的目標(biāo)網(wǎng)絡(luò)模型；約束函數(shù)生成模塊，用于根據(jù)與預(yù)設(shè)任務(wù)目標(biāo)匹配的目標(biāo)權(quán)重，生成待執(zhí)行的機(jī)器人動(dòng)作過程中的任務(wù)約束函數(shù)；以及輸出模塊，用于將期望末端位姿和任務(wù)約束函數(shù)作為約束條件，利用目標(biāo)網(wǎng)絡(luò)模型，生成與期望末端位姿匹配的關(guān)節(jié)狀態(tài)參數(shù)，以作為機(jī)器人控制參數(shù)，其中，目標(biāo)網(wǎng)絡(luò)模型是根據(jù)上述方法訓(xùn)練得到的。

18、根據(jù)本公開的另一方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行上述的模型訓(xùn)練方法，或者執(zhí)行上述的控制參數(shù)生成方法。

19、根據(jù)本公開的另一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述的模型訓(xùn)練方法，或者執(zhí)行上述的控制參數(shù)生成方法。

20、根據(jù)本公開的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的模型訓(xùn)練方法，或者執(zhí)行上述的控制參數(shù)生成方法

21、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識(shí)本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。