本發(fā)明總體上涉及一種移動(dòng)機(jī)器人,特別是無(wú)人駕駛飛行器(uav),該移動(dòng)機(jī)器人包括用于掃描感興趣對(duì)象的表面的激光掃描儀模塊。更具體地,本發(fā)明涉及一種用于由一個(gè)或更多個(gè)移動(dòng)機(jī)器人自主探索和掃描感興趣對(duì)象的方法和系統(tǒng)。
背景技術(shù):
1、正在開(kāi)發(fā)uav以管理技術(shù)和非技術(shù)領(lǐng)域中的各種任務(wù):記錄電影場(chǎng)景、貨物運(yùn)輸、建筑物和技術(shù)設(shè)施的檢查以及物理環(huán)境的勘測(cè)、測(cè)量和/或數(shù)字化。例如,wo?2022/268316a1公開(kāi)了一種旋轉(zhuǎn)翼無(wú)人機(jī)(rotary?wing?drone)型uav,該旋轉(zhuǎn)翼無(wú)人機(jī)型uav具有用于檢查、勘測(cè)、測(cè)量和數(shù)字化uav的環(huán)境的激光掃描儀模塊。這種uav是一種飛行激光掃描儀,該飛行激光掃描儀可以到達(dá)固定掃描儀無(wú)法到達(dá)的位置(如屋頂、樹(shù)木、建筑物立面等),并且可以在飛行期間掃描其周?chē)h(huán)境。有利于檢查、勘測(cè)、測(cè)量和數(shù)字化感興趣對(duì)象將是有利的。如果uav可以完全自主地探索對(duì)象,即,在初始定義(definition)uav的操作區(qū)域后,無(wú)需任何用戶交互,則將是特別有利的。
2、現(xiàn)有的用于由uav進(jìn)行自主或半自主掃描探索的方法通常對(duì)于簡(jiǎn)單(例如,盒形)的對(duì)象效果良好,但是難以處理具有復(fù)雜表面的對(duì)象(例如,橋梁或建筑物,包括遮篷或復(fù)雜立面)。通常,這種復(fù)雜對(duì)象的掃描將留下掃描陰影和/或花費(fèi)過(guò)多的時(shí)間來(lái)完成。由于uav的電池是一個(gè)限制因素,因此在探索期間有效利用所提供的電力是重要的。
技術(shù)實(shí)現(xiàn)思路
1、因此,本發(fā)明的目的是提供一種用于掃描感興趣對(duì)象的表面的改進(jìn)的方法和系統(tǒng)。
2、特定目的是提供允許uav或其它移動(dòng)機(jī)器人完全自主地執(zhí)行掃描的這樣的方法和系統(tǒng)。
3、特定目的是提供這樣的方法和系統(tǒng),該方法和系統(tǒng)允許uav或其它移動(dòng)機(jī)器人自主地探索包括感興趣對(duì)象的用戶定義的體積(volume)。
4、這些目的中的至少一個(gè)通過(guò)根據(jù)本發(fā)明的第一方面所述的方法、根據(jù)本發(fā)明的第二方面所述的uav和/或本發(fā)明的其它實(shí)施方式來(lái)實(shí)現(xiàn)。
5、本發(fā)明的第一方面涉及一種用于由移動(dòng)機(jī)器人自主地探索一個(gè)或更多個(gè)感興趣對(duì)象的計(jì)算機(jī)實(shí)現(xiàn)的方法,該移動(dòng)機(jī)器人包括計(jì)算單元和用于掃描一個(gè)或更多個(gè)感興趣對(duì)象的表面的激光掃描儀模塊,該激光掃描儀模塊具有視場(chǎng)(fov)。該方法包括以下步驟:
6、-定義三維探索地圖,其中,一個(gè)或更多個(gè)感興趣對(duì)象位于該探索地圖中;
7、-將所述探索地圖劃劃分成多個(gè)三維探索塊;以及
8、-通過(guò)移動(dòng)機(jī)器人對(duì)探索地圖進(jìn)行自主探索,其包括:在移動(dòng)機(jī)器人沿探索路徑行進(jìn)時(shí),通過(guò)激光掃描模塊生成與點(diǎn)云相關(guān)的掃描數(shù)據(jù)。
9、根據(jù)本發(fā)明的該方面,對(duì)探索塊進(jìn)行探索至少包括確定相應(yīng)探索塊是否包括點(diǎn)云的一個(gè)或更多個(gè)點(diǎn),移動(dòng)機(jī)器人的計(jì)算單元更新探索地圖并定義探索路徑。
10、根據(jù)一些實(shí)施方式,移動(dòng)機(jī)器人是無(wú)人駕駛飛行器(uav),例如四軸飛行器(quadcopter)無(wú)人機(jī)。
11、根據(jù)一些實(shí)施方式,fov取決于uav的位置和定向,并且受到激光掃描儀模塊相對(duì)于uav的位置和定向以及小于激光掃描儀模塊的最大掃描范圍的預(yù)定義半徑的限制。例如,激光掃描儀模塊的最大掃描范圍可以在15米至150米之間,特別是在40米至80米之間。
12、在一些實(shí)施方式中,fov還受到激光掃描儀模塊相對(duì)于uav的其它特征(例如,旋翼(rotor)和機(jī)翼)的位置和定向的限制。
13、根據(jù)一些實(shí)施方式,以根據(jù)激光掃描儀單元的掃描速度、計(jì)算單元的計(jì)算速度和移動(dòng)機(jī)器人的當(dāng)前速度中的至少一個(gè)選擇的時(shí)間間隔來(lái)執(zhí)行更新探索地圖。例如,這些時(shí)間間隔可以在100ms至1s之間。
14、根據(jù)一些實(shí)施方式,更新探索地圖包括在多個(gè)不同時(shí)間點(diǎn)中的各個(gè)時(shí)間點(diǎn)處:
15、-獲取激光掃描模塊生成的掃描數(shù)據(jù);
16、-基于檢索到的掃描數(shù)據(jù),識(shí)別至少部分地位于過(guò)去fov中并且包括點(diǎn)云的一個(gè)或更多個(gè)點(diǎn)的探索塊(過(guò)去fov是在多個(gè)不同時(shí)間點(diǎn)中的相應(yīng)時(shí)間點(diǎn)之前的先前時(shí)間點(diǎn)的激光掃描儀模塊的fov);
17、-將所識(shí)別的探索塊定義為占用塊;
18、-提取至少部分地位于過(guò)去fov中的各個(gè)占用塊的錐體(cone)信息,該錐體信息與由激光掃描儀模塊在相應(yīng)先前時(shí)間點(diǎn)處的位置和相應(yīng)占用塊的邊界定義的錐體有關(guān);
19、-提取完全位于過(guò)去fov中的各個(gè)未探索塊的錐體信息,該錐體信息與由激光掃描儀模塊在相應(yīng)先前時(shí)間點(diǎn)的位置和相應(yīng)未探索塊的邊界定義的錐體有關(guān);以及-針對(duì)完全位于過(guò)去fov中的未探索塊中的各個(gè)未探索塊,基于相應(yīng)未探索塊的錐體信息和至少部分地位于過(guò)去fov中的占用塊的錐體信息,確定過(guò)去fov的中心與相應(yīng)未探索塊的至少一部分之間的視線是否被一個(gè)或更多個(gè)占用塊阻擋。
20、在一些實(shí)施方式中,確定視線是否被阻擋包括確定相應(yīng)未探索塊的錐體是否與占用塊的一個(gè)或更多個(gè)錐體重疊,并且如果它重疊,則確定從過(guò)去fov的中心到相應(yīng)未探索塊的中心的距離是否大于從過(guò)去fov的中心到相應(yīng)占用塊的中心的距離。
21、根據(jù)一些實(shí)施方式,針對(duì)各個(gè)探索塊存儲(chǔ)關(guān)于到最近占用塊或點(diǎn)云的最近點(diǎn)的最小距離和方向的信息,并且更新探索地圖進(jìn)一步包括:
22、-針對(duì)在最近的不同時(shí)間點(diǎn)已經(jīng)被定義為占用塊的各個(gè)塊,確定在圍繞相應(yīng)占用塊的定義半徑中相應(yīng)占用塊與各個(gè)未占用探索塊之間的距離和方向;以及
23、-如果所確定的距離小于針對(duì)該塊所存儲(chǔ)的最小距離,則用所確定的距離和方向來(lái)更新所存儲(chǔ)的最小距離和方向。
24、例如,所述半徑可以基于激光掃描儀模塊的最大或最佳掃描范圍和/或基于多個(gè)3d探索塊的尺寸來(lái)定義。
25、根據(jù)一些實(shí)施方式,更新探索地圖進(jìn)一步包括將完全位于過(guò)去視場(chǎng)中的未探索塊定義為空閑塊(free?block),并且將與未探索塊鄰接的空閑塊定義為邊界塊,其中未探索塊的錐體不與占用塊的一個(gè)或更多個(gè)錐體重疊。在這些實(shí)施方式中,定義探索路徑包括向所述邊界塊分配分?jǐn)?shù),并且基于分配給邊界塊的分?jǐn)?shù)為移動(dòng)機(jī)器人分配下一個(gè)探索目標(biāo),例如其中,最高分?jǐn)?shù)的邊界塊被分配為下一個(gè)探索目標(biāo)。如果錐體重疊,但是未探索塊在占用塊前面,則塊也可以被設(shè)置為空閑。
26、例如,基于以下項(xiàng)來(lái)分配分?jǐn)?shù):
27、-相應(yīng)邊界塊與一個(gè)或更多個(gè)占用塊之間的距離,
28、-相應(yīng)邊界塊與uav的當(dāng)前位置之間的總距離和/或相對(duì)垂直距離,和/或
29、-基于圍繞相應(yīng)邊界塊的定義半徑內(nèi)的占用塊的數(shù)量。
30、根據(jù)一些實(shí)施方式,定義探索路徑包括將不是邊界塊的空閑塊的子集定義為掃描目標(biāo)塊,并且還將分?jǐn)?shù)分配給掃描目標(biāo)塊。在這些實(shí)施方式中,為移動(dòng)機(jī)器人分配下一個(gè)探索目標(biāo)是基于分配給邊界塊的分?jǐn)?shù)和分配給掃描目標(biāo)塊的分?jǐn)?shù),其中,最高分?jǐn)?shù)的塊被分配為下一個(gè)探索目標(biāo)。例如,基于掃描目標(biāo)塊相對(duì)于感興趣對(duì)象的表面的位置及其提供良好掃描結(jié)果的可能性(potential),分?jǐn)?shù)被分配給掃描目標(biāo)塊。
31、根據(jù)一些實(shí)施方式,分配分?jǐn)?shù)包括將邊界分?jǐn)?shù)分配給邊界塊以及將掃描目標(biāo)分?jǐn)?shù)分配給掃描目標(biāo)塊,其中,第一權(quán)重與邊界分?jǐn)?shù)中的各個(gè)邊界分?jǐn)?shù)相乘,并且第二權(quán)重與掃描目標(biāo)分?jǐn)?shù)中的各個(gè)掃描目標(biāo)分?jǐn)?shù)相乘??蛇x地,第一權(quán)重和第二權(quán)重可以是用戶可選擇的。
32、根據(jù)一些實(shí)施方式,定義掃描目標(biāo)塊包括為各個(gè)占用塊定義多個(gè)表面掃描錐體,并且針對(duì)中心點(diǎn)位于表面掃描錐體中的各個(gè)空閑塊,確定到相應(yīng)占用塊的一部分的視線是否被阻擋。然后將那些空閑塊定義為掃描目標(biāo)塊,這些空閑塊的中心點(diǎn)位于表面掃描錐中,并且到相應(yīng)占用塊的視線未被阻擋。在一些實(shí)施方式中,當(dāng)fov的中心進(jìn)入相應(yīng)表面掃描錐體時(shí),表面掃描錐體被標(biāo)記為已探索。
33、根據(jù)一些實(shí)施方式,3d體積由用戶定義為圖形用戶界面(gui)中的3d探索地圖,該圖形用戶界面例如可以顯示在移動(dòng)計(jì)算設(shè)備的屏幕上,示出一個(gè)或更多個(gè)感興趣對(duì)象的2d表示。例如,gui可以允許用戶通過(guò)標(biāo)記長(zhǎng)方體的兩個(gè)角點(diǎn)來(lái)將特別地為該長(zhǎng)方體的多面體定義為三維探索地圖。
34、根據(jù)一些實(shí)施方式,對(duì)探索塊進(jìn)行探索包括由激光掃描儀模塊例如以用戶定義的掃描精度掃描存在于探索塊中的對(duì)象的表面。例如,一個(gè)或更多個(gè)感興趣對(duì)象包括建筑物或其它人造結(jié)構(gòu)(表面包括立面、屋頂、支柱和路面中的至少一個(gè))和/或自然對(duì)象或場(chǎng)景,諸如洞穴。
35、本發(fā)明的第二方面涉及一種uav,該uav包括計(jì)算單元和激光掃描儀模塊,激光掃描儀模塊具有fov,其中,
36、-計(jì)算單元被配置為接收3d探索地圖或關(guān)于允許計(jì)算3d探索地圖的信息(即,至少體積坐標(biāo)),其中,一個(gè)或更多個(gè)感興趣對(duì)象位于探索地圖中,并且其中,探索地圖被劃分成多個(gè)三維探索塊;
37、-所述uav被配置為例如根據(jù)第一方面的方法基于所接收到的探索地圖來(lái)執(zhí)行探索地圖的自主探索,其中,對(duì)探索地圖進(jìn)行探索包括激光掃描儀模塊在uav沿著探索路徑行進(jìn)時(shí)生成掃描數(shù)據(jù),該掃描數(shù)據(jù)與點(diǎn)云有關(guān),
38、-對(duì)探索塊進(jìn)行探索至少包括基于掃描數(shù)據(jù)來(lái)確定相應(yīng)探索塊是否包括點(diǎn)云的一個(gè)或更多個(gè)點(diǎn);以及
39、-所述uav的計(jì)算單元被配置為更新探索地圖并定義探索路徑。
40、本發(fā)明的第三方面涉及一種用于掃描一個(gè)或更多個(gè)感興趣對(duì)象的表面的系統(tǒng),該系統(tǒng)包括根據(jù)第二方面的uav和移動(dòng)計(jì)算設(shè)備,其中,移動(dòng)計(jì)算設(shè)備被配置為接收定義3d探索地圖的用戶輸入,其中,一個(gè)或更多個(gè)感興趣對(duì)象位于探索地圖中,并且向uav提供關(guān)于探索地圖的信息。系統(tǒng)可以被配置為執(zhí)行根據(jù)本發(fā)明的第一方面的方法。
41、本發(fā)明的第四方面涉及一種計(jì)算機(jī)程序產(chǎn)品,該計(jì)算機(jī)程序產(chǎn)品包括具有計(jì)算機(jī)可執(zhí)行指令的程序代碼,所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行根據(jù)第一方面所述的方法,特別是當(dāng)在根據(jù)第二方面所述的uav的計(jì)算單元中運(yùn)行時(shí)執(zhí)行根據(jù)第一方面所述的方法。