本申請涉及計算機(jī)視覺，具體涉及一種智能穿戴設(shè)備的掌心輸入方法、裝置、智能穿戴設(shè)備及計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、隨著智能穿戴技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實設(shè)備和虛擬現(xiàn)實設(shè)備等進(jìn)入了用戶的生活。目前，增強(qiáng)現(xiàn)實設(shè)備和虛擬現(xiàn)實設(shè)備等智能穿戴設(shè)備的主要交互方式有多種，其中，掌心輸入是一種全新的人機(jī)交互方式，通過智能穿戴設(shè)備(如vr眼鏡)將操作界面投影到用戶的手掌上，用戶可以直接在手掌上的虛擬界面進(jìn)行觸控或手勢操作，從而實現(xiàn)輸入和控制。

2、相關(guān)技術(shù)中，主要是通過rgb相機(jī)來捕捉手部圖像識別操作界面的投影手掌和操作指尖，但是，本申請實施例發(fā)明人實際研發(fā)過程中發(fā)現(xiàn)：rgb相機(jī)的幀率通常較低，在用戶快速移動手部進(jìn)行輸入操作時，圖像可能出現(xiàn)拖影或殘影，在高動態(tài)場景下用戶的手勢或點(diǎn)擊動作難以被精準(zhǔn)捕捉，從而導(dǎo)致智能穿戴設(shè)備的交互精準(zhǔn)度和流暢性較低。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┮环N智能穿戴設(shè)備的掌心輸入方法、裝置、智能穿戴設(shè)備及計算機(jī)可讀存儲介質(zhì)，可以減少因相機(jī)滯后導(dǎo)致的視覺拖影或殘影問題，使得高動態(tài)場景下用戶的操作指尖位置能被精準(zhǔn)捕捉，從而提高智能穿戴設(shè)備的交互精準(zhǔn)度和流暢性。

2、第一方面，本申請?zhí)峁┮环N智能穿戴設(shè)備的掌心輸入方法，所述方法包括：

3、通過智能穿戴設(shè)備的rgb相機(jī)采集場景圖像進(jìn)行投影手掌區(qū)域識別；

4、在所述投影手掌區(qū)域進(jìn)行虛擬輸入界面投影后，通過所述智能穿戴設(shè)備的事件相機(jī)，獲取所述虛擬輸入界面的第一事件圖像；

5、通過訓(xùn)練后指尖檢測模型，基于包含所述第一事件圖像的事件圖像集合進(jìn)行指尖檢測，得到所述虛擬輸入界面的操作指尖位置；

6、基于所述操作指尖位置和所述虛擬輸入界面進(jìn)行輸入處理。

7、第二方面，本申請?zhí)峁┮环N智能穿戴設(shè)備的掌心輸入裝置，所述智能穿戴設(shè)備的掌心輸入裝置包括：

8、投影單元，用于通過智能穿戴設(shè)備的rgb相機(jī)采集場景圖像進(jìn)行投影手掌區(qū)域識別；

9、獲取單元，用于在所述投影手掌區(qū)域進(jìn)行虛擬輸入界面投影后，通過所述智能穿戴設(shè)備的事件相機(jī)，獲取所述虛擬輸入界面的第一事件圖像；

10、檢測單元，用于通過訓(xùn)練后指尖檢測模型，基于包含所述第一事件圖像的事件圖像集合進(jìn)行指尖檢測，得到所述虛擬輸入界面的操作指尖位置；

11、輸入單元，用于基于所述操作指尖位置和所述虛擬輸入界面進(jìn)行輸入處理。

12、第三方面，本申請還提供一種智能穿戴設(shè)備，所述智能穿戴設(shè)備包括處理器和存儲器，所述存儲器中存儲有計算機(jī)程序，所述處理器調(diào)用所述存儲器中的計算機(jī)程序時執(zhí)行本申請?zhí)峁┑娜我环N智能穿戴設(shè)備的掌心輸入方法。

13、第四方面，本申請還提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行所述的智能穿戴設(shè)備的掌心輸入方法。

14、本申請通過結(jié)合事件相機(jī)和rgb相機(jī)進(jìn)行掌心輸入，第一方面，通過使用rgb相機(jī)采集的第一事件圖像進(jìn)行操作指尖位置的識別，由于事件相機(jī)能夠在微秒級響應(yīng)亮度變化，極大地減少因相機(jī)滯后導(dǎo)致的視覺拖影或殘影問題，在高動態(tài)場景下用戶的操作指尖位置能被精準(zhǔn)捕捉，從而提高智能穿戴設(shè)備的交互精準(zhǔn)度和流暢性，使得用戶在快速進(jìn)行輸入操作時依然能獲得清晰、連續(xù)的視覺反饋；第二方面，由于投影手掌區(qū)域處于相對靜止?fàn)顟B(tài)，通過rgb相機(jī)采集場景圖像識別投影手掌區(qū)域進(jìn)行虛擬輸入界面的投影，可以彌補(bǔ)事件相機(jī)無法檢測靜止物體的不足，確保投影手掌區(qū)域的精準(zhǔn)穩(wěn)定檢測。

技術(shù)特征：

1.一種智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述通過智能穿戴設(shè)備的rgb相機(jī)采集場景圖像進(jìn)行投影手掌區(qū)域識別，包括：

3.根據(jù)權(quán)利要求2所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述事件圖像集合還包括第二事件圖像，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述基于所述手部圖像序列進(jìn)行疊加處理，得到所述虛擬輸入界面的第二事件圖像，包括：

6.根據(jù)權(quán)利要求5所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述基于所述多個變化圖像進(jìn)行疊加處理，得到所述第二事件圖像，包括：

7.根據(jù)權(quán)利要求1所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述通過訓(xùn)練后指尖檢測模型，基于包含所述第一事件圖像的事件圖像集合進(jìn)行指尖檢測，得到所述虛擬輸入界面的操作指尖位置，包括：

8.根據(jù)權(quán)利要求7所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述基于所述融合后特征圖進(jìn)行指尖位置預(yù)測，得到所述操作指尖位置，包括：

9.根據(jù)權(quán)利要求1所述的智能穿戴設(shè)備的掌心輸入方法，其特征在于，所述基于所述操作指尖位置和所述虛擬輸入界面進(jìn)行輸入處理，包括：

10.一種智能穿戴設(shè)備的掌心輸入裝置，其特征在于，所述智能穿戴設(shè)備的掌心輸入裝置包括：

11.一種智能穿戴設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器中存儲有計算機(jī)程序，所述處理器調(diào)用所述存儲器中的計算機(jī)程序時執(zhí)行如權(quán)利要求1至9任一項所述的智能穿戴設(shè)備的掌心輸入方法。

12.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至9任一項所述的智能穿戴設(shè)備的掌心輸入方法。

技術(shù)總結(jié)
本申請?zhí)峁┮环N智能穿戴設(shè)備的掌心輸入方法、裝置、智能穿戴設(shè)備及計算機(jī)可讀存儲介質(zhì)。該智能穿戴設(shè)備的掌心輸入方法包括：通過智能穿戴設(shè)備的RGB相機(jī)采集場景圖像進(jìn)行投影手掌區(qū)域識別；在所述投影手掌區(qū)域進(jìn)行虛擬輸入界面投影后，通過所述智能穿戴設(shè)備的事件相機(jī)，獲取所述虛擬輸入界面的第一事件圖像；通過訓(xùn)練后指尖檢測模型，基于包含所述第一事件圖像的事件圖像集合進(jìn)行指尖檢測，得到所述虛擬輸入界面的操作指尖位置；基于所述操作指尖位置和所述虛擬輸入界面進(jìn)行輸入處理。本申請可以減少因相機(jī)滯后導(dǎo)致的視覺拖影或殘影問題，使得高動態(tài)場景下用戶的操作指尖位置能被精準(zhǔn)捕捉，從而提高智能穿戴設(shè)備的交互精準(zhǔn)度和流暢性。

技術(shù)研發(fā)人員：王傳勝,胡立天,謝迅,楊鵬
受保護(hù)的技術(shù)使用者：珠海莫界科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15