本發(fā)明涉及可穿戴設(shè)備,具體涉及一種基于ai輔助的智能眼鏡。
背景技術(shù):
1、智能眼鏡,或稱ai智能眼鏡,是一種集成了先進(jìn)科技與傳統(tǒng)眼鏡設(shè)計(jì)的可穿戴設(shè)備。它不僅具備基本的視力矯正功能,還融入了人工智能(ai)、增強(qiáng)現(xiàn)實(shí)(ar)、虛擬現(xiàn)實(shí)(vr)等前沿技術(shù),為用戶提供了前所未有的交互體驗(yàn)。智能眼鏡通過內(nèi)置的傳感器、攝像頭和微型計(jì)算機(jī),能夠?qū)崟r(shí)捕捉并分析環(huán)境信息,實(shí)現(xiàn)多種功能,如拍照、視頻通話、信息推送等。然而,目前市場(chǎng)上的智能眼鏡主要局限于游戲和觀影領(lǐng)域,且用戶通常只能在家中固定位置使用,這大大限制了其應(yīng)用場(chǎng)景。
2、在戶外行動(dòng)時(shí),用戶往往有實(shí)時(shí)獲取信息的需求。但現(xiàn)有的智能眼鏡技術(shù)尚無法完全滿足這些需求。一方面,硬件處理能力較低,無法單獨(dú)完成復(fù)雜任務(wù),仍需依賴手機(jī)等輔助設(shè)備,另一方面,缺少能夠直觀顯示信息的設(shè)備,導(dǎo)致無法快速獲取有效信息,仍需依賴手機(jī)等輔助設(shè)備。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述技術(shù)問題,本發(fā)明提供一種基于ai輔助的智能眼鏡,通過ai輔助系統(tǒng)把智能眼鏡的攝像頭捕捉到的視覺信號(hào)在手機(jī)端利用ai程序進(jìn)行實(shí)時(shí)的網(wǎng)絡(luò)搜索或數(shù)據(jù)分析,并將搜索結(jié)果或數(shù)據(jù)分析即時(shí)投放顯示在micro?oled鏡片上,直接獲取最新信息。
2、本發(fā)明提供了如下的技術(shù)方案。
3、一種基于ai輔助的智能眼鏡,包括鏡框和兩個(gè)鏡片,其中一個(gè)所述鏡片為microoled鏡片,還包括ai輔助系統(tǒng);
4、所述ai輔助系統(tǒng)包括搭載在鏡框上的視覺模塊、音頻接收模塊、揚(yáng)聲器單元、無線傳輸模塊和圖像投放模塊,以及搭載在移動(dòng)端上的ai程序;
5、所述音頻接收模塊,用于采集指令信號(hào)和語音信號(hào);
6、所述視覺模塊,用于采集視頻和圖像數(shù)據(jù);
7、所述ai程序,通過無線傳輸模塊接收采集的指令信號(hào)以及視頻和圖像數(shù)據(jù),用于識(shí)別指令信號(hào)的指令類型,根據(jù)指令類型和圖像數(shù)據(jù),執(zhí)行圖像識(shí)別,并進(jìn)行網(wǎng)絡(luò)信息搜索,生成搜索結(jié)果圖像和語音播報(bào)信息;或根據(jù)指令類型,生成衛(wèi)星俯瞰視圖的地圖導(dǎo)航信息;或根據(jù)指令類型,存儲(chǔ)所述視覺模塊和音頻接收模塊所拍攝的圖片和視頻;或根據(jù)指令類型,識(shí)別圖像數(shù)據(jù)中的文字,獲取翻譯結(jié)果圖像;或根據(jù)指令類型,識(shí)別語音信號(hào)形成翻譯結(jié)果音頻;
8、所述圖像投放模塊,用于通過無線傳輸模塊接收所述ai程序生成的搜索結(jié)果圖像、地圖導(dǎo)航信息或翻譯結(jié)果圖像,投放至micro?oled鏡片;
9、所述揚(yáng)聲器單元,用于通過無線傳輸模塊接收所述語音播報(bào)信息或翻譯結(jié)果音頻,進(jìn)行播放。
10、優(yōu)選地,所述視覺模塊為嵌設(shè)在所述鏡框前側(cè)的微型攝像頭。
11、優(yōu)選地,所述音頻接收模塊和揚(yáng)聲器單元為集成藍(lán)牙耳機(jī),設(shè)置在所述鏡框的兩側(cè)。
12、優(yōu)選地,所述無線傳輸模塊為高速wi-fi模塊或5g模塊或?qū)崟r(shí)圖傳技術(shù)。
13、一種基于ai輔助的智能眼鏡的數(shù)據(jù)生成方法,包括以下步驟:
14、接收視覺模塊采集的指令信號(hào)以及視頻和圖像數(shù)據(jù),接收音頻接收模塊采集的指令信號(hào)和語音信號(hào);
15、識(shí)別指令信號(hào)的指令類型,根據(jù)指令類型和圖像數(shù)據(jù),執(zhí)行圖像識(shí)別,并進(jìn)行網(wǎng)絡(luò)信息搜索,生成搜索結(jié)果圖像和語音播報(bào)信息;
16、或根據(jù)指令類型,生成衛(wèi)星俯瞰視圖的地圖導(dǎo)航信息;
17、或根據(jù)指令類型和視頻、圖像數(shù)據(jù),存儲(chǔ)視頻和圖像數(shù)據(jù);
18、或根據(jù)指令類型和圖像數(shù)據(jù),識(shí)別圖像數(shù)據(jù)中的文字,獲取翻譯結(jié)果圖像;
19、或根據(jù)指令類型和語音信號(hào),識(shí)別語音信號(hào)形成翻譯結(jié)果音頻;
20、將搜索結(jié)果圖像、地圖導(dǎo)航信息或翻譯結(jié)果圖像,通過圖像投放模塊投放至microoled鏡片,并將語音播報(bào)信息或翻譯結(jié)果音頻通過揚(yáng)聲器單元進(jìn)行播放。
21、優(yōu)選地,所述識(shí)別指令信號(hào)的指令類型,包括以下步驟:
22、對(duì)指令信號(hào)進(jìn)行語音降噪和濾波處理;
23、通過asr語音識(shí)別技術(shù),將語音轉(zhuǎn)換為指令文本;
24、采用自然語言處理nlp模型解析指令文本,識(shí)別指令類型;所述指令類型包括:搜索信息、顯示地區(qū)導(dǎo)航、拍攝、攝像以及圖像翻譯和語音翻譯。
25、優(yōu)選地,所述根據(jù)指令類型和圖像數(shù)據(jù),執(zhí)行圖像識(shí)別,并進(jìn)行網(wǎng)絡(luò)信息搜索,生成搜索結(jié)果圖像和語音播報(bào)信息,包括以下步驟:
26、當(dāng)指令信號(hào)的指令類型為搜索信息,獲取圖像數(shù)據(jù),對(duì)圖像進(jìn)行縮放、裁剪、去噪;
27、根據(jù)指令類型,使用對(duì)應(yīng)的訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)cnn對(duì)圖像進(jìn)行識(shí)別,獲得圖像識(shí)別結(jié)果;
28、從圖像識(shí)別結(jié)果中提取關(guān)鍵詞,根據(jù)關(guān)鍵詞構(gòu)建網(wǎng)絡(luò)搜索查詢,使用搜索引擎執(zhí)行搜索查詢,獲得搜索結(jié)果;
29、根據(jù)相關(guān)性、質(zhì)量篩選搜索結(jié)果,從篩選后的搜索結(jié)果中選擇相關(guān)圖片和圖表;
30、使用拼接和標(biāo)注對(duì)相關(guān)圖片和圖表進(jìn)行處理,生成搜索結(jié)果圖像,并圖像投放模塊投放至micro?oled鏡片;
31、根據(jù)搜索結(jié)果生成語音播報(bào)文本,并使用tts方法將文本轉(zhuǎn)換為語音播報(bào)信息,通過揚(yáng)聲器單元進(jìn)行播放。
32、優(yōu)選地,所述根據(jù)指令類型和圖像數(shù)據(jù),生成衛(wèi)星俯瞰視圖的地圖導(dǎo)航信息,包括以下步驟:
33、獲取顯示地區(qū)導(dǎo)航的指令類型;
34、通過衛(wèi)星或航拍獲取高空視角該地區(qū)的原始圖像數(shù)據(jù);
35、對(duì)獲取的原始圖像數(shù)據(jù)進(jìn)行預(yù)處理,包括圖像增強(qiáng)、數(shù)據(jù)轉(zhuǎn)換;
36、利用地圖繪制軟件,將處理后的原始圖像數(shù)據(jù)結(jié)合高程數(shù)據(jù)進(jìn)行繪制,生成具有三維俯瞰視圖的地圖,包括地圖底圖的制作、地物要素的標(biāo)注和地貌的繪制;
37、將生成的俯瞰視圖地圖導(dǎo)入導(dǎo)航系統(tǒng)中,進(jìn)行路徑規(guī)劃和位置定位,并形成實(shí)時(shí)視頻流,通過圖像投放模塊投放至micro?oled鏡片。
38、優(yōu)選地,所述根據(jù)指令類型和圖像數(shù)據(jù),識(shí)別圖像數(shù)據(jù)中的文字,獲取翻譯結(jié)果圖像,包括以下步驟:
39、接收包含待識(shí)別文字的圖像數(shù)據(jù),利用光學(xué)字符識(shí)別方法對(duì)該圖像數(shù)據(jù)進(jìn)行文字識(shí)別,將文字轉(zhuǎn)換為可編輯的文本格式;
40、將識(shí)別出的文本通過機(jī)器翻譯系統(tǒng)翻譯成目標(biāo)語言,獲得翻譯后的文本;
41、將翻譯后的文本重新整合為與原圖格式相似的圖像,通過圖像投放模塊投放至micro?oled鏡片。
42、優(yōu)選地,所述根據(jù)指令類型和語音信號(hào),識(shí)別語音信號(hào)形成翻譯結(jié)果音頻,包括以下步驟:
43、接收輸入的語音信號(hào),通過asr語音識(shí)別技術(shù),將語音轉(zhuǎn)換為文本內(nèi)容;
44、將轉(zhuǎn)換得到的文本內(nèi)容通過機(jī)器翻譯引擎翻譯成目標(biāo)語言的文本;
45、利用文本轉(zhuǎn)語音tts方法將翻譯后的目標(biāo)語言文本再次轉(zhuǎn)換為形成翻譯結(jié)果音頻;
46、將形成翻譯結(jié)果音頻通過揚(yáng)聲器單元進(jìn)行播放。
47、本發(fā)明有益效果:
48、本發(fā)明提出一種基于ai輔助的智能眼鏡,該智能眼鏡通過ai輔助系統(tǒng)把智能眼鏡的攝像頭捕捉到的視覺信號(hào)在手機(jī)端利用ai程序進(jìn)行實(shí)時(shí)的網(wǎng)絡(luò)搜索或數(shù)據(jù)分析,并將搜索結(jié)果或數(shù)據(jù)分析即時(shí)投放顯示在micro?oled鏡片上,直接獲取最新信息。