本發(fā)明涉及交互數(shù)據(jù)處理領(lǐng)域，特別涉及為一種基于大模型對(duì)智慧中控屏的智能交互方法及系統(tǒng)。

背景技術(shù)：

1、在智慧中控屏的智能交互中，大模型通常需要處理大量的數(shù)據(jù)，包括語音指令、圖像分析、環(huán)境傳感信息、歷史交互記錄等，這些數(shù)據(jù)的處理和計(jì)算傳統(tǒng)上依賴云端服務(wù)器，以利用云端強(qiáng)大的計(jì)算能力和存儲(chǔ)資源。

2、目前，隨著智能家居、工業(yè)自動(dòng)化、智慧辦公等場(chǎng)景的發(fā)展，依賴云端計(jì)算的方式存在多個(gè)限制，例如云端計(jì)算通常需要數(shù)據(jù)上傳、云端處理、結(jié)果返回，導(dǎo)致交互響應(yīng)存在一定延遲，影響用戶體驗(yàn)，而當(dāng)網(wǎng)絡(luò)不穩(wěn)定或斷網(wǎng)時(shí)，云端計(jì)算可能無法正常工作，使得智能中控屏的交互能力大幅下降，影響其可用性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決如何降低云端依賴，提高交互實(shí)時(shí)性，同時(shí)保障數(shù)據(jù)安全的問題，提供一種基于大模型對(duì)智慧中控屏的智能交互方法及系統(tǒng)。

2、本發(fā)明為解決技術(shù)問題采用如下技術(shù)手段：

3、本發(fā)明提供一種基于大模型對(duì)智慧中控屏的智能交互方法，包括：

4、基于用戶對(duì)智慧中控屏預(yù)激活的應(yīng)用場(chǎng)景，采集所述應(yīng)用場(chǎng)景對(duì)應(yīng)所需的交互感知數(shù)據(jù)，其中，所述應(yīng)用場(chǎng)景具體包括語音交互、圖像識(shí)別和環(huán)境感知；

5、判斷所述交互感知數(shù)據(jù)是否達(dá)到預(yù)設(shè)計(jì)算閾值；

6、若是，則根據(jù)所述智慧中控屏預(yù)設(shè)的計(jì)算架構(gòu)，構(gòu)建所述交互感知數(shù)據(jù)對(duì)應(yīng)的計(jì)算任務(wù)，識(shí)別所述計(jì)算任務(wù)的計(jì)算負(fù)載分布，依據(jù)所述計(jì)算負(fù)載分布，將所述智慧中控屏作為所述計(jì)算任務(wù)的主計(jì)算節(jié)點(diǎn)，通過局域網(wǎng)進(jìn)行計(jì)算調(diào)度，在本地動(dòng)態(tài)分配所述計(jì)算任務(wù)至其他預(yù)設(shè)的數(shù)據(jù)支持節(jié)點(diǎn)，自適應(yīng)切換所述智慧中控屏的本地計(jì)算模式，其中，所述計(jì)算架構(gòu)具體包括計(jì)算能力和任務(wù)需求，所述本地計(jì)算模式具體包括邊緣計(jì)算、霧計(jì)算和端側(cè)ai計(jì)算；

7、判斷所述數(shù)據(jù)支持節(jié)點(diǎn)能否輔助所述主計(jì)算節(jié)點(diǎn)進(jìn)行計(jì)算；

8、若能，則獲取所述交互感知數(shù)據(jù)的數(shù)據(jù)敏感類別，基于所述數(shù)據(jù)敏感類別，應(yīng)用預(yù)設(shè)的安全多方對(duì)所述交互感知數(shù)據(jù)進(jìn)行直接計(jì)算，根據(jù)所述智慧中控屏預(yù)設(shè)的訪問設(shè)定，限制所述交互感知數(shù)據(jù)的數(shù)據(jù)訪問，其中，所述數(shù)據(jù)敏感類別具體包括公開數(shù)據(jù)、受限數(shù)據(jù)和敏感數(shù)據(jù)，所述安全多方具體包括同態(tài)加密與秘密共享，所述訪問設(shè)定具體包括角色權(quán)限控制和屬性訪問控制。

9、進(jìn)一步地，所述識(shí)別所述計(jì)算任務(wù)的計(jì)算負(fù)載分布的步驟中，還包括：

10、基于所述用戶對(duì)所述智慧中控屏輸入的感知數(shù)據(jù)源，對(duì)所述交互感知數(shù)據(jù)進(jìn)行任務(wù)分類，其中，所述感知數(shù)據(jù)源具體包括觸控輸入、語音識(shí)別、手勢(shì)操作和環(huán)境感知，所述任務(wù)分類具體包括本地計(jì)算任務(wù)、云端計(jì)算任務(wù)和邊緣計(jì)算任務(wù)；

11、判斷所述交互感知數(shù)據(jù)是否對(duì)所述智慧中控屏造成計(jì)算負(fù)載；

12、若是，則獲取所述智慧中控屏對(duì)所述交互感知數(shù)據(jù)的已分配計(jì)算資源，根據(jù)所述已分配計(jì)算資源，構(gòu)建所述交互感知數(shù)據(jù)的任務(wù)執(zhí)行方式，依據(jù)所述任務(wù)執(zhí)行方式，動(dòng)態(tài)調(diào)整本地與云端的計(jì)算比例，其中，所述任務(wù)執(zhí)行方式具體包括獨(dú)立計(jì)算任務(wù)和順序計(jì)算任務(wù)。

13、進(jìn)一步地，所述將所述智慧中控屏作為所述計(jì)算任務(wù)的主計(jì)算節(jié)點(diǎn)，通過局域網(wǎng)進(jìn)行計(jì)算調(diào)度，在本地動(dòng)態(tài)分配所述計(jì)算任務(wù)至其他預(yù)設(shè)的數(shù)據(jù)支持節(jié)點(diǎn)的步驟前，還包括：

14、基于所述交互感知數(shù)據(jù)的通信優(yōu)先級(jí)，獲取所述主計(jì)算節(jié)點(diǎn)和所述數(shù)據(jù)支持節(jié)點(diǎn)之間的連接方式，其中，所述連接方式具體包括wi-fi、以太網(wǎng)和藍(lán)牙m(xù)esh；

15、判斷所述交互感知數(shù)據(jù)是否受到設(shè)備對(duì)計(jì)算任務(wù)的數(shù)據(jù)傳輸干擾；

16、若是，則識(shí)別所述交互感知數(shù)據(jù)的實(shí)時(shí)性要求，根據(jù)所述實(shí)時(shí)性要求，通過預(yù)設(shè)的局域網(wǎng)劃分所述計(jì)算任務(wù)的任務(wù)數(shù)據(jù)流，依據(jù)所述任務(wù)數(shù)據(jù)流，動(dòng)態(tài)調(diào)整所述主計(jì)算節(jié)點(diǎn)和所述數(shù)據(jù)支持節(jié)點(diǎn)之間的網(wǎng)絡(luò)拓?fù)洌渲?，所述局域網(wǎng)具體包括子網(wǎng)和vlan，所述網(wǎng)絡(luò)拓?fù)渚唧w包括星型拓?fù)?、分布式網(wǎng)狀拓?fù)浜突旌贤負(fù)洹?/p>

17、進(jìn)一步地，所述則獲取所述交互感知數(shù)據(jù)的數(shù)據(jù)敏感類別的步驟中，還包括：

18、基于所述智慧中控屏預(yù)設(shè)的數(shù)據(jù)采集源頭，提取所述交互感知數(shù)據(jù)的數(shù)據(jù)片段，其中，所述數(shù)據(jù)采集源頭具體包括攝像頭、話筒和用戶觸屏操作，所述數(shù)據(jù)片段具體包括用戶id、人臉特征、位置信息和語義關(guān)鍵詞；

19、判斷所述數(shù)據(jù)片段能否識(shí)別并得到預(yù)設(shè)指令；

20、若否，則對(duì)所述數(shù)據(jù)片段進(jìn)行格式識(shí)別，根據(jù)所述智慧中控屏預(yù)設(shè)的敏感數(shù)據(jù)標(biāo)簽，獲取所述交互感知數(shù)據(jù)的場(chǎng)景用途，其中，所述格式識(shí)別具體包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，所述敏感數(shù)據(jù)標(biāo)簽具體包括非敏感、低敏感、中敏感和高敏感。

21、進(jìn)一步地，所述判斷所述交互感知數(shù)據(jù)是否達(dá)到預(yù)設(shè)計(jì)算閾值的步驟中，還包括：

22、識(shí)別所述交互感知數(shù)據(jù)在預(yù)設(shè)時(shí)段內(nèi)的數(shù)據(jù)量，其中，所述數(shù)據(jù)量具體包括幀率、采樣頻率和事件頻率；

23、判斷所述數(shù)據(jù)量是否達(dá)到預(yù)設(shè)的計(jì)算觸發(fā)閾值；

24、若是，則根據(jù)所述智慧中控屏預(yù)設(shè)的數(shù)據(jù)產(chǎn)生速率，計(jì)算所述數(shù)據(jù)量生成的數(shù)據(jù)累積量，依據(jù)所述數(shù)據(jù)累積量，劃分所述交互感知數(shù)據(jù)的計(jì)算負(fù)載類型，其中，所述計(jì)算負(fù)載類型具體包括視覺流、連續(xù)語音和點(diǎn)云數(shù)據(jù)流。

25、進(jìn)一步地，所述判斷所述數(shù)據(jù)支持節(jié)點(diǎn)能否輔助所述主計(jì)算節(jié)點(diǎn)進(jìn)行計(jì)算的步驟中，還包括：

26、基于所述數(shù)據(jù)支持節(jié)點(diǎn)預(yù)設(shè)的可用性資源，獲取所述數(shù)據(jù)支持節(jié)點(diǎn)的數(shù)據(jù)傳輸帶寬，其中，所述可用性資源具體包括cpu/gpu使用率、內(nèi)存占用率和計(jì)算隊(duì)列長(zhǎng)度；

27、判斷所述數(shù)據(jù)傳輸帶寬能否支持本輪計(jì)算任務(wù)所需的數(shù)據(jù)量交換；

28、若否，則根據(jù)所述計(jì)算任務(wù)的分類類型，激活所述數(shù)據(jù)支持節(jié)點(diǎn)預(yù)設(shè)的數(shù)據(jù)緩存區(qū)，動(dòng)態(tài)調(diào)整所述計(jì)算任務(wù)的數(shù)據(jù)傳輸頻率，其中，所述分類類型具體包括時(shí)延敏感任務(wù)和吞吐量敏感任務(wù)。

29、進(jìn)一步地，所述基于用戶對(duì)智慧中控屏預(yù)激活的應(yīng)用場(chǎng)景，采集所述應(yīng)用場(chǎng)景對(duì)應(yīng)所需的交互感知數(shù)據(jù)的步驟中，還包括：

30、基于所述智慧中控屏預(yù)設(shè)的傳感器，識(shí)別用戶與所述智慧中控屏的交互范圍；

31、判斷所述交互范圍是否超出預(yù)設(shè)范圍；

32、若是，則對(duì)所述交互感知數(shù)據(jù)進(jìn)行延遲采集，獲取所述用戶退出場(chǎng)景時(shí)的狀態(tài)快照，根據(jù)所述交互范圍，動(dòng)態(tài)激活所述狀態(tài)快照，其中，所述狀態(tài)快照具體包括環(huán)境類狀態(tài)快照、交互行為類快照和設(shè)備聯(lián)動(dòng)狀態(tài)快照。

33、本發(fā)明還提供一種基于大模型對(duì)智慧中控屏的智能交互系統(tǒng)，包括：

34、采集模塊，用于基于用戶對(duì)智慧中控屏預(yù)激活的應(yīng)用場(chǎng)景，采集所述應(yīng)用場(chǎng)景對(duì)應(yīng)所需的交互感知數(shù)據(jù)，其中，所述應(yīng)用場(chǎng)景具體包括語音交互、圖像識(shí)別和環(huán)境感知；

35、判斷模塊，用于判斷所述交互感知數(shù)據(jù)是否達(dá)到預(yù)設(shè)計(jì)算閾值；

36、執(zhí)行模塊，用于若是，則根據(jù)所述智慧中控屏預(yù)設(shè)的計(jì)算架構(gòu)，構(gòu)建所述交互感知數(shù)據(jù)對(duì)應(yīng)的計(jì)算任務(wù)，識(shí)別所述計(jì)算任務(wù)的計(jì)算負(fù)載分布，依據(jù)所述計(jì)算負(fù)載分布，將所述智慧中控屏作為所述計(jì)算任務(wù)的主計(jì)算節(jié)點(diǎn)，通過局域網(wǎng)進(jìn)行計(jì)算調(diào)度，在本地動(dòng)態(tài)分配所述計(jì)算任務(wù)至其他預(yù)設(shè)的數(shù)據(jù)支持節(jié)點(diǎn)，自適應(yīng)切換所述智慧中控屏的本地計(jì)算模式，其中，所述計(jì)算架構(gòu)具體包括計(jì)算能力和任務(wù)需求，所述本地計(jì)算模式具體包括邊緣計(jì)算、霧計(jì)算和端側(cè)ai計(jì)算；

37、第二判斷模塊，用于判斷所述數(shù)據(jù)支持節(jié)點(diǎn)能否輔助所述主計(jì)算節(jié)點(diǎn)進(jìn)行計(jì)算；

38、第二執(zhí)行模塊，用于若能，則獲取所述交互感知數(shù)據(jù)的數(shù)據(jù)敏感類別，基于所述數(shù)據(jù)敏感類別，應(yīng)用預(yù)設(shè)的安全多方對(duì)所述交互感知數(shù)據(jù)進(jìn)行直接計(jì)算，根據(jù)所述智慧中控屏預(yù)設(shè)的訪問設(shè)定，限制所述交互感知數(shù)據(jù)的數(shù)據(jù)訪問，其中，所述數(shù)據(jù)敏感類別具體包括公開數(shù)據(jù)、受限數(shù)據(jù)和敏感數(shù)據(jù)，所述安全多方具體包括同態(tài)加密與秘密共享，所述訪問設(shè)定具體包括角色權(quán)限控制和屬性訪問控制。

39、進(jìn)一步地，所述執(zhí)行模塊還包括：

40、分類單元，用于基于所述用戶對(duì)所述智慧中控屏輸入的感知數(shù)據(jù)源，對(duì)所述交互感知數(shù)據(jù)進(jìn)行任務(wù)分類，其中，所述感知數(shù)據(jù)源具體包括觸控輸入、語音識(shí)別、手勢(shì)操作和環(huán)境感知，所述任務(wù)分類具體包括本地計(jì)算任務(wù)、云端計(jì)算任務(wù)和邊緣計(jì)算任務(wù)；

41、判斷單元，用于判斷所述交互感知數(shù)據(jù)是否對(duì)所述智慧中控屏造成計(jì)算負(fù)載；

42、執(zhí)行單元，用于若是，則獲取所述智慧中控屏對(duì)所述交互感知數(shù)據(jù)的已分配計(jì)算資源，根據(jù)所述已分配計(jì)算資源，構(gòu)建所述交互感知數(shù)據(jù)的任務(wù)執(zhí)行方式，依據(jù)所述任務(wù)執(zhí)行方式，動(dòng)態(tài)調(diào)整本地與云端的計(jì)算比例，其中，所述任務(wù)執(zhí)行方式具體包括獨(dú)立計(jì)算任務(wù)和順序計(jì)算任務(wù)。

43、進(jìn)一步地，還包括：

44、獲取模塊，用于基于所述交互感知數(shù)據(jù)的通信優(yōu)先級(jí)，獲取所述主計(jì)算節(jié)點(diǎn)和所述數(shù)據(jù)支持節(jié)點(diǎn)之間的連接方式，其中，所述連接方式具體包括wi-fi、以太網(wǎng)和藍(lán)牙m(xù)esh；

45、第三判斷模塊，用于判斷所述交互感知數(shù)據(jù)是否受到設(shè)備對(duì)計(jì)算任務(wù)的數(shù)據(jù)傳輸干擾；

46、第三執(zhí)行模塊，用于若是，則識(shí)別所述交互感知數(shù)據(jù)的實(shí)時(shí)性要求，根據(jù)所述實(shí)時(shí)性要求，通過預(yù)設(shè)的局域網(wǎng)劃分所述計(jì)算任務(wù)的任務(wù)數(shù)據(jù)流，依據(jù)所述任務(wù)數(shù)據(jù)流，動(dòng)態(tài)調(diào)整所述主計(jì)算節(jié)點(diǎn)和所述數(shù)據(jù)支持節(jié)點(diǎn)之間的網(wǎng)絡(luò)拓?fù)?，其中，所述局域網(wǎng)具體包括子網(wǎng)和vlan，所述網(wǎng)絡(luò)拓?fù)渚唧w包括星型拓?fù)?、分布式網(wǎng)狀拓?fù)浜突旌贤負(fù)洹?/p>

47、本發(fā)明提供了基于大模型對(duì)智慧中控屏的智能交互方法及系統(tǒng)，具有以下有益效果：

48、本發(fā)明通過在智慧中控屏中構(gòu)建本地計(jì)算架構(gòu)，顯著降低云端依賴，提高交互實(shí)時(shí)性，并保障數(shù)據(jù)安全，利用局域網(wǎng)內(nèi)的主計(jì)算節(jié)點(diǎn)和數(shù)據(jù)支持節(jié)點(diǎn)動(dòng)態(tài)分配計(jì)算任務(wù)，在本地執(zhí)行計(jì)算，減少了數(shù)據(jù)上傳云端的需求，提升了響應(yīng)速度，同時(shí)采用邊緣計(jì)算、霧計(jì)算和端側(cè)ai計(jì)算等多種本地計(jì)算模式，自適應(yīng)地調(diào)整任務(wù)處理方式，進(jìn)一步減少云端依賴，優(yōu)化實(shí)時(shí)交互體驗(yàn)，并且通過對(duì)交互感知數(shù)據(jù)進(jìn)行敏感類別分類（如公開、受限、敏感數(shù)據(jù)），結(jié)合同態(tài)加密與秘密共享技術(shù)，保障數(shù)據(jù)在多節(jié)點(diǎn)間的計(jì)算過程中始終保持安全，防止數(shù)據(jù)泄露。