本發(fā)明屬于教育數據挖掘方法領域，尤其涉及基于多模態(tài)數據分析的個性化課程推薦方法及系統(tǒng)。

背景技術：

1、本部分的陳述僅僅是提供了與本發(fā)明相關的背景技術信息，不必然構成在先技術。

2、傳統(tǒng)的教育教學方法通常采用統(tǒng)一的教學內容和進度，難以滿足不同學生的個性化學習需求。隨著人工智能技術的發(fā)展，如何利用ai技術分析學生的學習情況并提供個性化反饋，成為教育領域的一個重要研究方向。

3、雖然目前的課程推薦方法從單一維度建模轉向多維度建模，考慮了學生本身和課程本身的影響因素，分別對學生的認知能力和在線課程進行了建模，然后利用在線課程的特征進行學生對課程興趣的預測，但是這種方案存在以下技術問題：一方面可能存在學生的學習狀態(tài)、興趣認知能力沒有被很好地學習，導致課程預測的結果不可信，另一方面，現(xiàn)有通過監(jiān)督學習為學生匹配課程時，未考慮學生對未交互課程的隱藏模態(tài)的特征，漏掉了部分模態(tài)特征，導致課程推薦不準確的問題。

技術實現(xiàn)思路

1、為了解決上述背景技術中存在的至少一項技術問題，本發(fā)明提供基于多模態(tài)數據分析的個性化課程推薦方法及系統(tǒng)，其通過學習用戶對課程的多維度特征以及學習隱藏狀態(tài)的特征提升了課程推薦的準確度。

2、為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案：

3、本發(fā)明的第一方面提供基于多模態(tài)數據分析的個性化課程推薦方法，包括如下步驟：

4、獲取學生在不同課程中的學習數據和不同課程的多模態(tài)數據；

5、基于學生的學習數據提取學生的多模態(tài)特征;

6、從每個課程的多模態(tài)數據中提取對應的模態(tài)特征，將不同的模態(tài)特征映射至同一空間，得到每個課程映射后的模態(tài)特征，將映射后的特征進行拼接，得到每個課程的多模態(tài)表示；

7、結合學生的多模態(tài)表示、各個課程的多模態(tài)表示和訓練后的課程推薦模型計算得到課程和學生的匹配度評分，根據匹配度評分為學生推薦相應的課程。

8、進一步地，所述基于學生的學習數據提取學生的多模態(tài)特征，包括：

9、基于學習數據和建立的多層次學習能力評價指標體系構建得到學習能力向量；

10、基于獲取的各課程的文本數據和訓練后的語言模型提取得到文本向量，并將文本向量輸入至雙向gru網絡進行訓練，獲取文本中的隱藏記憶信息；

11、將學習能力向量作為先驗知識表征，結合攜帶深層情感特征的隱藏記憶信息進行注意力交互，得到學生學習的興趣特征向量；

12、在圖像數據中定位人臉，在人臉區(qū)域中估計頭部姿態(tài)，根據頭部姿態(tài)判斷學生的注意力狀態(tài)，提取得到學習狀態(tài)特征向量；

13、將學習能力向量、學習的興趣特征向量及學習狀態(tài)特征向量通過全連接層融合得到最終的學生多模態(tài)表示。

14、進一步地，所述多層次學習能力評價指標體系包括一級指標和二級指標，每一個一級指標包括多個二級指標；

15、其中，一級指標包括知識掌握和問題解決情況、學習效率情況、創(chuàng)新能力情況；其中知識掌握和問題解決情況包括知識點覆蓋率、知識點掌握深度和錯誤率，學習效率情況包括單位時間學習量，學習時長與成績相關性，創(chuàng)新能力情況包括在開放性任務中的得分或評價、在任務中提出的獨特解決方案數量、學生主動搜索額外資源的次數。

16、進一步地，從每個課程的多模態(tài)數據中提取對應的模態(tài)特征，將不同的模態(tài)特征映射至同一空間，得到每個課程映射后的模態(tài)特征時，包括：

17、將設定數量模態(tài)大小為 n的樣本對組成：，其中，來自模態(tài) u，來自模態(tài) v，…，來自模態(tài) l，對應的編碼分別表示為，其中，每個被作為正例，而其他所有樣本以被認為是負例；

18、將每兩種模態(tài)數據作為一組進行遷移映射，對應的損失函數為：

19、，

20、，

21、其中，表示模態(tài) v中和之間的模態(tài)內相似性權重，是溫度參數，表示模態(tài) v中第 k個模態(tài)特征對應的編碼表示。

22、進一步地，所述結合學生的多模態(tài)表示、各個課程的多模態(tài)表示和訓練后的課程推薦模型計算得到課程和學生的匹配度評分，包括：

23、構建學生對于課程的匹配度得分計算公式；

24、各個課程的多模態(tài)表示確定學生對于正例課程和負例課程的匹配度得分；

25、確定課程的隱藏模態(tài)，結合學生多模態(tài)表示、學生對于正例課程和負例課程的匹配度得分，計算學生對于隱藏負例課程的匹配度得分。

26、進一步地，課程推薦模型的損失函數為

27、，

28、，

29、，

30、其中，為整體損失函數，為推薦損失，為隱藏模態(tài)正則，為技術的參數集合，為調節(jié)重要性的平衡參數，為參數正則化的權重，防止過擬合，為學生對負例課程 k的匹配度得分，為學生的正例課程，為學生的負例課程，為訓練數據集，為學生對于正例課程的匹配度得分，為學生對負例課程 k的匹配度得分，為學生對于隱藏負例課程的匹配度得分。

31、本發(fā)明的第二方面提供基于多模態(tài)數據分析的個性化課程推薦系統(tǒng)，包括：

32、數據獲取模塊，其用于獲取學生在不同課程中的學習數據和不同課程的多模態(tài)數據；

33、學生特征提取模塊，其用于基于學生的學習數據提取學生的多模態(tài)特征;

34、課程特征提取模塊，其用于從每個課程的多模態(tài)數據中提取對應的模態(tài)特征，將不同的模態(tài)特征映射至同一空間，得到每個課程映射后的模態(tài)特征，將映射后的特征進行拼接，得到每個課程的多模態(tài)表示；

35、課程推薦模塊，其用于結合學生的多模態(tài)表示、各個課程的多模態(tài)表示和訓練后的課程推薦模型計算得到課程和學生的匹配度評分，根據匹配度評分為學生推薦相應的課程。

36、本發(fā)明的第三方面提供一種計算機可讀存儲介質。

37、一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如上述所述的基于多模態(tài)數據分析的個性化課程推薦方法中的步驟。

38、本發(fā)明的第四方面提供一種計算機設備。

39、一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述所述的基于多模態(tài)數據分析的個性化課程推薦方法中的步驟。

40、本發(fā)明的第五方面提供一種程序產品。

41、一種程序產品，所述程序產品為計算機程序產品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述所述的基于多模態(tài)數據分析的個性化課程推薦方法中的步驟。

42、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

43、1、本發(fā)明分別從學生對于不同課程中的學習過程中的多維度學習特征，挖掘學生和課程的關聯(lián)性，很好地學習了學生對于不同課程中的學習過程中的興趣特征向量、學習狀態(tài)特征向量、學習能力向量，增強了課程預測的結果可信度，同時考慮學生對未交互課程的隱藏模態(tài)的特征，挖掘了隱藏的部分模態(tài)特征，提升了課程匹配的準確程度。

44、2、本發(fā)明從每個課程的多模態(tài)數據中提取對應的模態(tài)特征，將不同的模態(tài)特征映射至同一空間時，使用連續(xù)的相似性度量，可以在連續(xù)性空間中將任意兩種不同模態(tài)的嵌入空間進行對齊，根據所有樣本之間的吸引程度來衡量相似性，這樣可以實現(xiàn)更細粒度的模態(tài)差距計算，避免了對訓練數據中具有連續(xù)性相似的樣本完全忽略。

45、本發(fā)明附加方面的優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。