本發(fā)明涉及醫(yī)學(xué)教育，具體涉及基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成方法及系統(tǒng)。

背景技術(shù)：

1、隨著醫(yī)學(xué)教育的不斷發(fā)展，臨床考試在醫(yī)學(xué)教學(xué)和臨床人才培養(yǎng)中發(fā)揮著至關(guān)重要的作用。傳統(tǒng)的臨床考試內(nèi)容生成主要依賴專家手動編寫試題，存在試題生成效率低、內(nèi)容重復(fù)、難以全面評估考生綜合能力等問題。此外，隨著醫(yī)學(xué)知識的快速進步和臨床病例的復(fù)雜性不斷增加，單一的數(shù)據(jù)源和人工出題方式已難以滿足日益增長的臨床考試需求。

2、目前，現(xiàn)有的臨床考試內(nèi)容生成方法通常依賴于人工編寫和計算機輔助設(shè)計，通常從臨床案例庫中提取病史、癥狀、診斷結(jié)果等關(guān)鍵信息來構(gòu)建考試題目，考試內(nèi)容以文字描述、圖片展示或視頻播放的形式呈現(xiàn)，考生根據(jù)給定情境進行作答。然而，這種方法不僅過程繁瑣且耗時較長，還容易受到主觀因素的影響，導(dǎo)致試題內(nèi)容質(zhì)量不一，同時難以及時更新。

3、綜上，現(xiàn)有的醫(yī)療教育中自動生成考試內(nèi)容的方法依賴于人工編寫和計算機輔助設(shè)計，在考試內(nèi)容的構(gòu)建過程繁瑣且耗時較長，并且受到人工的主觀因素影響，導(dǎo)致考試內(nèi)容構(gòu)建過程中針對的知識點偏重和涵蓋范圍不同，構(gòu)建的考試內(nèi)容不夠全面，并且難以對考試內(nèi)容的生成邏輯進行更新。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中，由于現(xiàn)有的醫(yī)療教育中存在自動生成考試內(nèi)容的方法依賴于人工編寫和計算機輔助設(shè)計，在考試內(nèi)容的構(gòu)建過程繁瑣且耗時較長，并且受到人工的主觀因素影響，導(dǎo)致考試內(nèi)容構(gòu)建過程中針對的知識點偏重和涵蓋范圍不同，構(gòu)建的考試內(nèi)容不夠全面，并且難以對考試內(nèi)容的生成邏輯進行更新的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明具體提供下述技術(shù)方案：

3、基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成方法，包括如下步驟：

4、步驟100、通過從多種數(shù)據(jù)源采集臨床醫(yī)學(xué)相關(guān)信息，所述的臨床醫(yī)學(xué)相關(guān)信息包括醫(yī)學(xué)文本、臨床病例數(shù)據(jù)、醫(yī)學(xué)影像、病患語音以及視頻記錄；

5、步驟200、利用多模態(tài)大模型對采集的所述的臨床醫(yī)學(xué)相關(guān)信息進行清洗、去噪以及分類處理，抽取出有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)；

6、步驟300、利用文本嵌入模型對抽取的有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)向多模態(tài)大模型內(nèi)嵌入，同時將抽取的有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)中不同類型的數(shù)據(jù)轉(zhuǎn)化為便于多模態(tài)大模型處理與訓(xùn)練的統(tǒng)一的向量表示；

7、步驟400、根據(jù)預(yù)設(shè)的考試需求，利用向量檢索算法在文本嵌入模型的存儲單元中檢索獲得出題參考數(shù)據(jù)，并將經(jīng)過整合的出題參考數(shù)據(jù)結(jié)合提示詞工程作為多模態(tài)大模型的輸入，由所述多模態(tài)大模型生成考試內(nèi)容。

8、作為本發(fā)明的一種優(yōu)選方案，通過清洗和去噪去除采集的所述的臨床醫(yī)學(xué)相關(guān)信息中的無關(guān)或重復(fù)信息，并修正缺失數(shù)據(jù)，隨后根據(jù)醫(yī)學(xué)領(lǐng)域的標準和規(guī)范，對數(shù)據(jù)進行標注和分類：

9、包括將所述的臨床醫(yī)學(xué)相關(guān)信息中的影像數(shù)據(jù)標注為不同的病灶類型和將語音數(shù)據(jù)分類為不同的臨床對話場景，并標注出與臨床對話場景相關(guān)的醫(yī)學(xué)實體和關(guān)系，統(tǒng)計總結(jié)醫(yī)學(xué)關(guān)鍵詞。

10、作為本發(fā)明的一種優(yōu)選方案，所述臨床對話場景包括患者主訴采集、醫(yī)生問診查體、診斷討論、治療方案溝通及隨訪教育等典型診療環(huán)節(jié)；

11、標注出的所述醫(yī)學(xué)實體包括疾病、癥狀、檢查、藥物以及肢體術(shù)中部位；并通過因果關(guān)系、治療關(guān)聯(lián)以及檢查指征關(guān)系描述標注出的所述醫(yī)學(xué)實體之間的邏輯；

12、基于標準術(shù)語庫與詞頻分析統(tǒng)計獲取醫(yī)學(xué)關(guān)鍵詞，所述醫(yī)學(xué)關(guān)鍵詞包括癥狀關(guān)鍵詞、檢查關(guān)鍵詞及藥物關(guān)鍵詞。

13、作為本發(fā)明的一種優(yōu)選方案，所述文本嵌入模型的構(gòu)建方法包括：

14、將經(jīng)過4bit量化的qwen大語言模型作為所述文本嵌入模型的底層預(yù)訓(xùn)練語言模型；

15、在所述底層預(yù)訓(xùn)練語言模型中接入simcse的對比學(xué)習(xí)機制，通過對同一條文本應(yīng)用隨機擾動生成正樣本，以模擬同一條文本的不同表示；

16、以隨機選擇的其他文本作為負樣本，通過對比學(xué)習(xí)的損失函數(shù)對比損失優(yōu)化所述底層預(yù)訓(xùn)練語言模型，使所述底層預(yù)訓(xùn)練語言模型的學(xué)習(xí)具有判別性的語義表示。

17、作為本發(fā)明的一種優(yōu)選方案，在負樣本選擇中結(jié)合動態(tài)挖掘與正樣本的語義相關(guān)但內(nèi)容存在差異的樣本的硬負樣本，具體包括：

18、利用初始訓(xùn)練的語義嵌入模型，計算語料庫中每個樣本與目標正樣本的語義相似度，選擇與目標樣本語義相似但內(nèi)容不完全一致的樣本作為硬負樣本；并通過定期重新計算語義相似度來更新硬負樣本庫。

19、作為本發(fā)明的一種優(yōu)選方案，將所述硬負樣本融入對比學(xué)習(xí)的損失函數(shù)中，并對所述的損失函數(shù)進行優(yōu)化，優(yōu)化后的函數(shù)如下：

20、；

21、其中，為當(dāng)前樣本，特征向量；為正樣本，為硬負樣本，為隨機負樣本，表示硬負樣本的重要性更高，為溫度參數(shù)；，表示樣本和之間的相似性度量，為余弦相似度。

22、作為本發(fā)明的一種優(yōu)選方案，根據(jù)預(yù)設(shè)的考試需求，包括題目類型設(shè)計、臨床考試標準以及臨床能力考核需求，通過向量檢索算法快速檢索與目標需求相關(guān)的出題參考數(shù)據(jù)，包括醫(yī)學(xué)知識數(shù)據(jù)、病例實例數(shù)據(jù)以及影像資料數(shù)據(jù)；

23、對檢索到的出題參考數(shù)據(jù)進行不同模態(tài)數(shù)據(jù)包括文本描述、醫(yī)學(xué)影像、語音記錄的整合和分類，并構(gòu)建臨床情境，結(jié)合提示詞工程，將不同模態(tài)的數(shù)據(jù)融合為統(tǒng)一的文本格式，并將融合后的內(nèi)容作為多模態(tài)大模型的輸入，多模態(tài)大模型通過設(shè)置的出題指令和模板生成考試內(nèi)容。

24、作為本發(fā)明的一種優(yōu)選方案，構(gòu)建文本嵌入模型的實時反饋機制，包括：

25、對融合后的同一文本格式進行識別，對識別出的語義不清或邏輯錯誤進行自動糾正；

26、對不同模態(tài)數(shù)據(jù)進行一致性檢查，使不同模態(tài)數(shù)據(jù)內(nèi)容之間的語義匹配；

27、對生成的考試內(nèi)容與預(yù)設(shè)的考試需求進行關(guān)聯(lián)性分析，具體包括先利用權(quán)威醫(yī)學(xué)大綱構(gòu)建疾病診療關(guān)系網(wǎng)絡(luò)，結(jié)合模型提取考試需求的關(guān)鍵特征，再通過語義分析和認知層次分類，確定生成內(nèi)容與考試目標緊密相關(guān)；

28、對生成的考試內(nèi)容的考點在醫(yī)學(xué)考試標準中的考點覆蓋率的確定，具體包括基于醫(yī)學(xué)標準術(shù)語庫建立核心考點數(shù)據(jù)庫，通過智能編碼和動態(tài)權(quán)重計算匹配知識點，若覆蓋率不足設(shè)定閾值則自動生成補充內(nèi)容。

29、本實施方式提供了一種用于實現(xiàn)所述的基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成方法的基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成系統(tǒng)，包括：

30、多模態(tài)數(shù)據(jù)采集模塊，所述多模態(tài)數(shù)據(jù)采集模塊通過從多種數(shù)據(jù)源采集臨床醫(yī)學(xué)相關(guān)信息，所述的臨床醫(yī)學(xué)相關(guān)信息包括醫(yī)學(xué)文本、臨床病例數(shù)據(jù)、醫(yī)學(xué)影像、病患語音以及視頻記錄；

31、數(shù)據(jù)處理和分類模塊，所述數(shù)據(jù)處理和分類模塊用于對所述多模態(tài)數(shù)據(jù)采集模塊采集的臨床醫(yī)學(xué)相關(guān)信息進行清洗、去噪以及分類處理，抽取出有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)；

32、數(shù)據(jù)嵌入模塊，所述數(shù)據(jù)嵌入模塊用于對抽取的有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)向文本嵌入模型內(nèi)嵌入，同時將抽取的有效醫(yī)學(xué)知識和臨床情境數(shù)據(jù)中不同類型的數(shù)據(jù)轉(zhuǎn)化為便于多模態(tài)大模型處理與訓(xùn)練的統(tǒng)一的向量表示；

33、檢索內(nèi)容生成模塊，所述檢索內(nèi)容生成模塊用于根據(jù)預(yù)設(shè)的考試需求，利用向量檢索算法在多模態(tài)大模型的存儲單元中檢索獲得出題參考數(shù)據(jù)，并將經(jīng)過整合的出題參考數(shù)據(jù)結(jié)合提示詞工程輸入多模態(tài)大模型，由多模態(tài)大模型生成考試題目；

34、內(nèi)容優(yōu)化與校驗?zāi)K，所述內(nèi)容優(yōu)化與校驗?zāi)K用于構(gòu)建構(gòu)建文本嵌入模型的實時反饋機制，所述實施反饋機制包括：

35、識別模塊，所述對融合后的同一文本格式進行識別，對識別出的語義不清或邏輯錯誤進行自動糾正；

36、檢查模塊，用于對不同模態(tài)數(shù)據(jù)進行一致性檢查，使不同模態(tài)數(shù)據(jù)內(nèi)容之間的語義匹配；

37、關(guān)聯(lián)性模塊，用于對生成的考試內(nèi)容與預(yù)設(shè)的考試需求進行關(guān)聯(lián)性分析以及對生成的考試內(nèi)容的考點在醫(yī)學(xué)考試標準中的考點覆蓋率的確定。

38、作為本發(fā)明的一種優(yōu)選方案，還包括專家審核和校準模塊，所述專家審核和校準模塊用于構(gòu)建人工對生成的考試內(nèi)容進行審核的端口，并將審核后的內(nèi)容進行文本分析后反饋至所述數(shù)據(jù)嵌入模塊。

39、本發(fā)明與現(xiàn)有技術(shù)相比較具有如下有益效果：

40、本發(fā)明基于多模態(tài)技術(shù)的臨床考試內(nèi)容生成方法，通過對醫(yī)學(xué)文本、影像、語音等多模態(tài)數(shù)據(jù)進行采集、處理、分類、訓(xùn)練以及轉(zhuǎn)變?yōu)橥坏奈谋鞠蛄勘磉_，并能夠根據(jù)預(yù)設(shè)的考試需求進行自動檢索整合，進而能夠?qū)崿F(xiàn)自動化、結(jié)構(gòu)化的考試內(nèi)容生成。

41、本發(fā)明提供的方法能夠提高考試內(nèi)容的生成效率和質(zhì)量，盡可能的模擬復(fù)雜的臨床情境，能夠為醫(yī)學(xué)教育提供更加科學(xué)、精準的考試內(nèi)容生成方案。