本發(fā)明涉及大模型，尤其涉及面向垂域的多模態(tài)大模型優(yōu)化方法。

背景技術(shù)：

1、近年來，以gpt、glm、llama為代表的大型語言模型(llms)和以gpt-4v、llava、qwen-vl為代表的多模態(tài)大模型(mllm)在通用人工智能領(lǐng)域取得了突破性進(jìn)展。這些模型展現(xiàn)出了強(qiáng)大的知識(shí)儲(chǔ)備和任務(wù)處理能力，能夠完成包括自然語言理解、文本生成、代碼編寫、多輪對話等復(fù)雜任務(wù)。在此基礎(chǔ)上，垂直領(lǐng)域（垂域）大模型的發(fā)展也逐漸成為研究熱點(diǎn)，如法律大模型、金融大模型等。

2、然而，構(gòu)建高性能的垂直領(lǐng)域大模型面臨著以下幾個(gè)關(guān)鍵挑戰(zhàn)：

3、1.?領(lǐng)域適應(yīng)性不足：現(xiàn)有的大型模型通常在廣泛的數(shù)據(jù)集上進(jìn)行訓(xùn)練，這些數(shù)據(jù)集雖然覆蓋了多種語言和模態(tài)，但往往缺乏對特定垂直領(lǐng)域知識(shí)的深入挖掘和理解。這導(dǎo)致模型在處理專業(yè)領(lǐng)域任務(wù)時(shí)，如交通情況分析、法律分析等，其性能并不理想。

4、2.?數(shù)據(jù)獲取與構(gòu)建困難：垂直領(lǐng)域的專業(yè)數(shù)據(jù)通常稀缺且分散，獲取難度大。為了訓(xùn)練這些大型模型，需要大量的標(biāo)注數(shù)據(jù)。這些數(shù)據(jù)的收集、清洗和標(biāo)注過程不僅成本高昂，而且人工構(gòu)建的問題難以覆蓋領(lǐng)域內(nèi)的所有復(fù)雜場景。此外，數(shù)據(jù)的質(zhì)量和多樣性直接影響模型的性能，這限制了模型的泛化能力和應(yīng)用范圍。

5、3.?優(yōu)化效率低下：現(xiàn)有的垂域大模型優(yōu)化方法往往依賴于大量的人工參與，從數(shù)據(jù)收集、標(biāo)注到模型評(píng)估、迭代，每個(gè)環(huán)節(jié)都需要專業(yè)人員的深度參與。這不僅導(dǎo)致模型開發(fā)周期長、成本高，也限制了模型快速迭代和持續(xù)優(yōu)化的可能性。

6、4.?多模態(tài)處理復(fù)雜：相比單純的文本模型，多模態(tài)大模型需要處理圖像、音頻等非文本數(shù)據(jù)，并實(shí)現(xiàn)跨模態(tài)的理解和生成。這使得垂域多模態(tài)大模型的訓(xùn)練和優(yōu)化更加復(fù)雜，對數(shù)據(jù)質(zhì)量和訓(xùn)練方法提出了更高要求。

7、5.?對齊訓(xùn)練困難：確保垂域大模型生成的內(nèi)容符合人類偏好和行業(yè)標(biāo)準(zhǔn)，需要進(jìn)行對齊訓(xùn)練。傳統(tǒng)的對齊訓(xùn)練方法需要大量人工標(biāo)注的對齊數(shù)據(jù)，這在專業(yè)領(lǐng)域尤其困難且成本高昂。

8、現(xiàn)有技術(shù)中，業(yè)界通常采用人工收集和標(biāo)注的方式構(gòu)建垂域訓(xùn)練數(shù)據(jù)，然后采用監(jiān)督式微調(diào)和人工反饋的強(qiáng)化學(xué)習(xí)方法來優(yōu)化模型。這種方法不僅耗時(shí)耗力，且難以持續(xù)迭代優(yōu)化，最終影響了垂域多模態(tài)大模型的落地應(yīng)用效果。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的不足之處，本發(fā)明旨在通過自動(dòng)化數(shù)據(jù)構(gòu)建、質(zhì)量評(píng)估、對齊訓(xùn)練和迭代優(yōu)化，建立了一套完整的垂域多模態(tài)大模型優(yōu)化方法，不僅大幅降低了垂域模型的開發(fā)成本和周期，還顯著提升了模型性能，為垂域多模態(tài)大模型的廣泛應(yīng)用奠定了技術(shù)基礎(chǔ)。

2、為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的技術(shù)方案包括：

3、面向垂域的多模態(tài)大模型優(yōu)化方法，包括步驟：

4、s1.選擇適用于目標(biāo)垂域的目標(biāo)多模態(tài)大模型；獲取目標(biāo)垂域的知識(shí)數(shù)據(jù)構(gòu)建第一數(shù)據(jù)集；

5、s2.構(gòu)建提示詞模板用于引導(dǎo)第一大模型分別基于所述第一數(shù)據(jù)集和目標(biāo)垂域的任務(wù)特征生成問答對集合；

6、s3.設(shè)定評(píng)價(jià)規(guī)則引導(dǎo)第二大模型對所述問答對集合中的問答對進(jìn)行質(zhì)量評(píng)價(jià)，篩選質(zhì)量評(píng)價(jià)高于預(yù)設(shè)閾值的問答對構(gòu)建目標(biāo)問答對集合；

7、s4.將所述目標(biāo)問答對集合作為對齊正樣本，并基于所述目標(biāo)問答對集合引導(dǎo)第三大模型生成對齊負(fù)樣本，將所述對齊正樣本和所述對齊負(fù)樣本集合為對齊訓(xùn)練集；

8、s5.利用所述目標(biāo)問答對集合完成目標(biāo)大模型的監(jiān)督式微調(diào)訓(xùn)練，利用對齊訓(xùn)練集完成目標(biāo)大模型的對齊訓(xùn)練；

9、s6.重復(fù)步驟s2-s5，完成目標(biāo)大模型的迭代訓(xùn)練。

10、優(yōu)選的，步驟s2包括：

11、s21.構(gòu)建第一提示詞模板用于引導(dǎo)第一大模型從所述第一數(shù)據(jù)集的知識(shí)中抽取第一問答對集合；

12、s22.基于目標(biāo)垂域的任務(wù)特征，構(gòu)建第二提示詞模板用于引導(dǎo)第一大模型根據(jù)所述任務(wù)特征生成查詢問題集合，并根據(jù)所述查詢問題集合生成第二問答對集合。

13、優(yōu)選的，步驟s4中的對齊負(fù)樣本生成方法包括：將所述問答對集合的問題抽取為第一問題集合，輸入第三大模型中生成對齊負(fù)樣本。

14、優(yōu)選的，步驟s3還包括：將所述目標(biāo)問答對集合加入所述第一數(shù)據(jù)集，重復(fù)步驟s2-s3，對所述目標(biāo)問答對集合進(jìn)行迭代優(yōu)化。

15、優(yōu)選的，步驟s1中知識(shí)數(shù)據(jù)的獲取方法包括：

16、獲取目標(biāo)垂域的關(guān)鍵詞，根據(jù)所述關(guān)鍵詞檢索獲取網(wǎng)絡(luò)公開數(shù)據(jù)，構(gòu)建第三提示詞模板引導(dǎo)第四大模型根據(jù)所述網(wǎng)絡(luò)公開數(shù)據(jù)生成第三問答對集合，作為知識(shí)數(shù)據(jù)加入第一數(shù)據(jù)集。

17、優(yōu)選的，所述第一大模型、第二大模型、第三大模型為完成訓(xùn)練的多模態(tài)大模型和目標(biāo)大模型中的任一種。

18、優(yōu)選的，所述第一數(shù)據(jù)集包含文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)和/或視頻數(shù)據(jù)中的至少一種；當(dāng)?shù)谝粩?shù)據(jù)集包含非文本數(shù)據(jù)時(shí)，所述提示詞模板包括引導(dǎo)第一大模型對非文本數(shù)據(jù)進(jìn)行分析和描述，并基于該分析和描述生成問答對的指令。

19、有益效果

20、1.?顯著降低數(shù)據(jù)構(gòu)建成本：本發(fā)明通過利用已有大模型自動(dòng)化構(gòu)建垂域知識(shí)數(shù)據(jù)集，有效解決了專業(yè)領(lǐng)域數(shù)據(jù)獲取困難的問題。特別是利用提示詞模板引導(dǎo)第一大模型基于第一數(shù)據(jù)集和任務(wù)特征生成問答對集合，大幅降低了人工標(biāo)注成本，實(shí)現(xiàn)了高質(zhì)量訓(xùn)練數(shù)據(jù)的自動(dòng)化生成。

21、2.?提高數(shù)據(jù)質(zhì)量：本發(fā)明設(shè)定評(píng)價(jià)規(guī)則引導(dǎo)第二大模型對生成的問答對進(jìn)行質(zhì)量評(píng)價(jià)，通過閾值篩選機(jī)制確保了訓(xùn)練數(shù)據(jù)的高質(zhì)量，避免了低質(zhì)量數(shù)據(jù)對模型訓(xùn)練的負(fù)面影響。這種自動(dòng)化的數(shù)據(jù)質(zhì)量評(píng)估方法，替代了傳統(tǒng)的人工篩選過程，既提高了效率，又保證了數(shù)據(jù)質(zhì)量的客觀性和一致性。

22、3.?優(yōu)化對齊訓(xùn)練過程：本發(fā)明創(chuàng)新性地提出了將目標(biāo)問答對集合作為對齊正樣本，并基于此引導(dǎo)第三大模型生成對齊負(fù)樣本的方法，自動(dòng)構(gòu)建對齊訓(xùn)練集。這解決了對齊訓(xùn)練數(shù)據(jù)難以獲取的問題，確保了模型行為與人類偏好和行業(yè)標(biāo)準(zhǔn)的一致性。

23、4.?實(shí)現(xiàn)迭代自優(yōu)化：通過重復(fù)執(zhí)行數(shù)據(jù)生成、評(píng)估篩選、訓(xùn)練優(yōu)化的過程，本發(fā)明建立了一個(gè)自我優(yōu)化的閉環(huán)系統(tǒng)。這種迭代訓(xùn)練機(jī)制使得模型能夠持續(xù)學(xué)習(xí)和改進(jìn)，逐步提升在特定垂域的性能，大大減少了人工干預(yù)的需求。

24、5.?提升多模態(tài)處理能力：本發(fā)明專門針對多模態(tài)數(shù)據(jù)的處理設(shè)計(jì)了特定的提示詞模板，能夠引導(dǎo)模型對非文本數(shù)據(jù)進(jìn)行分析和描述，并基于此生成高質(zhì)量問答對。這顯著增強(qiáng)了模型處理和理解多模態(tài)數(shù)據(jù)的能力，使其在包含圖像、音頻等多種模態(tài)的垂域應(yīng)用中表現(xiàn)更佳。

25、6.?適應(yīng)性廣泛：本發(fā)明的方法具有廣泛的適應(yīng)性，可應(yīng)用于法律、醫(yī)療、金融、教育等多個(gè)垂域，通過簡單調(diào)整提示詞模板和評(píng)價(jià)規(guī)則，即可針對不同領(lǐng)域的特定需求進(jìn)行優(yōu)化。

技術(shù)特征：

1.面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于，包括步驟：

2.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于，步驟s2包括：

3.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于，步驟s4中的對齊負(fù)樣本生成方法包括：將所述問答對集合的問題抽取為第一問題集合，輸入第三大模型中生成對齊負(fù)樣本。

4.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于，步驟s3還包括：將所述目標(biāo)問答對集合加入所述第一數(shù)據(jù)集，重復(fù)步驟s2-s3，對所述目標(biāo)問答對集合進(jìn)行迭代優(yōu)化。

5.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于，步驟s1中知識(shí)數(shù)據(jù)的獲取方法包括：

6.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于：所述第一大模型、第二大模型、第三大模型為完成訓(xùn)練的多模態(tài)大模型和目標(biāo)大模型中的任一種。

7.如權(quán)利要求1所述的面向垂域的多模態(tài)大模型優(yōu)化方法，其特征在于：所述第一數(shù)據(jù)集包含文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)和/或視頻數(shù)據(jù)中的至少一種；當(dāng)?shù)谝粩?shù)據(jù)集包含非文本數(shù)據(jù)時(shí)，所述提示詞模板包括引導(dǎo)第一大模型對非文本數(shù)據(jù)進(jìn)行分析和描述，并基于該分析和描述生成問答對的指令。

技術(shù)總結(jié)
本發(fā)明公開了面向垂域的多模態(tài)大模型優(yōu)化方法，包括：選擇適用于目標(biāo)垂域的目標(biāo)多模態(tài)大模型；獲取目標(biāo)垂域的知識(shí)數(shù)據(jù)構(gòu)建第一數(shù)據(jù)集；構(gòu)建提示詞模板用于引導(dǎo)第一大模型分別基于第一數(shù)據(jù)集和目標(biāo)垂域的任務(wù)特征生成問答對集合；設(shè)定評(píng)價(jià)規(guī)則引導(dǎo)第二大模型對問答對集合中的問答對進(jìn)行質(zhì)量評(píng)價(jià)，篩選質(zhì)量評(píng)價(jià)高于預(yù)設(shè)閾值的問答對構(gòu)建目標(biāo)問答對集合；將目標(biāo)問答對集合作為對齊正樣本，并基于目標(biāo)問答對集合引導(dǎo)第三大模型生成對齊負(fù)樣本，將對齊正樣本和對齊負(fù)樣本集合為對齊訓(xùn)練集；利用目標(biāo)問答對集合完成目標(biāo)大模型的監(jiān)督式微調(diào)訓(xùn)練，利用對齊訓(xùn)練集完成目標(biāo)大模型的對齊訓(xùn)練；重復(fù)上述步驟，完成目標(biāo)大模型的迭代訓(xùn)練。

技術(shù)研發(fā)人員：沈復(fù)民,付霞,張靜然,徐潔,謝治宇,申恒濤
受保護(hù)的技術(shù)使用者：南京碼極客科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15