本發(fā)明涉及內(nèi)容生產(chǎn)，具體涉及一種基于人工智能的新媒體多模態(tài)內(nèi)容生產(chǎn)的方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能的發(fā)展，越來(lái)越多的人選擇使用人工智能輔助自己創(chuàng)作；例如，通過(guò)人工智能來(lái)生產(chǎn)關(guān)于新媒體多模態(tài)內(nèi)容，在創(chuàng)作中能夠大幅提高生產(chǎn)效率，幫助創(chuàng)作者迅速生成多樣化的內(nèi)容，拓展創(chuàng)意邊界并滿足個(gè)性化需求；

2、在通過(guò)人工智能進(jìn)行新媒體多模態(tài)內(nèi)容生產(chǎn)時(shí)，一般是用戶輸入所生產(chǎn)的新媒體多模態(tài)內(nèi)容相關(guān)的生產(chǎn)需求指令來(lái)進(jìn)行多模態(tài)內(nèi)容生產(chǎn)，其中為了更方便用戶輸入需求，有些可以選擇通過(guò)語(yǔ)音輸入來(lái)進(jìn)行生產(chǎn)需求指令的確定，減少用戶文字輸入的時(shí)間和操作負(fù)擔(dān)；通過(guò)將語(yǔ)音指令轉(zhuǎn)換為文字，并從轉(zhuǎn)化為文字的語(yǔ)音指令識(shí)別并分解成若干子任務(wù)，通過(guò)識(shí)別每個(gè)子任務(wù)的生成要求，來(lái)生成對(duì)應(yīng)子任務(wù)的內(nèi)容，最終組合生成新媒體多模態(tài)內(nèi)容，并根據(jù)后續(xù)用戶的意見(jiàn)不斷地優(yōu)化所生成的新媒體多模態(tài)內(nèi)容，直到滿足用戶的要求；

3、然而在新媒體多模態(tài)內(nèi)容生產(chǎn)時(shí)，上述的生產(chǎn)方式存在以下問(wèn)題：

4、1、有些子任務(wù)是依賴于別的子任務(wù)執(zhí)行的，即有些子任務(wù)只有所依賴的子任務(wù)對(duì)應(yīng)內(nèi)容生成后，才可在依賴的子任務(wù)生成內(nèi)容的基礎(chǔ)上進(jìn)行內(nèi)容生成，若直接根據(jù)單獨(dú)的對(duì)每個(gè)子任務(wù)簡(jiǎn)單的進(jìn)行內(nèi)容生成再進(jìn)行組合，可能會(huì)導(dǎo)致最終生成的多模態(tài)內(nèi)容生產(chǎn)不連貫；

5、2、另外，如果子任務(wù)對(duì)應(yīng)的內(nèi)容在生產(chǎn)時(shí)，若不能合理的安排對(duì)應(yīng)的生產(chǎn)先后順序，可能會(huì)導(dǎo)致最終新媒體多模態(tài)內(nèi)容的生產(chǎn)延遲，導(dǎo)致生產(chǎn)效率降低。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就在于解決上述所提出的問(wèn)題，提供一種基于人工智能的新媒體多模態(tài)內(nèi)容生產(chǎn)的方法及系統(tǒng)。

2、在本發(fā)明實(shí)施的第一方面，首先提出一種基于人工智能的新媒體多模態(tài)內(nèi)容生產(chǎn)的方法，所述方法包括：

3、將用戶輸入的語(yǔ)音指令識(shí)別為文字指令，并從文字指令中提取若干個(gè)關(guān)于多模態(tài)內(nèi)容生成的子任務(wù)，并根據(jù)各子任務(wù)構(gòu)建若干個(gè)任務(wù)鏈；所述任務(wù)鏈包含若干個(gè)子任務(wù)；

4、對(duì)于每一任務(wù)鏈，獲取任務(wù)鏈中所包含的子任務(wù)數(shù)量，并根據(jù)子任務(wù)的數(shù)量確定各任務(wù)鏈的任務(wù)簡(jiǎn)單值；

5、對(duì)于每一任務(wù)鏈，獲取任務(wù)鏈中各子任務(wù)在語(yǔ)音識(shí)別時(shí)的語(yǔ)音信號(hào)，并根據(jù)各子任務(wù)在語(yǔ)音識(shí)別時(shí)的語(yǔ)音信號(hào)計(jì)算對(duì)應(yīng)任務(wù)鏈的識(shí)別清晰值；

6、根據(jù)任務(wù)鏈的任務(wù)簡(jiǎn)單值和識(shí)別清晰值計(jì)算各任務(wù)鏈的優(yōu)先生成值，并將各任務(wù)鏈按照優(yōu)先生成值從大到小的順序進(jìn)行新媒體多模態(tài)內(nèi)容的生產(chǎn)。

7、可選地，根據(jù)各子任務(wù)構(gòu)建若干個(gè)任務(wù)鏈包括：

8、將每個(gè)子任務(wù)作為一個(gè)節(jié)點(diǎn)，構(gòu)建初步任務(wù)依賴圖，所述初步任務(wù)依賴圖包含若干個(gè)節(jié)點(diǎn)，且任意兩個(gè)節(jié)點(diǎn)之間沒(méi)有連接；

9、通過(guò)自然語(yǔ)言處理技術(shù)識(shí)別任意兩個(gè)子任務(wù)之間的依賴性，若兩個(gè)子任務(wù)之間存在依賴性，則在初步任務(wù)依賴圖中為這兩個(gè)子任務(wù)對(duì)應(yīng)的節(jié)點(diǎn)之間添加一條有向邊，表示一個(gè)子任務(wù)必須在另一個(gè)子任務(wù)執(zhí)行之后執(zhí)行；

10、將識(shí)別出的所有子任務(wù)之間依賴關(guān)系，并根據(jù)依賴關(guān)系連接初步任務(wù)依賴圖中子任務(wù)對(duì)應(yīng)的節(jié)點(diǎn)，形成最終任務(wù)依賴圖，且連接的邊為有向邊；

11、根據(jù)最終任務(wù)依賴圖中的分組，得到若干個(gè)獨(dú)立的任務(wù)鏈。

12、可選地，根據(jù)子任務(wù)的數(shù)量確定各任務(wù)鏈的任務(wù)簡(jiǎn)單值的步驟為：

13、在每一任務(wù)鏈中，獲取每個(gè)子任務(wù)所依賴的子任務(wù)數(shù)量，并將所以依賴的子任務(wù)數(shù)量作為對(duì)應(yīng)子任務(wù)的依賴值；計(jì)算所有子任務(wù)的依賴值之和，得到對(duì)應(yīng)任務(wù)鏈的依賴值；

14、根據(jù)每個(gè)任務(wù)鏈的依賴值和任務(wù)鏈對(duì)應(yīng)的任務(wù)數(shù)量計(jì)算各任務(wù)鏈的任務(wù)簡(jiǎn)單值。

15、可選地，根據(jù)各子任務(wù)在語(yǔ)音識(shí)別時(shí)的語(yǔ)音信號(hào)計(jì)算對(duì)應(yīng)任務(wù)鏈的識(shí)別清晰值的步驟為：

16、獲取每一任務(wù)鏈中所包含的子任務(wù)數(shù)量，并將子任務(wù)數(shù)量的倒數(shù)作為對(duì)應(yīng)任務(wù)鏈的任務(wù)簡(jiǎn)單值；

17、對(duì)于每一任務(wù)鏈中所包含的各子任務(wù)，獲取各子任務(wù)對(duì)應(yīng)的語(yǔ)音指令中的語(yǔ)音信號(hào)，并將語(yǔ)音信號(hào)作為時(shí)域信號(hào)；對(duì)時(shí)域信號(hào)進(jìn)行快速傅里葉變換，將其轉(zhuǎn)換為頻域信號(hào)；

18、對(duì)于頻域信號(hào)進(jìn)行幅度計(jì)算，得到每個(gè)頻率成分的幅度值，幅度值為頻域信號(hào)的模；

19、計(jì)算所有頻率成分的平均幅度值，并計(jì)算每個(gè)頻率成的幅度值和平均幅度值之間的絕對(duì)差值，計(jì)算所有絕對(duì)差值的均值，作為對(duì)應(yīng)子任務(wù)的識(shí)別清晰值；計(jì)算任務(wù)鏈中各子任務(wù)的識(shí)別清晰值均值作為任務(wù)鏈的識(shí)別清晰值。

20、可選地，根據(jù)任務(wù)鏈的任務(wù)簡(jiǎn)單值和識(shí)別清晰值計(jì)算各任務(wù)鏈的優(yōu)先生成值的步驟為：

21、，

22、式中，為優(yōu)先生成值，和分別為任務(wù)簡(jiǎn)單值和識(shí)別清晰值，、分別為和的預(yù)設(shè)比例系數(shù)，且、均大于0。

23、在本發(fā)明實(shí)施的第二方面，提出一種基于人工智能的新媒體多模態(tài)內(nèi)容生產(chǎn)的系統(tǒng)，所述系統(tǒng)包括：

24、任務(wù)鏈模塊：將用戶輸入的語(yǔ)音指令識(shí)別為文字指令，并從文字指令中提取若干個(gè)關(guān)于多模態(tài)內(nèi)容生成的子任務(wù)，并根據(jù)各子任務(wù)構(gòu)建若干個(gè)任務(wù)鏈；所述任務(wù)鏈包含若干個(gè)子任務(wù)；

25、任務(wù)簡(jiǎn)單模塊：對(duì)于每一任務(wù)鏈，獲取任務(wù)鏈中所包含的子任務(wù)數(shù)量，并根據(jù)子任務(wù)的數(shù)量確定各任務(wù)鏈的任務(wù)簡(jiǎn)單值；

26、識(shí)別清晰模塊：對(duì)于每一任務(wù)鏈，獲取任務(wù)鏈中各子任務(wù)在語(yǔ)音識(shí)別時(shí)的語(yǔ)音信號(hào)，并根據(jù)各子任務(wù)在語(yǔ)音識(shí)別時(shí)的語(yǔ)音信號(hào)計(jì)算對(duì)應(yīng)任務(wù)鏈的識(shí)別清晰值；

27、內(nèi)容生產(chǎn)模塊：根據(jù)任務(wù)鏈的任務(wù)簡(jiǎn)單值和識(shí)別清晰值計(jì)算各任務(wù)鏈的優(yōu)先生成值，并將各任務(wù)鏈按照優(yōu)先生成值從大到小的順序進(jìn)行新媒體多模態(tài)內(nèi)容的生產(chǎn)。

28、可選地，所述任務(wù)鏈模塊包括：

29、初步構(gòu)建模塊：將每個(gè)子任務(wù)作為一個(gè)節(jié)點(diǎn)，構(gòu)建初步任務(wù)依賴圖，所述初步任務(wù)依賴圖包含若干個(gè)節(jié)點(diǎn)，且任意兩個(gè)節(jié)點(diǎn)之間沒(méi)有連接；

30、添加模塊：通過(guò)自然語(yǔ)言處理技術(shù)識(shí)別任意兩個(gè)子任務(wù)之間的依賴性，若兩個(gè)子任務(wù)之間存在依賴性，則在初步任務(wù)依賴圖中為這兩個(gè)子任務(wù)對(duì)應(yīng)的節(jié)點(diǎn)之間添加一條有向邊，表示一個(gè)子任務(wù)必須在另一個(gè)子任務(wù)執(zhí)行之后執(zhí)行；

31、依賴圖模塊：將識(shí)別出的所有子任務(wù)之間依賴關(guān)系，并根據(jù)依賴關(guān)系連接初步任務(wù)依賴圖中子任務(wù)對(duì)應(yīng)的節(jié)點(diǎn)，形成最終任務(wù)依賴圖，且連接的邊為有向邊；

32、任務(wù)鏈確定模塊：根據(jù)最終任務(wù)依賴圖中的分組，得到若干個(gè)獨(dú)立的任務(wù)鏈。

33、可選地，所述任務(wù)簡(jiǎn)單模塊包括：

34、依賴值模塊：在每一任務(wù)鏈中，獲取每個(gè)子任務(wù)所依賴的子任務(wù)數(shù)量，并將所以依賴的子任務(wù)數(shù)量作為對(duì)應(yīng)子任務(wù)的依賴值；計(jì)算所有子任務(wù)的依賴值之和，得到對(duì)應(yīng)任務(wù)鏈的依賴值；

35、簡(jiǎn)單值計(jì)算模塊：根據(jù)每個(gè)任務(wù)鏈的依賴值和任務(wù)鏈對(duì)應(yīng)的任務(wù)數(shù)量計(jì)算各任務(wù)鏈的任務(wù)簡(jiǎn)單值。

36、可選地，所述識(shí)別清晰模塊包括：

37、頻域信號(hào)模塊：對(duì)于每一任務(wù)鏈中所包含的各子任務(wù)，獲取各子任務(wù)對(duì)應(yīng)的語(yǔ)音指令中的語(yǔ)音信號(hào)，并將語(yǔ)音信號(hào)作為時(shí)域信號(hào)；對(duì)時(shí)域信號(hào)進(jìn)行快速傅里葉變換，將其轉(zhuǎn)換為頻域信號(hào)；

38、幅度值計(jì)算模塊：對(duì)于頻域信號(hào)進(jìn)行幅度計(jì)算，得到每個(gè)頻率成分的幅度值，幅度值為頻域信號(hào)的模；

39、子任務(wù)識(shí)別清晰值模塊：計(jì)算所有頻率成分的平均幅度值，并計(jì)算每個(gè)頻率成的幅度值和平均幅度值之間的絕對(duì)差值，計(jì)算所有絕對(duì)差值的均值，作為對(duì)應(yīng)子任務(wù)的識(shí)別清晰值；

40、任務(wù)鏈識(shí)別清晰值模塊：計(jì)算任務(wù)鏈中各子任務(wù)的識(shí)別清晰值均值作為任務(wù)鏈的識(shí)別清晰值。

41、可選地，所述內(nèi)容生產(chǎn)模塊包括：

42、，

43、式中，為優(yōu)先生成值，和分別為任務(wù)簡(jiǎn)單值和識(shí)別清晰值，、分別為和的預(yù)設(shè)比例系數(shù)，且、均大于0。

44、本發(fā)明的有益效果：

45、1.本發(fā)明提出了一種基于人工智能的新媒體多模態(tài)內(nèi)容生產(chǎn)的方法及系統(tǒng)，通過(guò)將用戶輸入的語(yǔ)音指令識(shí)別為文字指令，并從文字指令中提取若干個(gè)關(guān)于多模態(tài)內(nèi)容生成的子任務(wù)，并根據(jù)各子任務(wù)構(gòu)建若干個(gè)任務(wù)鏈；任務(wù)鏈包含若干個(gè)子任務(wù)，并根據(jù)任務(wù)鏈對(duì)應(yīng)的任務(wù)生成通過(guò)人工智能來(lái)進(jìn)行新媒體多模態(tài)內(nèi)容的生產(chǎn)，這樣一來(lái)，能夠確保生成內(nèi)容的邏輯連貫性和順序正確性，避免了任務(wù)間的沖突和信息不一致，提升了最終生成的多模態(tài)內(nèi)容的整體質(zhì)量；同時(shí)進(jìn)一步減少后續(xù)對(duì)新媒體多模態(tài)內(nèi)容優(yōu)化的可能性，減少資源的浪費(fèi)。

46、2.對(duì)于每一任務(wù)鏈，計(jì)算對(duì)應(yīng)任務(wù)鏈的任務(wù)簡(jiǎn)單值和識(shí)別清晰值，并根據(jù)任務(wù)簡(jiǎn)單值和識(shí)別清晰值確定各任務(wù)鏈的優(yōu)先生成值；將各任務(wù)鏈按照優(yōu)先生成值從大到小的順序進(jìn)行新媒體多模態(tài)內(nèi)容的生產(chǎn)；這樣一來(lái)，且能合理的安排子任務(wù)對(duì)應(yīng)的生產(chǎn)先后順序，減小最終新媒體多模態(tài)內(nèi)容的生產(chǎn)不必要的延遲，提高生產(chǎn)效率。