本發(fā)明涉及語(yǔ)音融合，特別涉及一種基于普通話能力構(gòu)建多方言融合tts的方法。

背景技術(shù)：

1、大多數(shù)漢語(yǔ)方言都或多或少具有普通話不具有的聲調(diào)、韻母和聲母，應(yīng)用目前已有的技術(shù)開發(fā)一種方言tts(text?to?speech)需要生產(chǎn)足夠多的這種方言的音頻語(yǔ)料來(lái)搭建后端。然而，高質(zhì)量的方言音頻往往很難收集到，現(xiàn)有的技術(shù)要穩(wěn)定可控地合成自然的方言語(yǔ)音，需要投入較高的成本。

2、因此，有必要提供一種基于普通話能力構(gòu)建多方言融合tts的方法，基于普通話能力、通過擴(kuò)展后端音素空間和復(fù)用多方言音頻語(yǔ)料，以降低開發(fā)方言tts的成本。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于普通話能力構(gòu)建多方言融合tts的方法，基于普通話能力、通過擴(kuò)展后端音素空間和復(fù)用多方言音頻語(yǔ)料，以降低開發(fā)方言tts的成本。

2、為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供了一種基于普通話能力構(gòu)建多方言融合tts的方法，包括以下步驟：

3、s1：采用音素標(biāo)記方言語(yǔ)音，以確定各種目標(biāo)方言的語(yǔ)音標(biāo)記方案；

4、s2：基于語(yǔ)音標(biāo)記方案預(yù)設(shè)目標(biāo)方言擴(kuò)展模塊；

5、s3：將文本輸入目標(biāo)方言文本正則化模塊得到全部字符可讀的文本，調(diào)用普通話tts的前端模塊將全部字符可讀的文本轉(zhuǎn)成前端信息，將所述前端信息輸入所述目標(biāo)方言擴(kuò)展模塊；

6、s4：所述目標(biāo)方言擴(kuò)展模塊將前端信息中的漢字普通話讀音修正為目標(biāo)方言讀音，以實(shí)現(xiàn)目標(biāo)方言前端數(shù)據(jù)的生成；

7、s5：綜合普通話和各種目標(biāo)方言語(yǔ)音標(biāo)記方案建立共用的后端音素空間，對(duì)普通話和各種方言創(chuàng)建不同的語(yǔ)言編號(hào)；

8、s6：基于普通話和各種方言的音頻數(shù)據(jù)、音素標(biāo)記以及語(yǔ)言編號(hào)訓(xùn)練具有多種方言能力的tts基礎(chǔ)模型。

9、可選的，在所述基于普通話能力構(gòu)建多方言融合tts的方法中，目標(biāo)方言擴(kuò)展模塊包括方言字音替換表、詞音替換表、方言變調(diào)規(guī)則、方言多音字消歧模型、方言詞調(diào)生成模型、方言聲調(diào)轉(zhuǎn)換表以及方言音節(jié)分析表。

10、可選的，在所述基于普通話能力構(gòu)建多方言融合tts的方法中，根據(jù)目標(biāo)方言及時(shí)更新tts基礎(chǔ)模型。

11、可選的，在所述基于普通話能力構(gòu)建多方言融合tts的方法中，更新tts基礎(chǔ)模型，包括以下步驟：

12、若目標(biāo)方言中的音素已經(jīng)全部存在于公用的后端音素空間中，則基于tts基礎(chǔ)模型訓(xùn)練，實(shí)現(xiàn)目標(biāo)方言語(yǔ)音合成；

13、若目標(biāo)方言中存在公用的后端音素空間之外的新音素，則更新公用的后端音素空間，同時(shí)收集更多的包含該新音素的數(shù)據(jù)，與之前訓(xùn)練tts基礎(chǔ)模型的數(shù)據(jù)共同重新訓(xùn)練得到更新后的tts基礎(chǔ)模型。

14、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

15、本發(fā)明基于普通話能力、通過擴(kuò)展后端音素空間和復(fù)用多方言音頻語(yǔ)料，降低了開發(fā)方言tts的成本。

技術(shù)特征：

1.一種基于普通話能力構(gòu)建多方言融合tts的方法，其特征在于，包括以下步驟：

2.如權(quán)利要求1所述的基于普通話能力構(gòu)建多方言融合tts的方法，其特征在于，目標(biāo)方言擴(kuò)展模塊包括方言字音替換表、詞音替換表、方言變調(diào)規(guī)則、方言多音字消歧模型、方言詞調(diào)生成模型、方言聲調(diào)轉(zhuǎn)換表以及方言音節(jié)分析表。

3.如權(quán)利要求1所述的基于普通話能力構(gòu)建多方言融合tts的方法，其特征在于，根據(jù)目標(biāo)方言及時(shí)更新tts基礎(chǔ)模型。

4.如權(quán)利要求3所述的基于普通話能力構(gòu)建多方言融合tts的方法，其特征在于，更新tts基礎(chǔ)模型，包括以下步驟：

技術(shù)總結(jié)
本發(fā)明涉及一種基于普通話能力構(gòu)建多方言融合TTS的方法，包括以下步驟：S1：采用音素標(biāo)記方言語(yǔ)音；S2：基于語(yǔ)音標(biāo)記方案預(yù)設(shè)目標(biāo)方言擴(kuò)展模塊；S3：將文本輸入目標(biāo)方言文本正則化模塊得到全部字符可讀的文本，調(diào)用普通話TTS的前端模塊將全部字符可讀的文本轉(zhuǎn)成前端信息，將所述前端信息輸入所述目標(biāo)方言擴(kuò)展模塊；S4：所述目標(biāo)方言擴(kuò)展模塊將前端信息中的漢字普通話讀音修正為目標(biāo)方言讀音；S5：綜合普通話和各種目標(biāo)方言語(yǔ)音標(biāo)記方案建立共用的后端音素空間，對(duì)普通話和各種方言創(chuàng)建不同的語(yǔ)言編號(hào)；S6：基于普通話和各種方言的音頻數(shù)據(jù)、音素標(biāo)記以及語(yǔ)言編號(hào)訓(xùn)練具有多種方言能力的TTS基礎(chǔ)模型。本發(fā)明可以降低開發(fā)方言TTS的成本。

技術(shù)研發(fā)人員：王奕樺,梁蕓銘,陳子浩,丁超凡
受保護(hù)的技術(shù)使用者：巨人移動(dòng)技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/4/7