本發(fā)明屬于語音識別，更具體地說，特別涉及一種智能化語音識別方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、在當今競爭激烈的商業(yè)環(huán)境中，客戶服務(wù)質(zhì)量是企業(yè)立足市場的關(guān)鍵因素之一。當客戶撥打客服電話時，如何高效地理解客戶需求，提供精準服務(wù)，成為企業(yè)關(guān)注的重點。

2、雖然早期的語音識別技術(shù)已被應(yīng)用于客服領(lǐng)域，能夠?qū)崿F(xiàn)簡單的語音轉(zhuǎn)文字功能，但這種技術(shù)存在很大局限性。它僅僅停留在對語音內(nèi)容的表面轉(zhuǎn)換，無法深入分析客戶語音中的潛在意圖和情緒變化。例如，當客戶在咨詢產(chǎn)品時，可能會通過語氣、語調(diào)等方式表達出對產(chǎn)品的興趣或疑慮，但傳統(tǒng)語音識別技術(shù)往往無法捕捉這些情緒信號。

3、對于企業(yè)來說，準確識別出有意向購買產(chǎn)品的客戶較為重要。然而，現(xiàn)有的語音識別手段通常無法結(jié)合關(guān)鍵詞和客戶情緒波動來綜合判斷客戶的購買意向。在實際通話中，客戶可能不會直接表明購買意向，而是通過一些關(guān)鍵詞和特定的情緒表達來透露其潛在需求。如果不能有效分析這些信息，企業(yè)就可能錯失銷售機會。

技術(shù)實現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提供了一種智能化語音識別方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中，傳統(tǒng)的語音識別方法通常無法結(jié)合關(guān)鍵詞和客戶情緒波動來綜合判斷客戶的購買意向的技術(shù)問題。

2、本發(fā)明的一種智能化語音識別方法、系統(tǒng)、計算機設(shè)備及存儲介質(zhì)的目的與功效，由以下具體技術(shù)手段所達成：

3、一種智能化語音識別方法，包括有以下步驟：

4、s101：獲取歷史客戶通話錄音數(shù)據(jù)，對歷史客戶通話錄音數(shù)據(jù)進行歷史id標記，歷史id標記表示為1,2,3...,l，歷史客戶通話錄音數(shù)據(jù)為過往客戶撥打客服電話時保存的錄音數(shù)據(jù)，對歷史客戶通話錄音數(shù)據(jù)的內(nèi)容進行語音-文本轉(zhuǎn)換，將歷史客戶通話錄音數(shù)據(jù)轉(zhuǎn)換為歷史錄音文本數(shù)據(jù)，建立動態(tài)關(guān)鍵詞庫，對歷史錄音文本數(shù)據(jù)中具有購買意愿的關(guān)鍵詞進行關(guān)鍵詞標記，從而獲取購買意向關(guān)鍵詞,建立購買意向關(guān)鍵詞向量；

5、s102：基于歷史客戶通話錄音數(shù)據(jù)提取通話音頻信號，基于通話音頻信號獲取客戶語調(diào)頻率向量，用于反映客戶的情緒變化，基于通話音頻信號獲取客戶音量強度向量，用于區(qū)分客戶的情緒，基于通話音頻信號獲取客戶語速，用于反應(yīng)客戶的情緒狀態(tài)，基于客戶語調(diào)頻率向量、客戶音量強度向量與客戶語速獲取綜合情緒特征數(shù)據(jù)；

6、s103：建立關(guān)鍵詞-情緒訓練模型，將關(guān)鍵詞-情緒訓練模型與動態(tài)關(guān)鍵詞庫關(guān)聯(lián)，將綜合情緒特征數(shù)據(jù)與購買意向關(guān)鍵詞向量導入至關(guān)鍵詞-情緒訓練模型中，基于對關(guān)鍵詞-情緒訓練模型的訓練導出關(guān)鍵詞-情緒模型，關(guān)鍵詞-情緒模型輸出為情緒可信概率與關(guān)鍵詞匹配概率，情緒可信概率表示為客戶語音中情緒的可信度，關(guān)鍵詞匹配概率表示為客戶語音中購買意向關(guān)鍵詞與動態(tài)關(guān)鍵詞庫的關(guān)聯(lián)度；

7、s104:當新客戶撥打客服電話后，通過電話語音采集接口對新客戶的電話語音進行采集，獲取新客戶語音數(shù)據(jù)，對新客戶語音數(shù)據(jù)進行預處理，同時，對新客戶進行新客id標記；

8、s105：計算獲取新客戶語音數(shù)據(jù)的綜合情緒特征數(shù)據(jù)，基于新客戶語音數(shù)據(jù)的綜合情緒特征數(shù)據(jù)建立情緒變化曲線，基于情緒變化曲線獲取情緒峰值，同時，將新客戶語音數(shù)據(jù)導入至關(guān)鍵詞-情緒模型中，基于關(guān)鍵詞-情緒模型獲取情緒可信概率與關(guān)鍵詞匹配概率，基于情緒可信概率、關(guān)鍵詞匹配概率及情緒峰值獲取綜合意向評分；

9、s106：對綜合意向評分進行判斷對比，進行意愿等級標記，意愿等級標記包括有強烈意愿、普通意愿與無意愿，購買意愿標記與新客id相匹配，判斷對比公式為：

10、

11、其中，sint表示為綜合意向評分，θ1表示為強烈意愿閾值，θ2表示為普通意愿閾值；

12、s1061：若新客戶意愿等級為強烈意愿，則立即向工作人員發(fā)送重要提醒，提示重點跟進；

13、s1062：若新客戶意愿等級為普通意愿，則向工作人員發(fā)送普通提醒，提示工作人員留意；

14、s1063：若新客戶意愿等級為無意愿，則不動作；

15、對一名新客戶完成意愿等級標記后，重復進入至s104步驟。

16、作為本發(fā)明的進一步方案，建立關(guān)鍵詞-情緒訓練模型，包括：

17、構(gòu)建關(guān)鍵詞-情緒訓練模型框架，關(guān)鍵詞-情緒訓練模型框架包括有特征提取層與輸出層，特征提取層基于lstm進行創(chuàng)建，輸出層用于輸出情緒可信概率與關(guān)鍵詞匹配概率，基于關(guān)鍵詞-情緒訓練模型框架生成關(guān)鍵詞-情緒訓練模型，將關(guān)鍵詞-情緒訓練模型與動態(tài)關(guān)鍵詞庫關(guān)聯(lián)；

18、定義關(guān)鍵詞交叉熵損失函數(shù)，定義情緒交叉熵損失函數(shù)，基于關(guān)鍵詞交叉熵損失函數(shù)與情緒交叉熵損失函數(shù)定義聯(lián)合損失函數(shù)，聯(lián)合損失函數(shù)可表示為：

19、

20、其中，δ表示為聯(lián)合損失函數(shù)，ykey表示為關(guān)鍵詞交叉熵損失函數(shù)，yemotion表示為情緒交叉熵損失函數(shù)，與β表示為超參數(shù)；

21、將綜合情緒特征數(shù)據(jù)與購買意向關(guān)鍵詞向量作為訓練集導入至關(guān)鍵詞-情緒訓練模型，令關(guān)鍵詞-情緒訓練模型進行循環(huán)迭代訓練，當達到最大迭代次數(shù)時，導出關(guān)鍵詞-情緒模型。

22、作為本發(fā)明的進一步方案，獲取時間序列，時間序列為新客戶語音數(shù)據(jù)的時長，基于時間序列與新客戶語音數(shù)據(jù)的綜合情緒特征數(shù)據(jù)計算情緒變化曲線，情緒變化曲線計算公式為：

23、

24、其中，c(q)表示為情緒變化曲線，q表示為新客戶語音數(shù)據(jù)的時長，fmain(dsq)表示為與新客id標記相對應(yīng)的在時間q時刻處的通話音頻信號的主頻率，p(dsq)表示為與新客id標記相對應(yīng)的在時間q時刻處的通話音頻信號的能量，speed(ds)表示為與新客id標記相對應(yīng)的通話音頻信號的客戶語速，v為比例系數(shù)，s為新客id標記；

25、提取情緒變化曲線中的峰值作為情緒峰值，基于情緒可信概率、關(guān)鍵詞匹配概率及情緒峰值獲取綜合意向評分，計算公式為：

26、

27、其中，sint表示為綜合意向評分，sk表示為情緒可信概率，se表示為關(guān)鍵詞匹配概率，z表示為比例系數(shù)，λ表示為權(quán)重系數(shù)，cpeak表示為情緒峰值。

28、作為本發(fā)明的進一步方案，基于情緒音頻特征中的語調(diào)頻率向量、音量強度向量與語速獲取綜合情緒特征，包括：

29、在獲取客戶語調(diào)頻率向量時，對通話音頻信號進行分幀操作，將每幀長度設(shè)定為35ms，對每幀通話音頻信號執(zhí)行傅里葉變換，則將每幀通話音頻信號轉(zhuǎn)換為頻域信號，對傅里葉變換后的每幀通話音頻信號進行主頻率計算，計算公式為：

30、

31、其中，fmain(dli)表示為第i幀通話音頻信號的主頻率，f(dli)(w)表示為第i幀的通話音頻信號在頻域的幅值譜，w表示為頻率值，l表示歷史id標記，dli表示為與歷史id標記相對應(yīng)的第i幀的通話音頻信號，基于每幀通話音頻信號的主頻率獲取客戶語調(diào)頻率向量；

32、在獲取客戶音量強度向量時，對通話音頻信號進行分幀操作，將每幀長度設(shè)定為35ms，對每幀通話音頻信號進行能量計算，計算公式為：

33、

34、其中，p(dli)表示為第i幀的通話音頻信號的能量，t表示第i幀的通話音頻信號的總時長，a表示為常數(shù)，oli(dli)表示為與歷史id標記相對應(yīng)的第i幀的通話音頻信號的振幅，同時，將每幀通話音頻信號的能量轉(zhuǎn)換為分貝單位，基于每幀通話音頻信號的音頻信號能量獲取客戶音量強度向量；

35、在獲取客戶語速時，基于whisper?asr模型進行語音-文本轉(zhuǎn)換操作，獲取文本序列，統(tǒng)計文本序列中的詞匯數(shù)，基于轉(zhuǎn)換后的文本序列進行語速計算，計算公式為：

36、

37、其中，speed(dl)表示為與歷史id標記相對應(yīng)的通話音頻信號的客戶語速，words(dl)表示為與歷史id標記相對應(yīng)的通話音頻信號的詞匯數(shù)，time(dl)表示為與歷史id標記相對應(yīng)的通話音頻信號的的總時長。

38、作為本發(fā)明的進一步方案，獲取歷史客戶通話錄音數(shù)據(jù)時，對歷史客戶通話錄音數(shù)據(jù)進行數(shù)據(jù)質(zhì)量檢查，對損壞、靜音的歷史客戶通話錄音數(shù)據(jù)及歷史客戶通話錄音數(shù)據(jù)中存在重復音頻的片段進行清洗，保留正常的歷史客戶通話錄音數(shù)據(jù)，基于whisper?asr模型執(zhí)行語音-文本轉(zhuǎn)換操作，將歷史客戶通話錄音數(shù)據(jù)轉(zhuǎn)換為歷史錄音文本數(shù)據(jù)；

39、定義動態(tài)關(guān)鍵詞庫k＝{k1,k2...,km}，包括可能表明購買意向的詞匯，其中，k為定義關(guān)鍵詞，m為定義關(guān)鍵詞的總數(shù)，定義關(guān)鍵詞用于與歷史錄音文本數(shù)據(jù)進行對比匹配操作，實現(xiàn)關(guān)鍵詞標記操作，獲取購買意向關(guān)鍵詞。

40、作為本發(fā)明的進一步方案，定義關(guān)鍵詞庫，包括：

41、基于分詞算法對轉(zhuǎn)換后的歷史錄音文本數(shù)據(jù)進行分詞，分詞結(jié)束后，對所有分詞結(jié)果進行合并并統(tǒng)計詞頻，基于預設(shè)閾值與詞頻對分詞結(jié)果進行篩選，從而獲取高頻詞匯；

42、提取高頻詞匯所屬的語句，并對語句進行情感分類，基于語句情感對高頻詞匯進行情感標注，標注分為正向關(guān)鍵詞與負向關(guān)鍵詞，對負向關(guān)鍵詞進行清洗，保留正向關(guān)鍵詞，基于bert語言模型對正向關(guān)鍵詞進行擴展，獲取擴展關(guān)聯(lián)詞，基于正向關(guān)鍵詞與擴展關(guān)聯(lián)詞建立動態(tài)關(guān)鍵詞庫。

43、作為本發(fā)明的進一步方案，對新客戶語音數(shù)據(jù)進行預處理，包括：

44、采用動態(tài)噪聲抑制對新客戶語音數(shù)據(jù)中的噪聲進行抑制，并且采用端點檢測對新客戶語音數(shù)據(jù)的有聲音段進行起始時間與終止時間進行標記，刪除起始時間與終止時間外的語音數(shù)據(jù)，并合并時間間隔過短的靜音段。

45、一種智能化語音識別系統(tǒng)，包括：

46、數(shù)據(jù)模塊，用于獲取歷史客戶通話錄音數(shù)據(jù)；

47、詞庫模塊，用于建立動態(tài)關(guān)鍵詞庫；

48、訓練模塊，用于建立關(guān)鍵詞-情緒訓練模型，基于動態(tài)關(guān)鍵詞庫、綜合情緒特征數(shù)據(jù)與購買意向關(guān)鍵詞向量對關(guān)鍵詞-情緒訓練模型進行訓練，導出關(guān)鍵詞-情緒模型，關(guān)鍵詞-情緒模型輸出情緒可信概率與關(guān)鍵詞匹配概率；

49、標記模塊，用于對歷史客戶通話錄音數(shù)據(jù)進行歷史id標記，且可對新客戶進行新客id標記，同時，可基于綜合意向評分進行意愿等級標記；

50、電話語音采集接口，當新客戶撥打客服電話時，對新客戶的電話語音進行實時采集，并將采集數(shù)據(jù)轉(zhuǎn)發(fā)至處理模塊中；

51、處理模塊，用于對歷史客戶通話錄音數(shù)據(jù)的內(nèi)容進行語音-文本轉(zhuǎn)換，建立購買意向關(guān)鍵詞向量，并基于歷史客戶通話錄音數(shù)據(jù)獲取綜合情緒特征數(shù)據(jù)；

52、用于接收電話語音采集接口轉(zhuǎn)發(fā)的新客戶語音數(shù)據(jù)，基于新客戶語音數(shù)據(jù)計算新客戶語音數(shù)據(jù)的綜合情緒特征數(shù)據(jù)，建立情緒變化曲線，獲取情緒峰值，同時，將新客戶語音數(shù)據(jù)導入至關(guān)鍵詞-情緒模型中，基于關(guān)鍵詞-情緒模型獲取情緒可信概率與關(guān)鍵詞匹配概率，基于情緒可信概率、關(guān)鍵詞匹配概率及情緒峰值獲取綜合意向評分；

53、比對模塊，用于將綜合意向評分進行判斷對比，并基于意愿等級標記執(zhí)行相關(guān)動作。

54、一種計算機設(shè)備，包括：

55、至少一個存儲器與處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)本發(fā)明實施例一提出的方法。

56、一種存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)本發(fā)明實施例一提出的方法。

57、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：

58、首先，獲取歷史客戶通話錄音數(shù)據(jù)，對其進行歷史id標記，建立動態(tài)關(guān)鍵詞庫，對歷史錄音文本數(shù)據(jù)中具有購買意愿的關(guān)鍵詞進行關(guān)鍵詞標記，從而建立購買意向關(guān)鍵詞向量，然后，提取通話音頻信號，獲取客戶語調(diào)頻率向量、客戶音量強度向量與客戶語速，獲取綜合情緒特征數(shù)據(jù)，隨后，建立關(guān)鍵詞-情緒訓練模型，基于對關(guān)鍵詞-情緒訓練模型的訓練導出關(guān)鍵詞-情緒模型，可通過關(guān)鍵詞-情緒模型輸出情緒可信概率與關(guān)鍵詞匹配概率，當新客戶撥打客服電話后，獲取新客戶語音數(shù)據(jù)，并且對新客戶進行新客id標記，最后，建立情緒變化曲線，從情緒變化曲線中獲取情緒峰值，同時，將新客戶語音數(shù)據(jù)導入至關(guān)鍵詞-情緒模型中，獲取情緒可信概率與關(guān)鍵詞匹配概率，基于情緒可信概率、關(guān)鍵詞匹配概率及情緒峰值獲取綜合意向評分，通過對綜合意向評分的對比判斷進行意愿等級標記，通過對新客戶的意愿等級標記，令工作人員可快速接收到具有強烈意愿與普通意愿的新客戶的提醒，方便工作人員后續(xù)繼續(xù)進行回訪銷售，且該方法可令工作人員更高效地理解客戶需求，提升了便利性，解決了傳統(tǒng)的語音識別方法通常無法結(jié)合關(guān)鍵詞和客戶情緒波動來綜合判斷客戶的購買意向的問題。