本發(fā)明涉及網(wǎng)絡(luò)直播技術(shù)領(lǐng)域，具體涉及一種直播間視頻流合成控制方法、裝置及終端設(shè)備。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)及智能移動(dòng)終端設(shè)備的發(fā)展，各種互聯(lián)網(wǎng)產(chǎn)品給人們的工作、生活帶來(lái)了很多便利與娛樂(lè)，近年來(lái)，各類(lèi)用于視頻直播的直播平臺(tái)層出不窮，視頻直播給人們帶來(lái)更實(shí)時(shí)的社交體驗(yàn)。目前的直播平臺(tái)包括了用于移動(dòng)端的直播平臺(tái)和用于PC端的直播平臺(tái)。

由于視頻直播需求的多樣性，用戶(hù)需要同時(shí)直播多個(gè)移動(dòng)端的內(nèi)容或同時(shí)直播多個(gè)PC端的內(nèi)容或同時(shí)直播移動(dòng)端跟PC端的內(nèi)容，例如用戶(hù)開(kāi)始在PC端上直播，然后想暫時(shí)轉(zhuǎn)移直播場(chǎng)景至戶(hù)外，利用移動(dòng)端直播戶(hù)外此時(shí)發(fā)生的情況，在現(xiàn)有技術(shù)中，往往需要主播用戶(hù)在移動(dòng)端重新建立一個(gè)直播間開(kāi)啟戶(hù)外直播，然后原來(lái)直播間的觀(guān)看用戶(hù)需要重新進(jìn)入新的直播間后才能看到主播進(jìn)行的戶(hù)外直播，由于戶(hù)外直播是暫時(shí)性的，在戶(hù)外直播停止后，主播重新回到PC端直播，而觀(guān)看用戶(hù)又得重新進(jìn)入該主播的PC端的直播間，這種方式下主播用戶(hù)跟觀(guān)看用戶(hù)的操作過(guò)程繁瑣，無(wú)法給主播用戶(hù)跟觀(guān)看用戶(hù)帶來(lái)良好體驗(yàn)，降低直播平臺(tái)口碑，造成用戶(hù)流失。另外，例如主播用戶(hù)想要邀請(qǐng)好友、觀(guān)眾一起直播，在現(xiàn)在技術(shù)下，只有好友或觀(guān)眾亦是主播用戶(hù)才可以進(jìn)行一起直播。

所以，如何在多個(gè)終端同時(shí)直播的多源直播模式下更好地對(duì)多個(gè)來(lái)源的視頻流進(jìn)行管控，如何在多源直播模式下實(shí)現(xiàn)主播跟觀(guān)眾更好的互動(dòng)效果，并且如何對(duì)視頻流的合成進(jìn)行更好地控制以提升直播的質(zhì)量跟內(nèi)容是目前網(wǎng)絡(luò)視頻直播領(lǐng)域中亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的首要目的在于提供一種直播間視頻流合成控制方法及裝置。

本發(fā)明的另一目的在于提供一種實(shí)行、實(shí)現(xiàn)上述直播間視頻流合成控制方法的終端設(shè)備。

為實(shí)現(xiàn)該目的，本發(fā)明采用如下技術(shù)方案：

第一方面，本發(fā)明提供一種直播間視頻流合成控制方法，包括如下步驟：

顯示與第二視頻流個(gè)數(shù)相對(duì)應(yīng)的一個(gè)或多個(gè)視頻控件；

響應(yīng)作用于所述視頻控件的至少一個(gè)的選定指令，接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本地采集的第一視頻流合成為第三視頻流；

將所述第三視頻流上傳到服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流。

具體的，所述第一、第二、第三視頻流均包括圖像流和音頻流，所述第三視頻流包括第一視頻流、第二視頻流至少之一的圖像流，還包括該兩者至少之一的音頻流。

進(jìn)一步的，所述選定指令包括由主播用戶(hù)選擇至少一個(gè)視頻控件的選定指令，和根據(jù)預(yù)設(shè)規(guī)則選擇至少一個(gè)視頻控件的選定指令。

更進(jìn)一步的，所述選定指令還包括由主播用戶(hù)選用預(yù)設(shè)的多個(gè)排版布局之一作為第三視頻流的指定布局的選定指令。

具體的，所述排版布局包括第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局。

進(jìn)一步的，所述的方法還包括步驟：

響應(yīng)作用于所述第三視頻流在用戶(hù)界面上的排版布局的編輯指令，改變第三視頻流的圖像排版布局效果。

更進(jìn)一步的，所述的方法還包括步驟：

響應(yīng)作用于第二視頻流的音頻流的操作指令，打開(kāi)/關(guān)閉第二視頻流的音頻流或調(diào)整第二視頻流的音頻流的大小。

優(yōu)選的，所述接收第二視頻流的過(guò)程與采集本地的第一視頻流的過(guò)程與合成第三視頻流的過(guò)程與上傳第三視頻流的過(guò)程并行工作。

第二方面，本發(fā)明還提供一種直播間視頻流合成控制裝置，包括：

調(diào)用模塊：用于顯示與第二視頻流個(gè)數(shù)相對(duì)應(yīng)的一個(gè)或多個(gè)視頻控件；

合成模塊：用于響應(yīng)作用于所述視頻控件的至少一個(gè)的選定指令，接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本地采集的第一視頻流合成為第三視頻流；

上傳模塊：用于將所述第三視頻流上傳到服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流。

相應(yīng)的，本發(fā)明還提供一種執(zhí)行、實(shí)現(xiàn)上述直播間視頻流合成控制方法的終端設(shè)備，包括處理器、存儲(chǔ)器，所述處理器用于調(diào)用執(zhí)行以程序形式存儲(chǔ)于所述存儲(chǔ)器的上述直播間視頻流合成控制方法任意一項(xiàng)所述方法的步驟。

與現(xiàn)有技術(shù)相比，本發(fā)明具備如下優(yōu)點(diǎn)：

(1)本發(fā)明將主播終端配置為服務(wù)器終端，用以接收第二終端采集后直接發(fā)送至主播終端的第二視頻流，再由主播終端將所有視頻流合成推送至直播間的視頻流，直播間的觀(guān)眾用戶(hù)看到的視頻流與主播終端上的視頻流一致，保證了視頻流的同時(shí)性；

(2)同時(shí)，利用長(zhǎng)連接保持主播終端與第二終端的通信鏈路，對(duì)于多個(gè)來(lái)源的第二視頻流，在主播終端上選定連接任意一個(gè)第二視頻流后，接收被選定的第二視頻流，并且選擇連接任意一個(gè)第二視頻流的過(guò)程可通過(guò)隨機(jī)方式選擇且展示在直播畫(huà)面中，增強(qiáng)主播與觀(guān)眾用戶(hù)的互動(dòng)效果；

(3)再者，主播可調(diào)整合成的視頻流的畫(huà)面排版布局及音頻效果，以更好地突出直播內(nèi)容，營(yíng)造更好的直播效果。

顯然，上述有關(guān)本發(fā)明優(yōu)點(diǎn)的描述是概括性的，更多的優(yōu)點(diǎn)描述將體現(xiàn)在后續(xù)的實(shí)施例揭示中，以及，本領(lǐng)域技術(shù)人員也可以本發(fā)明所揭示的內(nèi)容合理地發(fā)現(xiàn)本發(fā)明的其他諸多優(yōu)點(diǎn)。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，這些將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。

【附圖說(shuō)明】

圖1為本發(fā)明直播間視頻流合成控制方法的一實(shí)施例流程示意圖；

圖2為本發(fā)明主播終端開(kāi)啟多源直播模式后的直播界面示意圖；

圖3為本發(fā)明選定連接2個(gè)第二視頻流后的第三視頻流的排版布局示意圖；

圖4為本發(fā)明直播間視頻流合成控制裝置的一實(shí)施例示意圖；

圖5是實(shí)現(xiàn)本發(fā)明所述直播間視頻流合成控制方法的系統(tǒng)示意圖。

【具體實(shí)施方式】

下面結(jié)合附圖和示例性實(shí)施例對(duì)本發(fā)明作進(jìn)一步地描述，其中附圖中相同的標(biāo)號(hào)全部指的是相同的部件。此外，如果已知技術(shù)的詳細(xì)描述對(duì)于示出本發(fā)明的特征是不必要的，則將其省略。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非特意聲明，這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是，本發(fā)明的說(shuō)明書(shū)中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件，但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。應(yīng)該理解，當(dāng)我們稱(chēng)元件被“連接”或“耦接”到另一元件時(shí)，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無(wú)線(xiàn)連接或無(wú)線(xiàn)耦接。這里使用的措辭“和/或”包括一個(gè)或更多個(gè)相關(guān)聯(lián)的列出項(xiàng)的全部或任一單元和全部組合。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，除非另外定義，這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))，具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是，諸如通用字典中定義的那些術(shù)語(yǔ)，應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會(huì)用理想化或過(guò)于正式的含義來(lái)解釋。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的“終端”、“終端設(shè)備”既包括無(wú)線(xiàn)信號(hào)接收器的設(shè)備，其僅具備無(wú)發(fā)射能力的無(wú)線(xiàn)信號(hào)接收器的設(shè)備，又包括接收和發(fā)射硬件的設(shè)備，其具有能夠在雙向通信鏈路上，執(zhí)行雙向通信的接收和發(fā)射硬件的設(shè)備。這種設(shè)備可以包括：蜂窩或其他通信設(shè)備，其具有單線(xiàn)路顯示器或多線(xiàn)路顯示器或沒(méi)有多線(xiàn)路顯示器的蜂窩或其他通信設(shè)備；PCS(Personal Communications Service，個(gè)人通信系統(tǒng))，其可以組合語(yǔ)音、數(shù)據(jù)處理、傳真和/或數(shù)據(jù)通信能力；PDA(Personal Digital Assistant，個(gè)人數(shù)字助理)，其可以包括射頻接收器、尋呼機(jī)、互聯(lián)網(wǎng)/內(nèi)聯(lián)網(wǎng)訪(fǎng)問(wèn)、網(wǎng)絡(luò)瀏覽器、記事本、日歷和/或GPS(Global Positioning System，全球定位系統(tǒng))接收器；常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備，其具有和/或包括射頻接收器的常規(guī)膝上型和/或掌上型計(jì)算機(jī)或其他設(shè)備。這里所使用的“終端”、“終端設(shè)備”可以是便攜式、可運(yùn)輸、安裝在交通工具(航空、海運(yùn)和/或陸地)中的，或者適合于和/或配置為在本地運(yùn)行，和/或以分布形式，運(yùn)行在地球和/或空間的任何其他位置運(yùn)行。這里所使用的“終端”、“終端設(shè)備”還可以是通信終端、上網(wǎng)終端、音樂(lè)/視頻播放終端，例如可以是PDA、MID(Mobile Internet Device，移動(dòng)互聯(lián)網(wǎng)設(shè)備)和/或具有音樂(lè)/視頻播放功能的移動(dòng)電話(huà)，也可以是智能電視、機(jī)頂盒等設(shè)備。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，這里所使用的遠(yuǎn)端網(wǎng)絡(luò)設(shè)備，其包括但不限于計(jì)算機(jī)、網(wǎng)絡(luò)主機(jī)、單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器集或多個(gè)服務(wù)器構(gòu)成的云。在此，云由基于云計(jì)算(Cloud Computing)的大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成，其中，云計(jì)算是分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)集組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)。本發(fā)明的實(shí)施例中，遠(yuǎn)端網(wǎng)絡(luò)設(shè)備、終端設(shè)備與WNS服務(wù)器之間可通過(guò)任何通信方式實(shí)現(xiàn)通信，包括但不限于，基于3GPP、LTE、WIMAX的移動(dòng)通信、基于TCP/IP、UDP協(xié)議的計(jì)算機(jī)網(wǎng)絡(luò)通信以及基于藍(lán)牙、紅外傳輸標(biāo)準(zhǔn)的近距無(wú)線(xiàn)傳輸方式。

本技術(shù)領(lǐng)域技術(shù)人員可以理解，本發(fā)明所述的用戶(hù)界面/操作界面泛指能夠用于向智能終端發(fā)送控制指令的顯示界面，例如，可以為Andro i d系統(tǒng)的設(shè)置頁(yè)面中的一個(gè)選項(xiàng)(或按鍵，由所述應(yīng)用程序添加其中，下同)，也可以是從桌面呼出的通知欄或者交互頁(yè)面中的一個(gè)選項(xiàng)，還可以是所述應(yīng)用程序的一個(gè)活動(dòng)組件所構(gòu)造的頁(yè)面中的一個(gè)選項(xiàng)。雖然上面已經(jīng)示出了本發(fā)明的一些示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明的原理或精神的情況下，可以對(duì)這些示例性實(shí)施例做出改變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明所稱(chēng)的“應(yīng)用”、“應(yīng)用程序”、“應(yīng)用軟件”以及類(lèi)似表述的概念，是業(yè)內(nèi)技術(shù)人員所公知的相同概念，是指由一系列計(jì)算機(jī)指令及相關(guān)數(shù)據(jù)資源有機(jī)構(gòu)造的適于電子運(yùn)行的計(jì)算機(jī)軟件。除非特別指定，這種命名本身不受編程語(yǔ)言種類(lèi)、級(jí)別，也不受其賴(lài)以運(yùn)行的操作系統(tǒng)或平臺(tái)所限制。理所當(dāng)然地，此類(lèi)概念也不受任何形式的終端所限制。

直播間：本發(fā)明所述直播間包括以下含義，①一種基于網(wǎng)絡(luò)直播平臺(tái)創(chuàng)建的一個(gè)虛擬空間(或虛擬房間)，直播間一般由主播客戶(hù)端創(chuàng)建并連接有多個(gè)觀(guān)看客戶(hù)端，即直播間中包括了主播及多個(gè)觀(guān)眾，位于該虛擬空間內(nèi)的觀(guān)看客戶(hù)端可以觀(guān)看主播客戶(hù)端的直播內(nèi)容，同時(shí)主播客戶(hù)端的用戶(hù)與觀(guān)看客戶(hù)端的用戶(hù)、觀(guān)看客戶(hù)端的用戶(hù)與觀(guān)看客戶(hù)端的用戶(hù)之間還可以進(jìn)行語(yǔ)音、圖片、文字或贈(zèng)送電子贈(zèng)品的互動(dòng)；②一種以群組方式將用戶(hù)聚合在一起的即時(shí)通訊平臺(tái)，例如視頻會(huì)議系統(tǒng)，用戶(hù)通過(guò)登錄客戶(hù)端的方式進(jìn)入群組，用戶(hù)在群組內(nèi)以群組成員的身份存在，同一個(gè)群組內(nèi)包含有多個(gè)群組成員，用戶(hù)可任意加入或退出群組，在群組內(nèi)，可以進(jìn)行文字、語(yǔ)音、視頻等多種互動(dòng)。

如圖1所示是本發(fā)明直播間視頻流合成控制方法的一實(shí)施例流程示意圖，包括如下步驟：

本實(shí)施例中，為了便于說(shuō)明，所述第一視頻流為以主播身份開(kāi)啟直播的主播用戶(hù)終端所采集的視頻流，所述第二視頻流為與主播終端連接的第二用戶(hù)終端所采集的視頻流。

步驟S100：顯示與第二視頻流個(gè)數(shù)相對(duì)應(yīng)的一個(gè)或多個(gè)視頻控件。

多源直播是指在一個(gè)直播畫(huà)面中同時(shí)存在有多個(gè)來(lái)源的視頻流的直播方式，該多個(gè)來(lái)源的視頻流可以是主播用戶(hù)利用多個(gè)拍攝設(shè)備采集的多個(gè)視頻流或主播用戶(hù)邀請(qǐng)其他用戶(hù)一起直播時(shí)的多個(gè)用戶(hù)終端采集的視頻流；在本實(shí)施例中，主播用戶(hù)開(kāi)啟多源直播模式，第二終端申請(qǐng)與主播終端連接以進(jìn)行多源直播，此時(shí)的主播終端被配置為服務(wù)器終端，用于接收第二終端發(fā)送而來(lái)的第二視頻流，在主播用戶(hù)確認(rèn)接收第二視頻流前，第二終端與主播終端以長(zhǎng)連接的形式保持雙方的通信鏈路連接，在長(zhǎng)連接保持期間，如果沒(méi)有視頻流數(shù)據(jù)的傳輸，需要第二終端每隔一段時(shí)間給主播終端發(fā)送一個(gè)心跳數(shù)據(jù)包以保持該長(zhǎng)鏈接，在主播用戶(hù)確認(rèn)接收第二視頻流后第二終端通過(guò)所述通信鏈路將第二視頻流發(fā)送至主播終端。

本實(shí)施例中，與主播終端保持長(zhǎng)連接的一個(gè)或多個(gè)第二終端(也即第二視頻流)以視頻控件的形式顯示在主播終端的用戶(hù)界面上，每一個(gè)視頻控件對(duì)應(yīng)一個(gè)第二視頻流的選擇入口，并且在所述視頻控件中還包含用于區(qū)分多個(gè)第二視頻流的特征信息，通過(guò)選擇視頻控件可以觸發(fā)接收對(duì)應(yīng)的第二視頻流，優(yōu)選的，所述特征信息為第二終端用戶(hù)在直播平臺(tái)上的用戶(hù)名。

如圖2所示是主播終端開(kāi)啟多源直播模式后的直播界面示意圖，圖2中示出4個(gè)第二終端申請(qǐng)與主播終端連接以進(jìn)行多源直播，在直播界面的上方以4個(gè)視頻控件顯示與主播終端保持長(zhǎng)連接的4個(gè)第二終端的第二視頻流，并且在視頻控件中添加了用于區(qū)分不同第二視頻流的特征信息，即第二終端用戶(hù)在直播平臺(tái)上的用戶(hù)名，如圖2中的“虎牙第一妖男”、“老邢姑娘sds”、“小人魚(yú)老司機(jī)”及“每天不一樣…”。

步驟S200：響應(yīng)作用于所述視頻控件的至少一個(gè)的選定指令，接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本機(jī)采集的第一視頻流合成為第三視頻流。

在顯示于主播終端用戶(hù)界面上的視頻控件，當(dāng)發(fā)生作用于所述視頻控件的至少一個(gè)的選定操作時(shí)，觸發(fā)相應(yīng)的選定指令，主播終端響應(yīng)于所述選定指令開(kāi)始接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本機(jī)采集的第一視頻流合成為第三視頻流。

所述選定指令的一種實(shí)施方式是，所述選定指令為由主播用戶(hù)選擇至少一個(gè)視頻控件的選定指令，該方式下主播用戶(hù)持有選擇任何一個(gè)或多個(gè)第二終端用戶(hù)所對(duì)應(yīng)的視頻控件的控制權(quán)，主播用戶(hù)可以根據(jù)自己對(duì)第二終端用戶(hù)的喜好選擇一個(gè)或多個(gè)第二終端用戶(hù)所對(duì)應(yīng)的視頻控件，以接收該視頻控件對(duì)應(yīng)的第二視頻流；所述選定指令的另一種實(shí)施方式，為了增強(qiáng)主播與用戶(hù)的活動(dòng)，活躍直播間氣氛，并且讓更多用戶(hù)參與其中，所述選定指定為根據(jù)預(yù)設(shè)規(guī)則選擇至少一個(gè)視頻控件的選定指令，優(yōu)選的，所述預(yù)設(shè)規(guī)則為從連接的多個(gè)第二視頻流對(duì)應(yīng)的多個(gè)視頻控件中以隨機(jī)方式選定一個(gè)或多個(gè)視頻控件，以接收該視頻控件對(duì)應(yīng)的第二視頻流，隨機(jī)選擇的過(guò)程同時(shí)也表現(xiàn)在第三視頻流中，在保持長(zhǎng)連接的第二視頻流的數(shù)量有一定限制時(shí)，該方式可以增強(qiáng)主播跟用戶(hù)之間的互動(dòng)效果。

進(jìn)一步的，所述選定指令還包括由主播用戶(hù)選用預(yù)設(shè)的多個(gè)排版布局之一作為第三視頻流的指定布局的選定指令。在選定了連接的第二視頻流所對(duì)應(yīng)的視頻控件后，需由主播用戶(hù)選擇第三視頻流的排版布局，其中，主播終端預(yù)設(shè)了多個(gè)第三視頻流的排版布局，包括連接1個(gè)、2個(gè)、3個(gè)第二視頻流時(shí)的排版布局，并且所述排版布局包括第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局，如圖3所示是選定連接2個(gè)第二視頻流(“虎牙第一妖男”和“老邢姑娘sds”)后的第三視頻流的排版布局示意圖。

進(jìn)一步的，在根據(jù)所選定的排版布局作為第三視頻流的指定布局顯示合成的第三視頻流后，主播用戶(hù)還可以根據(jù)需要修改第三視頻流的排版布局，主播終端響應(yīng)作用于所述第三視頻流在用戶(hù)界面上的排版布局的編輯指令，改變第三視頻流的圖像排版布局效果，其中，針對(duì)第三視頻流的排版布局的編輯包括針對(duì)第一、第二視頻流的圖像流在合成的第三視頻流中的圖像位置、圖像大小、圖像傾斜角度的排版布局，如圖3所示，主播用戶(hù)選擇其中一個(gè)位于直播畫(huà)面右上角的第二視頻流，該第二視頻流的畫(huà)面以框線(xiàn)突出顯示已被選定狀態(tài)，主播用戶(hù)可以通過(guò)拖動(dòng)框線(xiàn)以修改該第二視頻流的圖形流的圖像大小、通過(guò)點(diǎn)擊該第二視頻流畫(huà)面下方從左往右數(shù)起的第二個(gè)按鈕以修改該第二視頻流的圖形流的圖像傾斜角度。

另外，本實(shí)施例還包括步驟：響應(yīng)作用于第二視頻流的音頻流的操作指令，打開(kāi)/關(guān)閉第二視頻流的音頻流或調(diào)整第二視頻流的音頻流的大小。主播用戶(hù)還可以根據(jù)需要調(diào)整第二視頻流的音頻流，其中包括打開(kāi)/關(guān)閉第二視頻流的音頻流和調(diào)整第二視頻流的音頻流的大小，一般地，在第二視頻流的圖像畫(huà)面中設(shè)有該第二視頻流的音頻流的操作按鈕，如圖3所示的直播畫(huà)面右上角的第二視頻流的畫(huà)面下方從左往右數(shù)起的第三個(gè)按鈕，主播用戶(hù)可以操作該按鈕以打開(kāi)/關(guān)閉第二視頻流的音頻流和調(diào)整第二視頻流的音頻流的大小。

步驟S300：將所述第三視頻流上傳到服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流。

在合成第三視頻流后，主播終端將第三視頻流上傳到直播平臺(tái)的服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流，在本實(shí)施例中，所述直播終端接收第二視頻流的過(guò)程與采集本地的第一視頻流的過(guò)程與合成第三視頻流的過(guò)程與上傳第三視頻流的過(guò)程并行工作，并行工作是指同一時(shí)刻或同一時(shí)間間隔內(nèi)完成兩種或兩種以上性質(zhì)相同或不相同的工作，并行工作具有①時(shí)間重疊性：相鄰處理過(guò)程在時(shí)間上錯(cuò)開(kāi)，輪流重疊使用同一套硬件的各部分；②資源共享性：讓多個(gè)用戶(hù)按照一定的時(shí)間順序輪流使用同一套資源，提高資源利用率；③資源重復(fù)：重復(fù)設(shè)置硬件資源，提高硬件可靠性和性能。具體的，對(duì)于本發(fā)明實(shí)施例而言，并行工作是指主播終端在接收第二直頻流時(shí)，可以同步/同步采集第一視頻流，并同時(shí)/同步將所采集的第一視頻流和所接收到的第二視頻流合并成第三視頻流，在此期間，還包括對(duì)第三視頻流的排版布局的修改，對(duì)第二視頻流的音頻流的操作，且同時(shí)/同步將第三視頻流上傳到服務(wù)器，保證了直播視頻流的同時(shí)/同步性。

相應(yīng)的，如圖2所示是本發(fā)明直播間視頻流合成控制裝置的一實(shí)施例示意圖，包括：

調(diào)用模塊100：用于顯示與第二視頻流個(gè)數(shù)相對(duì)應(yīng)的一個(gè)或多個(gè)視頻控件。

在本實(shí)施例中，主播用戶(hù)開(kāi)啟多源直播模式，第二終端申請(qǐng)與主播終端連接以進(jìn)行多源直播，此時(shí)的主播終端被配置為服務(wù)器終端，用于接收第二終端發(fā)送而來(lái)的第二視頻流，在主播用戶(hù)確認(rèn)接收第二視頻流前，第二終端與主播終端以長(zhǎng)連接的形式保持雙方的通信鏈路連接，在長(zhǎng)連接保持期間，如果沒(méi)有視頻流數(shù)據(jù)的傳輸，需要第二終端每隔一段時(shí)間給主播終端發(fā)送一個(gè)心跳數(shù)據(jù)包以保持該長(zhǎng)鏈接，在主播用戶(hù)確認(rèn)接收第二視頻流后第二終端通過(guò)所述通信鏈路將第二視頻流發(fā)送至主播終端，此時(shí)調(diào)用模塊100將與主播終端保持長(zhǎng)連接的一個(gè)或多個(gè)第二終端(也即第二視頻流)以視頻控件的形式顯示在主播終端的用戶(hù)界面上，并且，在所述視頻控件中還包含用于區(qū)分多個(gè)第二視頻流的特征信息，優(yōu)選的，所述特征信息為第二終端用戶(hù)在直播平臺(tái)上的用戶(hù)名。

合成模塊200：用于響應(yīng)作用于所述視頻控件的至少一個(gè)的選定指令，接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本地采集的第一視頻流合成為第三視頻流。

在調(diào)用模塊100將視頻控件顯示于主播終端用戶(hù)界面上后，當(dāng)發(fā)生作用于所述視頻控件的至少一個(gè)的選定操作時(shí)，觸發(fā)相應(yīng)的選定指令，合成模塊200響應(yīng)于所述選定指令開(kāi)始接收被選定的視頻控件相對(duì)應(yīng)的第二視頻流，并以指定布局將該第二視頻流與本機(jī)采集的第一視頻流合成為第三視頻流。

上傳模塊300：用于將所述第三視頻流上傳到服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流。

在合成模塊200合成第三視頻流的同時(shí)，上傳模塊300將第三視頻流上傳到直播平臺(tái)的服務(wù)器，以使得所述服務(wù)器向直播間的每個(gè)用戶(hù)推送所述第三視頻流，在本實(shí)施例中，所述合成模塊200接收第二視頻流的過(guò)程與采集本地的第一視頻流的過(guò)程與合成第三視頻流的過(guò)程與上傳模塊300上傳第三視頻流的過(guò)程并行工作。并行工作是指合成模塊200在接收第二直頻流時(shí)，可以同步/同步采集第一視頻流，并同時(shí)/同步將所采集的第一視頻流和所接收到的第二視頻流合并成第三視頻流，在此期間，還包括對(duì)第三視頻流的排版布局的修改，對(duì)第二視頻流的音頻流的操作，且上傳模塊300同時(shí)/同步將第三視頻流上傳到服務(wù)器，保證了直播視頻流的同時(shí)/同步性。

另外，本發(fā)明還提供一種終端設(shè)備，包括存儲(chǔ)器、處理器，所述存儲(chǔ)器用于存儲(chǔ)上述方法實(shí)現(xiàn)過(guò)程中產(chǎn)生的候選中間數(shù)據(jù)以及結(jié)果數(shù)據(jù)，所述處理器用于調(diào)用執(zhí)行以程序形式存儲(chǔ)于所述存儲(chǔ)器的所述直播間視頻流合成控制方法的任意一項(xiàng)步驟。

如圖5所示是實(shí)現(xiàn)本發(fā)明所述直播間視頻流合成控制方法的系統(tǒng)示意圖，主播用戶(hù)與第二終端用戶(hù)通過(guò)身份驗(yàn)證后保持主播終端與第二終端的長(zhǎng)連接，然后第二終端將第二視頻流發(fā)送至主播終端，主播終端再同時(shí)將本地采集的視頻流和接收到的第二視頻流合成第三視頻流后上傳到直播平臺(tái)的視頻流服務(wù)器，再通過(guò)直播平臺(tái)的視頻流服務(wù)器將第三視頻流推送給直播間的各個(gè)用戶(hù)。

本發(fā)明將主播終端配置為服務(wù)器終端，用以接收第二終端采集后直接發(fā)送至主播終端的第二視頻流，再由主播終端將所有視頻流合成推送至直播間的視頻流，直播間的觀(guān)眾用戶(hù)看到的視頻流與主播終端上的視頻流一致，保證了視頻流的同時(shí)性；同時(shí)，利用長(zhǎng)連接保持主播終端與第二終端的通信鏈路，對(duì)于多個(gè)來(lái)源的第二視頻流，在主播終端上選定連接任意一個(gè)第二視頻流后，接收被選定的第二視頻流，并且選擇連接任意一個(gè)第二視頻流的過(guò)程可通過(guò)隨機(jī)方式選擇且展示在直播畫(huà)面中，增強(qiáng)主播與觀(guān)眾用戶(hù)的互動(dòng)效果；再者，主播可調(diào)整合成的視頻流的畫(huà)面排版布局及音頻效果，以更好地突出直播內(nèi)容，營(yíng)造更好的直播效果。

雖然上面已經(jīng)示出了本發(fā)明的一些示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明的原理或精神的情況下，可以對(duì)這些示例性實(shí)施例做出改變，本發(fā)明的范圍由權(quán)利要求及其等同物限定。