最新的毛片基地免费,国产国语一级毛片,免费国产成人高清在线电影,中天堂国产日韩欧美,中国国产aa一级毛片,国产va欧美va在线观看,成人不卡在线

一種視頻播放的控制方法及裝置與流程

文檔序號:11157522閱讀:368來源:國知局
一種視頻播放的控制方法及裝置與制造工藝

本發(fā)明涉及多媒體技術(shù)領(lǐng)域,尤其涉及一種視頻播放的控制方法及裝置。



背景技術(shù):

在進行虛擬現(xiàn)實(VR,Virtual Reality)或者360度全景視頻直播時,直播畫面是可以根據(jù)用戶的視角相應(yīng)改變的。但是,通常情況下,用戶在一個時刻觀看的畫面只有一定角度,該角度一般位于水平視場角和垂直視場角在80至110度的范圍內(nèi),也就是說,用戶在一個時刻觀看的畫面只占360度全景圖像中很少一部分,所占部分大概為360度全景圖像的1/8至1/6,而360度圖像中其他部分圖像在同一時刻則是不可見的。

目前,現(xiàn)有技術(shù)中通常采用如下兩種方式進行VR或360度全景直播:

其一,服務(wù)器將場景根據(jù)算法拼接出360度全景視頻圖像,通過視頻編碼將視頻數(shù)據(jù)傳輸?shù)娇蛻舳?,客戶端解碼后將360度圖像進行球面映射,將圖像貼圖到球上,然后根據(jù)陀螺儀數(shù)據(jù)(用戶的視角方向數(shù)據(jù))來控制顯示視頻圖像,即控制顯示視場角范圍內(nèi)的圖像。但是,該種方式消耗較大,存在360度全景視頻圖像的分辨率大、編碼功耗大、渲染攝像機個數(shù)多、拼接算法計算量大以及傳輸碼率大等問題。

其二,客戶端將陀螺儀數(shù)據(jù)發(fā)送到服務(wù)器,服務(wù)器根據(jù)陀螺儀數(shù)據(jù)只渲染視場角內(nèi)的圖像,并將圖像編碼發(fā)送至客戶端,由客戶端直接顯示視場角內(nèi)的圖像。但是,該種方式由于陀螺儀數(shù)據(jù)從客戶端到服務(wù)器,以及圖像編碼后從服務(wù)器到客戶端的時間較長,從而容易導(dǎo)致視場角發(fā)生變化時,客戶端得到的視頻卡頓嚴重的問題。

綜上所述,現(xiàn)有技術(shù)中在播放全景視頻圖像時,存在著要么消耗較大,要么視頻卡頓較為嚴重的問題。



技術(shù)實現(xiàn)要素:

本發(fā)明的目的是提供一種視頻播放的控制方法及裝置,以解決現(xiàn)有技術(shù)中在進行全景視頻播放時存在的要么消耗較大以及要么視頻卡頓較為嚴重的問題。

第一方面,本發(fā)明實施例提供一種視頻播放的控制方法,應(yīng)用于服務(wù)器端,包括:

接收用戶的視角方向數(shù)據(jù);

根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;

根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域;

將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

可選地,所述根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍的步驟,包括:根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點在所述三維映射模型上的位置坐標;根據(jù)所述當(dāng)前視點在所述三維映射模型上的位置坐標,確定在所述三維映射模型上的圖像最低相關(guān)點的位置坐標,其中,所述圖像最低相關(guān)點為所述當(dāng)前視點與所述三維映射模型的中心點的連線的延長線與所述三維映射模型的交點;根據(jù)所述圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述根據(jù)所述圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍的步驟,包括:根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點的位置坐標,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;或者,根據(jù)所述圖像最低相關(guān)點的位置坐標和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述三維映射模型包括三維球體模型;所述根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的步驟,包括:根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域。

可選地,所述圖像最低相關(guān)點的位置坐標包括圖像最低相關(guān)點的緯度和經(jīng)度;所述坐標范圍包括:以所述圖像最低相關(guān)點為中心的緯度坐標范圍和經(jīng)度坐標范圍;所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的步驟,包括:根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的緯度以及所述緯度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍;根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的經(jīng)度以及所述經(jīng)度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍。

可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的緯度以及所述緯度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍的步驟,包括:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

和/或,

若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長,則:

所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的緯度以及所述緯度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍的步驟,包括:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

其中,α表示所述圖像最低相關(guān)點的緯度,β表示所述緯度坐標范圍對應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。

可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的經(jīng)度以及所述經(jīng)度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍的步驟,包括:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的經(jīng)度以及所述經(jīng)度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍的步驟,包括:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點橫坐標,w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端的步驟,包括:根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對所述剩余區(qū)域進行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,對所述全景視頻圖像進行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對設(shè)置后的圖像數(shù)據(jù)進行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。

可選地,所述將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端的步驟,包括:將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。

第二方面,本發(fā)明實施例提供一種視頻播放的控制方法,應(yīng)用于視頻圖像輸出終端,包括:

實時獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;

接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);

將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;

從映射后的三維映射模型中獲取與所述用戶的可視角對應(yīng)的圖像部分,并播放與所述用戶的可視角對應(yīng)的所述圖像部分。

可選地,所述接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)的步驟,包括:接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對應(yīng)的視角方向數(shù)據(jù);在播放所述圖像部分后,所述控制方法還包括:根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標范圍;實時獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實時獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對應(yīng)的圖像部分進行顯示。

第三方面,本發(fā)明實施例提供一種視頻播放的控制裝置,應(yīng)用于服務(wù)器端,包括:

第一接收模塊,用于接收用戶的視角方向數(shù)據(jù);

獲取模塊,用于根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;

確定模塊,用于根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域;

輸出模塊,用于將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

可選地,所述獲取模塊包括:第一確定單元,用于根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點在所述三維映射模型上的位置坐標;第二確定單元,用于根據(jù)所述當(dāng)前視點在所述三維映射模型上的位置坐標,確定在所述三維映射模型上的圖像最低相關(guān)點的位置坐標,其中,所述圖像最低相關(guān)點為所述當(dāng)前視點與所述三維映射模型的中心點的連線的延長線與所述三維映射模型的交點;獲取單元,用于根據(jù)所述圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與所述用戶的當(dāng)可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述獲取單元用于,根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點的位置坐標,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;或者,根據(jù)所述圖像最低相關(guān)點的位置坐標和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述三維映射模型包括三維球體模型;所述確定模塊用于,根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域。

可選地,所述圖像最低相關(guān)點的位置坐標包括圖像最低相關(guān)點的緯度和經(jīng)度;所述坐標范圍包括:以所述圖像最低相關(guān)點為中心的緯度坐標范圍和經(jīng)度坐標范圍;所述確定模塊包括:第三確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的緯度以及所述緯度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍;第四確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的經(jīng)度以及所述經(jīng)度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍。

可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則所述第三確定單元用于:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

和/或,

若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長,則所述第三確定單元用于:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

其中,α表示所述圖像最低相關(guān)點的緯度,β表示所述緯度坐標范圍對應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。

可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則所述第四確定單元用于:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,W表示所述全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則所述第四確定單元用于:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點橫坐標,w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述輸出模塊包括:第一輸出單元,用于根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對所述剩余區(qū)域進行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,第二輸出單元,用于對所述全景視頻圖像進行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對設(shè)置后的圖像數(shù)據(jù)進行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。

可選地,所述輸出模塊用于,將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。

第四方面,本發(fā)明實施例提供一種視頻播放的控制裝置,應(yīng)用于視頻圖像輸出終端,包括:

發(fā)送模塊,用于實時獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;

第二接收模塊,用于接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);

映射模塊,用于將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;

播放模塊,用于從映射后的三維映射模型中獲取與所述用戶的可視角對應(yīng)的圖像部分,并播放與所述用戶的可視角對應(yīng)的所述圖像部分。

可選地,所述第二接收模塊用于,接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對應(yīng)的視角方向數(shù)據(jù);所述控制裝置還包括:坐標范圍確定模塊,用于在播放模塊播放所述圖像部分之后,根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標范圍;判斷模塊,用于實時獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實時獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對應(yīng)的圖像部分進行顯示。

第五方面,本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì),用于存儲進行視頻播放的計算機程序,所述計算機程序可被處理器執(zhí)行如第一方面中任一項所述的應(yīng)用于服務(wù)器端的視頻播放的控制方法。

第六方面,本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì),用于存儲進行視頻播放的計算機程序,所述計算機程序可被處理器執(zhí)行如第二方面中任一項所述的應(yīng)用于視頻圖像輸出終端的視頻播放的控制方法。

第七方面,本發(fā)明實施例提供一種電子設(shè)備,所述電子設(shè)備包括一個或多個處理器,所述處理器被配置為執(zhí)行如下控制方法:

接收用戶的視角方向數(shù)據(jù);

根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;

根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域;

將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

第八方面,本發(fā)明實施例還提供一種電子設(shè)備,所述電子設(shè)備包括一個或多個處理器,所述處理器被配置為執(zhí)行如下控制方法:

實時獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;

接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);

將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;

從所述映射后的三維映射模型中獲取與所述用戶的可視角對應(yīng)的圖像部分,并播放與所述用戶的可視角對應(yīng)的所述圖像部分。

本發(fā)明的有益效果是:

本發(fā)明實施例,通過接收用戶的視角方向數(shù)據(jù),并根據(jù)該視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍,并根據(jù)三維映射模型中確定的坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域,最后將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。這樣,本發(fā)明實施例只是將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,這相對于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機的個數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南模淮送?,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問題,從而解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的要么消耗較大以及要么視頻卡頓較為嚴重的問題。

附圖說明

圖1表示本發(fā)明的第一實施例中視頻播放的控制方法的步驟流程圖;

圖2表示本發(fā)明的第二實施例中視頻播放的控制方法的步驟流程圖;

圖3表示三維球體模型中當(dāng)前視點與圖像最低相關(guān)點之間的位置示意圖;

圖4表示三維球體模型的緯度切面示意圖;

圖5表示矩形圖像中丟棄圖像區(qū)域的高度范圍的顯示圖;

圖6表示橢圓形圖像中丟棄圖像區(qū)域的高度范圍的顯示圖;

圖7表示橢圓形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的高度范圍的顯示圖;

圖8表示三維球體模型的經(jīng)度切面示意圖;

圖9表示矩形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖;

圖10表示橢圓形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖;

圖11表示本發(fā)明的第三實施例中視頻播放的控制方法的步驟流程圖;

圖12表示本發(fā)明的第四實施例中視頻播放的控制裝置的結(jié)構(gòu)框圖;

圖13表示本發(fā)明的第五實施例中視頻播放的控制裝置的結(jié)構(gòu)框圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例,然而應(yīng)當(dāng)理解,可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。

第一實施例:

如圖1所示,為本發(fā)明的第一實施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于服務(wù)器端,包括:

步驟101,接收用戶的視角方向數(shù)據(jù)。

在本步驟中,服務(wù)器端可以接收視頻圖像輸出終端實時傳輸?shù)囊暯欠较驍?shù)據(jù)。具體的,該視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),該陀螺儀數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。這樣,服務(wù)器端在接收到視頻圖像輸出終端實時傳輸?shù)耐勇輧x數(shù)據(jù)時,可以實時獲取用戶的視角方向數(shù)據(jù)。

步驟102,根據(jù)視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

在本步驟中,具體的,服務(wù)器端在接收到用戶的視角方向數(shù)據(jù)之后,可以利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。具體的,該三維映射模型可以包括三維球體模型、三維立體模型等。此外,具體的,由于視角方向數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即指示用戶的當(dāng)前視點,因此也可以根據(jù)該視角方向數(shù)據(jù)獲取用戶的可視角。具體的,該可視角以當(dāng)前視點為中心。

步驟103,根據(jù)三維映射模型中確定的坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域。

在本步驟中,具體的,在獲取到三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍之后,可以根據(jù)三維映射模型中確定的坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域。

步驟104,將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

在本步驟中,具體的,在確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域之后,可以獲取全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),并將剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。

這樣,本實施例根據(jù)用戶的視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍,并根據(jù)三維映射模型中確定的坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域,最后將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。這相對于現(xiàn)有技術(shù)中傳輸360度全景視頻圖像的全部數(shù)據(jù)的方式,使得可以在不影響用戶正常觀看可視角范圍內(nèi)的視頻圖像的前提下,減少了視頻圖像的傳輸數(shù)據(jù)量,從而降低拼接360度全景視頻圖像攝像機的個數(shù),減少拼接算法處理的次數(shù),降低視頻圖像編碼的處理時間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南?;此外,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問題。

第二實施例:

如圖2所示,為本發(fā)明的第二實施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于服務(wù)器端,包括:

步驟201,接收用戶的視角方向數(shù)據(jù)。

在本步驟中,服務(wù)器端可以接收視頻圖像輸出終端實時傳輸?shù)囊暯欠较驍?shù)據(jù)。具體的,該視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),該陀螺儀數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。這樣,服務(wù)器端在接收到視頻圖像輸出終端實時傳輸?shù)耐勇輧x數(shù)據(jù)時,可以實時獲取用戶的視角方向數(shù)據(jù)。

步驟202,根據(jù)視角方向數(shù)據(jù),確定用戶的當(dāng)前視點在三維映射模型上的位置坐標。

在本步驟中,具體的,用戶的視角方向數(shù)據(jù)為指示用戶當(dāng)前視點的數(shù)據(jù)。服務(wù)器在接收用戶的視角方向數(shù)據(jù)之后,可以利用預(yù)先確定的三維映射模型,將當(dāng)前視點映射到三維映射模型上,從而確定用戶的當(dāng)前視點在三維映射模型上的位置坐標。具體的,當(dāng)前視點在三維映射模型上的位置坐標包括經(jīng)緯度坐標。

步驟203,根據(jù)當(dāng)前視點在三維映射模型上的位置坐標,確定在三維映射模型上的圖像最低相關(guān)點的位置坐標。

在本步驟中,具體的,圖像最低相關(guān)點為當(dāng)前視點與三維映射模型的中心點的連線的延長線與三維映射模型的交點。這樣,在確定當(dāng)前視點的位置坐標之后,可以根據(jù)當(dāng)前視點的位置坐標,確定三維映射模型上的圖像最低相關(guān)點的位置坐標。具體的,圖像最低相關(guān)點的位置坐標包括圖像最低相關(guān)點的經(jīng)度坐標和緯度坐標。

具體的,在此可以以三維映射模型為三維球體模型進行具體說明。如圖3所示,為三維球體模型中當(dāng)前視點與圖像最低相關(guān)點之間的位置示意圖。在圖3中,A點為當(dāng)前視點,B點為當(dāng)前視點與三維映射模型的中心點的連線的延長線與三維映射模型的交點,即圖像最低相關(guān)點。

步驟204,根據(jù)圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

在本步驟中,具體的,在確定當(dāng)前視點在三維映射模型上的位置坐標之后,可以根據(jù)當(dāng)前視點在三維映射模型上的位置坐標,獲取用戶的可視角范圍,其中,該可視角范圍以當(dāng)前視點為中心。

具體的,在根據(jù)圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍時,可以根據(jù)用戶在三維映射模型上的可視角和圖像最低相關(guān)點的位置坐標,確定三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。具體的,該與用戶的可視角不相關(guān)的區(qū)域的坐標范圍可以為以圖像最低相關(guān)點為中心,以可視角的角度范圍對應(yīng)的區(qū)域的坐標范圍。具體參見圖3,假設(shè)a為可視角,則b為與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

此外,在根據(jù)圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍時,還可以根據(jù)圖像最低相關(guān)點的位置坐標和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。具體的,預(yù)先設(shè)定好偏移范圍之后,可以以圖像最低相關(guān)點為中心進行偏移,從而得到與用戶的可視角不相關(guān)的區(qū)域的坐標范圍。此外,具體的,該偏移范圍可以根據(jù)人頭部的運動規(guī)律來確定。例如,人頭部水平轉(zhuǎn)動,視頻圖像輸出終端會實時向服務(wù)器端發(fā)送陀螺儀數(shù)據(jù)(視角方向數(shù)據(jù)),此時只要保證頭部以最大速度轉(zhuǎn)動時,在服務(wù)器端返回當(dāng)前時刻的視角方向數(shù)據(jù)對應(yīng)的圖像數(shù)據(jù)之前,頭部還沒有轉(zhuǎn)動到前一時刻的視角方向數(shù)據(jù)對應(yīng)的丟棄圖像區(qū)域內(nèi)即可。例如,由于VR體驗時,人頭部從正前方到水平轉(zhuǎn)動90度時大概需要150ms,這時視頻圖像返回時間控制在100ms以內(nèi),則可以使得頭部還沒有轉(zhuǎn)動到前一時刻的視角方向數(shù)據(jù)對應(yīng)的丟棄圖像區(qū)域內(nèi)時,當(dāng)前時刻的視角方向數(shù)據(jù)對應(yīng)的圖像數(shù)據(jù)已經(jīng)傳輸至視頻圖像輸出終端。

步驟205,根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域。

在本步驟中,具體的,三維映射模型包括三維球體模型,此時在根據(jù)三維映射模型中確定的坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域時,可以先根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域。

其中,具體的,全景視頻圖像與三維球體模型的映射關(guān)系可以包括全景視頻圖像的高度映射為三維球體模型的直徑、全景視頻圖像的高度映射為三維球體模型的經(jīng)度圓周的半周長、全景視頻圖像的寬度映射為三維球體模型的赤道周長。此外,在映射時,全景視頻圖像的左上方可以作為全景視頻圖像的高度和寬度的起點。

此外,圖像最低相關(guān)點的位置坐標包括圖像最低相關(guān)點的緯度和經(jīng)度;坐標范圍包括:以圖像最低相關(guān)點為中心的緯度坐標范圍和經(jīng)度坐標范圍;這樣在根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域時,可以根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的緯度以及緯度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍;并根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的經(jīng)度以及經(jīng)度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍。

下面分別對得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍和寬度范圍進行具體說明。

其一,當(dāng)全景視頻圖像為矩形圖像或橢圓形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的高度映射為三維球體模型的直徑時,根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的緯度以及緯度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍可以包括如下幾種情況:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時,此時丟棄圖像區(qū)域不包括三維球體模型的南極點和北極點,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時,此時丟棄圖像區(qū)域包括三維球體模型的北極點,此時丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時,第一區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓形圖像時,第一區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時,此時丟棄圖像區(qū)域包括三維球體模型的南極點,此時丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時,第二區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時,第二區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

和/或,

若全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的高度映射為三維球體模型的經(jīng)度圓周的半周長,則:根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的緯度以及緯度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍時,可以包括如下幾種情況:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時,此時丟棄圖像區(qū)域不包括三維球體模型的南極點和北極點,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時,此時丟棄圖像區(qū)域包括三維球體模型的北極點,此時丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時,第一區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時,第一區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時,此時丟棄圖像區(qū)域包括三維球體模型的南極點,此時丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時,第二區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時,第二區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

其中,α表示圖像最低相關(guān)點的緯度,β表示緯度坐標范圍對應(yīng)的角度值,H表示全景視頻圖像的高度,T1表示丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。

具體的,如圖4所示,在圖4中B點表示圖像最低相關(guān)點,α表示圖像最低相關(guān)點的緯度,β表示緯度坐標范圍對應(yīng)的角度值。此外,在得到丟棄圖像區(qū)域的高度范圍的上邊界值和下邊界值之后,若全景視頻圖像為矩形圖像,則可以得到如圖5中所示的丟棄圖像區(qū)域的高度范圍的顯示圖,具體的,在圖5中,T1至B1之間的垂直區(qū)域表示丟棄圖像區(qū)域的高度范圍;若全景視頻圖像為橢圓形圖像,則可以得到如圖6中所示的丟棄圖像區(qū)域的高度范圍的顯示圖,具體的,在圖6中,T1至B1之間的垂直區(qū)域表示丟棄圖像區(qū)域的高度范圍。另外,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值和下邊界值以及第二區(qū)域的高度范圍的上邊界值和下邊界值之后,若全景視頻圖像為橢圓形圖像,則可以得到如圖7中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的高度范圍的顯示圖,具體的,在圖7中,B11至上邊界線(即W軸線)之間的垂直區(qū)域表示第一區(qū)域的高度范圍,T12至B12之間的垂直區(qū)域表示第二區(qū)域的高度范圍。

其二,當(dāng)全景視頻圖像為矩形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的寬度映射為三維球體模型的赤道周長時,根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的經(jīng)度以及經(jīng)度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍,可以包括如下幾種方式:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

其中,δ表示圖像最低相關(guān)點的經(jīng)度,γ表示經(jīng)度坐標范圍對應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

具體的,如圖8所示,在圖8中B點表示圖像最低相關(guān)點,δ表示圖像最低相關(guān)點的經(jīng)度,γ表示經(jīng)度坐標范圍對應(yīng)的角度值。此外,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值和右邊界值以及第二區(qū)域的寬度范圍的左邊界值和右邊界值之后,若全景視頻圖像為矩形圖像,則可以得到如圖9中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖,具體的,在圖9中,H軸線至R11之間的水平區(qū)域表示第一區(qū)域的寬度范圍,L12至整個區(qū)域的右邊界之間的水平區(qū)域表示第二區(qū)域的寬度范圍。

其三,當(dāng)全景視頻圖像為橢圓形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的寬度映射為三維球體模型的赤道周長時,根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點的經(jīng)度以及經(jīng)度坐標范圍,得到待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍,可以包括如下幾種方式:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

其中,δ表示圖像最低相關(guān)點的經(jīng)度,γ表示經(jīng)度坐標范圍對應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點橫坐標,w表示全景視頻圖像中每行圖像的寬度,L1表示丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

具體的,如圖10所示,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值和右邊界值以及第二區(qū)域的寬度范圍的左邊界值和右邊界值之后,若全景視頻圖像為橢圓形圖像,則可以得到如圖10中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖,具體的,在圖10中,H軸線至R11之間的水平區(qū)域表示第一區(qū)域的寬度范圍,L12至整個區(qū)域的右邊界之間的水平區(qū)域表示第二區(qū)域的寬度范圍。

步驟206,將剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端。

在本步驟中,具體的,在將待輸出的全景視頻圖像中除丟棄圖像數(shù)據(jù)之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端時,可以將剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使視頻圖像輸出終端在接收到視角方向數(shù)據(jù)之后,能夠根據(jù)視角方向數(shù)據(jù),確定全景視頻圖像的丟棄圖像區(qū)域。

此外,具體的,在將待輸出的全景視頻圖像中除丟棄圖像數(shù)據(jù)之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端時,可以根據(jù)丟棄圖像區(qū)域,獲取全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域,并對剩余區(qū)域進行渲染,然后將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者可以對全景視頻圖像進行渲染,然后將渲染后得到的圖像數(shù)據(jù)中與丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對設(shè)置后的圖像數(shù)據(jù)進行編碼,最后將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。

這樣,本發(fā)明實施例通過全景視頻圖像與三維球體模型的映射關(guān)系和坐標范圍,確定待輸出的全景視頻圖像中與坐標范圍對應(yīng)的丟棄圖像區(qū)域,并將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端,相對于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機的個數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南模淮送庀鄬τ谥粋鬏斢脩艨梢暯欠秶鷥?nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問題,解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的要么消耗較大以及要么視頻卡頓較為嚴重的問題。

第三實施例:

如圖11所示,為本發(fā)明的第三實施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于視頻圖像輸出終端,包括:

步驟1101,實時獲取用戶的視角方向數(shù)據(jù),并將視角方向數(shù)據(jù)發(fā)送給服務(wù)器端。

在本步驟中,具體的,用戶的視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),且該視角方向數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。因此視頻圖像輸出終端可以通過陀螺儀獲取用戶的視角方向數(shù)據(jù),且視頻圖像輸出終端實時獲取到該用戶的視角方向數(shù)據(jù)之后,可以將該視角方向數(shù)據(jù)發(fā)送給服務(wù)器。

步驟1102,接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)。

在本步驟中,具體的,服務(wù)器端在接收到用戶的視角方向數(shù)據(jù)之后,可以根據(jù)視角方向數(shù)據(jù)確定在將全景視頻圖像映射到三維映射模型中時,與用戶的可視角不相關(guān)的區(qū)域的坐標范圍對應(yīng)的丟棄圖像區(qū)域,并將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。此時,視頻圖像輸出終端接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)。

步驟1103,將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中。

在本步驟中,具體的,視頻圖像輸出終端在接收到剩余區(qū)域的圖像數(shù)據(jù)之后,可以將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,以方便播放與用戶的可視角相對應(yīng)的圖像部分。

步驟1104,從映射后的三維映射模型中獲取與用戶的可視角對應(yīng)的圖像部分,并播放與用戶的可視角對應(yīng)的圖像部分。

在本步驟中,具體的,在將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中之后,可以根據(jù)用戶的視角方向數(shù)據(jù),從映射后的三維映射模型中獲取與用戶的可視角對應(yīng)的圖像部分,并播放該與用戶的可視角對應(yīng)的圖像部分。

這樣,本實施例通過將實時獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對于只接收可視角對應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時,能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的視頻卡頓較為嚴重的為題,提高了用戶體驗。

此外,具體的,在接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)時,可以同時接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及剩余區(qū)域的圖像數(shù)據(jù)對應(yīng)的視角方向數(shù)據(jù)。這樣,在播放與用戶的可視角對應(yīng)的圖像部分之后,可以根據(jù)接收到的視角方向數(shù)據(jù),確定映射后的三維映射模型中丟棄圖像區(qū)域的坐標范圍,從而使得視頻圖像輸出終端能夠在獲取到剩余區(qū)域的圖像數(shù)據(jù)的同時,確定與視角方向數(shù)據(jù)對應(yīng)的丟棄圖像區(qū)域的坐標范圍。

此外,由于全景視頻圖像中丟棄圖像區(qū)域內(nèi)的數(shù)據(jù)被丟棄,因此會造成全景視頻圖像不完整,此時特殊情況下,當(dāng)用戶觀看視角發(fā)生較大變化時,為了避免用戶直接看到丟棄圖像區(qū)域,在播放與用戶的可視角對應(yīng)的圖像部分之后,可以實時獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實時獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與用戶的可視角對應(yīng)的圖像部分是否落入丟棄圖像區(qū)域的坐標范圍。

具體的,若映射后的三維映射模型中與用戶的可視角對應(yīng)的圖像部分落入丟棄圖像區(qū)域的坐標范圍,則可以從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與用戶的可視角對應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進行顯示;或者,從映射后的三維映射模型中,獲取與用戶的當(dāng)前可視角相關(guān)的、丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與用戶的當(dāng)前可視角對應(yīng)的圖像部分進行顯示。這樣,即使用戶的視角發(fā)生較大變化,用戶也不會看到全景視頻圖像中丟棄圖像區(qū)域內(nèi)的圖像。

這樣,本實施例通過將實時獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對于只接收可視角對應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時,能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的視頻卡頓較為嚴重的為題,提高了用戶體驗。

第四實施例:

如圖12所示,為本發(fā)明的第四實施例中視頻播放的控制裝置的結(jié)構(gòu)框圖,該控制裝置應(yīng)用于服務(wù)器端,包括:

第一接收模塊1201,用于接收用戶的視角方向數(shù)據(jù);

獲取模塊1202,用于根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;

確定模塊1203,用于根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域;

輸出模塊1204,用于將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

可選地,所述獲取模塊1202包括:第一確定單元,用于根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點在所述三維映射模型上的位置坐標;第二確定單元,用于根據(jù)所述當(dāng)前視點在所述三維映射模型上的位置坐標,確定在所述三維映射模型上的圖像最低相關(guān)點的位置坐標,其中,所述圖像最低相關(guān)點為所述當(dāng)前視點與所述三維映射模型的中心點的連線的延長線與所述三維映射模型的交點;獲取單元,用于根據(jù)所述圖像最低相關(guān)點的位置坐標,獲取在三維映射模型中與所述用戶的當(dāng)可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述獲取單元用于,根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點的位置坐標,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;或者,根據(jù)所述圖像最低相關(guān)點的位置坐標和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍。

可選地,所述三維映射模型包括三維球體模型;所述確定模塊1203用于,根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域。

可選地,所述圖像最低相關(guān)點的位置坐標包括圖像最低相關(guān)點的緯度和經(jīng)度;所述坐標范圍包括:以所述圖像最低相關(guān)點為中心的緯度坐標范圍和經(jīng)度坐標范圍;所述確定模塊包括:第三確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的緯度以及所述緯度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的高度范圍;第四確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點的經(jīng)度以及所述經(jīng)度坐標范圍,得到所述待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域的寬度范圍。

可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則所述第三確定單元用于:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

和/或,

若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長,則所述第三確定單元用于:

當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α+β/2>π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

T11=0;

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

當(dāng)α-β/2<-π/2時:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:

B12=H

其中,α表示所述圖像最低相關(guān)點的緯度,β表示所述緯度坐標范圍對應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。

可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則所述第四確定單元用于:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=0

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=W

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長,則所述第四確定單元用于:

當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

當(dāng)δ-γ/2<0時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

當(dāng)δ+γ/2>2π時:

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:

L11=s

通過如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:

R12=s+w

其中,δ表示所述圖像最低相關(guān)點的經(jīng)度,γ表示所述經(jīng)度坐標范圍對應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點橫坐標,w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。

可選地,所述輸出模塊1204包括:第一輸出單元,用于根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對所述剩余區(qū)域進行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,第二輸出單元,用于對所述全景視頻圖像進行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對設(shè)置后的圖像數(shù)據(jù)進行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。

可選地,所述輸出模塊1204用于,將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。

這樣,本發(fā)明實施例只是將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,這相對于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機的個數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南?;此外,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問題,從而解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的要么消耗較大以及要么視頻卡頓較為嚴重的問題。

第五實施例:

如圖13所示,為本發(fā)明的第五實施例中視頻播放的控制裝置的結(jié)構(gòu)框圖,該控制裝置應(yīng)用于視頻圖像輸出終端,包括:

發(fā)送模塊1301,用于實時獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;

第二接收模塊1302,用于接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);

映射模塊1303,用于將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;

播放模塊1304,用于從映射后的三維映射模型中獲取與所述用戶的可視角對應(yīng)的圖像部分,并播放與所述用戶的可視角對應(yīng)的所述圖像部分。

可選地,所述第二接收模塊1302用于,接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對應(yīng)的視角方向數(shù)據(jù);所述控制裝置還包括:坐標范圍確定模塊,用于在所述播放模塊播放所述圖像部分之后,根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標范圍;判斷模塊,用于實時獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實時獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對應(yīng)的圖像部分進行顯示。

這樣,本實施例通過將實時獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對于只接收可視角對應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時,能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進行全景視頻播放時存在的視頻卡頓較為嚴重的為題,提高了用戶體驗。

第六實施例:

本實施例還提供一種計算機可讀存儲介質(zhì),用于存儲進行視頻播放的計算機程序,所述計算機程序可被處理器執(zhí)行前述實施例中應(yīng)用于服務(wù)器端的視頻播放的控制方法。

第七實施例:

本實施例還提供一種計算機可讀存儲介質(zhì),用于存儲進行視頻播放的計算機程序,所述計算機程序可被處理器執(zhí)行前述實施例中應(yīng)用于視頻圖像輸出終端的視頻播放的控制方法。

第八實施例:

本實施例提供一種電子設(shè)備,所述電子設(shè)備包括一個或多個處理器,所述處理器被配置為執(zhí)行如下控制方法:

接收用戶的視角方向數(shù)據(jù);

根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標范圍;

根據(jù)三維映射模型中確定的所述坐標范圍,確定待輸出的全景視頻圖像中與所述坐標范圍對應(yīng)的丟棄圖像區(qū)域;

將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。

第九實施例:

本實施例還提供一種電子設(shè)備,所述電子設(shè)備包括一個或多個處理器,所述處理器被配置為執(zhí)行如下控制方法:

實時獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;

接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);

將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;

從所述映射后的三維映射模型中獲取與所述用戶的可視角對應(yīng)的圖像部分,并播放與所述用戶的可視角對應(yīng)的所述圖像部分。

以上所述的是本發(fā)明的優(yōu)選實施方式,應(yīng)當(dāng)指出對于本技術(shù)領(lǐng)域的普通人員來說,在不脫離本發(fā)明所述的原理前提下還可以作出若干改進和潤飾,這些改進和潤飾也在本發(fā)明的保護范圍內(nèi)。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1