為了提供良好質(zhì)量的視頻圖像并提供改進(jìn)的新一代視頻編解碼器應(yīng)用，視頻編解碼器的一些令人期望的屬性包括：(1)用于使在給定有限視頻編碼比特率或帶寬的情況下在圖像中的重要區(qū)域的感知視頻質(zhì)量最大化的能力，以及(2)用于啟用基于對(duì)象的視頻編解碼器的能力，其中，對(duì)圖像中的對(duì)象進(jìn)行檢測(cè)以便相應(yīng)地調(diào)整編解碼器精度。舉幾個(gè)例子，第一屬性至少在某種程度上可以由正常視頻編碼(意味著在不使用基于區(qū)域分割的編碼的情況下進(jìn)行編碼)以及由視頻編碼標(biāo)準(zhǔn)(如H.264、可擴(kuò)展視頻編碼(SVC)、高效率視頻編碼(HEVC)或可擴(kuò)展HEVC(SHVC))或者由非標(biāo)準(zhǔn)替代性視頻編解碼器(如VP8和VP9)來(lái)處理。然而，為了用這些標(biāo)準(zhǔn)得到最佳結(jié)果，對(duì)重要區(qū)域(區(qū)域分割)的感知可能是必要的。進(jìn)一步地，原則上，如支持對(duì)象的顯式編碼的MPEG-4等標(biāo)準(zhǔn)對(duì)實(shí)現(xiàn)第二屬性而言是必要的。然而，這些標(biāo)準(zhǔn)(MPEG-4、H.264或HEVC)僅描述比特流語(yǔ)法和解碼語(yǔ)義，并且僅寬松地強(qiáng)制執(zhí)行編碼器的細(xì)節(jié)(比分割的細(xì)節(jié)少得多)。盡管在啟動(dòng)高級(jí)應(yīng)用中是令人期望的，視頻的進(jìn)一步分割可以是計(jì)算復(fù)雜的并且非常上下文相關(guān)的。這是更加復(fù)雜的，因?yàn)闃?biāo)準(zhǔn)不覆蓋視頻的分割。

在有限帶寬視頻編碼中，適配用于人類(lèi)感知和/或視覺(jué)要求的量化可以用于實(shí)現(xiàn)由用戶(hù)感知的改進(jìn)的視頻質(zhì)量。確切地，在視頻編碼中，亮度和色度像素值可以被轉(zhuǎn)換成頻率系數(shù)(如離散余弦轉(zhuǎn)換系數(shù))，所述頻率系數(shù)然后被量化或被四舍五入為特定值，以便減小超出可由人眼檢測(cè)到的系數(shù)的不必要的精度。例如，人眼對(duì)色彩不如對(duì)亮度那么敏感，并且人眼會(huì)僅注意亮度和色彩的特定水平的差異。因此，為了提高感知圖像質(zhì)量，可以采用若干種過(guò)程，如但不限于：(1)標(biāo)識(shí)高度紋理化區(qū)域，其中，可以在不添加視覺(jué)可注意到的偽像的情況下添加更多噪聲；(2)標(biāo)識(shí)具有非常高或非常低亮度的區(qū)域，其中，可以隱藏某種程度更高的量化偽像；(3)標(biāo)識(shí)恰好在場(chǎng)景剪切之前或之后的幀，其中，可以引入更多的量化噪聲而不會(huì)使其非常明顯；以及(4)標(biāo)識(shí)在視頻中的可能更讓人感興趣的如人臉和其他對(duì)象等的關(guān)注區(qū)域(興趣區(qū)域(ROI))，從而使得可以以更細(xì)化的量化以及更好的質(zhì)量來(lái)對(duì)ROI區(qū)域進(jìn)行編碼(如前景)，而以相對(duì)較低的質(zhì)量來(lái)對(duì)其他區(qū)域進(jìn)行編碼(如背景)。

這種最新技術(shù)尤其在特定應(yīng)用的背景中是相關(guān)的，如視頻會(huì)議、視頻聊天以及包括使用在背景上的前景覆蓋的應(yīng)用的其他應(yīng)用。針對(duì)這些示例，對(duì)來(lái)自前景(FG)中的通常移動(dòng)的人類(lèi)頭部和肩部或者其他覆蓋對(duì)象的通常靜態(tài)的或至少更加靜態(tài)的背景(BG)的分割被用來(lái)將良好的編碼集中在前景上以改進(jìn)編碼。雖然可獲得用于將前景從背景中分割出來(lái)的許多種通用技術(shù)，這些技術(shù)中的大多數(shù)或者是計(jì)算密集型的或者較差地執(zhí)行將背景從前景中分割出來(lái)(或者兩者)。利用更好質(zhì)量的實(shí)用分割，可獲得的有限編碼帶寬可以更好地指向ROI處，如用于改善場(chǎng)景中的人類(lèi)或其他前景對(duì)象，由此給出圖像質(zhì)量的感知整體改善。

附圖說(shuō)明

在附圖中通過(guò)舉例而非限制的方式展示了在此所描述的材料。為了展示的簡(jiǎn)單和清楚，圖中所展示的元件不一定按比例繪制。例如，為清楚起見(jiàn)，某些元件的尺寸相對(duì)于其他元件可能被放大了。此外，在認(rèn)為適當(dāng)?shù)那闆r下，在附圖之間對(duì)參考標(biāo)記加以重復(fù)以表示相應(yīng)的或相似的元件。在附圖中：

圖1是用于背景前景分割的視頻編碼系統(tǒng)的示意圖；

圖2是示出用于背景前景分割的過(guò)程的流程圖；

圖3是示出用于背景前景分割的過(guò)程的背景模型學(xué)習(xí)階段的流程圖；

圖4是示出背景前景分割過(guò)程的閾值方法的峰值和谷值的表圖；

圖5至圖8示出了展示在背景前景分割過(guò)程的背景模型學(xué)習(xí)階段中的操作的圖像；

圖9是示出用于背景前景分割的過(guò)程的分割循環(huán)階段的流程圖；

圖10是示出用于用暴露的當(dāng)前背景區(qū)域更新背景前景分割的過(guò)程的流程圖；

圖11至圖12示出了展示對(duì)在背景前景分割過(guò)程的分割循環(huán)階段中的操作進(jìn)行標(biāo)記的ROI的圖像；

圖13至圖16示出了展示在背景前景分割過(guò)程的分割循環(huán)階段中的時(shí)空線索操作的圖像；

圖17是示出了使用本文的背景前景分割過(guò)程的背景前景分割的最終圖像；

圖18至圖21示出了展示在背景前景分割過(guò)程的分割循環(huán)階段中的各操作的圖像；

圖22A至圖22B是針對(duì)背景前景分割過(guò)程的背景模型學(xué)習(xí)階段的詳細(xì)流程圖；

圖23是針對(duì)背景前景分割過(guò)程的分割循環(huán)階段的詳細(xì)流程圖；

圖24A是在背景前景分割過(guò)程的背景模型學(xué)習(xí)階段的學(xué)習(xí)速率計(jì)算操作中所使用的決策樹(shù)的表1；

圖24B是示出幀的復(fù)雜度并且用于形成表1的表圖；

圖25是基于針對(duì)ROI特定參數(shù)的視頻分辨率的分割設(shè)置的表2；

圖26是用于分割掩膜(mask)清理的設(shè)置的表3；

圖27是操作以用于提供背景前景分割過(guò)程的示例系統(tǒng)的示意圖；

圖28是示例系統(tǒng)的示意圖；

圖29是另一個(gè)示例系統(tǒng)的示意圖；

圖30展示了全部根據(jù)本公開(kāi)的至少部分實(shí)現(xiàn)方式安排的另一個(gè)示例設(shè)備。

圖31是根據(jù)本文的至少部分實(shí)現(xiàn)方式的視頻編解碼器系統(tǒng)的示意圖；以及

圖32是根據(jù)本文的至少部分實(shí)現(xiàn)方式的另一個(gè)視頻編解碼器系統(tǒng)的示意圖。

具體實(shí)施方式

現(xiàn)在參考附圖來(lái)說(shuō)明一種或多種實(shí)現(xiàn)方式。雖然對(duì)特定配置和安排進(jìn)行了論述，但應(yīng)理解，這僅出于說(shuō)明目的來(lái)進(jìn)行。相關(guān)領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，在不背離本描述的精神和范圍的情況下可以采用其他配置和安排。將對(duì)相關(guān)領(lǐng)域的技術(shù)人員明顯的是，在此描述的技術(shù)和/或安排還可以在除了在此描述的系統(tǒng)和應(yīng)用之外的各種各樣的其他系統(tǒng)和應(yīng)用中被采用。

雖然以下描述闡述可以在如例如片上系統(tǒng)(SoC)架構(gòu)的架構(gòu)中顯現(xiàn)各實(shí)現(xiàn)方式，在此描述的技術(shù)和/或安排的實(shí)現(xiàn)方式不局限于具體的架構(gòu)和/或計(jì)算系統(tǒng)并且出于類(lèi)似目的可以由任何架構(gòu)和/或計(jì)算系統(tǒng)實(shí)現(xiàn)。例如，采用例如多個(gè)集成電路(IC)芯片和/或封裝體、和/或各種計(jì)算設(shè)備和/或消費(fèi)電子產(chǎn)品(CE)設(shè)備(如機(jī)頂盒、智能電話(huà)等)的各架構(gòu)可以實(shí)現(xiàn)在此描述的技術(shù)和/或安排。此外，雖然以下描述可以闡述許多特定的細(xì)節(jié)(如邏輯實(shí)現(xiàn)、系統(tǒng)部件的類(lèi)型和內(nèi)在關(guān)系、邏輯劃分/集成選擇等)，要求保護(hù)的主題可以在沒(méi)有這些特定細(xì)節(jié)的情況下被實(shí)踐。在其他情形下，可以不詳細(xì)示出某些材料(如，例如，控制結(jié)構(gòu)和完整的軟件指令序列)，以便不模糊在此公開(kāi)的材料。

在此公開(kāi)的材料可以在硬件、固件、軟件、或其任意組合中實(shí)現(xiàn)。在此公開(kāi)的材料還可以被實(shí)現(xiàn)為存儲(chǔ)于機(jī)器可讀介質(zhì)上的指令，這些指令可以被一個(gè)或多個(gè)處理器讀取或執(zhí)行。機(jī)器可讀介質(zhì)可以包括用于存儲(chǔ)或傳輸具有由機(jī)器(例如，計(jì)算設(shè)備)可讀的形式的信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀介質(zhì)可包括：只讀存儲(chǔ)器(ROM)；隨機(jī)存取存儲(chǔ)器(RAM)；磁盤(pán)存儲(chǔ)介質(zhì)；光存儲(chǔ)介質(zhì)；閃速存儲(chǔ)設(shè)備；電、光、聲或其他形式的傳播信號(hào)(例如，載波、紅外信號(hào)、數(shù)字信號(hào)等)以及其他。在另一種形式中，非瞬態(tài)制品(如非瞬態(tài)計(jì)算機(jī)可讀介質(zhì))可以與以上所述示例或其他示例中的任何示例一起使用，只是其不包括瞬態(tài)信號(hào)自身。非瞬態(tài)制品卻包括除了信號(hào)自身之外的可以暫時(shí)以“非瞬態(tài)”形式(如RAM等)保持?jǐn)?shù)據(jù)的那些元素。

說(shuō)明書(shū)中提到“一種實(shí)現(xiàn)方式(one implementation)”、“實(shí)現(xiàn)方式(an implementation)”、“示例實(shí)現(xiàn)方式(an example implementation)”等表明所描述的實(shí)現(xiàn)方式可以包括具體特征、結(jié)構(gòu)、或特性，但每個(gè)實(shí)現(xiàn)方式可能不一定包括這個(gè)具體特征、結(jié)構(gòu)、或特性。此外，這些短語(yǔ)不一定指同一實(shí)現(xiàn)方式。另外，當(dāng)結(jié)合一個(gè)實(shí)現(xiàn)方式描述特定的特征、結(jié)構(gòu)或特性時(shí)，應(yīng)理解，結(jié)合無(wú)論在此是否明確地描述的其他實(shí)現(xiàn)方式來(lái)實(shí)施這種特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的認(rèn)知范圍內(nèi)。

以下描述了與用于視頻編碼的內(nèi)容自適應(yīng)背景前景分割有關(guān)的系統(tǒng)、制品和方法。

如上所述，一種用于提高圖像的感知質(zhì)量的方式是標(biāo)識(shí)圖像的哪些部分在背景(BG)中并且圖像的哪些部分在前景(FG)中，從而使得可以較不詳細(xì)地對(duì)背景進(jìn)行編碼以便提供更大的帶寬來(lái)更加詳細(xì)地對(duì)前景進(jìn)行編碼。這經(jīng)常被提供在具有靜態(tài)背景并且其中的前景是一個(gè)或多個(gè)人的頭部和肩部的場(chǎng)景中，如，具有視頻會(huì)議的場(chǎng)景。除了視頻會(huì)議，更有效的背景前景分割對(duì)于其他應(yīng)用同樣也是有益的，如興趣區(qū)域(ROI)編碼、監(jiān)督、靈活多媒體合成以及其他。在一些情況中，可以令人期望的是將前景疊加在替代性替換背景場(chǎng)景或者已經(jīng)被修改的背景上。在其他情況中，如關(guān)于場(chǎng)景中的參與者或?qū)ο蟮臋n案或統(tǒng)計(jì)數(shù)值的信息可以被提供作為場(chǎng)景中的覆蓋物。這種要求可以不必局限于視頻會(huì)議場(chǎng)景，而可應(yīng)用于許多不同類(lèi)型的場(chǎng)景。這種場(chǎng)景可能要求將背景從前景對(duì)象中分割出來(lái)以便從所述背景單獨(dú)地處理前景并確定圖像的哪些部分被對(duì)象覆蓋或不覆蓋。

在視頻會(huì)議的背景中，例如，背景可以?xún)H被發(fā)送一次至解碼器以用在多個(gè)場(chǎng)景中以便節(jié)省帶寬。類(lèi)似地，替代性背景圖像或視頻可以被單獨(dú)地提供，或者背景可以由其他方法生成以與具有不同原始背景的前景一起使用。在所有這些情況中，僅編碼的前景對(duì)象可能被發(fā)送至解碼器以用于新的圖像。如果用于發(fā)送針對(duì)前景對(duì)象的形狀的數(shù)據(jù)的帶寬可以保持較低而針對(duì)背景紋理信息的編碼被省略或者大幅減少以用于新的圖像，那么更多的帶寬可用于提供詳細(xì)的前景紋理信息至解碼器，這可以產(chǎn)生更高的感知圖像質(zhì)量。

因此，視頻分割算法的一個(gè)基礎(chǔ)目標(biāo)是將幀像素(或塊)分類(lèi)為或者前景或者背景。在基于背景建模的分割中，背景是在一定數(shù)量的之前分析的幀之上建模并估計(jì)的，例如形成進(jìn)行中的場(chǎng)景，并且然后被從當(dāng)前幀中減去(在此，術(shù)語(yǔ)“幀”、“圖片”和“圖像”可互換地使用)。例如，這可以通過(guò)以下方式來(lái)執(zhí)行：使用如直方圖、使用平均值/中值、概率函數(shù)曲線等幾種方法之一，并從幀到幀或在一定數(shù)量的幀之上形成針對(duì)像素值(如亮度和色度值)中的差異的閾值。這是基于以下想法：前景移除物體將導(dǎo)致在幀當(dāng)中的像素值的較大差異，而背景則被期望維持幀當(dāng)中的像素值的較小差異。這種類(lèi)型的方法適合于具有相對(duì)靜態(tài)相機(jī)的場(chǎng)景，如視頻會(huì)議和類(lèi)似的應(yīng)用。

兩種已知的背景建模分割算法包括：高斯混合(MoG)方法和濾波概率分布函數(shù)(FPDF)方法。MoG方法使用多個(gè)演進(jìn)高斯分布作為針對(duì)背景像素的值的模型。MoG方法包括將每個(gè)像素{X1，...，Xt}的最近歷史建模作為K個(gè)高斯分布的混合。針對(duì)現(xiàn)有的K個(gè)高斯分布檢查每個(gè)新的像素X，直到發(fā)現(xiàn)匹配(即，直到X的值在分布的標(biāo)準(zhǔn)偏差閾值內(nèi))。如果未發(fā)現(xiàn)匹配，那么最小概率分布由新的分布所替換，其中，X作為均值并且具有初始高方差。這種方法針對(duì)許多室內(nèi)序列和室外序列提供了好的前景對(duì)象分割結(jié)果。然而，MoG方法在具有周期性背景移動(dòng)的序列中的性能仍然較差。MoG方法嘗試估計(jì)的概率分布函數(shù)(PDF)的形狀可以是可由預(yù)定數(shù)量的高斯曲線來(lái)近似的任何形狀。實(shí)際上，可以用無(wú)限數(shù)量的高斯曲線來(lái)近似任何曲線。但是由于計(jì)算復(fù)雜性的緣故，MoG方法通常使用有限數(shù)量的三到五個(gè)高斯分布來(lái)進(jìn)行建模。這產(chǎn)生對(duì)PDF的相當(dāng)不準(zhǔn)確的近似，并且是復(fù)雜序列中的較差性能背后的主要原因之一。

為了更好地處理這種序列，F(xiàn)PDF分割方法是濾波方法與概率方法的混合。在FPDF方法中，初始分割是基于濾波器的，并且模型將參考背景圖像維持為背景的模型。所述分割可以由如應(yīng)用于幀序列的低通無(wú)限脈沖響應(yīng)(IIR)濾波器的方法來(lái)執(zhí)行。一種FPDF方法解決了基于典型濾波器的方法不能夠在復(fù)雜場(chǎng)景中在前景對(duì)象與背景對(duì)象的移動(dòng)之間進(jìn)行區(qū)分。在FPDF方法中，模型在初始分割中檢測(cè)像素值的PDF。所述FPDF模型能夠在初始分割中的誤差與真實(shí)前景像素之間進(jìn)行區(qū)分。例如，這可以通過(guò)使用實(shí)時(shí)更新的PDF以及基于貝葉斯(Bayes)法則的決策框架來(lái)完成，所述決策框架基于以下假設(shè)用公式表示：在單個(gè)像素處經(jīng)常觀察到的像素值更有可能是背景。

雖然這兩種方法在許多監(jiān)督類(lèi)型的序列中具有足夠充分的分割結(jié)果，但是這些方法在模型建立之前針對(duì)序列的前幾百個(gè)幀執(zhí)行得非常差。此外，在測(cè)試過(guò)程中，來(lái)自視頻會(huì)議領(lǐng)域的許多序列產(chǎn)生了非常不準(zhǔn)確的結(jié)果。此外，這兩種方法如果應(yīng)用于較高分辨率視頻(如1080p或更高)都非常慢。典型的個(gè)人計(jì)算機(jī)(PC)實(shí)現(xiàn)方式針對(duì)公共中間格式(CIF)分辨率每秒產(chǎn)生幾個(gè)幀，所述CIF分辨率不滿(mǎn)足典型的現(xiàn)代視頻應(yīng)用要求。

為了解決這些缺點(diǎn)，利用已知提議的多級(jí)背景(MSB)建模分割方法來(lái)進(jìn)行多個(gè)實(shí)驗(yàn)，所述實(shí)驗(yàn)嘗試針對(duì)現(xiàn)代視頻會(huì)議類(lèi)型的應(yīng)用提供更快速的學(xué)習(xí)速率(參見(jiàn)A.帕羅林(Parolin)、G.P.菲克爾(Fickel)、C.R.榮格(Jung)、T.馬爾扎本德(Malzbender)和R.沙馬塔尼(Samadani)在IEEE ICME 2011的Proc.上的“Bilayer video segmentation or videoconferencing applications(雙層視頻分割或視頻會(huì)議應(yīng)用)”)。在此MSB方法中，對(duì)象檢測(cè)(如人臉跟蹤算法)用于指導(dǎo)頭部和肩部的類(lèi)屬Ω形模板。然后，圍繞通用模板創(chuàng)建興趣區(qū)域(ROI)，并且基于邊緣、色彩和運(yùn)動(dòng)線索的能量函數(shù)用于定義人與背景之間的邊界。MSB方法中的背景建模用作跟蹤階段的組成部分。所述MSB方法依賴(lài)于人臉檢測(cè)和跟蹤算法以確定視頻會(huì)議中的參與者。當(dāng)在幀內(nèi)檢測(cè)到人臉時(shí)，人臉的位置和大小用于定義表示頭部和肩部區(qū)域的類(lèi)屬Ω形模板。所述模板被重新縮放并且被疊加于幀上以定義ROI。給定基于模板的ROI，對(duì)象的輪廓是在ROI內(nèi)部的曲線，所述ROI使在對(duì)象邊界上較大且在其他地方較小的某個(gè)能量函數(shù)最大化。在MSB方法中，尋找對(duì)象邊界的問(wèn)題用公式表示為圖形中的最大成本路徑，并且提出Dijkstra算法來(lái)尋找路徑以便估計(jì)對(duì)象邊界。在此過(guò)程中的一個(gè)關(guān)鍵部分是引導(dǎo)最短路徑的能量圖。所述MSB方法依賴(lài)于能量函數(shù)的所有三條線索：邊緣、色彩和運(yùn)動(dòng)。邊緣線索信息是使用索貝爾算子提取的，運(yùn)動(dòng)線索依賴(lài)于與被設(shè)置為10/255的閾值不同的串行幀，并且色彩線索是基于色彩空間直方圖(其是具有添加的空間信息的直方圖)。最終能量圖被確定為這三條線索的加權(quán)和，其中，權(quán)重被實(shí)驗(yàn)性地設(shè)置為邊緣線索的0.1、運(yùn)動(dòng)線索的0.7以及色彩線索的0.2。確定以上技術(shù)的質(zhì)量和/或性能的關(guān)鍵問(wèn)題在于具有與由所述技術(shù)使用的人臉檢測(cè)系統(tǒng)完全相同的人臉檢測(cè)系統(tǒng)。類(lèi)似于廣義的分割，人臉檢測(cè)可以是計(jì)算上復(fù)雜的，其結(jié)果是背景相關(guān)的。

在使用MSB方法的實(shí)驗(yàn)中，觀察到以下缺點(diǎn)：(1)MSB方法針對(duì)頭部和肩部類(lèi)型的場(chǎng)景調(diào)諧得極好，而當(dāng)應(yīng)用于其他類(lèi)型的場(chǎng)景時(shí)執(zhí)行得很差，(2)由MSB方法使用的跟蹤算法昂貴且減慢了分割過(guò)程從而使得MSB方法僅可應(yīng)用于較小的分辨率序列，以及(3)用于在圍繞對(duì)象的跟蹤區(qū)域內(nèi)精確地找到估計(jì)邊界的能量圖對(duì)于更一般的情況而言似乎太簡(jiǎn)單了，并且當(dāng)應(yīng)用于討論中的頭/頭部和肩部序列的測(cè)試集上時(shí)產(chǎn)生可見(jiàn)的分割誤差。

本背景前景分割過(guò)程克服了已知方法的上述缺點(diǎn)，所述過(guò)程提供高質(zhì)量的圖像，同時(shí)降低了所述過(guò)程的復(fù)雜度。本發(fā)明背景前景分割過(guò)程是多級(jí)方法，所述方法使用至少兩個(gè)階段，包括用于快速地學(xué)習(xí)初始的、準(zhǔn)確的背景模型的一個(gè)階段。然后，在分割循環(huán)階段中，背景減法技術(shù)接下來(lái)是形態(tài)學(xué)算子。并且，本分割過(guò)程僅使用基于ROI類(lèi)型的分析作為后處理器來(lái)通過(guò)使用多個(gè)線索(如Canny邊緣線索、梯度線索以及在所標(biāo)記的ROI內(nèi)基于運(yùn)動(dòng)的線索)從前景像素重新分類(lèi)暴露的背景，而不是使用ROI和其他線索來(lái)直接地分辨出傾向于是可見(jiàn)估計(jì)誤差的區(qū)域邊界。這種策略減少或消除了以下需求：(1)使用人臉跟蹤器來(lái)確定粗略的ROI估計(jì)，以及然后(2)依賴(lài)簡(jiǎn)單的線索來(lái)確定區(qū)域邊界的實(shí)際估計(jì)。經(jīng)計(jì)算的背景然后用于更新背景模型并且過(guò)程繼續(xù)至下一個(gè)幀。

參照?qǐng)D1和圖31至圖32，用于編碼視頻序列的視頻編碼系統(tǒng)150或160可以各自具有用于執(zhí)行背景前景分割的背景前景分割系統(tǒng)(或模塊或單元)100。背景前景分割系統(tǒng)100可以是計(jì)算機(jī)實(shí)現(xiàn)的系統(tǒng)，并且可以被認(rèn)為是與編碼器152或162分開(kāi)，所述編碼器接收來(lái)自背景前景分割系統(tǒng)100的分割掩膜或分割圖。在其他替代方案中，背景前景分割系統(tǒng)100可以被認(rèn)為是編碼器152或162的一部分或者可以具有編碼器152或162，和/或系統(tǒng)100可以是或者可以具有針對(duì)編碼器的控制器。許多變體是有可能的，只要分割系統(tǒng)100接收視頻序列中的圖像(或幀)的像素?cái)?shù)據(jù)。因此，所提供的原始視頻可以包括在一定數(shù)量的不同的視頻編碼協(xié)議(包括YUV、YCbCr等)中的亮度值和/或色度值，并且只要其包括具有背景和前景部分的圖像就不被特定地限制。舉幾個(gè)非限制性例子，并且如以下所述，由分割系統(tǒng)100產(chǎn)生的前景/背景分割可以與許多不同的編碼標(biāo)準(zhǔn)(如MPEG、H.264和HEVC)以及非標(biāo)準(zhǔn)替代性視頻編解碼器(如VP8和VP9)相兼容。

因此，分割系統(tǒng)100可以提供結(jié)果，其形式為關(guān)于哪些像素在背景中并且哪些像素在前景中的標(biāo)識(shí)。此標(biāo)識(shí)經(jīng)常被稱(chēng)為分割掩膜(例如，針對(duì)單個(gè)前景)或者分割圖(針對(duì)多個(gè)前景對(duì)象)。進(jìn)一步地，在一種形式中，除了分割掩膜或圖之外，它還可以輸出經(jīng)分割的幀。例如，這可以在幀被劃分為編碼塊并且被提供給例如編碼器中的轉(zhuǎn)換和量化單元之前的視頻編碼的預(yù)處理階段期間被執(zhí)行。然后可以較不詳細(xì)地對(duì)背景進(jìn)行編碼，并且可以更加詳細(xì)地對(duì)前景(興趣區(qū)域/ROI)進(jìn)行編碼。

參照?qǐng)D31，視頻編碼系統(tǒng)150具有作為背景前景分割系統(tǒng)100的前景ROI/背景分割器100a。以此形式，前景ROI/背景分割器100a接收形成一個(gè)或多個(gè)場(chǎng)景的幀或圖像的視頻序列，并且然后將背景(BG)從前景興趣區(qū)域(FG(ROI))中劃分出來(lái)。這形成了分割掩膜，所述分割掩膜指示圖像中的哪些像素是背景以及哪些像素是前景。這是在不對(duì)圖像或場(chǎng)景使用對(duì)象檢測(cè)的情況下并且在對(duì)視頻序列進(jìn)行編碼的過(guò)程中執(zhí)行的。按照一種形式，分割掩膜可以是二進(jìn)制掩膜，其中，例如，0指代背景而1指代前景。將分割掩膜提供給視頻編碼器152以對(duì)視頻數(shù)據(jù)進(jìn)行編碼，以便在比特流154之上傳輸至視頻解碼器156。然后，視頻解碼器156可以對(duì)編碼數(shù)據(jù)進(jìn)行解碼以用于在顯示器158上進(jìn)行觀看。

視頻編碼器使用分割掩膜來(lái)調(diào)整量化參數(shù)(如qp)以對(duì)視頻序列進(jìn)行編碼，這進(jìn)而影響轉(zhuǎn)換系數(shù)的精度。如所述，可以以較小的精度提供背景像素，而可以以較大的精度提供前景像素。這可以在塊基礎(chǔ)(其中，塊中的所有像素接收相同的值)或者像素基礎(chǔ)(其中，同一塊中的單獨(dú)的像素可以接收不同的分割值)上執(zhí)行。視頻編碼器154傳輸分區(qū)(或其地圖)、模式(如幀內(nèi)編碼或幀間編碼)、運(yùn)動(dòng)數(shù)據(jù)(如運(yùn)動(dòng)向量(mv)和/或參考幀信息(ref))以及紋理數(shù)據(jù)(如qp和tcoef)。分割掩膜自身不必被傳輸至解碼器，因?yàn)橥ㄟ^(guò)根據(jù)分割掩膜調(diào)整qp值已經(jīng)考慮了分割掩膜。然后，視頻解碼器156在不需要分割掩膜信息數(shù)據(jù)的情況下對(duì)視頻數(shù)據(jù)進(jìn)行解碼。

參照?qǐng)D32，通過(guò)替代性方案，視頻編碼系統(tǒng)160具有作為背景前景分割系統(tǒng)100的前景對(duì)象/背景對(duì)象分割器100b。與視頻編碼系統(tǒng)150一樣，前景對(duì)象(FGO)/背景對(duì)象(BGO)分割器100b接收視頻數(shù)據(jù)，并且將分割數(shù)據(jù)提供給編碼器162。在這種情況中，然而，前景對(duì)象/背景對(duì)象分割器100b使用對(duì)象檢測(cè)(如例如人臉檢測(cè))來(lái)定義一個(gè)或多個(gè)對(duì)象，以便形成多個(gè)單獨(dú)的前景或者以便被統(tǒng)一處理為單個(gè)前景并且以單個(gè)較大的背景為襯托。在這種情況中，形成指示背景以及單獨(dú)的前景對(duì)象中的每個(gè)對(duì)象的分割圖，如0針對(duì)背景，1針對(duì)一個(gè)對(duì)象，2針對(duì)另一個(gè)對(duì)象等等。分割圖可以是基于像素的或者可以具有比8×8塊更準(zhǔn)確的其他基礎(chǔ)(如四像素準(zhǔn)確度)，以嘗試避免可感知到“塊狀”或鋸齒狀圖像。

分割圖可以被提供給視頻對(duì)象編碼器162，所述編碼器然后可以通過(guò)根據(jù)分割圖修改qp而單獨(dú)地對(duì)其他對(duì)象中的每個(gè)對(duì)象進(jìn)行編碼。編碼器162還形成形狀數(shù)據(jù)(codmaps)以定位并制定圖像中的單獨(dú)檢測(cè)到的對(duì)象的形狀，并且在比特流164之上傳輸數(shù)據(jù)以及如針對(duì)視頻編碼系統(tǒng)150所描述的分區(qū)、模式、運(yùn)動(dòng)和紋理數(shù)據(jù)。視頻對(duì)象解碼器166然后可以對(duì)數(shù)據(jù)執(zhí)行解碼以重構(gòu)背景和前景對(duì)象，并且然后合成器167將對(duì)象放置在圖像中(例如，通過(guò)使用形狀數(shù)據(jù))。然后，可以在顯示器168上觀看圖像。此配置提供了大量靈活性來(lái)通過(guò)在不影響圖像中的其他對(duì)象的情況下修改單獨(dú)的對(duì)象而對(duì)圖像進(jìn)行編輯。因此，可以使得一個(gè)對(duì)象相對(duì)于其他對(duì)象更加大，等等。這種系統(tǒng)使用與這種基于對(duì)象的編碼(如MPEG 4)相兼容的標(biāo)準(zhǔn)。

參照?qǐng)D1，更加詳細(xì)地，分割系統(tǒng)100具有用于在至少兩個(gè)階段中運(yùn)行分割算法的至少兩個(gè)分割單元102和104。這包括背景模型學(xué)習(xí)單元102，所述背景模型學(xué)習(xí)單元操作初始階段來(lái)學(xué)習(xí)背景模型并且在一種情況中學(xué)習(xí)初始背景模型。分割循環(huán)單元104操作另一個(gè)階段(分割循環(huán)過(guò)程)，所述另一個(gè)階段產(chǎn)生分割幀并且更新背景模型。

背景模型學(xué)習(xí)單元102建立初始背景模型、初始化所述模型并且將其提供給分割循環(huán)單元104。確切地，背景模型學(xué)習(xí)單元102具有學(xué)習(xí)速率計(jì)算(LRC)單元106和累積初始分割計(jì)算(CISC)單元108，所述LRC單元用于建立參考幀供背景前景分割分析使用，所述CISC單元用于形成指示基礎(chǔ)幀中的像素或塊活動(dòng)性的累積分割掩膜。并且，自適應(yīng)閾值計(jì)算(ATC)單元110被提供用于基于分割掩膜設(shè)置背景閾值，并且背景模型初始化(BMI)單元112用于基于分割掩膜構(gòu)造初始背景模型。

分割循環(huán)單元104接收采用如上所述像素?cái)?shù)據(jù)的形式的原始視頻并且具有自適應(yīng)分割閾值計(jì)算(ASTC)單元1114，所述ASTC單元用于使用由背景模型學(xué)習(xí)單元102初始化的背景模型118來(lái)為背景減法(BS)116提供閾值。形態(tài)學(xué)開(kāi)閉(MOC)單元120、未知背景暴露(UBU)單元122以及分割掩膜噪聲去除(SMNR)單元124用于修改所述模型(通過(guò)添加到背景或從背景中減去)或以其他方式從數(shù)據(jù)中去除噪聲。采用經(jīng)分割的視頻(或幀)形式的經(jīng)修改的模型然后被提供用于編碼并且被提供至背景模型更新(BMU)單元126以用于更新背景模型118。所述循環(huán)繼續(xù)，直到其中圖像被大幅改變的場(chǎng)景或視頻序列的結(jié)束。

參照?qǐng)D2，流程圖展示了根據(jù)本公開(kāi)的至少一些實(shí)現(xiàn)方式安排的示例過(guò)程200。通常，過(guò)程200可以提供用于視頻編碼的背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括如上所述學(xué)習(xí)背景模型。在所展示的實(shí)現(xiàn)方式中，過(guò)程200可以包括如由均勻編號(hào)的一個(gè)或多個(gè)操作202至208展示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于以上圖1討論的操作描述過(guò)程200并且可以關(guān)于以下討論的示例系統(tǒng)100或2800來(lái)進(jìn)行討論。

分割過(guò)程200可以包括“對(duì)基礎(chǔ)幀與形成場(chǎng)景的視頻序列的多個(gè)參考幀中的每個(gè)參考幀之間的幀間差異量值進(jìn)行累加”202?；A(chǔ)幀可以是視頻序列或在視頻序列內(nèi)的場(chǎng)景的開(kāi)始幀或第一幀，但是不一定總是恰好是第一幀。通過(guò)一個(gè)選項(xiàng)，基礎(chǔ)幀是指視頻序列或在視頻序列內(nèi)的場(chǎng)景的開(kāi)始部分的開(kāi)始幀。否則，基礎(chǔ)幀可以在視頻序列或在視頻序列內(nèi)的場(chǎng)景之內(nèi)，其中，所述基礎(chǔ)幀是實(shí)用的。

分割過(guò)程200還可以包括“將單獨(dú)的差異量值與多個(gè)活動(dòng)性閾值進(jìn)行比較以確定像素或像素塊是活動(dòng)的還是非活動(dòng)的”204。因此，每個(gè)參考幀(或確切地，像素或像素塊)具有與基礎(chǔ)值的差異，并且每個(gè)差異與多個(gè)復(fù)雜度閾值進(jìn)行比較。下面解釋對(duì)這些復(fù)雜度閾值的選擇。

分割過(guò)程200還可以包括“形成多個(gè)累積分割掩膜，所述多個(gè)累積分割掩膜各自是具有相同的幀參考活動(dòng)性閾值組合總數(shù)量的像素或像素塊的量，在所述幀參考活動(dòng)性閾值組合中所述像素或像素塊是活動(dòng)的”206。因此，“組合”在此是與一個(gè)參考幀以及與那個(gè)參考幀一起使用的復(fù)雜度閾值之一的差異。例如，如果五個(gè)參考幀與八個(gè)閾值一起使用，那么有四十個(gè)組合。累積分割掩膜是塊(或像素)的數(shù)量的計(jì)數(shù)，其在相同數(shù)量的組合中是活動(dòng)的。例如，可以有在16種組合中活動(dòng)的100個(gè)塊，或者可以有在按照組合的數(shù)量暗示這些塊是前景塊的全部40種組合中非活動(dòng)的1000個(gè)塊，或者可以有僅在暗示這些塊是背景塊的一種或兩種組合中非活動(dòng)的1000個(gè)塊。

分割過(guò)程200還可以包括“通過(guò)使用累積分割掩膜確定有待用于將塊或像素分配給基礎(chǔ)幀的背景或前景的背景閾值”208。例如，以下解釋的，累積分割掩膜可以根據(jù)活動(dòng)組合的數(shù)量被排序，并且可以通過(guò)分析用于組合的塊的最大和最小數(shù)量來(lái)確定背景閾值。這可以由直方圖上的峰值和谷值來(lái)圖解(圖4)。例如，背景閾值是通過(guò)評(píng)估多個(gè)(0至40)組合確定的，以便確定對(duì)應(yīng)于最深谷值的值。這是基于以下理念：表圖上在低數(shù)量的活動(dòng)組合處的像素的高濃度(或峰)表示從幀到幀在活動(dòng)與非活動(dòng)之間變化不顯著的背景區(qū)域，而在較高數(shù)量的活動(dòng)組合處的峰值標(biāo)識(shí)在從幀到幀在活動(dòng)與非活動(dòng)之間變化不顯著的前景。在特定數(shù)量的活動(dòng)組合處具有最低數(shù)量的像素的峰值之間的谷值暗示在活動(dòng)與非活動(dòng)之間的較大變化的區(qū)域，其進(jìn)而暗示幀的背景前景區(qū)域之間的邊界。因此，設(shè)想了許多其他替代方案，類(lèi)似于但是不同于選擇最低像素總數(shù)作為背景閾值。這包括在像素的特定值處或者在合作地形成谷值的像素(或塊)總數(shù)的中心的谷值或者谷值組合可以距離至少一個(gè)峰值或每個(gè)峰值等等特定的距離(以組合數(shù)量)。

現(xiàn)在參照?qǐng)D3，流程圖展示了根據(jù)本公開(kāi)的至少一些實(shí)現(xiàn)方式安排的示例過(guò)程300。通常，過(guò)程300可以提供用于視頻編碼的背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述過(guò)程包括用于學(xué)習(xí)背景模型的階段。在所展示的實(shí)現(xiàn)方式中，過(guò)程300可以包括如由均勻編號(hào)的一個(gè)或多個(gè)操作302至320展示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于以上圖1討論的操作描述過(guò)程300并且可以參照以下討論的示例系統(tǒng)2800來(lái)進(jìn)行討論。

背景模型學(xué)習(xí)階段或過(guò)程300通過(guò)在場(chǎng)景開(kāi)始時(shí)分析幀間差異的數(shù)量而確定背景的初始概念。因此，背景模型學(xué)習(xí)過(guò)程300可以包括“確定場(chǎng)景的學(xué)習(xí)速率”302。例如，這可以通過(guò)LRC單元106來(lái)執(zhí)行，并且可以包括首先至少在低速率與高速率之間自動(dòng)地選擇學(xué)習(xí)速率。將理解的是，在其他替代方案中，還可以存在附加的分類(lèi)，如，非常低、低、中間、高、非常高等等、這種選擇基于場(chǎng)景的空間和時(shí)間復(fù)雜度。

學(xué)習(xí)速率用于根據(jù)場(chǎng)景的復(fù)雜度為給定場(chǎng)景設(shè)置適當(dāng)?shù)膸嚯x，從而使得相應(yīng)的幀距離給出顯著的響應(yīng)。幀距離是在當(dāng)前或基礎(chǔ)幀與參考幀之間的被即時(shí)計(jì)數(shù)為幀加1的數(shù)量的距離；此距離還被稱(chēng)為pdist(圖片距離)。例如，未來(lái)幀可以用作用于計(jì)算背景前景分割的參考。在學(xué)習(xí)階段中，特定數(shù)量的參考幀可以各自與開(kāi)始幀或基礎(chǔ)幀相比較，并且開(kāi)始幀與每個(gè)參考幀之間的差異用于建立背景的初始模型。針對(duì)不同場(chǎng)景，在幀的參考列表中的幀的數(shù)量，以及使用它們自身距離的實(shí)際幀可以取決于場(chǎng)景自身的特性?？臻g復(fù)雜度(SC)是視頻幀的平均復(fù)雜度，并且是基于幀內(nèi)的平坦區(qū)域、邊緣區(qū)域和溫度區(qū)域的量和水平確定的。時(shí)間(或運(yùn)動(dòng))復(fù)雜度(TC)是隨時(shí)間推移從幀到幀的復(fù)雜度。具有高時(shí)間復(fù)雜度的場(chǎng)景可以具有從幀到幀的復(fù)雜的/可較差補(bǔ)償?shù)倪\(yùn)動(dòng)，而具有低時(shí)間復(fù)雜度的場(chǎng)景可以具有從幀到幀的很好補(bǔ)償?shù)?經(jīng)常沒(méi)有或很少的)運(yùn)動(dòng)。針對(duì)較慢的移動(dòng)場(chǎng)景，需要較大的距離來(lái)采集足夠顯著的運(yùn)行以產(chǎn)生顯著的基于運(yùn)動(dòng)的響應(yīng)，所述響應(yīng)產(chǎn)生成功的前景/背景分隔。那么，在這種情況下，參考幀更加遠(yuǎn)離開(kāi)始幀或基礎(chǔ)幀。另一方面，針對(duì)較快的場(chǎng)景，從開(kāi)始幀或基礎(chǔ)幀到參考幀的較小距離是足夠的并且更適于學(xué)習(xí)背景模型。在本過(guò)程中，空間和時(shí)間復(fù)雜度兩者用于確定學(xué)習(xí)速率。并且，參考幀可以是相對(duì)于基礎(chǔ)幀的任何隨后的幀并且參考幀具有可以與基礎(chǔ)幀的像素值不同的像素值。

然后，更確切地，確定場(chǎng)景的學(xué)習(xí)速率可以包括“確定場(chǎng)景的復(fù)雜度”304?？臻g復(fù)雜度(SC)是幀內(nèi)復(fù)雜度的定量度量，其中，較低的值對(duì)應(yīng)于具有最光滑區(qū)域的場(chǎng)景，而較大的值對(duì)應(yīng)于具有大量強(qiáng)邊緣和/或紋理的場(chǎng)景。例如，SC可以是在場(chǎng)景的開(kāi)始幀或基礎(chǔ)幀中的兩個(gè)相鄰像素的平均橫向平方差(RS)和平均列向平方差(CS)的歐幾里得范數(shù)。為了減小計(jì)算復(fù)雜度，可以基于小于全部像素的采樣從差異中計(jì)算Rs和Cs值，如每隔幀的一行和/或一列。

時(shí)間復(fù)雜度(TC)是一種確定在當(dāng)前幀與參考幀之間有多少幀值變化的幀間度量。TC可以使用沿著場(chǎng)景或視頻序列的兩個(gè)間隔開(kāi)的幀之間的絕對(duì)差之和(SAD)計(jì)算被設(shè)置為平均像素。

給定所述場(chǎng)景的SC值和TC值，決策樹(shù)(表1，圖24A)用于將學(xué)習(xí)速率選擇為或者高(更快和/或更復(fù)雜的場(chǎng)景)或者低(更慢和/或更不復(fù)雜的場(chǎng)景)以便“在從基礎(chǔ)幀到參考幀的距離處并且沿著形成場(chǎng)景的幀序列選擇每個(gè)參考幀，所述選擇取決于場(chǎng)景的復(fù)雜度”306。下面的幀距離對(duì)應(yīng)于這兩個(gè)學(xué)習(xí)速率。針對(duì)高學(xué)習(xí)速率，假定開(kāi)始幀為幀1，然后所述過(guò)程使用相對(duì)更靠近開(kāi)始幀的在距離開(kāi)始幀的幀距離為2、4、8、16和24幀之處的五個(gè)參考幀來(lái)創(chuàng)建累積初始分割掩膜。針對(duì)較低學(xué)習(xí)速率，所述過(guò)程使用幀距離24、32、40和48幀來(lái)創(chuàng)建累積初始分割掩膜。表1示出在學(xué)習(xí)速率計(jì)算操作中使用的一個(gè)可能的決策樹(shù)。表1包括來(lái)自測(cè)試序列的測(cè)量結(jié)果，所述測(cè)量結(jié)果可以被歸類(lèi)成最佳場(chǎng)景分類(lèi)(針對(duì)背景模型的距離)或者換言之用于確定到參考幀的距離。在此，h對(duì)應(yīng)于被分析的幀的垂直分辨率(線或行的數(shù)量)，SC對(duì)應(yīng)于空間復(fù)雜度度量，并且TC對(duì)應(yīng)于時(shí)間復(fù)雜度度量。因?yàn)樾蛄械目臻g和時(shí)間屬性取決于幀大小，所以垂直視頻分辨率h還用在用于選擇學(xué)習(xí)速率的時(shí)空決策樹(shù)中。在本示例中，根據(jù)h針對(duì)數(shù)字通用光盤(pán)(DVD)或者標(biāo)準(zhǔn)清晰度(SD)視頻序列是否大于352個(gè)像素或者h(yuǎn)針對(duì)如所示的低清晰度(LD)視頻序列是否小于或等于352而確定復(fù)雜度。

參照?qǐng)D24A，表1決策樹(shù)用在學(xué)習(xí)速率計(jì)算(LRC)步驟中，并且確切地用于判定基于空間和時(shí)間復(fù)雜度的組合的序列幀是否有待被分類(lèi)成兩個(gè)類(lèi)別之一，其中，第一類(lèi)別是暗示場(chǎng)景中的較快運(yùn)動(dòng)的高復(fù)雜度，而第二類(lèi)別是暗示場(chǎng)景中的較小運(yùn)動(dòng)的低復(fù)雜度。當(dāng)場(chǎng)景被分類(lèi)為屬于第一類(lèi)別時(shí)，附近的幀可以用于參考比較，而當(dāng)場(chǎng)景被分類(lèi)為屬于第二類(lèi)別時(shí)，更遠(yuǎn)的幀需要用于參考比較。

例如，當(dāng)幀中存在多于352個(gè)像素時(shí)，SC為5.9至6.0且TC為0.8至0.9，然后所述幀具有高復(fù)雜度并且使用在以上所述更近的距離中的幀組。當(dāng)SC和TC未落入沿著決策樹(shù)中的同一行的范圍中或者幀大小針對(duì)DVD/SD大于352(針對(duì)LD小于352)時(shí)，那么幀具有低復(fù)雜度并且使用具有更大距離的幀組。所使用的SC和TC范圍是在實(shí)驗(yàn)過(guò)程中確定的并且可以不是唯一有效的組合。因此，表圖(圖24B)被提供用來(lái)示出可能有效的值的范圍。

參照?qǐng)D24B，提供了表圖用來(lái)示出空間與時(shí)間復(fù)雜度之間的關(guān)系并且解釋來(lái)自表1的范圍的起點(diǎn)。時(shí)間復(fù)雜度形成垂直軸并且空間復(fù)雜度形成水平軸。表圖被劃分為三個(gè)區(qū)域。首先，不大可能的(或完全不可能的)區(qū)域被定義為非常低至低SC加上中到高TC的組合。其次，低復(fù)雜度區(qū)域(如在表1上列出的)中非常低至低SC與非常低至中TC相組合。第三，高復(fù)雜度區(qū)域(如在表1上列出的)將低至高SC與中低至高TC進(jìn)行組合。表圖上的每個(gè)圓圈示出來(lái)自表1上的行的范圍組合，其中，圓圈的邊緣粗略地對(duì)應(yīng)于所列舉的范圍的限制。如由表圖所示，許多其他組合可以用于將幀分類(lèi)為高或低復(fù)雜度。

過(guò)程300還可以包括“形成指示在場(chǎng)景的至少一部分中的像素或像素塊的活動(dòng)性的累積分割掩膜”308。這可以由累積初始分割計(jì)算(CISC)單元108執(zhí)行，并且可以包括“形成基礎(chǔ)幀的像素?cái)?shù)據(jù)與每個(gè)參考幀的像素?cái)?shù)據(jù)之間的差值”310。例如，這可以包括在塊級(jí)上累加在像素值中的幀間差異量值，并且包括8×8塊級(jí)(盡管許多其他劃分尺寸是可能的)，并且通過(guò)對(duì)塊內(nèi)的像素值求平均而計(jì)算塊的單個(gè)值。如以上所解釋的，在第一或基礎(chǔ)幀與所選的參考幀中的每個(gè)幀之間計(jì)算幀間差異。然后，計(jì)算在每個(gè)8×8塊處的能量響應(yīng)量值。

更確切地，累積初始分割計(jì)算的一個(gè)目標(biāo)是確定幀內(nèi)的8×8塊的幀間活動(dòng)性水平。針對(duì)給定的至相應(yīng)的參考幀的n個(gè)幀距離d₁，...，d_n，累積掩膜C被計(jì)算為基于單獨(dú)的8×8塊的分割掩膜之和，如下：

針對(duì)在d_i(i＝1...n)處的每個(gè)參考幀，計(jì)算絕對(duì)幀間差異D_i，所述絕對(duì)幀間差異是第一個(gè)P亮度幀(開(kāi)始幀(sf))與在距離P亮度幀距離為d_i處的亮度幀之間的像素值(此處為亮度)差異。在此，幀間差異是針對(duì)導(dǎo)致具有差異D_i的幀的每個(gè)像素位置的差異。然后，將D_i劃分為8×8塊，并且將D_i中的每個(gè)像素設(shè)置為所述像素所屬的8×8塊中的平均值。所產(chǎn)生的D_i’具有更平滑的噪聲以及更強(qiáng)且更連貫的運(yùn)動(dòng)區(qū)域。在本示例中，將存在五個(gè)D_i’，每個(gè)針對(duì)由決策樹(shù)(表1)定位的每個(gè)參考幀。

然后，過(guò)程300可以包括“將參考幀的差值與多個(gè)活動(dòng)性閾值進(jìn)行比較以確定哪些像素或哪些像素塊是活動(dòng)的”312。因此，例如，針對(duì)給定的D_i’以及給定的一組m個(gè)第一潛在閾值t₁，...，t_m(其被實(shí)驗(yàn)地確定并且設(shè)置為t₁，...，t_m＝{1，2，3，4，5，6，8，12})。這些第一活動(dòng)性閾值是在范圍廣泛的視頻序列之上通過(guò)實(shí)驗(yàn)獲得的，并且用作為用于計(jì)算單個(gè)唯一閾值的候選項(xiàng)。所述閾值表示對(duì)像素差異的絕對(duì)值的約束，所述像素差異使能夠?qū)⑾袼胤诸?lèi)為屬于像素的前景或背景組。換言之，這些是初始(或測(cè)試)背景閾值(或探測(cè))。在此使用八個(gè)閾值，但是將理解的是可以代替地使用更多或更少的閾值。與活動(dòng)性閾值進(jìn)行比較的結(jié)果是，最終操作可以產(chǎn)生二進(jìn)制分割掩膜S_i，j(j＝1...m)，如下：

其中，(x，y)是塊在幀內(nèi)的位置。因此，針對(duì)塊級(jí)分割掩膜S_i，j，所產(chǎn)生的‘0’指示在開(kāi)始幀與參考幀之間沒(méi)有或低差異，并因此沒(méi)有活動(dòng)性。所產(chǎn)生的‘1’指較大的差異并因此存在活動(dòng)性。因此，此等式針對(duì)在每個(gè)參考幀中的每個(gè)塊(1到n)并且針對(duì)每個(gè)閾值(1到m)產(chǎn)生0或1。

過(guò)程300然后可以包括“形成多個(gè)累積分段掩膜，每個(gè)掩膜是像素或像素塊的量的總數(shù)，所述像素或像素塊在相同數(shù)量的參考幀與用于確定像素或塊的活動(dòng)性的活動(dòng)性閾值的組合中是活動(dòng)的”314。確切地，來(lái)自二進(jìn)制塊的這些然后全部被求和以在每個(gè)塊的基礎(chǔ)上形成累積分割掩膜(或者換言之，針對(duì)每個(gè)塊或跨組合的塊位置的“活動(dòng)性”的總水平)。累積分割掩膜C被設(shè)置為以下總和：

其中，(x，y)表示針對(duì)每個(gè)參考幀且針對(duì)每個(gè)閾值比較的單個(gè)像素塊(或更準(zhǔn)確地單個(gè)塊位置)。在本情況中，然后，C是組合的總數(shù)(此處的最大值為四十(五個(gè)參考幀×八個(gè)活動(dòng)性閾值))。每個(gè)組合由在其中塊是活動(dòng)的二進(jìn)制值(1)指示。因此，例如，C＝10意味著塊在10種組合中是活動(dòng)的。針對(duì)零(在任何組合中為非活動(dòng)的塊)，將有與組合的數(shù)量加一同樣多的累積分割掩膜C值。在相同數(shù)量的組合中活動(dòng)的像素或塊的量然后被累積以形成跨所有組合的可以被放置在如圖4所示的直方圖中的最終累積分割掩膜。

過(guò)程300還可以包括“確定場(chǎng)景的至少一個(gè)背景閾值”316，并且這可以由自適應(yīng)閾值計(jì)算(ATC)單元110執(zhí)行并且包括自動(dòng)地確定用于將累積掩膜拆分成前景和背景響應(yīng)塊的閾值。過(guò)程300因此包括“沿著累積分割掩膜的數(shù)值排序?qū)蓚€(gè)最大累積分割掩膜之間的最小累積分割掩膜選擇作為背景閾值”318。換言之，例如，在累積掩膜的平滑直方圖中將閾值設(shè)置為兩個(gè)峰值之間的最低谷值。第一峰值(峰值1)被設(shè)置為具有最大計(jì)數(shù)的直方圖點(diǎn)。第二峰值(峰值2)被設(shè)置為排除峰值1及其緊挨著的鄰居(圍繞峰值1的向峰值的左邊和右邊單調(diào)遞減的點(diǎn))的具有最大計(jì)數(shù)的直方圖點(diǎn)。換言之，一旦獲得累積分割掩膜，它就被用來(lái)確定與移動(dòng)對(duì)象相關(guān)的8×8塊區(qū)域。

過(guò)程300還可以包括“確定在塊內(nèi)具有像素準(zhǔn)確分割的背景模型”320。例如，這可以由背景模型初始化(BMI)單元112執(zhí)行，并且可以首先包括在第一或基礎(chǔ)幀中確定可能的背景區(qū)域。這然后可以用于初始化背景模型118。背景區(qū)域是通過(guò)使用二進(jìn)制累積8×8掩膜確定的，以尋找從所述一組幀間距離和閾值(在第一步驟中預(yù)先設(shè)置的)計(jì)算的最小誤差像素準(zhǔn)確(填充的空穴)二進(jìn)制幀間差異。換言之，初始背景模型例如使用SAD被設(shè)置在組合值的二值化幀相比于背景閾值之間的最小差異以及基礎(chǔ)幀與所述參考幀活動(dòng)性閾值組合之一之間的二值化差異處。例如，與最接近參考幀以及最小活動(dòng)性閾值的組合被選擇用于比較。用以下描述的過(guò)程2200的操作2254解釋一個(gè)示例，其涉及將像素準(zhǔn)確分割掩膜與塊準(zhǔn)確分割掩膜進(jìn)行比較。

因此，為了獲得像素準(zhǔn)確分割掩膜(或背景模型)，使用二值化的8×8累積分割掩膜C’計(jì)算以下誤差：

Err_i，j＝∑abs(C′(x，y)-S_i，j(x，y)) (3)

其中，i＝1...n，j＝1...m，并且(x，y)是像素塊在幀內(nèi)的坐標(biāo)。值‘n’與被檢查的幀距離d₁，...，d_n的數(shù)量有關(guān)，并且值‘m’指被檢查的閾值T₁，...，T_m的數(shù)量。

然后，最小誤差Err_a，b的距離d_a和閾值t_b用于創(chuàng)建像素準(zhǔn)確分割掩膜S。d_a和t_b值對(duì)應(yīng)于導(dǎo)致SAD的最小值的情況。

例如，還可以通過(guò)如以下用操作2256(圖22b)所描述的首先關(guān)閉并且隨后打開(kāi)來(lái)應(yīng)用形態(tài)學(xué)處理以填充空穴并且以其他方式從幀中消除噪聲。

最終，像素準(zhǔn)確掩膜S然后用于通過(guò)將初始背景模型設(shè)置為僅在S中具有值0的像素位置處的初始像素的YUV值來(lái)獲得所述模型。針對(duì)這些像素位置的計(jì)數(shù)器被設(shè)置為1(意味著模型在那個(gè)像素位置處包含1個(gè)背景值)。針對(duì)其他像素(對(duì)應(yīng)于掩膜S中的值1的那些像素)的計(jì)數(shù)器被設(shè)置為0(意味著那個(gè)模型在那些像素位置處沒(méi)有背景值)并且針對(duì)這些像素的背景模型是未知的。這在圖7中被示出為實(shí)白色區(qū)域702。

確切地，并且參照用于展示背景學(xué)習(xí)模型過(guò)程300的圖5至圖8，圖5示出了原始幀500，圖6示出了灰度級(jí)的累積8×8掩膜600，其中，所述級(jí)取決于組合的數(shù)量，其中，塊的顏色越深，塊活動(dòng)性越小。圖7示出了在應(yīng)用背景閾值之后的二進(jìn)制累積8×8掩膜700，其中，前景或未知區(qū)域702是白色的，而背景704是黑色的。圖8展示了從圖7的二進(jìn)制累積8×8掩膜獲得的初始背景模型800。圖8中的實(shí)灰色區(qū)域802示出“未知”背景，或者換言之可能是前景。

最終，將理解的是，可以針對(duì)每個(gè)色彩分量(Y、U和V)單獨(dú)地學(xué)習(xí)背景模型。這可以包括針對(duì)計(jì)算取相關(guān)像素值(Y、U或V)的差。所述結(jié)果然后實(shí)際上是有待由分割循環(huán)使用的三個(gè)學(xué)習(xí)到的背景模型。

參照?qǐng)D9，流程圖展示了根據(jù)本公開(kāi)的至少一些實(shí)現(xiàn)方式安排的示例過(guò)程900。通常，過(guò)程900可以提供用于視頻編碼的背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述過(guò)程包括分割循環(huán)過(guò)程或階段。在所展示的實(shí)現(xiàn)方式中，過(guò)程900可以包括如由均勻編號(hào)的一個(gè)或多個(gè)操作902至912展示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于以上圖1討論的操作描述過(guò)程900并且可以參照以下討論的示例系統(tǒng)2700來(lái)進(jìn)行討論。

在初始背景模型被建立之后，分割循環(huán)階段使用背景模型用于分割更多的幀。按照一種形式，分割算法貫穿有待分割的所有幀進(jìn)行循環(huán)。換言之，例如，分割循環(huán)使用(時(shí)間上)相鄰的幀來(lái)確定背景前景閾值。在每次迭代處，幀被分割成前景/背景區(qū)域，并且背景模型被更新以供下一個(gè)幀使用。

更確切地，過(guò)程900可以包括“確定當(dāng)前幀的分割閾值”902，例如，這可以由自適應(yīng)分割閾值計(jì)算(ASTC)單元114執(zhí)行。此操作包括自動(dòng)地確定給定幀或當(dāng)前幀的分割閾值。因?yàn)楸尘澳Ｐ歪槍?duì)全部三個(gè)平面(Y、U和V)都被保留，所以分割閾值指三元組(T_Y，T_U，T_V)。閾值是使用基于幀大小和前25個(gè)直方圖百分比以及在當(dāng)前幀與前一個(gè)經(jīng)處理的幀之間的絕對(duì)幀間差異的中值(其可以是緊挨著的前一個(gè)幀或由pdist分隔開(kāi)的幀)的線性回歸模型計(jì)算的。將理解的是，至少針對(duì)此操作，背景前景閾值在此是由背景模型單獨(dú)地形成的，并且用于形成分隔掩膜，所述分割掩膜將被修改并且然后用于更新背景模型。

例如，以下等式定義了用于預(yù)測(cè)作為分割循環(huán)階段的一部分的當(dāng)前幀的分割閾值的線性回歸模型。以下等式用于自動(dòng)分割閾值計(jì)算(ASTC)運(yùn)算：

Sy＝0.0715*Dy_med+0.0442*Cy+0.0209*Hy₁-0.324*Hy₂

+1.7412*Hy₃-1.0499*Hy₄+0.7297*Hy₆+0.8044*Hy₉-

0.2698*Hy₁₀-0.6283*Hy₁₁+0.8871*Hy₁₂-1.4504*Hy₁₅+

1.6281*Hy₁₆-2.3614*Hy₁₇-2.3476*Hy₁₈+5.4431*Hy₁₉-

3.5625*Hy₂₁-2.6202*Hy₂₃+0.0101*w-0.0225*h+6.5227 (4)

Su＝-0.5912*Du_med+0.1567*Cu-0.1366*Hu₀-

0.3854*Hu₂+1.5786*Hu₄-1.9231*Hu₅+0.7401*H₇-

3.9316*Hu₁₁-2.0961*Hu₁₂+1.3948*Hu₁₄+3.2186*Hu₁₅-

1.4141*Hu₁₇-2.3575*Hu₁₈+1.7657*Hu₂₀-1.2332*Hu₂₁-

3.0928*Hu₂₂+6.6386*Hu₂₄-0.0015*w+14.656 (5)

Sv＝-0.7941*Dv_med+0.0248*Hv₁+0.0741*Hv₂+

0.7821*Hv₄+1.429*Hv₈+1.6046*Hv₁₀+1.4576*Hv₁₁+

2.2069*Hv₁₂-5.8848*Hv₁₅-1.9043*Hv₁₆+2.8021*Hv₁₇+

2.9689*Hv₁₈-3.8078*Hv₂₁+2.3297*Hv₂₂+1.6067*Hv₂₃-

0.001*w+4.2531 (6)

其中，Dy_med、Du_med和Dv_med如所解釋的是來(lái)自?xún)蓚€(gè)相鄰的經(jīng)處理的幀(它們可以是相鄰的幀或者pdist分開(kāi)的幀)之間的色彩分量(Y、U或V)的絕對(duì)差直方圖的中值，Cu和Cy是兩個(gè)相鄰的經(jīng)處理的幀(它們可以是相鄰的幀或者pdist分開(kāi)的幀)之間的其值落入第99.9個(gè)百分位中的色彩分量U或Y的顯著絕對(duì)差直方圖點(diǎn)的數(shù)量，并且Hy_n、Hu_n、Hv_n是色彩分量Y、U或V的并且在兩個(gè)相鄰的經(jīng)處理的幀(它們可以是相鄰的幀或者pdist分開(kāi)的幀)之間的第n個(gè)絕對(duì)差直方圖點(diǎn)。

最終的一組閾值Ty、Tu和Tv被計(jì)算為如下：

Ty＝CLIP(Sy，3，16)； (7)

Tu＝CLIP(Su，3，12)； (8)

Tv＝CLIP(Sv，3，12)， (9)

其中

并且其中，閾值Ty、Tu和Tv是有待同當(dāng)前幀中的像素值與如下所述的背景模型(無(wú)論是初始學(xué)習(xí)的背景模型還是最新的背景模型)之間的差異進(jìn)行比較的差異量值。通過(guò)試驗(yàn)和誤差獲得固定值3、12和16。

分割閾值然后用于通過(guò)將閾值應(yīng)用于當(dāng)前幀與背景模型之間的絕對(duì)幀間差異而創(chuàng)建二進(jìn)制分割掩膜。因此，過(guò)程900還可以包括“使用背景減法和背景模型形成當(dāng)前分割掩膜”904。這包括使用背景減法(BS)來(lái)通過(guò)使用在前一運(yùn)算中計(jì)算的閾值使當(dāng)前幀與背景模型之間的絕對(duì)幀間差異二值化而計(jì)算原始分割掩膜。此背景減法運(yùn)算首先針對(duì)全部三個(gè)色彩平面Y、U和V計(jì)算當(dāng)前圖像幀與初始背景模型或者最近更新的背景模型之間的D絕對(duì)幀間差異。然后，獲得原始分割掩膜S，如下：

其中，(x，y)是像素值、像素塊或分割掩膜中的某個(gè)其他劃分大小，并且其中，0指示背景，而1指示前景。

過(guò)程900還可以包括“應(yīng)用形態(tài)學(xué)開(kāi)閉以在分割掩膜上逐像素地調(diào)整背景或前景指示”906，并且，例如，所述過(guò)程由MOC單元120執(zhí)行。將形態(tài)學(xué)開(kāi)閉應(yīng)用于原始分割掩膜以刪除隨機(jī)像素噪聲并且以在分割的前景對(duì)象中創(chuàng)建更好的連接性。形態(tài)學(xué)開(kāi)閉作為初始簡(jiǎn)單的噪聲濾波被應(yīng)用于原始分割掩膜，所述濾波去除了分割噪聲像素形成并且閉合了在連續(xù)的、更干凈的分割掩膜中產(chǎn)生的分割線之間的短開(kāi)口。形態(tài)學(xué)閉合(膨脹后接侵蝕)首先應(yīng)用于增強(qiáng)前景對(duì)象的連接性，并且然后形態(tài)學(xué)打開(kāi)(侵蝕后接膨脹)被應(yīng)用于去除初始背景噪聲。形態(tài)學(xué)支持區(qū)域被設(shè)置為2×2正方形：

A B

C D

其中，膨脹和侵蝕兩者都使用2×2支持區(qū)域作為2×2滑動(dòng)窗，所述滑動(dòng)窗以光柵掃描方式從幀的左上角至右下角逐像素地應(yīng)用于二進(jìn)制分割掩膜上。此操作根據(jù)正方形中的三個(gè)相鄰像素更新左上的值。在2×2膨脹正方形中，如果B、C或D中任一者為1，則膨脹位A被設(shè)置為1。另一方面，在2×2侵蝕正方形中，如果B、C或D中任一者為0，則侵蝕位A被設(shè)置為0。膨脹過(guò)程填充了創(chuàng)建較長(zhǎng)連續(xù)線分割邊界的空穴，而侵蝕過(guò)程刪除了在另外的非突變分割邊界上的噪聲形成。整體組合過(guò)程將附加的像素轉(zhuǎn)換成在其中大多數(shù)像素為前景像素的區(qū)域中的前景像素，并且反之亦然。

過(guò)程900還可以包括“將最新暴露的背景添加至分割掩膜”908，也被稱(chēng)為未知背景暴露(UBU)。例如，此操作可由UBU單元124來(lái)執(zhí)行。當(dāng)前景移動(dòng)并且暴露有待成為背景的一部分的像素位置時(shí)，可以使用此操作。確切地，初始模型經(jīng)常包含從不被覆蓋并且包括在前景中的區(qū)域(參見(jiàn)圖8)。此操作圍繞當(dāng)前對(duì)象邊界使用高級(jí)時(shí)空分析以確定較大幀間差異是否是由前景或最新暴露的背景導(dǎo)致的。

因此，參照?qǐng)D10，過(guò)程900的此UBU操作可以包括用于將最新暴露的背景添加到背景模型中的過(guò)程1000并且其如由一個(gè)或多個(gè)均勻編號(hào)的操作1002至1018所展示的包括一個(gè)或多個(gè)操作、功能或動(dòng)作。

參照?qǐng)D11，過(guò)程1000包括“圍繞當(dāng)前的前景背景邊界創(chuàng)建興趣區(qū)域(ROI)”1002。因此，幀或分割掩膜1100具有前景1102、背景1104以及測(cè)試興趣區(qū)域(ROI)1106，所述測(cè)試ROI在當(dāng)前分割掩膜中圍繞前景對(duì)象被標(biāo)記。確切地，測(cè)試ROI 1106圍繞由閾值到目前為止設(shè)置的背景區(qū)域1102與前景區(qū)域1104之間的邊界1108延伸。例如，測(cè)試ROI 1106從包括像素或塊的邊界1108向內(nèi)延伸，所述像素或塊當(dāng)前景移動(dòng)時(shí)可能未被覆蓋并且可能還不是背景模型的一部分。測(cè)試ROI 1106的厚度是基于幀大小或分辨率設(shè)置的。這可以是分辨率的百分比，如高、寬或幀中的像素總數(shù)。否則，所述厚度可以是到目前為止的總前景或背景的百分比。相比而言，這可以是在幀或分割掩膜中的像素的總數(shù)的百分比。

參照?qǐng)D12，過(guò)程1000包括“將ROI拆分為多個(gè)部分”1004。一旦ROI被標(biāo)記，就使用垂直于ROI的外輪廓的線段來(lái)對(duì)其進(jìn)行劃分。這包括使用垂直于ROI外輪廓或邊界1108的線段1202來(lái)將ROI劃分為多個(gè)部分或分區(qū)1200。在一種形式中，ROI部分的數(shù)量取決于輪廓大小，并且線段畫(huà)在距彼此固定距離處(并且所述距離還可以基于幀大小被預(yù)先設(shè)置)。此過(guò)程的目標(biāo)是將長(zhǎng)分段縮短為分段的較小分段，所述較小分段可以更加容易被評(píng)估、縮小了可以在其中得到潛在誤差的區(qū)域。通過(guò)將ROI 1106拆分成較小的分區(qū)1200，時(shí)空分析更加容易被局部化并且消除了誤差傳播(例如，大大錯(cuò)誤地聲明的背景區(qū)域)。

參照?qǐng)D25，表2提供分割設(shè)置(并且確切地ROI大小)，所述分割設(shè)置是使用實(shí)驗(yàn)和誤差通過(guò)實(shí)驗(yàn)確定的。ROI的尺寸例如取決于如在表2中所示的圖像高度(幀的高度)h，并且在一個(gè)示例中，不管幀的高度是高清晰度(HD)還是更大(h多于1080個(gè)像素)。劃分相鄰ROI部分1200的ROI分段長(zhǎng)度是16或24個(gè)像素，ROI(沿著ROI的內(nèi)部邊緣)的內(nèi)部寬度是26或42個(gè)像素，而ROI(沿著具有背景區(qū)域的邊緣)的外部寬度是6或16個(gè)像素，其中，當(dāng)h大于1080時(shí)使用更大的尺寸。所述過(guò)程等效于取輪廓并對(duì)其進(jìn)行擠壓直到其擬合在對(duì)象內(nèi)部。

參照?qǐng)D13至圖15，在ROI分區(qū)1200被創(chuàng)建之后，使用三個(gè)不同的線索來(lái)對(duì)ROI進(jìn)行時(shí)空分析以“確定低能量區(qū)域是否存在于可能是未被覆蓋的背景部分的ROI內(nèi)”1005。通過(guò)用于確定低能量區(qū)域的一個(gè)示例操作，過(guò)程1000可以包括使用邊緣檢測(cè)、運(yùn)動(dòng)檢測(cè)以及(相關(guān)Y、U、V色彩分量的)梯度檢測(cè)來(lái)確定低能量區(qū)域。這可以包括“使用Canny邊緣檢測(cè)器來(lái)計(jì)算邊緣線索”1006。使用這種Canny邊緣檢測(cè)器并且如在幀1400上所示(圖14)，可以針對(duì)幀中所有相關(guān)的像素形成邊緣線索E_c(幀1400示出針對(duì)所有像素形成的E_c)。這可以針對(duì)在開(kāi)始幀之后的有待分析的每個(gè)幀被執(zhí)行，并可以針對(duì)幀中的ROI中的每個(gè)像素被執(zhí)行。

并且，過(guò)程1000然后可以包括“使用水平梯度和垂直梯度計(jì)算梯度線索”1008。在此操作中，梯度線索G_c可以是至少針對(duì)單獨(dú)的相關(guān)像素(如果不是整個(gè)幀的話(huà))形成的，并且使用被計(jì)算作為Canny邊緣檢測(cè)的副產(chǎn)物的亮度(Y)分量中的水平梯度或垂直梯度的量值。所述梯度是針對(duì)整個(gè)幀1500示出的(圖15)。

并且，過(guò)程1000然后可以包括“使用當(dāng)前幀與前一幀的絕對(duì)差計(jì)算運(yùn)動(dòng)線索”1010。此操作使用當(dāng)前幀(基礎(chǔ)幀)與前一幀(例如，pdist分開(kāi)的)的絕對(duì)差形成運(yùn)動(dòng)線索M_c，并且如在幀1300中所示(圖13)。這可以逐像素地進(jìn)行。

一旦線索被建立，過(guò)程1000可以包括“將線索融合到能量圖中”1012，并且，例如，最終能量圖使用歸一化加權(quán)總和。這些線索用于創(chuàng)建最終能量圖，如下：

E＝0.1E_c+0.4G_c+0.5M_c (12)

其中，E是像素(或所使用的其他單元)的總能量。能量圖提供具有變化活動(dòng)性水平的圖，并且在一種情況中逐像素地變化，從而使得低能量區(qū)域很有可能是未顯露的背景。

過(guò)程1000然后可以包括“標(biāo)記在每個(gè)ROI部分內(nèi)的低能量區(qū)域”1014，并且然后“將強(qiáng)連接至背景的低能量區(qū)域分類(lèi)為暴露的當(dāng)前背景(UCB)”1016。因此，在每個(gè)ROI部分內(nèi)的低能量區(qū)域被標(biāo)記為潛在的新的暴露背景。所標(biāo)記的區(qū)域的圓周、大小和形狀然后被檢查以確定所標(biāo)記的區(qū)域與背景的連接程度。如果(a)至少1/8的區(qū)域圓周長(zhǎng)度連接于背景，(b)區(qū)域的大小至少為16個(gè)像素，并且(c)形狀復(fù)雜度為低，那么所述區(qū)域被標(biāo)記為暴露的背景。如果形狀周長(zhǎng)大于1/8的形狀區(qū)域，那么給定的形狀被宣稱(chēng)是復(fù)雜的。參照?qǐng)D17，幀1700是用最終暴露的背景區(qū)域1702(被標(biāo)記為剛好在前景外部并且沿著前景的白色邊緣的灰度區(qū)域)形成的，所述背景區(qū)域是使用線索融合的能量圖在ROI部分1704內(nèi)部計(jì)算的。過(guò)程1000然后可以包括“根據(jù)暴露的當(dāng)前背景(UCB)區(qū)域更新分割掩膜”1018，并且是通過(guò)添加這些區(qū)域作為背景的一部分。

過(guò)程900還可以包括通過(guò)去除類(lèi)似噪聲的對(duì)象以及通過(guò)填充包含在前景中一些小空穴而“完成分割掩膜”910。例如，這可以通過(guò)分割掩膜噪聲去除(SMNR)單元124來(lái)執(zhí)行。分割掩膜噪聲去除包括：通過(guò)刪除被水平地和垂直地掃描的2像素寬的掃描線來(lái)對(duì)分割掩膜進(jìn)行平滑處理、去除完全包含在前景內(nèi)的較小的隔離區(qū)域和背景區(qū)域、并且對(duì)掩膜的尖銳邊緣進(jìn)行平滑處理。表3(圖26)示出了用于通過(guò)對(duì)前景對(duì)象輪廓進(jìn)行平滑處理并刪除較小的類(lèi)似噪聲的尖峰值和斑點(diǎn)而清理分割掩膜的設(shè)置。這兩種設(shè)置都是基于輸入視頻分辨率(其中，w＝幀寬，并且h＝幀高)。根據(jù)幀大小(例如，以像素分辨率為單位)，最小對(duì)象大小被設(shè)置并且平滑二進(jìn)制濾波器長(zhǎng)度如表3上所示。

過(guò)程900還可以包括“更新當(dāng)前背景模型”912。具體地，此操作使用當(dāng)前分割掩膜來(lái)更新當(dāng)前背景模型。背景模型是通過(guò)將當(dāng)前分割掩膜的背景像素添加到現(xiàn)有模型并創(chuàng)建運(yùn)行平均值而被更新的。例如，此操作可由背景模型更新(BMU)單元126來(lái)執(zhí)行。

一旦分割掩膜被完成，分割掩膜就可以被提供給編碼器(或者形成預(yù)處理部分用于編碼器的處理部分)。然后，如以上關(guān)于系統(tǒng)150所述(圖31)，編碼器可以使用分割掩膜來(lái)修改量化參數(shù)?？梢栽黾觪p以降低背景的精度和質(zhì)量，并且可以減小qp以提高前景的質(zhì)量和精度。這些qp然后被傳輸至解碼器用于重構(gòu)圖像。分割掩膜在這種情況下不被傳輸至解碼器從而節(jié)省帶寬。

將認(rèn)識(shí)到，當(dāng)期望時(shí)存在其他替代方案。因此，例如，qp可以被調(diào)整以降低前景相對(duì)于背景的圖像質(zhì)量或者以降低前景的一部分相對(duì)于前景和/或背景的其他部分的圖像質(zhì)量。同樣地，qp可以被調(diào)整以提高背景相對(duì)于背景的圖像質(zhì)量或者背景的一部分相對(duì)于背景和/或前景的其他區(qū)域的圖像質(zhì)量。

針對(duì)如關(guān)于系統(tǒng)160(圖32)所提及的面向?qū)ο蟮木幋a，背景模型學(xué)習(xí)過(guò)程300和分割循環(huán)過(guò)程900是類(lèi)似的，除了在此分割掩膜是檢測(cè)對(duì)象的分割圖，并且過(guò)程300和900可以將各自檢測(cè)的前景對(duì)象有效地處理成ROI，從而使得每個(gè)前景對(duì)象在分割循環(huán)中單獨(dú)地針對(duì)形態(tài)學(xué)的、暴露的背景以及完成操作906、908和910可以是精細(xì)調(diào)諧的。然而，按照一種方法，單獨(dú)的對(duì)象被分組在一起并且考慮單個(gè)前景或前景對(duì)象，而背景被考慮為背景對(duì)象，從而使得在分割圖中僅存在兩個(gè)對(duì)象。按照一種形式，分割圖是具有至少一個(gè)前景對(duì)象和至少一個(gè)背景對(duì)象的圖。

參照?qǐng)D18至圖21，提供分割循環(huán)階段的示例，其中，當(dāng)前幀1800包括背景和前景區(qū)域兩者。相應(yīng)的當(dāng)前背景模型1900全部被示出，其中，前景區(qū)域被去除。原始分割掩膜2000是在背景減法之后形成的，其中，去除的前景區(qū)域?yàn)榘咨尘盀楹谏?。最終分割掩膜2100是在形態(tài)學(xué)算子、未知的背景暴露以及最終分割噪聲去除之后形成的。在這種情況下，注意到籃球網(wǎng)被從分割掩膜2100中去除，因?yàn)槠湓谝苿?dòng)并因此被認(rèn)為是前景。

參照?qǐng)D22A至圖22B和圖23，過(guò)程2200和2300示出可以用來(lái)執(zhí)行在此描述的分割過(guò)程的操作的更多細(xì)節(jié)。過(guò)程2200描述了背景模型學(xué)習(xí)過(guò)程，而過(guò)程2300描述了分割循環(huán)過(guò)程。以下標(biāo)注用于流程圖內(nèi)以解釋過(guò)程2200和/或2300。

表4：分割系統(tǒng)流程圖上所使用的術(shù)語(yǔ)，按照在圖表中出現(xiàn)的順序排列(圖22至圖23)。

根據(jù)本公開(kāi)的至少部分實(shí)現(xiàn)方式安排示例背景模型學(xué)習(xí)過(guò)程2200。通常，過(guò)程2200提供可以在用于視頻編碼的背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法中使用的程序和/或算法，所述過(guò)程包括用于學(xué)習(xí)背景模型的階段。在所展示的實(shí)現(xiàn)方式中，過(guò)程2200可以包括如由均勻編號(hào)的一個(gè)或多個(gè)操作2202至2256展示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于以上圖1討論的操作、以下討論的示例系統(tǒng)2800或者在此討論的任何其他實(shí)現(xiàn)方式描述過(guò)程2200。

過(guò)程2200可以包括判定時(shí)間復(fù)雜度TC是否大于復(fù)雜度閾值(并且確切地在操作2202-2212中的場(chǎng)景動(dòng)態(tài)閾值Td)。為了獲得時(shí)間復(fù)雜度，使用SAD將基礎(chǔ)幀或開(kāi)始幀像素值與下一幀(其可能由pdist分隔開(kāi))進(jìn)行比較，并且可以對(duì)其求平均。若是這樣，那么靜態(tài)stat被設(shè)置為1；否則，那么stat被設(shè)置為0。然后，針對(duì)TC，將F[sf]當(dāng)前幀與F[sf+pd*4]進(jìn)行比較，其中，pd是一對(duì)幀之間的圖片距離，針對(duì)所述一對(duì)幀，分割掩膜被計(jì)算(從而使得ref幀列表使用被隔開(kāi)距離4的幀)并且空間和時(shí)間復(fù)雜度可以如上所述被計(jì)算，并且整體復(fù)雜度取決于空間復(fù)雜度與時(shí)間復(fù)雜度以及潛在的其他因素(如幀的垂直分辨率)的組合。然后，總復(fù)雜度C可以如以上解釋的被確定，并且決策樹(shù)被示于表1中(圖24A)。

如果場(chǎng)景被確定具有低復(fù)雜度2216，那么C＝0，并且可以使用在距離基礎(chǔ)幀(sr)的不同距離d處的更低數(shù)量的參考。距離d相對(duì)于針對(duì)高復(fù)雜度所使用的距離至少總體上處于更遠(yuǎn)的距離處。如以上所解釋的，參考幀(距離)的數(shù)量nd＝4，并且在d＝[24，32，40和48]處，并且根據(jù)一個(gè)可能的示例操作2220是‘更遠(yuǎn)的參考’。如果發(fā)現(xiàn)高復(fù)雜度，那么C＝1并且nd＝5，并且距離d＝[2，4，8，16，24]用于示例2218并且是‘最近的’參考幀。如上所述，參考幀的數(shù)量以至參考幀的距離可以是不同的。

然后，過(guò)程2200包括針對(duì)在所示出的八個(gè)t值(例如，1、2、3、4、5、6、8、12)處的八個(gè)活動(dòng)性閾值(nt)“將緩沖區(qū)Fo初始化為0”2222，并且計(jì)數(shù)器i被設(shè)置為0，其中，計(jì)數(shù)器i對(duì)參考幀進(jìn)行計(jì)數(shù)以設(shè)置哪個(gè)參考幀是與活動(dòng)性閾值t進(jìn)行比較的參考幀。過(guò)程2200然后包括“將Ft的每個(gè)8×8塊設(shè)置為AFD(F[sf]，F(xiàn)[sf+d[i]])的相應(yīng)的平均8×8塊值”2224。因此，例如，針對(duì)開(kāi)始偵與同閾值t進(jìn)行比較的每個(gè)參考幀之間的差異幀F(xiàn)t，F(xiàn)t包括每個(gè)塊的平均差異值。替代性地，塊中的每個(gè)像素可以被設(shè)置為塊內(nèi)的平均值。

然后，過(guò)程2200可以包括將計(jì)數(shù)器j設(shè)置2226為0以對(duì)閾值t進(jìn)行計(jì)數(shù)，所述閾值在距離d處與每個(gè)參考幀進(jìn)行比較。過(guò)程2200然后可以包括將二進(jìn)制幀設(shè)置為“Clean(BIN(Ft，t[j]))”2228以針對(duì)每個(gè)塊并且針對(duì)與活動(dòng)性閾值t的每次比較提供二進(jìn)制值。具有二進(jìn)制值的幀被清除，其中，根據(jù)滿(mǎn)水填充算法去除較小的對(duì)象。在操作2230中，塊計(jì)數(shù)器k被設(shè)為0，而在操作2232中，正在被分析的塊B[k]被設(shè)為幀F(xiàn)的第k個(gè)塊。然后判定2234是否B[k]＝1(或者換言之，是否塊中的所有像素值都為1)。如果是，那么，過(guò)程2200包括“向Fo緩沖區(qū)的第k個(gè)塊的所有像素加一”2236，以便維持對(duì)在哪個(gè)數(shù)量的參考幀組合(也被稱(chēng)為距離d)中是活動(dòng)的哪些塊(或像素)的計(jì)數(shù)以及活動(dòng)性閾值t。如以上所解釋的，利用5個(gè)參考幀和8個(gè)活動(dòng)性閾值，存在40種可能的組合。緩沖區(qū)Fo記錄在0到40中組合中有多少塊是活動(dòng)的。例如，塊可以在10種組合或32種組合(僅舉幾例)中是活動(dòng)的。Fo將維持計(jì)數(shù)以確定跨所有參考和閾值t在10種組合或32種組合中有多少塊(或像素)是活動(dòng)的。這些總數(shù)將成為累積分割掩膜。

過(guò)程2200然后繼續(xù)為塊計(jì)數(shù)k加一以便分析下一個(gè)塊(2238)。替代性地，如果塊B[k]在操作2236處具有0，那么其為非活動(dòng)的，并且過(guò)程不為緩沖區(qū)計(jì)數(shù)進(jìn)行加法運(yùn)算并且直接行進(jìn)至下一個(gè)塊(2238)。然后判定2240是否B[k]為最后一個(gè)塊。若否，過(guò)程循環(huán)以分析下一個(gè)塊。若是，過(guò)程通過(guò)為活動(dòng)性閾值計(jì)數(shù)加一而繼續(xù)以將基礎(chǔ)幀(sf)與參考幀(sf+d[i])之間的差異與下一個(gè)活動(dòng)性閾值t進(jìn)行比較(2242)。因此，判定2244是否j≥nt(最后一個(gè)活動(dòng)性閾值t)。若否，過(guò)程循環(huán)返回以形成幀F(xiàn)s并且利用下一個(gè)活動(dòng)性閾值t執(zhí)行分析。若是，過(guò)程2200通過(guò)為參考幀計(jì)數(shù)i加一而繼續(xù)(2246)以分析與在d[i]處的下一個(gè)參考幀的比較。首先判定是否i≥nd(最后一個(gè)參考幀距離)2248。若否，過(guò)程循環(huán)返回至形成幀F(xiàn)t從而執(zhí)行對(duì)下一個(gè)幀的分析。若是，過(guò)程2200繼續(xù)確定背景閾值。

通過(guò)所展示的示例，并且如之前所解釋的，過(guò)程2200可以使用緩沖區(qū)Fo中的總值(或累積分割掩膜)的直方圖。因此，過(guò)程2200可以繼續(xù)使得“p＝HIST(Fo)中的第1最大峰值且q＝HIST(Fo)中的第2最大峰值”2250并且然后“Ta＝p與q之間的最小值HIST(Fo)”2252。例如，第2峰值不可以與第1峰值相鄰或者在距離第1峰值的某個(gè)其他距離內(nèi)。如以上關(guān)于圖4的直方圖所解釋的，Ta是設(shè)置在最小或谷值累積分割掩膜值或者在這些峰值或最大值之間的總數(shù)處的背景閾值。

然后，為了建立初始背景模型，過(guò)程2200可以繼續(xù)“從集合t中找到t_min，并且從集合d中找到d_min，針對(duì)t_min和d_min，BIN(Fo，Ta)和BIN(AFD(F[sf]，F(xiàn)[sf+d_min])，t_min)具有最小絕對(duì)差之和(SAD)誤差”2254。因此，這個(gè)操作提供了來(lái)自緩沖區(qū)Fo并且使用背景閾值Ta的二值化分割幀或分割圖(從而使得例如0為背景且1為前景)，并且將此分割掩膜與通過(guò)將基礎(chǔ)幀與參考幀之間的差異與活動(dòng)性閾值t進(jìn)行比較形成的二值化分割掩膜進(jìn)行比較。按照一種形式，從最低值開(kāi)始并且走完通過(guò)所述集合至最大值來(lái)對(duì)參考幀和活動(dòng)性閾值進(jìn)行測(cè)試。最接近的(最小差或SAD)組合被設(shè)置為初始背景模型。當(dāng)背景模型到目前為止是基于塊準(zhǔn)確度時(shí)，可以如以上關(guān)于過(guò)程300所解釋的通過(guò)確定最小誤差來(lái)將背景模型轉(zhuǎn)換成像素準(zhǔn)確分割掩膜。

按照一種方法，過(guò)程2200還可以包括用于清理初始背景模型的形態(tài)學(xué)操作。如以上關(guān)于過(guò)程900所描述的，這可以包括由具有2×2正方形支撐區(qū)域的形態(tài)學(xué)開(kāi)(侵蝕后接膨脹)跟隨的形態(tài)學(xué)閉(膨脹后接侵蝕)。一旦完成，初始背景模型就可以被提供給分割循環(huán)單元104。

根據(jù)本公開(kāi)的至少部分實(shí)現(xiàn)方式安排示例分割循環(huán)過(guò)程2300。通常，過(guò)程2300提供可以在用于視頻編碼的背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法中使用的算法，所述過(guò)程包括用于為序列中的多個(gè)幀提供背景模型的分割循環(huán)階段。在所展示的實(shí)現(xiàn)方式中，過(guò)程2300可以包括如由均勻編號(hào)的一個(gè)或多個(gè)操作2302至2324展示的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于以上圖1討論的操作、以下討論的示例系統(tǒng)2800或者在此討論的任何其他實(shí)現(xiàn)方式描述過(guò)程2300。

過(guò)程2300可以包括“使用學(xué)習(xí)背景階段方法提供初始背景模型B”2302并且如上所述。過(guò)程還可以使用由其他過(guò)程提供的背景模型。過(guò)程2300然后可以包括將計(jì)數(shù)器i設(shè)置為0(操作2304)以對(duì)被分析的輸入序列中的幀數(shù)量進(jìn)行計(jì)數(shù)?！甶’在此不同于在過(guò)程2200中用于指示哪個(gè)參考幀被分析的計(jì)數(shù)器i。過(guò)程2300然后可以包括“使用線性回歸模型從F[0]的統(tǒng)計(jì)數(shù)值中計(jì)算分割閾值Ts”2306。如上所解釋的，可以形成三種模型，每種模型針對(duì)一個(gè)色彩分量(Y，U，V)，并且可以是基于與初始背景模型分開(kāi)的序列中的一對(duì)幀(由pdist(距離)分開(kāi))之間的差異。

過(guò)程2300然后可以包括將初始背景模型從當(dāng)前幀中減去而執(zhí)行背景減法以及通過(guò)對(duì)所述結(jié)果進(jìn)行二值化而將所述差與幀閾值Ts進(jìn)行比較。過(guò)程2300然后可以包括將形態(tài)學(xué)(操作2308)應(yīng)用于所產(chǎn)生的二進(jìn)制幀或者當(dāng)前分割掩膜，并且以與以上針對(duì)過(guò)程300和900描述的相同的方式清理幀。

一旦完成此操作，過(guò)程2300就可以包括將新暴露的背景添加至當(dāng)前分割掩膜。這包括確定興趣區(qū)域(ROI)的哪個(gè)區(qū)域是可能為背景的低能量區(qū)域。因此，過(guò)程2300可以包括確定(2310)Fe邊緣能量、Fg梯度能量以及Fm運(yùn)動(dòng)能量，其中，梯度是針對(duì)有待顯影的背景的亮度/明度(Y)計(jì)算的，以上描述了全部三者(盡管是作為線索Ec、Gc和Mc)。能量按照加權(quán)公式被融合2312到總能量E中：

E＝0.5Fm+0.4Fg+0.1Fe (13)

例如2312(并且與以上等式(12)相同)。ROI是通過(guò)用于“將ROI標(biāo)記為圍繞被拆分為等距部分的Fseg[i]的前景對(duì)象的邊界?！钡牟僮餍纬傻?314。如以上所解釋的，所述距離可以是分辨率相關(guān)的。然后，“通過(guò)去除包含低能量像素的ROI來(lái)更新Fseg[i]”2316，并且在一種情況中，像素小于近似delta＝0.035，并且在其他示例中，像素小于delta＝0.03或delta＝0.04，或者其他值。

過(guò)程2300然后可以包括完成當(dāng)前分割掩膜，如通過(guò)將其清除以去除較小對(duì)象(2318)。這可以由眾所周知的被描述為滿(mǎn)水填充的過(guò)程執(zhí)行。然后，過(guò)程2300可以“用Fseg[i]的背景更新背景模型B”2320，并且如以上關(guān)于過(guò)程900所描述的。計(jì)數(shù)器i然后可以增加1(操作2322)，并且可以判定是否i＝幀數(shù)量(nof)，或者換言之，i是否是輸入序列中的最后一幀2324。若否，那么過(guò)程循環(huán)返回至確定當(dāng)前幀i的新閾值Ts，并且若是，那么過(guò)程結(jié)束并且提供更新的背景模型用于對(duì)視頻序列進(jìn)行進(jìn)一步編碼處理。當(dāng)呈現(xiàn)新的輸入序列時(shí)，從形成初始背景模型重新開(kāi)始所述過(guò)程。

現(xiàn)在參照?qǐng)D27，系統(tǒng)2800可以用于在操作中所示的并且根據(jù)本公開(kāi)的至少一些實(shí)現(xiàn)方式安排的示例背景前景分割過(guò)程2700。在所展示的實(shí)現(xiàn)方式中，過(guò)程2700可以包括如由均勻編號(hào)的一個(gè)或多個(gè)動(dòng)作2702至2726展示的并且替代性地或以任何組合使用的一個(gè)或多個(gè)操作、功能或動(dòng)作。通過(guò)非限制性示例，在此將參照關(guān)于在此描述的任何實(shí)現(xiàn)方式來(lái)描述過(guò)程2700。

在所展示的實(shí)現(xiàn)方式中，系統(tǒng)2800可以包括處理單元2820，所述處理單元具有邏輯單元胡邏輯電路或模塊2850等等和/或其組合。例如，邏輯電路或模塊2850可以包括視頻編碼器2852和/或視頻解碼器2854。編碼器2852或2854中任一者或兩者可以包括具有背景模型學(xué)習(xí)單元102和分割循環(huán)單元104的分割系統(tǒng)100。如圖28所示，盡管系統(tǒng)2800可以包括與特定的模塊相關(guān)聯(lián)的一組特定的操作或動(dòng)作，這些操作或動(dòng)作可以與同在此展示的特定模塊不同的模塊相關(guān)聯(lián)。

過(guò)程2700可以包括“接收視頻序列的輸入視頻幀”2702，其中，系統(tǒng)可以獲得對(duì)將被分析的視頻或圖片幀的像素?cái)?shù)據(jù)的訪問(wèn)。所述數(shù)據(jù)可以從RAM或ROM，或者從另一個(gè)永久性或暫時(shí)性存儲(chǔ)器、存儲(chǔ)器驅(qū)動(dòng)或庫(kù)中獲得或讀取。所述訪問(wèn)例如可以是用于分析進(jìn)行中的視頻流的連續(xù)訪問(wèn)。

過(guò)程2700可以包括“確定場(chǎng)景的學(xué)習(xí)速率”2704。如以上所解釋的，這可以包括確定在輸入序列中并且基于幀的復(fù)雜度使用哪一組參考幀。具體地，如在決策樹(shù)(表1，圖24A)上所示的，時(shí)間和空間復(fù)雜度以及幀大小可以用于確定總(高或低)復(fù)雜度。

過(guò)程2700可以包括“形成指示在場(chǎng)景的至少一部分中的像素或像素塊的活動(dòng)性的累積分割掩膜”2706。這包括：使用多個(gè)活動(dòng)性閾值、將閾值同基礎(chǔ)幀與多個(gè)參考幀之間的差異量值進(jìn)行比較、并且然后對(duì)結(jié)果進(jìn)行二值化。

過(guò)程2700可以包括“確定場(chǎng)景的至少一個(gè)背景閾值”2708。這在上面也被解釋了并且包括使用兩個(gè)最大至累積分割掩膜之間的最小值，其中，每個(gè)掩膜是塊或像素的總數(shù)，所述塊或像素在相同數(shù)量的組合(參考幀活動(dòng)性閾值組合)中是活動(dòng)的。

過(guò)程2700可以包括“確定在塊內(nèi)具有像素準(zhǔn)確分割的背景模型”2710。這可以包括通過(guò)選擇最接近(最小SAD)于應(yīng)用于如在以上實(shí)現(xiàn)方式中所描述的累積分割掩膜的幀的背景閾值的組合而首先形成初始背景模型。然后，可以通過(guò)使用如上所述的誤差最小化等式將基于塊的模型轉(zhuǎn)換成像素準(zhǔn)確模型。

過(guò)程2700可以包括“提供初始背景模型”2711，并且這可以簡(jiǎn)單地包括準(zhǔn)許分割循環(huán)單元訪問(wèn)初始背景模型。

過(guò)程2700可以包括“確定當(dāng)前幀的分割閾值”2712。具體地，這可以包括沿著視頻序列或輸入序列中的場(chǎng)景使用間隔開(kāi)的幀來(lái)確定基于線性回歸的與初始背景模型分開(kāi)的幀的閾值。

過(guò)程2700可以包括“使用背景減法和背景模型形成當(dāng)前分割掩膜”2714。因此，可以通過(guò)將當(dāng)前閾值同背景模型與當(dāng)前幀之間的差異進(jìn)行比較而形成當(dāng)前分割掩膜。過(guò)程2700然后可以包括“應(yīng)用形態(tài)學(xué)開(kāi)閉以逐像素地調(diào)整背景或前景指示”2716，并且使用如在此描述的支持結(jié)構(gòu)。

過(guò)程2700可以包括“將最新暴露的背景添加至分割掩膜”2718，并且通過(guò)設(shè)置并劃分ROI，使用邊緣、梯度和運(yùn)動(dòng)線索來(lái)確定ROI的哪個(gè)部分具有低能量，并且然后將這些部分從前景區(qū)域中去除，并將它們添加大背景中。

過(guò)程2700可以包括通過(guò)去除噪聲等等“完成分割掩膜”2720，并且然后過(guò)程2700可以包括“更新當(dāng)前背景模型”2722，并且具有完成的當(dāng)前分割掩膜。此后，過(guò)程2700可以包括“針對(duì)多個(gè)幀進(jìn)行重復(fù)直到輸入序列結(jié)束”2724，并且在這種情況中，過(guò)程循環(huán)返回至操作2712以確定新幀的新閾值直到輸入序列完成。例如，輸入序列可以小于分割掩膜計(jì)算所使用的兩個(gè)間隔開(kāi)的幀(pd分開(kāi)的)之間的所有幀，并且在一種情況下可以是視頻序列的這一部分的開(kāi)始部分，并且例如是在基礎(chǔ)幀或開(kāi)始幀之后的或者在視頻序列中國(guó)的第一幀之后的前25個(gè)幀。過(guò)程2700可以包括“提供背景模型用于進(jìn)一步編碼”2726。

通常，可以根據(jù)需要串行地或并行地將過(guò)程2700重復(fù)任意次數(shù)。此外，通常，邏輯單元或邏輯模塊(如單元102和104)可以至少部分地由硬件、軟件、固件或其任意組合來(lái)實(shí)現(xiàn)。如所示，在一些實(shí)現(xiàn)方式中，模塊102/104可以經(jīng)由(多個(gè))處理器2803來(lái)實(shí)現(xiàn)。在其他實(shí)現(xiàn)方式中，模塊102/104可以經(jīng)由硬件或軟件來(lái)實(shí)現(xiàn)，所述硬件或軟件經(jīng)由一個(gè)或多個(gè)中央處理單元來(lái)實(shí)現(xiàn)。通常，可以在系統(tǒng)級(jí)別處啟用在此描述的模塊102/104和/或操作。然而，用于控制所使用的壓縮方案的類(lèi)型或壓縮比的一些部件可以例如在用戶(hù)級(jí)別處被提供或被調(diào)整。

雖然示例過(guò)程200、300、900、2200、2300或2700的實(shí)現(xiàn)方式可以包括按所展示的順序執(zhí)行所有示出的操作，但是本公開(kāi)不局限在這個(gè)方面并且在各個(gè)示例中，本文的任何過(guò)程的實(shí)現(xiàn)方式可以包括僅執(zhí)行所示的操作的子集和/或以不同于所展示的順序執(zhí)行。

在實(shí)現(xiàn)方式中，在此描述的特征可以響應(yīng)于由一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品提供的指令而被采取。這樣的程序產(chǎn)品可以包括提供當(dāng)由例如處理器執(zhí)行時(shí)可以提供此處所描述的功能的指令的承載信號(hào)的介質(zhì)。計(jì)算機(jī)程序產(chǎn)品可以由一個(gè)或多個(gè)機(jī)器可讀介質(zhì)的任意形式提供。因此，例如，包括一個(gè)或多個(gè)處理器核的處理器可以響應(yīng)于由一個(gè)或多個(gè)機(jī)器可讀介質(zhì)傳達(dá)給處理器的程序編碼和/或一個(gè)或多個(gè)指令集采取在此描述的一個(gè)或多個(gè)特征。通常，機(jī)器可讀介質(zhì)可以以程序編碼和/或一個(gè)或多個(gè)指令集的形式傳達(dá)軟件，這些程序編碼和指令集可以引起在此描述的設(shè)備和/或系統(tǒng)中的任意一者實(shí)現(xiàn)在此描述的特征的至少多個(gè)部分。如之前所述，在另一種形式中，非瞬態(tài)制品(如非瞬態(tài)計(jì)算機(jī)可讀介質(zhì))可以與以上所述示例或其他示例中的任何示例一起使用，只是其不包括瞬態(tài)信號(hào)自身。非瞬態(tài)制品卻包括除了信號(hào)自身之外的可以暫時(shí)以“非瞬態(tài)”形式(如RAM等)保持?jǐn)?shù)據(jù)的那些元素。

如在此處所描述的任何實(shí)現(xiàn)方式中所使用的，術(shù)語(yǔ)“模塊”指被配置成用于提供此處所描述的功能的軟件邏輯、固件邏輯和/或硬件邏輯和的任何組合。軟件可以體現(xiàn)為軟件包、代碼和/或指令集或指令，并且如在本文描述的任意實(shí)施方式中使用的“硬件”可以包括，例如單獨(dú)的或其任意組合的硬連線電路、可編程電路、狀態(tài)機(jī)電路和/或由可編程電路執(zhí)行的存儲(chǔ)指令的固件。這些模塊可以統(tǒng)一地或單獨(dú)地具體化為形成例如，集成電路(IC)、片上系統(tǒng)(SoC)等的較大系統(tǒng)的一部分的電路。例如，模塊可以被嵌入邏輯電路中以經(jīng)由在此討論的編碼系統(tǒng)的軟件、固件或硬件來(lái)實(shí)現(xiàn)。

如在此處所描述的任何實(shí)現(xiàn)方式中所使用的，術(shù)語(yǔ)“邏輯單元”指被配置成用于提供此處所描述的功能的固件邏輯和/或硬件邏輯和的任何組合。如在此處描述的任何實(shí)現(xiàn)方式中所使用的，“硬件”可以單獨(dú)地或以任何組合包括，例如，硬連線電路、可編程電路、狀態(tài)機(jī)電路和/或存儲(chǔ)被可編程電路執(zhí)行的指令的固件。邏輯單元可以統(tǒng)一地或單獨(dú)地具體化為形成例如，集成電路(IC)、片上系統(tǒng)(SoC)等的較大系統(tǒng)的一部分的電路。例如，邏輯單元可以被嵌入邏輯電路中以經(jīng)由在此討論的編碼系統(tǒng)的固件或硬件來(lái)實(shí)現(xiàn)。本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到，由硬件和/或軟件執(zhí)行的操作可以替代性地經(jīng)由軟件來(lái)實(shí)現(xiàn)，所述軟件可以體現(xiàn)為軟件包、代碼和/或指令集或者多條指令，并且還認(rèn)識(shí)到邏輯單元還可以利用軟件的一部分來(lái)實(shí)現(xiàn)其功能。

參照?qǐng)D28，可以根據(jù)本公開(kāi)的至少一些實(shí)現(xiàn)方式來(lái)安排用于提供視頻序列的幀的背景前景分割的示例視頻編碼系統(tǒng)2800。在所展示的實(shí)現(xiàn)方式中，系統(tǒng)2800可以包括一個(gè)或多個(gè)中央處理單元或處理器2803、顯示設(shè)備2805以及一個(gè)或多個(gè)存儲(chǔ)器存儲(chǔ)設(shè)備2804。中央處理單元2803、存儲(chǔ)器存儲(chǔ)設(shè)備2804和/或顯示設(shè)備2805可以能夠經(jīng)由例如總線、線或其他訪問(wèn)與彼此進(jìn)行通信。在各實(shí)現(xiàn)方式中，顯示設(shè)備2805可以并入系統(tǒng)2800或者與系統(tǒng)2800單獨(dú)地實(shí)現(xiàn)。

如圖28中所示，并且如上所討論的，處理單元2820可以具有邏輯電路2850，所述邏輯電路具有編碼器2852和/或解碼器2854。編碼器中的任一者或兩者可以具有背景前景分割系統(tǒng)100，所述背景前景分割系統(tǒng)具有用于提供在此描述的并且如用在此描述的過(guò)程所解釋的許多功能的背景模型學(xué)習(xí)單元102和/或分割循環(huán)單元104。

如將認(rèn)識(shí)到的，在圖28中所展示的模塊可以包括各種軟件和/或硬件模塊和/或可以經(jīng)由軟件或硬件或其組合實(shí)現(xiàn)的模塊。例如，模塊可以經(jīng)由處理單元2820被實(shí)現(xiàn)為軟件或者模塊可以經(jīng)由專(zhuān)用硬件部分被實(shí)現(xiàn)。此外，所示出的存儲(chǔ)器存儲(chǔ)設(shè)備2804可以例如與處理單元2820共享存儲(chǔ)器。分割掩碼數(shù)據(jù)可以被存儲(chǔ)在上述任意選項(xiàng)上，或者可以被存儲(chǔ)在這些選項(xiàng)的組合上，或者可以被存儲(chǔ)在其他地方。并且，系統(tǒng)2800可以以各種各樣的方式被實(shí)現(xiàn)。例如，系統(tǒng)2800(排除顯示設(shè)備2805)可以被實(shí)現(xiàn)為具有圖形處理器、四核中央處理單元和/或存儲(chǔ)器控制器輸入/輸出(I/O)模塊的單芯片或設(shè)備。在其他示例中，系統(tǒng)2800(再次排除顯示設(shè)備2805)可以被實(shí)現(xiàn)為芯片組。

中央處理單元2803可以包括任何適當(dāng)?shù)膶?shí)現(xiàn)方式，例如包括：(多個(gè))微處理器、多核處理器、應(yīng)用專(zhuān)用集成電路、(多個(gè))芯片、芯片組、可編程邏輯設(shè)備、圖形卡、集成圖形、(多個(gè))通用圖形處理單元等。此外，存儲(chǔ)器存儲(chǔ)2804可以是任意類(lèi)型的存儲(chǔ)器，如易失性存儲(chǔ)器(例如，靜態(tài)隨機(jī)存取存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)等)或非易失性存儲(chǔ)器(例如，閃存等)等等。在非限制性示例中，存儲(chǔ)器存儲(chǔ)2804還可以由緩存存儲(chǔ)器實(shí)現(xiàn)。在各示例中，系統(tǒng)2800可以被實(shí)現(xiàn)為芯片組或片上系統(tǒng)。

參照?qǐng)D29，根據(jù)本公開(kāi)以及各實(shí)現(xiàn)方式的示例系統(tǒng)2900可以是介質(zhì)系統(tǒng)，盡管系統(tǒng)2900不局限于此上下文中。例如，系統(tǒng)2900可以并入個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超級(jí)膝上計(jì)算機(jī)、平板機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話(huà)、組合式蜂窩電話(huà)/PDA、電視、智能設(shè)備(例如，智能電話(huà)、智能平板機(jī)或智能電視)、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備等。

在各實(shí)現(xiàn)方式中，系統(tǒng)2900包括通信地耦合到顯示器2920的平臺(tái)2902。平臺(tái)2902可以接收來(lái)自?xún)?nèi)容設(shè)備的內(nèi)容，如(多個(gè))內(nèi)容服務(wù)設(shè)備2930或(多個(gè))內(nèi)容傳遞設(shè)備2940或者其他類(lèi)似內(nèi)容源。包括一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器2950可以用來(lái)例如與平臺(tái)2902和/或顯示器2920交互。以下將更詳細(xì)地描述這些組件中的每個(gè)組件。

在各實(shí)施例中，平臺(tái)2902可以包括芯片組2905、處理器2910、存儲(chǔ)器2912、存儲(chǔ)設(shè)備2914、圖形子系統(tǒng)2915、應(yīng)用2916和/或無(wú)線電2918的任意組合。芯片組2905可以在處理器2910、存儲(chǔ)器2912、存儲(chǔ)設(shè)備2914、圖形子系統(tǒng)2915、應(yīng)用2916和/或無(wú)線電2918之中提供相互通信。例如，芯片組2905可以包括能夠提供與存儲(chǔ)設(shè)備2914的相互通信的存儲(chǔ)器適配器(未描繪)。

處理器2910可以被實(shí)現(xiàn)為復(fù)雜指令集計(jì)算機(jī)(CISC)或精簡(jiǎn)指令集計(jì)算機(jī)(RISC)處理器；x86指令集兼容處理器、多核或任何其他微處理器或中央處理單元(CPU)。在各實(shí)現(xiàn)方式中，處理器2910可以是(多個(gè))雙核處理器、(多個(gè))雙核移動(dòng)處理器等。

存儲(chǔ)器2912可以被實(shí)現(xiàn)為易失性存儲(chǔ)設(shè)備，如但不限于隨機(jī)存取存儲(chǔ)器(RAM)、動(dòng)態(tài)隨機(jī)存儲(chǔ)器(DRAM)或靜態(tài)RAM(SRAM)。

存儲(chǔ)設(shè)備2914可以被實(shí)現(xiàn)為非易失性存儲(chǔ)設(shè)備，如但不限于磁盤(pán)驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器、磁帶驅(qū)動(dòng)器、內(nèi)部存儲(chǔ)設(shè)備、附加存儲(chǔ)設(shè)備、閃存、電池應(yīng)急SDRAM(同步DRAM)和/或可接入網(wǎng)絡(luò)的存儲(chǔ)設(shè)備。在各實(shí)現(xiàn)方式中，存儲(chǔ)設(shè)備2914可以包括用于當(dāng)例如包括多個(gè)硬盤(pán)驅(qū)動(dòng)器時(shí)增加對(duì)有價(jià)值的數(shù)字媒體的存儲(chǔ)性能增強(qiáng)型保護(hù)的技術(shù)。

圖形子系統(tǒng)2915可以對(duì)如用于顯示的靜態(tài)或視頻圖像執(zhí)行處理。例如，圖形子系統(tǒng)2915可以是圖形處理單元(GPU)或視覺(jué)處理單元(VPU)?？梢允褂媚M或數(shù)字接口來(lái)通信地耦合圖形子系統(tǒng)2915與顯示器2920。例如，接口可以是高清晰度多媒體接口、顯示端口、無(wú)線HDMI和/或符合無(wú)線HD的技術(shù)中的任何一個(gè)接口。圖形子系統(tǒng)2915可以集成到處理器電路2910或芯片組2905中。在一些實(shí)現(xiàn)方式中，圖形子系統(tǒng)2915可以是通信地耦合至芯片組2905的獨(dú)立卡。

在此描述的圖形和/或視頻處理技術(shù)可以用各種硬件架構(gòu)實(shí)現(xiàn)。例如，圖形和/或視頻功能可以被集成到芯片組中。替代性地，可以使用分立的圖形和/或視頻處理器。如又另一種實(shí)現(xiàn)方式，圖形和/或視頻功能可以由通用處理器(包括多核處理器)來(lái)提供。在其他實(shí)現(xiàn)方式中，所述功能可以在消費(fèi)電子設(shè)備中實(shí)現(xiàn)。

無(wú)線電2918可以包括能夠使用各種適當(dāng)?shù)臒o(wú)線通信技術(shù)發(fā)射并接收信號(hào)的一個(gè)或多個(gè)無(wú)線電。這種技術(shù)可以涉及跨一個(gè)或多個(gè)無(wú)線網(wǎng)絡(luò)的通信。示例無(wú)線網(wǎng)絡(luò)包括(但不限于)無(wú)線局域網(wǎng)(WLAN)、無(wú)線個(gè)人局域網(wǎng)(WPAN)、無(wú)線城域網(wǎng)(WMAN)、蜂窩網(wǎng)和衛(wèi)星網(wǎng)。在跨這類(lèi)網(wǎng)絡(luò)通信時(shí)，無(wú)線電2918可以根據(jù)任意版本的一個(gè)或多個(gè)可適用標(biāo)準(zhǔn)進(jìn)行操作。

在各實(shí)現(xiàn)方式中，顯示器2920可以包括任何電視機(jī)類(lèi)型監(jiān)測(cè)器或顯示器。顯示器2920可以包括例如計(jì)算機(jī)顯示屏、觸摸屏顯示器、視頻監(jiān)視器、電視機(jī)類(lèi)型的設(shè)備和/或電視機(jī)。顯示器2920可以是數(shù)字的和/或模擬的。在各實(shí)現(xiàn)方式中，顯示器2920可以是全息顯示器。并且，顯示器2920可以是可以接收視覺(jué)投影的透明表面。這種投影可以傳達(dá)各種形式的信息、圖像和/或物體。例如，這種投影可以是針對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)(MAR)應(yīng)用的視覺(jué)覆蓋。在一個(gè)或多個(gè)軟件應(yīng)用2916的控制下，平臺(tái)2902可以在顯示器2920上顯示用戶(hù)界面2922。

在各實(shí)現(xiàn)方式中，(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以發(fā)起于任意國(guó)家的、國(guó)際的和/或獨(dú)立的服務(wù)，并因此例如經(jīng)由互聯(lián)網(wǎng)可接入平臺(tái)2902。(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以耦合到平臺(tái)2902和/或顯示器2920。平臺(tái)2902和/或(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以耦合到網(wǎng)絡(luò)2960以將媒體信息傳達(dá)至網(wǎng)絡(luò)2960或從網(wǎng)絡(luò)2960接收(例如，發(fā)送和/或接收)。(多個(gè))內(nèi)容傳遞設(shè)備2940也可以耦合到平臺(tái)2902和/或顯示器2920。

在各實(shí)現(xiàn)方式中，(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以包括有線電視盒、個(gè)人電腦、網(wǎng)絡(luò)、電話(huà)、能夠傳遞數(shù)字信息和/或內(nèi)容的啟用互聯(lián)網(wǎng)的設(shè)備或應(yīng)用程序、以及能夠在內(nèi)容提供者與平臺(tái)2902和/或顯示器2920之間經(jīng)由網(wǎng)絡(luò)2960或直接地單向或雙向傳達(dá)內(nèi)容的任意其他類(lèi)似設(shè)備。將理解，內(nèi)容可以經(jīng)由網(wǎng)絡(luò)2960單向地和/或雙向地來(lái)往于系統(tǒng)2900中的任何一個(gè)組件與內(nèi)容提供者之間進(jìn)行通信。內(nèi)容的示例可以包括任何媒體信息，包括例如視頻、音樂(lè)、醫(yī)療和游戲信息等。

(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以接收如包含媒體信息、數(shù)字信息和/或其他內(nèi)容的有線電視節(jié)目的內(nèi)容。內(nèi)容提供方的示例可以包括任何有線或衛(wèi)星電視或無(wú)線電或互聯(lián)網(wǎng)內(nèi)容提供方。所提供的示例不旨在以任何方式限制根據(jù)本公開(kāi)的實(shí)現(xiàn)方式。

在各實(shí)現(xiàn)方式中，平臺(tái)2902可以從具有一個(gè)或多個(gè)導(dǎo)航特征的導(dǎo)航控制器2950中接收控制信號(hào)?？刂破?950的導(dǎo)航特征可以用來(lái)例如與用戶(hù)界面2922交互。在實(shí)現(xiàn)方式中，導(dǎo)航控制器2950可以是定位設(shè)備，所述定位設(shè)備可以是允許用戶(hù)輸入空間(如連續(xù)的和多維的)數(shù)據(jù)到計(jì)算機(jī)的計(jì)算機(jī)硬件組件(特別是人機(jī)接口設(shè)備)。如圖形用戶(hù)界面(GUI)和電視機(jī)和監(jiān)視器的許多系統(tǒng)允許用戶(hù)使用物理姿勢(shì)控制計(jì)算機(jī)或電視機(jī)并向計(jì)算機(jī)或電視機(jī)提供數(shù)據(jù)。

可以通過(guò)指針、光標(biāo)、聚焦環(huán)或在顯示器上顯示的其他視覺(jué)指示符的移動(dòng)在顯示器(例如，顯示器2920)上復(fù)制控制器2950的導(dǎo)航特征的移動(dòng)。例如，在軟件應(yīng)用2916的控制下，位于導(dǎo)航控制器2950上的導(dǎo)航特征可以例如被映射為在用戶(hù)界面2922上顯示的虛擬導(dǎo)航特征。在實(shí)現(xiàn)方式中，控制器2950可以不是獨(dú)立組件但可以集成在平臺(tái)2902和/或顯示器2920內(nèi)。然而，本公開(kāi)不限于這些元素或此處顯示或描述的內(nèi)容。

在各實(shí)現(xiàn)方式中，驅(qū)動(dòng)器(未示出)可以包括使用戶(hù)能夠通過(guò)例如在初始啟動(dòng)后啟動(dòng)的按鈕的觸摸立刻打開(kāi)和關(guān)閉類(lèi)似電視機(jī)的平臺(tái)2902的技術(shù)。當(dāng)平臺(tái)被“關(guān)閉”時(shí)，程序邏輯可以允許平臺(tái)2902流出內(nèi)容到媒體適配器或其他(多個(gè))內(nèi)容服務(wù)設(shè)備2930或(多個(gè))內(nèi)容傳遞設(shè)備2940。此外，芯片組2905可以例如包括用于支持如7.1環(huán)繞聲音頻和/或高清(7.1)環(huán)繞聲音頻的硬件和/或軟件。驅(qū)動(dòng)器可以包括用于集成圖形平臺(tái)的圖形驅(qū)動(dòng)器。在實(shí)現(xiàn)方式中，圖形驅(qū)動(dòng)器可以包括外圍組件互連(PCI)快速圖形卡。

在各實(shí)現(xiàn)方式中，可以對(duì)系統(tǒng)2900中示出的任何一個(gè)或多個(gè)組件進(jìn)行集成。例如，平臺(tái)2902和(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以是集成的，或者平臺(tái)2902和(多個(gè))內(nèi)容傳遞設(shè)備2940可以是集成的，或者平臺(tái)2902、(多個(gè))內(nèi)容服務(wù)設(shè)備2930和(多個(gè))內(nèi)容傳遞設(shè)備2940可以例如是集成的。在各實(shí)現(xiàn)方式中，平臺(tái)2902和顯示器2920可以是集成單元。例如，顯示器2920和(多個(gè))內(nèi)容服務(wù)設(shè)備2930可以是集成的，或者顯示器2920和(多個(gè))內(nèi)容傳遞設(shè)備2940可以是集成的。這些示例并不意在限制本公開(kāi)。

在各實(shí)現(xiàn)方式中，系統(tǒng)2900可以被實(shí)現(xiàn)為無(wú)線系統(tǒng)、有線系統(tǒng)或二者的組合。當(dāng)被實(shí)現(xiàn)為無(wú)線系統(tǒng)時(shí)，系統(tǒng)2900可以包括適合于通過(guò)如一個(gè)或多個(gè)天線、發(fā)送器、接收器、收發(fā)器、放大器、濾波器、控制邏輯等的無(wú)線共享介質(zhì)進(jìn)行通信的組件和接口。無(wú)線共享介質(zhì)的示例可以包括無(wú)線頻譜部分，如RF頻譜等。當(dāng)被實(shí)現(xiàn)為有線系統(tǒng)時(shí)，系統(tǒng)2900可以包括適用于通過(guò)有線通信介質(zhì)(如輸入/輸出(I/O)適配器、利用相應(yīng)有線通信介質(zhì)連接I/O適配器的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、光盤(pán)控制器、視頻控制器、音頻控制器等)進(jìn)行通信的組件和接口。有線通信介質(zhì)的示例可以包括導(dǎo)線、電纜、金屬引線、印刷電路板(PCB)、背板、交換光纖、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等。

平臺(tái)2902可以建立一個(gè)或多個(gè)邏輯或物理信道以傳達(dá)信息。所述信息可以包括媒體信息和控制信息。媒體信息可以指表示為用戶(hù)準(zhǔn)備的內(nèi)容的任何數(shù)據(jù)。例如，內(nèi)容的示例可以包括來(lái)自語(yǔ)音對(duì)話(huà)、視頻會(huì)議、流媒體視頻、電子郵件(“email”)消息、語(yǔ)音郵件消息、字母數(shù)字符號(hào)、圖形、圖像、視頻、文字等的數(shù)據(jù)。例如，來(lái)自語(yǔ)音對(duì)話(huà)的數(shù)據(jù)可以是語(yǔ)音信息、沉默時(shí)段、背景噪音、舒適噪音、聲調(diào)等?？刂菩畔⒖梢允侵副硎踞槍?duì)自動(dòng)化系統(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可以用于將媒體信息路由通過(guò)系統(tǒng)或指示節(jié)點(diǎn)以預(yù)定方式處理媒體信息。然而，各實(shí)現(xiàn)方式不限于圖29中示出或描述的元素或上下文。

如上所述，系統(tǒng)2800或2900可以用變化的物理風(fēng)格或形成因子來(lái)實(shí)現(xiàn)。圖30展示了可以用其實(shí)現(xiàn)系統(tǒng)3000的小形成因數(shù)設(shè)備2800或2900的實(shí)現(xiàn)方式。例如，在實(shí)現(xiàn)方式中，設(shè)備3000可以被實(shí)現(xiàn)為具有無(wú)線能力的移動(dòng)計(jì)算設(shè)備。例如，移動(dòng)計(jì)算設(shè)備可以指具有處理系統(tǒng)和移動(dòng)電源(如一個(gè)或多個(gè)電池)的任何設(shè)備。

如上所述，移動(dòng)計(jì)算設(shè)備的示例可以包括個(gè)人計(jì)算機(jī)(PC)、膝上計(jì)算機(jī)、超級(jí)膝上計(jì)算機(jī)、平板機(jī)、觸摸板、便攜式計(jì)算機(jī)、手持式計(jì)算機(jī)、掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、蜂窩電話(huà)、組合式蜂窩電話(huà)/PDA、電視、智能設(shè)備(例如，智能電話(huà)、智能平板機(jī)或智能電視)、移動(dòng)互聯(lián)網(wǎng)設(shè)備(MID)、消息設(shè)備、數(shù)據(jù)通信設(shè)備等。

移動(dòng)計(jì)算設(shè)備的示例還可以包括被安排來(lái)由人穿戴的計(jì)算機(jī)，如手腕計(jì)算機(jī)、手指計(jì)算機(jī)、戒指計(jì)算機(jī)、眼鏡計(jì)算機(jī)、皮帶夾計(jì)算機(jī)、臂帶計(jì)算機(jī)、鞋計(jì)算機(jī)、服裝計(jì)算機(jī)以及其他可穿戴計(jì)算機(jī)。在各實(shí)現(xiàn)方式中，例如移動(dòng)計(jì)算設(shè)備可以實(shí)現(xiàn)為能夠執(zhí)行計(jì)算機(jī)應(yīng)用程序、以及語(yǔ)音通信和/或數(shù)據(jù)通信的智能電話(huà)。舉例來(lái)講，盡管一些實(shí)現(xiàn)方式可以用被實(shí)現(xiàn)為智能電話(huà)的移動(dòng)計(jì)算設(shè)備描述，可以理解的是，其他實(shí)現(xiàn)方式也可以使用其他無(wú)線移動(dòng)計(jì)算設(shè)備實(shí)現(xiàn)。實(shí)現(xiàn)方式并不局限于本上下文中。

如圖30中所示，設(shè)備3000可以包括外殼3002、顯示器3004、輸入/輸出(I/O)設(shè)備3006和天線3008。設(shè)備3000還可以包括導(dǎo)航特征3012。顯示器3004可以包括適合于移動(dòng)計(jì)算設(shè)備的用于顯示信息的任何適當(dāng)?shù)娘@示單元。I/O設(shè)備3006可以包括用于將信息輸入移動(dòng)計(jì)算設(shè)備中的任何適當(dāng)?shù)腎/O設(shè)備。I/O設(shè)備3006的示例可以包括字母數(shù)字鍵盤(pán)、數(shù)字小鍵盤(pán)、觸摸板、輸入建、按鈕、開(kāi)關(guān)、搖桿式開(kāi)關(guān)、麥克風(fēng)、揚(yáng)聲器、話(huà)音識(shí)別設(shè)備和軟件等。信息也可以通過(guò)麥克風(fēng)(未示出)輸入到設(shè)備3000中。這種信息可以由話(huà)音識(shí)別設(shè)備(未示出)數(shù)字化。實(shí)現(xiàn)方式并不局限于本上下文中。

可以使用硬件元件、軟件元件、或兩者的組合來(lái)實(shí)現(xiàn)各實(shí)現(xiàn)方式。硬件元件的示例可以包括：處理器、微處理器、電路、電路元件(例如，晶體管、電阻器、電容器、電感器等)、集成電路、專(zhuān)用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號(hào)處理器(DSP)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、邏輯門(mén)、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片組等。軟件的示例可以包括：軟件組件、程序、應(yīng)用、計(jì)算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、過(guò)程、軟件接口、應(yīng)用程序接口(API)、指令集、計(jì)算代碼、計(jì)算機(jī)代碼、代碼段、計(jì)算機(jī)代碼段、字、值、符號(hào)、或其任意組合。判定是否使用硬件元件和/或軟件元件來(lái)實(shí)現(xiàn)實(shí)現(xiàn)方式可以根據(jù)多個(gè)因數(shù)而變化，如預(yù)期的計(jì)算速率、功率電平、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲(chǔ)器資源、數(shù)據(jù)總線速度以及其他設(shè)計(jì)或性能約束。

可以由機(jī)器可讀介質(zhì)上所存儲(chǔ)的表屬性指令實(shí)現(xiàn)以上描述的一個(gè)或多個(gè)方面，所述指令代表處理器內(nèi)的各種邏輯，當(dāng)被機(jī)器讀取時(shí)所述指令致使所述機(jī)器制作用于實(shí)現(xiàn)在此所描述的技術(shù)的邏輯。此類(lèi)表示(稱(chēng)為“IP核”)可以被存儲(chǔ)在有形的機(jī)器可讀介質(zhì)上并提供給各顧客或制造設(shè)施以加載至實(shí)際制作所述邏輯或處理器的制作機(jī)器中。

雖然已經(jīng)參照各實(shí)現(xiàn)方式描述了在此闡述的某些特征，并不打算在限制性意義上解釋本說(shuō)明書(shū)。因此，本公開(kāi)涉及的對(duì)本領(lǐng)域技術(shù)人員而言明顯的對(duì)在此描述的實(shí)現(xiàn)方式以及其他實(shí)現(xiàn)方式的各種修改被視為是在本公開(kāi)的精神和范圍內(nèi)。

下面的示例涉及附加的實(shí)現(xiàn)方式。

一種用于背景前景分割的計(jì)算機(jī)實(shí)現(xiàn)的方法包括：學(xué)習(xí)基礎(chǔ)幀的背景模型，包括：對(duì)所述基礎(chǔ)幀與形成場(chǎng)景的視頻序列的多個(gè)參考幀中的每個(gè)參考幀之間的幀間差異量值進(jìn)行累加；以及將單獨(dú)的差異量值與多個(gè)活動(dòng)性閾值進(jìn)行比較，以確定與所述差異量值相關(guān)聯(lián)的像素或像素塊是活動(dòng)的還是非活動(dòng)的。所述方法還包括：形成多個(gè)累積分割掩膜，所述多個(gè)累積分割掩膜各自是具有相同的幀參考活動(dòng)性閾值組合總數(shù)量的像素或像素塊的量，在所述幀參考活動(dòng)性閾值組合中所述像素或像素塊是活動(dòng)的；以及通過(guò)使用所述累積分割掩膜確定用于將所述塊或像素分配給所述基礎(chǔ)幀的背景或前景的所述背景閾值。

通過(guò)其他途徑，所述方法包括：根據(jù)所述場(chǎng)景的復(fù)雜度確定所述場(chǎng)景的學(xué)習(xí)速率并且用于選擇所述多個(gè)參考幀；選擇所述多個(gè)參考幀，至少大體上所述多個(gè)參考幀沿著所述視頻序列距離所述基礎(chǔ)幀越遠(yuǎn)則所述場(chǎng)景越不復(fù)雜；其中，存在針對(duì)每個(gè)定義的復(fù)雜度水平所選的四或五個(gè)參考幀以及八個(gè)活動(dòng)性閾值；其中，確定所述背景閾值包括：沿著按照活動(dòng)組合的數(shù)量對(duì)所述累積分割掩膜的數(shù)值排序?qū)蓚€(gè)最大累積分割掩膜之間的最小累積分割掩膜選擇作為所述背景閾值；其中，確定所述背景閾值包括：使用直方圖來(lái)觀察作為所述直方圖上的峰值的所述最大累積分割掩膜以及作為所述直方圖上的所述峰值之間的最低谷值的所述最小累積分割掩膜；其中，具有高于所述背景閾值的累積分割掩膜總數(shù)的塊是前景塊，而具有低于所述背景閾值的累積分割掩膜總數(shù)的塊是背景塊；以及確定對(duì)幀的像素準(zhǔn)確分割包括尋找以下兩者之間的最小差異：(1)基于所述累積分割掩膜值和所述背景閾值的二值化幀，以及(2)使用所述組合之一而被二值化的所述幀。

一種用于視頻編碼的背景前景分割的方法，包括：學(xué)習(xí)背景模型；從所述背景模型中單獨(dú)地確定當(dāng)前幀的背景前景分割閾值；通過(guò)將所述分割閾值同所述當(dāng)前幀與所述背景模型之間的差異進(jìn)行比較來(lái)形成當(dāng)前分割掩膜；應(yīng)用形態(tài)學(xué)開(kāi)閉以在所述分割掩膜上調(diào)整像素或塊的背景或前景分配；確定新暴露背景；用所述新暴露背景更新所述分割掩膜；以及用所述新暴露背景更新所述背景模型。

通過(guò)針對(duì)此方法的其他途徑，確定所述背景前景分割閾值包括：進(jìn)行線性回歸；其中，所述當(dāng)前分割掩膜采用二值化形式；所述方法包括：更新所述分割掩膜，包括使用恢復(fù)的背景來(lái)修改所述分割掩膜；以及通過(guò)去除尖峰和斑點(diǎn)來(lái)清理所述分割掩膜以形成最終的分割掩膜；其中，更新所述背景模型包括以下各項(xiàng)之一：更新所述背景中的像素計(jì)數(shù)以及更新與每個(gè)背景像素位置相關(guān)聯(lián)的平均像素值；以及將所述當(dāng)前分割掩膜的背景像素添加到所述現(xiàn)有背景模型并創(chuàng)建運(yùn)行平均值；其中，應(yīng)用形態(tài)學(xué)開(kāi)閉包括：使用2×2支持區(qū)域作為滑動(dòng)窗，以及在背景與前景之間改變所述支持區(qū)域中的所述位置之一并且取決于在所述支持區(qū)域中在至少一個(gè)其他位置處的所述背景或前景分配；其中，確定新暴露背景包括：圍繞將ROI拆分成多個(gè)部分的所述當(dāng)前前景背景邊界創(chuàng)建興趣區(qū)域(ROI)；標(biāo)記在所述ROI部分內(nèi)部的低能量區(qū)域；以及對(duì)與背景相關(guān)聯(lián)的低能量進(jìn)行分類(lèi)；其中，標(biāo)記低能量區(qū)域包括形成能量圖，包括：計(jì)算邊緣線索；計(jì)算梯度線索；計(jì)算運(yùn)動(dòng)線索；以及將所述線索融合到所述能量圖中。

所述方法還包括：使用Canny邊緣檢測(cè)器計(jì)算邊緣線索；使用水平梯度和垂直梯度的量值來(lái)計(jì)算梯度線索；以及使用所述當(dāng)前幀與前一幀的絕對(duì)差來(lái)計(jì)算運(yùn)動(dòng)線索；在使用所述分割掩膜來(lái)更新所述背景模型之前完成所述分割掩膜，所述完成至少包括通過(guò)刪除被水平地和垂直地掃描的2像素寬的掃描線來(lái)對(duì)所述分割掩膜進(jìn)行平滑處理；其中，所述分割掩膜為以下各項(xiàng)之一：包括背景區(qū)域和前景區(qū)域的分割掩膜、以及至少一個(gè)前景對(duì)象和至少一個(gè)背景對(duì)象的分割圖；所述方法包括：改變?cè)趲乃霰尘盎蚯熬爸械谋尘盎蚯熬芭d趣區(qū)域(ROI)的編碼質(zhì)量或者在所述視頻序列的幀內(nèi)的前景對(duì)象或背景對(duì)象的編碼質(zhì)量，并且通過(guò)以下各項(xiàng)中的至少一項(xiàng)進(jìn)行編碼：基于標(biāo)準(zhǔn)的非可縮放編碼器，所述非可縮放編碼器使用以下標(biāo)準(zhǔn)中的至少一項(xiàng)：H.264標(biāo)準(zhǔn)，HEVC標(biāo)準(zhǔn)；可縮放編碼器，所述可縮放編碼器使用以下標(biāo)準(zhǔn)中的至少一項(xiàng)：SVC標(biāo)準(zhǔn)，SHVC標(biāo)準(zhǔn)；非標(biāo)準(zhǔn)編碼器，所述非標(biāo)準(zhǔn)編碼器使用以下標(biāo)準(zhǔn)中的至少一項(xiàng)：VP8，VP9；其中，改變編碼質(zhì)量包括以下各項(xiàng)之一：(1)，改變前景區(qū)域或前景對(duì)象的編碼質(zhì)量包括：通過(guò)在視頻編碼過(guò)程中使用與用于所述幀的其他區(qū)域的量化參數(shù)(qp)相比而言較低的qp來(lái)對(duì)形成所述前景區(qū)域或?qū)ο蟮膲K進(jìn)行變換編碼從而提高所述前景區(qū)域或?qū)ο蟮木幋a質(zhì)量；(2)，改變背景區(qū)域或背景對(duì)象的編碼質(zhì)量包括：通過(guò)在視頻編碼過(guò)程中使用與用于所述幀的其他區(qū)域的量化參數(shù)(qp)相比而言較高的qp來(lái)對(duì)形成所述背景區(qū)域或?qū)ο蟮膲K進(jìn)行變換編碼從而降低所述背景區(qū)域或?qū)ο蟮木幋a質(zhì)量；以及(3)，(1)和(2)兩者，以及(4)，改變背景區(qū)域或背景對(duì)象的編碼質(zhì)量包括：通過(guò)在視頻編碼過(guò)程中使用與用于所述幀的其他區(qū)域的量化參數(shù)(qp)相比而言較低的qp來(lái)對(duì)形成所述背景區(qū)域或?qū)ο蟮膲K進(jìn)行變換編碼從而提高所述背景區(qū)域或?qū)ο蟮木幋a質(zhì)量；其中，學(xué)習(xí)所述背景模型包括：對(duì)基礎(chǔ)幀與形成場(chǎng)景的視頻序列的多個(gè)參考幀中的每個(gè)參考幀之間的幀間差異量值進(jìn)行累加；將單獨(dú)的差異量值與多個(gè)活動(dòng)性閾值進(jìn)行比較，以確定與所述差異量值相關(guān)聯(lián)的像素或像素塊是活動(dòng)的還是非活動(dòng)的；形成多個(gè)累積分割掩膜，所述多個(gè)累積分割掩膜各自是具有相同的幀參考活動(dòng)性閾值組合總數(shù)量的像素或像素塊的量，在所述幀參考活動(dòng)性閾值組合中所述像素或像素塊是活動(dòng)的；以及通過(guò)使用所述累積分割掩膜確定用于將所述塊或像素分配給所述基礎(chǔ)幀的背景或前景的所述背景閾值。

在另一個(gè)示例中，至少一種機(jī)器可讀介質(zhì)可以包括多條指令，所述指令響應(yīng)于在計(jì)算設(shè)備上被執(zhí)行而使所述計(jì)算設(shè)備執(zhí)行根據(jù)以上示例中的任一個(gè)示例的方法。

在又另一個(gè)示例中，一種裝置可以包括：用于執(zhí)行根據(jù)以上示例中的任一個(gè)示例的方法的裝置。

以上示例可以包括特征的特定組合。然而，以上示例不局限于這個(gè)方面，并且在各實(shí)現(xiàn)方式中，以上示例可以包括僅采取這類(lèi)特征的子集、采取這類(lèi)特征的不同順序、采取這類(lèi)特征的不同組合和/或采取除了明確例舉的那些特征之外的附加特征。例如，關(guān)于示例方法所描述的所有特征可以關(guān)于示例裝置、示例系統(tǒng)和/或示例制品被實(shí)現(xiàn)，并且反之亦然。