基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法
【專利摘要】本發(fā)明公開了一種基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法，該方法包括以下步驟：通過(guò)監(jiān)控設(shè)備實(shí)時(shí)采集一檢測(cè)區(qū)域的視頻序列，并對(duì)采集得到的視頻序列提取前景運(yùn)動(dòng)目標(biāo)；根據(jù)實(shí)際應(yīng)用場(chǎng)景和攝像頭到檢測(cè)區(qū)域的距離，設(shè)置乘客流量檢測(cè)框的位置和大小；基于視頻信息和所述乘客流量檢測(cè)框，通過(guò)非監(jiān)督學(xué)習(xí)產(chǎn)生自適應(yīng)閾值；采用基于幾何學(xué)原理的方法對(duì)于所述乘客流量檢測(cè)框進(jìn)行乘客上車或下車行為的判定；根據(jù)判定結(jié)果和所述自適應(yīng)閾值，對(duì)于客流量進(jìn)行判定與統(tǒng)計(jì)。本發(fā)明簡(jiǎn)單而又高效，實(shí)時(shí)性和可移植性強(qiáng)，適用于智能客車客流量的自動(dòng)統(tǒng)計(jì)。
【專利說(shuō)明】基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻處理、圖像處理等視頻智能分析【技術(shù)領(lǐng)域】，特別是涉及一種基于 自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法。 【背景技術(shù)】
[0002] 人流量自動(dòng)統(tǒng)計(jì)是智能視頻監(jiān)測(cè)系統(tǒng)中一個(gè)重要的功能，它能有效地應(yīng)用于商 場(chǎng)、公交車、地鐵出入口等公共場(chǎng)所。智能公交是未來(lái)公共交通發(fā)展的必然模式，對(duì)公交客 車乘客流量的自動(dòng)統(tǒng)計(jì)對(duì)實(shí)現(xiàn)公交的智能化有著重要的意義。
[0003] 目前已有的基于計(jì)算機(jī)視覺技術(shù)的人流量統(tǒng)計(jì)方法主要包括以下幾類：
[0004] (1)基于人頭或頭肩檢測(cè)和跟蹤的方法。該方法在于有效地檢測(cè)視頻中的人頭 或者頭肩，并對(duì)其進(jìn)行跟蹤以達(dá)到統(tǒng)計(jì)人流量的目的。比如：申請(qǐng)?zhí)枮?01210208666. 7， 發(fā)明名稱為"一種基于視頻分析技術(shù)的人流量統(tǒng)計(jì)方法"， 申請(qǐng)人:為武漢烽火眾智數(shù)字 技術(shù)有限責(zé)任公司的專利申請(qǐng)，根據(jù)對(duì)人頭特征和人體局部特征的檢測(cè)和識(shí)別進(jìn)行人頭 特征區(qū)域檢測(cè)，并采用跟蹤技術(shù)得到行人運(yùn)動(dòng)軌跡以判定行人的方向和流量；申請(qǐng)?zhí)枮?PCT/CN2010/070607,發(fā)明名稱為"人流量統(tǒng)計(jì)的方法及系統(tǒng)"， 申請(qǐng)人:為杭州?？低曑?件有限公司的專利申請(qǐng)，則采用并聯(lián)的多類人頭分類器檢測(cè)各個(gè)人頭，并分別對(duì)各個(gè)人頭 進(jìn)行跟蹤形成人頭目標(biāo)運(yùn)動(dòng)軌跡，最后根據(jù)該運(yùn)動(dòng)軌跡方向進(jìn)行人流量計(jì)數(shù)；申請(qǐng)?zhí)枮?201210316862,發(fā)明名稱為"基于智能視覺感知的電梯人流量統(tǒng)計(jì)方法及系統(tǒng)"， 申請(qǐng)人:為 電子科技大學(xué)的專利申請(qǐng)，根據(jù)提前建立的頭肩模型庫(kù)檢測(cè)實(shí)時(shí)圖像中的目標(biāo)，并進(jìn)行跟 蹤以達(dá)到人流量統(tǒng)計(jì)的目的。該類方法需要提取人頭或頭肩的有效特征或者進(jìn)行大量正反 樣本的訓(xùn)練以產(chǎn)生有效的分類器，以實(shí)現(xiàn)準(zhǔn)確的人頭或頭肩的檢測(cè)，但其容易產(chǎn)生較高的 虛警率，而且需要跟蹤技術(shù)獲取目標(biāo)運(yùn)動(dòng)軌跡，這大大增加了算法的運(yùn)算量。
[0005] (2)基于人體分割的方法。該類方法對(duì)視頻序列進(jìn)行人體檢測(cè)，需要人體的先驗(yàn)知 識(shí)，比如人體形狀，邊緣信息等，以統(tǒng)計(jì)行人流量。比如：申請(qǐng)?zhí)枮?01110423349,發(fā)明名稱 為"一種基于多高斯計(jì)數(shù)模型的人流量統(tǒng)計(jì)方法"， 申請(qǐng)人:為重慶郵電大學(xué)的專利申請(qǐng)，利 用帶人數(shù)標(biāo)記的訓(xùn)練視頻序列圖像樣本建立多高斯計(jì)數(shù)模型，然后基于該模型分析未知運(yùn) 動(dòng)目標(biāo)區(qū)域中包含的行人個(gè)數(shù)，從而實(shí)現(xiàn)人流量統(tǒng)計(jì)；申請(qǐng)?zhí)枮?01110147358,發(fā)明名稱 為"基于啟發(fā)信息的行人流量統(tǒng)計(jì)方法"， 申請(qǐng)人:為杭州電子科技大學(xué)的專利申請(qǐng)，則采用 基于梯度方向直方圖的方法進(jìn)行行人檢測(cè)，并通過(guò)若干檢測(cè)結(jié)果與特定區(qū)域上的點(diǎn)的比值 關(guān)系產(chǎn)生權(quán)重，最后采用稀疏光流法確定運(yùn)動(dòng)矢量的大小和方向，以達(dá)到行人流量統(tǒng)計(jì)的 目的。該類方法不僅難以有效解決遮擋問(wèn)題，而且對(duì)人體特征的檢測(cè)運(yùn)算量較大，難以實(shí)現(xiàn) 實(shí)時(shí)檢測(cè)。
【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的缺點(diǎn)和不足，提供一種快速而又高效的基 于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法，該方法采用非監(jiān)督學(xué)習(xí)的方法產(chǎn)生自適應(yīng)閾 值來(lái)進(jìn)行人數(shù)判定，以及采用基于幾何學(xué)原理的方法進(jìn)行乘客上下車的判定，并結(jié)合視頻 處理技術(shù)，達(dá)到準(zhǔn)確、實(shí)時(shí)地對(duì)智能公交乘客流量進(jìn)行統(tǒng)計(jì)，最后再將乘客流量統(tǒng)計(jì)結(jié)果通 過(guò)有線或無(wú)線通訊設(shè)備實(shí)時(shí)反饋到公交調(diào)度中心和未到達(dá)的公交站臺(tái)電子顯示終端上，及 時(shí)為管理者和乘客提供實(shí)時(shí)的公交車載客信息。
[0007] 為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于自適應(yīng)閾值的智能乘客流量 自動(dòng)統(tǒng)計(jì)方法，該方法包括以下步驟：
[0008] 步驟1，通過(guò)監(jiān)控設(shè)備實(shí)時(shí)采集一檢測(cè)區(qū)域的視頻序列，并對(duì)采集得到的視頻序列 提取如景運(yùn)動(dòng)目標(biāo)；
[0009] 步驟2,根據(jù)實(shí)際應(yīng)用場(chǎng)景和攝像頭到檢測(cè)區(qū)域的距離，設(shè)置乘客流量檢測(cè)框的位 置和大小；
[0010] 步驟3,基于視頻信息和所述乘客流量檢測(cè)框，通過(guò)非監(jiān)督學(xué)習(xí)產(chǎn)生自適應(yīng)閾值；
[0011] 步驟4,采用基于幾何學(xué)原理的方法對(duì)于所述乘客流量檢測(cè)框進(jìn)行乘客上車或下 車行為的判定；
[0012] 步驟5,根據(jù)所述步驟4的判定結(jié)果和所述自適應(yīng)閾值，對(duì)于客流量進(jìn)行判定與統(tǒng) 計(jì)。
[0013] 本發(fā)明的有益效果在于：
[0014] (1)通過(guò)設(shè)置乘客流量檢測(cè)框，可以縮小檢測(cè)的范圍，提高算法的效率；
[0015] (2)僅需獲取檢測(cè)框中的前景像素個(gè)數(shù)作為處理對(duì)象，而不需要進(jìn)行復(fù)雜的識(shí)別 等操作，大大降低了算法的運(yùn)算量，提高算法的實(shí)時(shí)性；
[0016] (3)對(duì)檢測(cè)到的檢測(cè)框中的前景像素個(gè)數(shù)進(jìn)行非監(jiān)督學(xué)習(xí)，進(jìn)而產(chǎn)生自適應(yīng)閾值， 用來(lái)區(qū)分一次經(jīng)過(guò)檢測(cè)框的人數(shù)，避免使用跟蹤算法解決遮擋問(wèn)題，進(jìn)一步降低計(jì)算量；
[0017] (4)僅采用對(duì)檢測(cè)框中的前景像素個(gè)數(shù)和檢測(cè)框之間的幾何學(xué)原理進(jìn)行分析，即 可產(chǎn)生對(duì)乘客上車或下車事件的有效判定方法，提高了算法的速度和效率；
[0018] (5)通過(guò)無(wú)線傳感器將流量統(tǒng)計(jì)結(jié)果發(fā)送到站臺(tái)電子顯示終端，增加了系統(tǒng)的實(shí) 用性。
[0019] 本發(fā)明簡(jiǎn)單易行，性能穩(wěn)定，速度快，效率高，可移植性強(qiáng)，具有較強(qiáng)的實(shí)時(shí)性，適 用于智能公交客車的乘客流量統(tǒng)計(jì)。 【專利附圖】

【附圖說(shuō)明】
[0020] 圖1是本發(fā)明基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法的流程圖；
[0021] 圖2根據(jù)本發(fā)明一實(shí)施例的乘客流量檢測(cè)框設(shè)置示意圖；
[0022] 圖3根據(jù)本發(fā)明一實(shí)施例的乘客上車和下車判定的示意圖；
【具體實(shí)施方式】 [0023] 圖4根據(jù)本發(fā)明中基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法實(shí)驗(yàn)仿真圖。 【具體實(shí)施方式】 [0024]
[0025] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0026] 本發(fā)明提出一種基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法，該方法可用于公 共交通工具等乘客頻繁出入的場(chǎng)所，為了方便起見，接下來(lái)以公交客車為例對(duì)于本發(fā)明進(jìn) 行進(jìn)一步的說(shuō)明。
[0027] 圖1為本發(fā)明基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法的流程圖。如圖1所 示，所述方法包括如下步驟：
[0028] 步驟1，通過(guò)監(jiān)控設(shè)備實(shí)時(shí)采集一檢測(cè)區(qū)域的視頻序列，并對(duì)采集得到的視頻序列 提取如景運(yùn)動(dòng)目標(biāo)；
[0029] 在本發(fā)明一實(shí)施例中，利用背景差分法結(jié)合形態(tài)學(xué)處理對(duì)采集得到的視頻序列提 取前景運(yùn)動(dòng)目標(biāo)，其中，背景差分法和形態(tài)學(xué)處理方法均為本領(lǐng)域技術(shù)人員熟知的圖像處 理技術(shù)，在此不作贅述。
[0030] 在實(shí)際應(yīng)用中，可選取公交客車的上車區(qū)域，比如前門區(qū)域作為乘客流量統(tǒng)計(jì)的 位置，監(jiān)控?cái)z像頭可靜止安裝在公交客車內(nèi)部前門區(qū)域的上方，并傾斜向下（不必完全垂 直向下）來(lái)提取客流信息，視頻采集速度可設(shè)為25幀/秒。
[0031] 步驟2,根據(jù)實(shí)際應(yīng)用場(chǎng)景和攝像頭到檢測(cè)區(qū)域的距離，設(shè)置乘客流量檢測(cè)框的位 置和大小，其中，所述乘客流量檢測(cè)框的位置設(shè)定在乘客進(jìn)出的必經(jīng)區(qū)域且所述乘客流量 檢測(cè)框的長(zhǎng)度大于乘客進(jìn)出區(qū)域的寬度；
[0032] 圖2為根據(jù)本發(fā)明一實(shí)施例的乘客流量檢測(cè)框設(shè)置示意圖，在本發(fā)明一實(shí)施例 中，在確保乘客流量統(tǒng)計(jì)效率的同時(shí)，盡可能的縮小檢測(cè)范圍，以提高檢測(cè)速度，因此，乘客 流量檢測(cè)框的長(zhǎng)和寬在設(shè)置時(shí)需要滿足以下約束條件：
[0033] i.檢測(cè)框的寬度W滿足：2Wh彡W彡3Wh ;
[0034] ii.檢測(cè)框的長(zhǎng)度L滿足：L彡BC。
[0035] 其中，Wh為視頻幀圖像中圓型人頭直徑的估值，BC為檢測(cè)區(qū)域的寬度，圖2中，陰 影部分的矩形ABCD表示公交客車前門上車區(qū)域，BC為其寬度，位于中部的方框即為所設(shè)置 的乘客流量檢測(cè)框。
[0036] 步驟3,基于視頻信息和所述乘客流量檢測(cè)框，通過(guò)非監(jiān)督學(xué)習(xí)產(chǎn)生自適應(yīng)閾值；
[0037] 所述步驟3進(jìn)一步包括以下步驟：
[0038] 步驟31，統(tǒng)計(jì)前N幀圖像中有乘客進(jìn)入所述檢測(cè)框時(shí)產(chǎn)生的非零前景像素值，得 到m(m〈N)個(gè)前景像素值；
[0039] 步驟32,采用K-means等聚類算法將前景像素值分為K類，取K類聚類中心值的均 值作為所述自適應(yīng)閾值。
[0040] 對(duì)于公交客車，由于每次從前門上車的乘客最多為兩個(gè)乘客，故K-means等聚類 算法中可將聚類數(shù)量K取為2。隨著N的增大，不同乘客以不同方式上車的情況越來(lái)越全 面，數(shù)據(jù)容量m也越來(lái)越大，由聚類算法得到的閾值也就越來(lái)越適應(yīng)乘客人數(shù)的判定。當(dāng) 乘客進(jìn)入檢測(cè)框中產(chǎn)生的非零前景像素值大于該閾值時(shí)，則判定此次上車的乘客人數(shù)為2 人，否則為1人。
[0041] 步驟4,采用基于幾何學(xué)原理的方法對(duì)于所述乘客流量檢測(cè)框進(jìn)行乘客上車或下 車行為的判定；
[0042] 考慮到實(shí)際公交客車的運(yùn)營(yíng)情況，在擁擠的情況下，客車前門也可能會(huì)存在乘客 下車的行為，所以為了精確統(tǒng)計(jì)公交客車乘客流量情況，需要對(duì)乘客上下車行為均進(jìn)行判 定。
[0043] 所述步驟4進(jìn)一步包括以下步驟：
[0044] 步驟41，將所述乘客流量檢測(cè)框分成多個(gè)子區(qū)域；
[0045] 圖3為根據(jù)本發(fā)明一實(shí)施例的乘客上車和下車判定示意圖，如圖3所示，在本發(fā)明 一實(shí)施例中，可使用線段和線段FG將矩形ABCD分成三個(gè)小的矩形，其中，矩形ABCD為 之前設(shè)置的乘客流量檢測(cè)框。
[0046] 步驟42,計(jì)算所述子區(qū)域中乘客產(chǎn)生的前景目標(biāo)像素面積；
[0047] 假設(shè)圖3中橢圓代表由乘客產(chǎn)生前景目標(biāo)，則圖3中黑色部分分別表示為前景目 標(biāo)進(jìn)入到矩形AEHD和矩形FBCG產(chǎn)生的前景像素面積，分別命名為S1、S2或者S3、S4,如圖 3A和圖3B所示。
[0048] 步驟43,根據(jù)同一子區(qū)域中乘客產(chǎn)生的前景目標(biāo)像素面積的變化來(lái)判斷所述乘客 流量檢測(cè)框中乘客的上車或下車行為。
[0049] 在本發(fā)明一實(shí)施例中，可根據(jù)位于所述乘客流量檢測(cè)框上端部和下端部的兩個(gè)子 區(qū)域中，乘客產(chǎn)生的前景目標(biāo)像素面積的變化來(lái)判斷乘客的上車或下車行為，即，假設(shè)乘客 通過(guò)乘客流量檢測(cè)框的過(guò)程是由圖3A所示的狀態(tài)進(jìn)入圖3B所示的狀態(tài)時(shí)，則通過(guò)下式來(lái) 判斷乘客的上車或下車行為：
[0050]
【權(quán)利要求】
1. 一種基于自適應(yīng)閾值的智能乘客流量自動(dòng)統(tǒng)計(jì)方法，其特征在于，該方法包括以下 步驟： 步驟1，通過(guò)監(jiān)控設(shè)備實(shí)時(shí)采集一檢測(cè)區(qū)域的視頻序列，并對(duì)采集得到的視頻序列提取 前景運(yùn)動(dòng)目標(biāo)； 步驟2,根據(jù)實(shí)際應(yīng)用場(chǎng)景和攝像頭到檢測(cè)區(qū)域的距離，設(shè)置乘客流量檢測(cè)框的位置和 大??； 步驟3,基于視頻信息和所述乘客流量檢測(cè)框，通過(guò)非監(jiān)督學(xué)習(xí)產(chǎn)生自適應(yīng)閾值； 步驟4,采用基于幾何學(xué)原理的方法對(duì)于所述乘客流量檢測(cè)框進(jìn)行乘客上車或下車行 為的判定； 步驟5,根據(jù)所述步驟4的判定結(jié)果和所述自適應(yīng)閾值，對(duì)于客流量進(jìn)行判定與統(tǒng)計(jì)。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟1中，利用背景差分法結(jié)合形態(tài) 學(xué)處理對(duì)采集得到的視頻序列提取前景運(yùn)動(dòng)目標(biāo)。
3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2中，所述乘客流量檢測(cè)框的位 置設(shè)定在乘客進(jìn)出的必經(jīng)區(qū)域且所述乘客流量檢測(cè)框的長(zhǎng)度大于乘客進(jìn)出區(qū)域的寬度。
4. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟2中，所述乘客流量檢測(cè)框的長(zhǎng) 和寬滿足以下約束條件： i. 檢測(cè)框的寬度W滿足：2Wh彡W彡3Wh ; ii. 檢測(cè)框的長(zhǎng)度L滿足：L彡BC ; 其中，Wh為視頻幀圖像中圓型人頭直徑的估值，BC為檢測(cè)區(qū)域的寬度。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3進(jìn)一步包括以下步驟： 步驟31，統(tǒng)計(jì)前N幀圖像中有乘客進(jìn)入所述乘客流量檢測(cè)框時(shí)產(chǎn)生的非零前景像素 值，得到m個(gè)前景像素值，其中，m〈N ; 步驟32,采用聚類算法將前景像素值分為K類，取K類聚類中心值的均值作為所述自適 應(yīng)閾值。
6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟4進(jìn)一步包括以下步驟： 步驟41，將所述乘客流量檢測(cè)框分成多個(gè)子區(qū)域； 步驟42,計(jì)算所述子區(qū)域中乘客產(chǎn)生的前景目標(biāo)像素面積； 步驟43,根據(jù)同一子區(qū)域中乘客產(chǎn)生的前景目標(biāo)像素面積的變化來(lái)判斷所述乘客流量 檢測(cè)框中乘客的上車或下車行為。
7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述步驟43中，根據(jù)位于所述乘客流量檢 測(cè)框上端部和下端部的兩個(gè)子區(qū)域中，乘客產(chǎn)生的前景目標(biāo)像素面積的變化來(lái)判斷乘客的 上車或下車行為。
8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟5進(jìn)一步包括以下步驟： 步驟51,將參數(shù)的取值初始化為0,所述參數(shù)至少包括：參數(shù)flag = false,參數(shù)up = true,乘客流量檢測(cè)框中前景的最小像素值l〇W_piXel，乘客流量檢測(cè)框中前景的最大像素 值high_pixel，視頻當(dāng)前巾貞檢測(cè)框中的前景像素值current_Fgpixel和視頻前一巾貞檢測(cè)框 中的前景像素值last_pixel ; 步驟52,判斷當(dāng)前圖像巾貞是否為視頻序列的第一巾貞，若是，則令low_pixel = high_ pixel = current-Fgpixel ; 否則，如果 current_Fgpixel_last_Fgpixel> = 0,則令 up = true ;如果 current_ Fgpixel_low_pixel>Thresh，flag = false，up = true 三個(gè)條件均滿足，其中，Thresh 表 示經(jīng)驗(yàn)閾值，此時(shí)判斷乘客進(jìn)入乘客流量檢測(cè)框，令flag = true，同時(shí)計(jì)算前景目標(biāo)進(jìn) 入乘客流量檢測(cè)框上部子區(qū)域和下部子區(qū)域中的前景像素面積；當(dāng)flag = true時(shí)，更 新 high_pixel 的值，使其取 high_pixel、current_Fgpixel 二者中的最大值；如果 high_ pixel_current_Fgpixel>Thresh，flag = true兩個(gè)條件同時(shí)滿足，此時(shí)判斷乘客走出乘客 流量檢測(cè)框，則令flag = false，up = false,再次計(jì)算前景目標(biāo)進(jìn)入乘客流量檢測(cè)框上部 子區(qū)域和下部子區(qū)域中的前景像素面積，然后根據(jù)得到的前景像素面積結(jié)合所述步驟4的 判定結(jié)果，判定該前景經(jīng)過(guò)乘客流量檢測(cè)框時(shí)是屬于上車事件還是下車事件； 步驟53,比較high_pixel與所述步驟3得到的自適應(yīng)閾值，如果high_pixel值較大， 則對(duì)上述判定出的上車事件或者下車事件的流量計(jì)數(shù)值加2 ;否則，其流量計(jì)數(shù)值加1，即 統(tǒng)計(jì)得到客流量。
【文檔編號(hào)】G06T7/20GK104239908SQ201410363764
【公開日】2014年12月24日 申請(qǐng)日期:2014年7月28日 優(yōu)先權(quán)日:2014年7月28日
【發(fā)明者】孔慶杰, 王飛躍, 楊海濱, 熊剛, 朱鳳華 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所