仿生眼定位追蹤系統(tǒng)及其工作方法
【專利摘要】本發(fā)明公開了一種仿生眼定位追蹤系統(tǒng)及其工作方法，所述的系統(tǒng)主要由仿生眼云臺模塊、聲音采集傳感器陣列、攝像頭模塊、云臺運(yùn)動控制模塊、控制器模塊和上位機(jī)模塊六部分組成。本發(fā)明通過上述各系統(tǒng)將三維空間聲源定位技術(shù)、視覺處理算法與自動控制技術(shù)相結(jié)合，可以實(shí)現(xiàn)一種仿生眼定位追蹤系統(tǒng)與工作方法，使得仿生眼能夠?qū)崟r(shí)朝向說話人臉部輪廓的中心，可以讓仿生裝置在與人交流互動時(shí)，顯得更加生動、活潑和友好，增添更多的趣味性。
【專利說明】
仿生眼定位追蹤系統(tǒng)及其工作方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及各種仿生眼對目標(biāo)的定位追蹤系統(tǒng)和工作方法，尤其涉及將仿生眼的 雙眼注視到說話人臉的仿生眼定位追蹤系統(tǒng)和工作方法。
【背景技術(shù)】
[0002] 目前，各種仿生機(jī)器人（如，仿人形、仿動物形等)對周圍環(huán)境的感知系統(tǒng)，主要通 過仿生眼和仿生耳來獲取外界信息。
[0003] 其中，在仿生眼的設(shè)計(jì)中，主要通過安裝兩個(gè)攝像頭充當(dāng)仿生眼來獲取視頻信息， 對仿生眼整體結(jié)構(gòu)建立數(shù)學(xué)模型，應(yīng)用視覺處理的一些算法，實(shí)現(xiàn)對目標(biāo)物體的三維信息 計(jì)算和人臉識別等。與此相關(guān)的技術(shù)已經(jīng)比較成熟，并且被廣泛應(yīng)用到工業(yè)、軍事、醫(yī)療等 諸多領(lǐng)域。
[0004] 但是，現(xiàn)有的充當(dāng)仿生眼的攝像頭或者固定安裝在某位置上，或者能通過人的操 控進(jìn)行方向調(diào)整，一般無法實(shí)現(xiàn)仿生眼與當(dāng)前說話人的自動對視與跟蹤，缺乏生動與友好 交流效果。
[0005] 在類似于仿生耳的聲源定位技術(shù)中，已存在應(yīng)用麥克風(fēng)等聲音信號采集裝置來實(shí) 現(xiàn)聲源定位的應(yīng)用，該技術(shù)為本領(lǐng)域的公知技術(shù)，如，下述文獻(xiàn):鄭珍珍，馮華君，沈常宇等. 基于坐標(biāo)系變換的三維聲源定位算法[J].浙江大學(xué)學(xué)報(bào)，2008,42(2) :341-343(下簡稱文 獻(xiàn)1)，其中就提到了一種基于聲達(dá)時(shí)間差(TDOA)的聲源定位技術(shù)，并給出了一種基于坐標(biāo) 系變換的三維聲源定位算法。
[0006] 但是，現(xiàn)有的聲源定位方法只是依賴于麥克風(fēng)等聲音信號采集裝置來收集信號， 信息來源單一、穩(wěn)定性低、誤差大，在聲源信號受到外界因素干擾時(shí)，這種聲源定位方法無 法實(shí)現(xiàn)對說話人的精準(zhǔn)定位。
[0007] 在展覽或公開場合，在眾人圍觀情形下，如何將仿生眼的兩個(gè)攝像頭能生動、準(zhǔn)確 地注視到說話人的臉上，并能自動跟隨說話人的移動而轉(zhuǎn)動雙眼（兩個(gè)攝像頭），讓對話人 的臉能夠?qū)崟r(shí)處在攝像頭采集到的圖像中心，目前尚無此類技術(shù)與方法的研究。

【發(fā)明內(nèi)容】

[0008] 為了解決現(xiàn)有仿生眼無法實(shí)現(xiàn)自動注視與跟蹤說話人臉的技術(shù)缺陷，本發(fā)明基于 仿生眼和仿生耳的現(xiàn)有技術(shù)，提供一種仿生眼定位追蹤系統(tǒng)，以實(shí)現(xiàn)將仿生眼的兩個(gè)攝像 頭自動注視并跟蹤到說話人臉。
[0009] 本發(fā)明同時(shí)提供這種定位追蹤系統(tǒng)的工作方法。
[0010] 為達(dá)上述目的，本發(fā)明的仿生眼定位追蹤系統(tǒng)主要由以下六部分組成：仿生眼云 臺模塊、聲音采集傳感器陣列、攝像頭模塊、云臺運(yùn)動控制模塊、控制器模塊、上位機(jī)模塊； 其中：
[0011]所述的仿生眼云臺模塊包括:一個(gè)云臺底座、一個(gè)搭載平臺和左右兩個(gè)子云臺，其 中，云臺底座與搭載平臺之間通過一個(gè)水平旋轉(zhuǎn)關(guān)節(jié)相連，通過搭載平臺在云臺底座上的 水平轉(zhuǎn)動來模仿仿生機(jī)器人的頸部轉(zhuǎn)動;在搭載平臺上安裝有左右兩個(gè)子云臺，左右兩個(gè) 子云臺分別各有一個(gè)水平旋轉(zhuǎn)架和一個(gè)俯仰旋轉(zhuǎn)架，這樣，每個(gè)子云臺都具有水平旋轉(zhuǎn)和 俯仰旋轉(zhuǎn)兩個(gè)轉(zhuǎn)動關(guān)節(jié)，兩個(gè)攝像頭分別安裝在左右兩個(gè)子云臺中間的俯仰旋轉(zhuǎn)架上，充 當(dāng)仿生眼的眼睛，通過左右兩個(gè)子云臺各自的水平旋轉(zhuǎn)和俯仰旋轉(zhuǎn)關(guān)節(jié)的轉(zhuǎn)動，可以分別 調(diào)整安裝在左右兩個(gè)子云臺上的攝像頭指向，來模仿眼睛的轉(zhuǎn)動，這樣的仿生眼云臺模塊 總共有五個(gè)運(yùn)動自由度，在搭載平臺上的正中位置，綁定一個(gè)可隨搭載平臺水平轉(zhuǎn)動的頸 部坐標(biāo)系。
[0012] 所述的聲音采集傳感器陣列在本系統(tǒng)中充當(dāng)仿生耳，將四個(gè)特性相同的麥克風(fēng)， 以仿生眼云臺底座支點(diǎn)為中心，按正四面體的空間幾何關(guān)系安裝在云臺底座中心周圍，并 將云臺底座支點(diǎn)中心作為仿生眼云臺基礎(chǔ)坐標(biāo)系的原點(diǎn)，這樣，通過采集到的聲音信號及 聲源定位算法(可參照【背景技術(shù)】中提到的文獻(xiàn)1等提到的聲源定位方法），得到說話人嘴部 相對于基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值。
[0013] 所述的攝像頭模塊由兩個(gè)獨(dú)立的攝像頭組成，分別安裝在左右兩個(gè)子云臺中間的 俯仰旋轉(zhuǎn)架上，在本系統(tǒng)中充當(dāng)仿生眼的雙眼，用來獲取視頻信息，并將視頻數(shù)據(jù)傳給上位 機(jī)模塊。
[0014] 所述的云臺運(yùn)動控制模塊包括:分別安裝在左右兩個(gè)子云臺上的水平旋轉(zhuǎn)驅(qū)動電 機(jī)和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、一個(gè)搭載平臺的水平旋轉(zhuǎn)驅(qū)動電機(jī)、數(shù)據(jù)傳輸模塊。云臺運(yùn)動控制 模塊根據(jù)接收到的控制器模塊輸出的各個(gè)驅(qū)動電機(jī)轉(zhuǎn)動信號來控制相應(yīng)關(guān)節(jié)的驅(qū)動電機(jī) 進(jìn)行轉(zhuǎn)動。
[0015] 所述的控制器模塊，一方面采集聲音采集傳感器陣列的輸出信號，運(yùn)行聲源定位 算法，獲得說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，并將該說話人嘴部的三維坐 標(biāo)傳給上位機(jī)模塊；另一方面接收上位機(jī)模塊發(fā)出的控制指令和數(shù)據(jù)信息，來控制各個(gè)驅(qū) 動電機(jī)轉(zhuǎn)動相應(yīng)角度，同時(shí)也向上位機(jī)模塊返回系統(tǒng)的運(yùn)動狀態(tài)。
[0016] 所述的上位機(jī)模塊包括:仿生眼云臺的眼睛水平轉(zhuǎn)角<^和扮的求解運(yùn)算程序、對搭 載平臺水平旋轉(zhuǎn)轉(zhuǎn)角Θ的求解運(yùn)算程序、仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間的求解 運(yùn)算程序、視覺處理算法程序、與控制器的通信程序。
[0017] 本發(fā)明的工作方法主要包含如下步驟：
[0018] 步驟一、系統(tǒng)初始化:系統(tǒng)上電，聲音采集傳感器陣列進(jìn)入工作狀態(tài)，上位機(jī)模塊 顯示攝像頭模塊獲取的視頻圖像，控制器模塊控制所有驅(qū)動電機(jī)復(fù)位到初始角度。
[0019] 步驟二、聲源定位:控制器模塊讀取聲音采集傳感器陣列采集的聲音數(shù)據(jù)，并運(yùn)行 聲源定位算法得到說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，將該坐標(biāo)值傳給上位 機(jī)模塊。
[0020] 步驟三、眼睛水平轉(zhuǎn)角求解：即對仿生眼云臺模塊左右兩個(gè)子云臺各自水平轉(zhuǎn)角 的求解。
[0021] 上位機(jī)模塊根據(jù)說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，折算成說話人 嘴部相對于頸部坐標(biāo)系的三維坐標(biāo)值，在當(dāng)前頸部未旋轉(zhuǎn)狀態(tài)下，來求解兩個(gè)眼睛分別轉(zhuǎn) 向說話人嘴部時(shí)所需的水平轉(zhuǎn)角;若其中任意一個(gè)的水平轉(zhuǎn)角超過±30度(設(shè)定范圍），這 時(shí)需要對頸部進(jìn)行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟四；若求解出來的兩個(gè)眼睛的水平旋轉(zhuǎn)角都未超 過±30度(設(shè)定范圍），這時(shí)不需要對頸部進(jìn)行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟五。
[0022] 步驟四、對頸部關(guān)節(jié)進(jìn)行旋轉(zhuǎn)調(diào)整:即對搭載平臺水平旋轉(zhuǎn)轉(zhuǎn)角的求解。
[0023] 上位機(jī)模塊先根據(jù)說話人嘴部相對于頸部坐標(biāo)系的三維坐標(biāo)值，以滿足搭載平臺 轉(zhuǎn)向正直面向說話人嘴部為條件，反解出頸部所需的水平旋轉(zhuǎn)角，上位機(jī)模塊將頸部的水 平旋轉(zhuǎn)角發(fā)給控制器模塊，由控制器模塊控制頸部水平旋轉(zhuǎn)驅(qū)動電機(jī)轉(zhuǎn)動相應(yīng)角度，實(shí)現(xiàn) 搭載平臺轉(zhuǎn)向正直面對說話人嘴部方向，這樣，頸部坐標(biāo)系也轉(zhuǎn)向正直面對說話人嘴部方 向，然后轉(zhuǎn)向步驟五，再相對當(dāng)前頸部坐標(biāo)系來進(jìn)行仿生眼云臺模塊左右兩個(gè)子云臺的關(guān) 節(jié)空間求解運(yùn)算，以使得兩個(gè)眼睛分別轉(zhuǎn)向說話人嘴部方向。
[0024]步驟五、仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間求解:上位機(jī)模塊根據(jù)說話人 嘴部相對當(dāng)前頸部坐標(biāo)系的關(guān)系來進(jìn)行仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間求解運(yùn) 算，分別反解出左右兩個(gè)子云臺的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、水平旋轉(zhuǎn)驅(qū)動電機(jī)應(yīng)當(dāng)旋轉(zhuǎn)的角度 信息，然后發(fā)給控制器模塊，由控制器模塊控制左右兩個(gè)子云臺各自的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、 水平旋轉(zhuǎn)驅(qū)動電機(jī)轉(zhuǎn)動相應(yīng)角度，以實(shí)現(xiàn)仿生眼的雙眼初步對向說話人的嘴部。
[0025]至此，完成了將兩個(gè)攝像頭(眼睛)初步對準(zhǔn)說話人嘴部的過程。
[0026]步驟六、眼睛方向修正：即對仿生眼云臺模塊左右兩個(gè)子云臺各個(gè)旋轉(zhuǎn)關(guān)節(jié)轉(zhuǎn)角 的修正。上位機(jī)模塊運(yùn)行人臉識別算法，來獲取說話人臉部矩形外圍輪廓并求取其中心位 置在視頻圖像坐標(biāo)系中的二維坐標(biāo)值，根據(jù)該二維坐標(biāo)值與視頻圖像中心位置的偏移量， 分別求出左右兩個(gè)子云臺的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、水平旋轉(zhuǎn)驅(qū)動電機(jī)旋轉(zhuǎn)角度的修正值，然 后將上述旋轉(zhuǎn)角度修正值再次發(fā)給控制器模塊，由控制器模塊控制左右兩個(gè)子云臺各自的 俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、水平旋轉(zhuǎn)驅(qū)動電機(jī)微調(diào)相應(yīng)角度，以實(shí)現(xiàn)對仿生眼兩個(gè)眼睛分別精準(zhǔn) 朝向說話人的臉部輪廓中心方向，使得說話人臉部矩形輪廓中心出現(xiàn)在攝像頭識別的視頻 圖像中心。
[0027]步驟七、若控制器模塊檢測到新的說話人出現(xiàn)時(shí)，則循環(huán)執(zhí)行步驟二、步驟三、步 驟四、步驟五、步驟六，對新出現(xiàn)的說話人臉進(jìn)行實(shí)時(shí)跟蹤;若沒有新的說話人出現(xiàn)，則循環(huán) 執(zhí)行步驟六，使得眼睛的相應(yīng)自由度根據(jù)當(dāng)前說話人臉位置的移動而調(diào)整。
[0028] 步驟八、檢測整個(gè)系統(tǒng)是否需要繼續(xù)工作，若是，則轉(zhuǎn)向步驟七，判斷是否有新的 說話人出現(xiàn)，若否，則退出工作關(guān)機(jī)。
[0029] 下面結(jié)合工作原理說明本發(fā)明的優(yōu)點(diǎn)：
[0030] 本發(fā)明將充當(dāng)仿生眼的兩個(gè)攝像頭安裝在一個(gè)具有五自由度的云臺上;通過三維 空間聲源定位技術(shù)，實(shí)現(xiàn)對說話人嘴部位置的初步三維定位;根據(jù)對云臺關(guān)節(jié)空間的求解 運(yùn)算方法，得到并轉(zhuǎn)動云臺各個(gè)關(guān)節(jié)的相應(yīng)轉(zhuǎn)角，將仿生眼盯到初步定位的方向；結(jié)合人臉 識別方法，找出說話人臉部輪廓中心的準(zhǔn)確方位，并微調(diào)云臺相關(guān)關(guān)節(jié)的轉(zhuǎn)角，以將說話人 的臉部輪廓移至充當(dāng)仿生眼的兩個(gè)攝像頭采集的圖像中心為止；當(dāng)說話人走動時(shí)，仿生眼 將跟隨該說話人臉的位置變化而自動轉(zhuǎn)動調(diào)整，以保證說話人的臉部能實(shí)時(shí)處在攝像頭采 集的圖像中心;直至另一個(gè)人再開口說話時(shí)，仿生眼才會再次按照前述的工作過程，重新注 視新的說話人臉。
[0031] 總之:本發(fā)明將三維空間聲源定位技術(shù)、視覺處理算法與自動控制技術(shù)相結(jié)合，可 以實(shí)現(xiàn)一種仿生眼定位追蹤系統(tǒng)與工作方法，使得仿生眼能夠?qū)崟r(shí)朝向說話人臉部輪廓的 中心，可以讓仿生裝置在與人交流互動時(shí)，顯得更加生動、活潑和友好，增添更多的趣味性。
【附圖說明】
[0032] 圖1為仿生眼定位追蹤系統(tǒng)總體關(guān)系框圖；
[0033] 圖2為仿生眼定位追蹤系統(tǒng)總體結(jié)構(gòu)示意圖；
[0034]圖3為仿生眼云臺模塊結(jié)構(gòu)示意圖；
[0035]圖4為云臺運(yùn)動控制模塊結(jié)構(gòu)示意圖；
[0036]圖5說話人臉部輪廓中心與兩個(gè)攝像頭圖像坐標(biāo)系之間的空間關(guān)系示意圖；
[0037]圖6為初始位置時(shí)的各坐標(biāo)系關(guān)系不意圖；
[0038]圖7為仿生眼定位追蹤系統(tǒng)工作流程圖。
[0039]圖例說明：
[0040]圖1:100-聲音采集傳感器陣列；200-攝像頭模塊;300-仿生眼云臺模塊;400-云臺 運(yùn)動控制模塊;500-控制器模塊;600-上位機(jī)模塊；
[00411圖2:100-聲音采集傳感器陣列；101-1號麥克風(fēng)；102-2號麥克風(fēng)；103-3號麥克風(fēng)； 104-4號麥克風(fēng);200-攝像頭模塊;201-左攝像頭;202-右攝像頭;300-仿生眼云臺模塊； [0042] 圖3:301-云臺底座；302-搭載平臺；303-左子云臺；304-右子云臺；305-左子云臺 的水平旋轉(zhuǎn)架;306-左子云臺的俯仰旋轉(zhuǎn)架;307-右子云臺的水平旋轉(zhuǎn)架;308-右子云臺的 俯仰旋轉(zhuǎn)架；
[0043]圖4:401-搭載平臺的水平旋轉(zhuǎn)驅(qū)動電機(jī)；402-左子云臺的水平旋轉(zhuǎn)驅(qū)動電機(jī)； 403-左子云臺的俯仰旋轉(zhuǎn)驅(qū)動電機(jī);404-右子云臺的水平旋轉(zhuǎn)驅(qū)動電機(jī);405-右子云臺的 俯仰旋轉(zhuǎn)驅(qū)動電機(jī)。
【具體實(shí)施方式】
[0044] 下面結(jié)合附圖，說明本發(fā)明的仿生眼定位追蹤系統(tǒng)與工作方法。
[0045] 本發(fā)明的仿生眼定位追蹤系統(tǒng)主要由以下六個(gè)部分組成：聲音采集傳感器陣列 100、攝像頭模塊200、仿生眼云臺模塊300、云臺運(yùn)動控制模塊400、控制器模塊500、上位機(jī) 模塊600;如圖1所示，其中：
[0046] 所述的聲音采集傳感器陣列100在本系統(tǒng)中充當(dāng)仿生耳，分別將1號麥克風(fēng)101、2 號麥克風(fēng)1〇2、3號麥克風(fēng)103、4號麥克風(fēng)104,如圖2所示，以仿生眼云臺底座301支點(diǎn)為中 心，按照正四面體的空間幾何關(guān)系安裝在云臺底座中心周圍，并將云臺底座301支點(diǎn)中心作 為仿生眼云臺基礎(chǔ)坐標(biāo)系Oo的原點(diǎn)，如圖6所示，這樣，通過采集到的聲音信號及聲源定位 算法，可得到說話人嘴部相對于基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值。
[0047]所述的攝像頭模塊200由左攝像頭201和右攝像頭202組成，如圖2所示，將左攝像 頭201安裝在左子云臺303的俯仰旋轉(zhuǎn)架306上，將右攝像頭201安裝在右子云臺304的俯仰 旋轉(zhuǎn)架308上，在本系統(tǒng)中充當(dāng)仿生眼的雙眼，用來獲取視頻信息，并將視頻數(shù)據(jù)傳給上位 機(jī)模塊600。
[0048]所述的仿生眼云臺模塊300包括:一個(gè)云臺底座301、一個(gè)搭載平臺302、左子云臺 303、右子云臺304,如圖3所示，其中，云臺底座301與搭載平臺302之間通過一個(gè)水平旋轉(zhuǎn)關(guān) 節(jié)相連，通過搭載平臺在云臺底座301上的水平轉(zhuǎn)動來模仿仿生機(jī)器人的頸部轉(zhuǎn)動;在搭載 平臺302上安裝有左子云臺303和右子云臺304,左子云臺303有一個(gè)水平旋轉(zhuǎn)架305和一個(gè) 俯仰旋轉(zhuǎn)架306，右子云臺304有一個(gè)水平旋轉(zhuǎn)架307和一個(gè)俯仰旋轉(zhuǎn)架308，這樣，每個(gè)子云 臺都具有水平旋轉(zhuǎn)和俯仰旋轉(zhuǎn)兩個(gè)轉(zhuǎn)動關(guān)節(jié)，兩個(gè)攝像頭分別安裝在左右兩個(gè)子云臺中間 的俯仰旋轉(zhuǎn)架上，充當(dāng)仿生眼的眼睛，通過左右兩個(gè)子云臺各自的水平旋轉(zhuǎn)和俯仰旋轉(zhuǎn)關(guān) 節(jié)的轉(zhuǎn)動，可以分別調(diào)整安裝在左右兩個(gè)子云臺上的攝像頭指向，來模仿眼睛的轉(zhuǎn)動，這樣 的仿生眼云臺模塊300總共有五個(gè)運(yùn)動自由度，而且在搭載平臺302的正中位置，綁定一個(gè) 可隨搭載平臺302水平轉(zhuǎn)動而轉(zhuǎn)動的頸部坐標(biāo)系O 1，如圖6所示。
[0049]所述的云臺運(yùn)動控制模塊400包括：安裝在左子云臺303上的水平旋轉(zhuǎn)驅(qū)動電機(jī) 402和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403、安裝在右子云臺304上的水平旋轉(zhuǎn)驅(qū)動電機(jī)404和俯仰旋轉(zhuǎn)驅(qū) 動電機(jī)405、一個(gè)搭載平臺302的水平旋轉(zhuǎn)驅(qū)動電機(jī)401、數(shù)據(jù)傳輸模塊406,如圖4所示，云臺 運(yùn)動控制模塊400根據(jù)接收到的控制器模塊500輸出的各個(gè)驅(qū)動電機(jī)轉(zhuǎn)動信號來控制相應(yīng) 關(guān)節(jié)的驅(qū)動電機(jī)進(jìn)行轉(zhuǎn)動。
[0050]所述的控制器模塊500, 一方面米集聲音米集傳感器陣列100的輸出信號，運(yùn)行聲 源定位算法，獲得說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo)值，并將該說話人的三 維坐標(biāo)傳給上位機(jī)模塊600，如圖i所示;另一方面接收上位機(jī)模塊 600發(fā)出的控制指令和數(shù) 據(jù)信息，來控制各個(gè)驅(qū)動電機(jī)轉(zhuǎn)動相應(yīng)角度，同時(shí)也向上位機(jī)模塊600返回系統(tǒng)的運(yùn)動狀 ??τ O
[0051]所述的上位機(jī)模塊600包括:仿生眼云臺的眼睛水平轉(zhuǎn)角的求解運(yùn)算程序、 對搭載平臺302水平旋轉(zhuǎn)轉(zhuǎn)角Θ的求解運(yùn)算程序、仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間 的求解運(yùn)算程序、視覺處理算法程序、與控制器500的通信程序。
[0052]本發(fā)明實(shí)現(xiàn)仿生眼對說話人臉的跟蹤定位具體工作方法主要包含如下步驟：
[0053]步驟一、系統(tǒng)初始化:系統(tǒng)上電，聲音采集傳感器陣列100進(jìn)入工作狀態(tài)，上位機(jī)模 塊600顯示攝像頭模塊200獲取的視頻圖像，控制器模塊500控制安裝在左子云臺303上的水 平旋轉(zhuǎn)驅(qū)動電機(jī)402和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403、安裝在右子云臺304上的水平旋轉(zhuǎn)驅(qū)動電機(jī) 404和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)405、一個(gè)搭載平臺302上的水平旋轉(zhuǎn)驅(qū)動電機(jī)401復(fù)位到初始角 度。
[0054]步驟二、聲源定位:控制器模塊500讀取聲音采集傳感器陣列100采集的數(shù)據(jù)，并運(yùn) 行聲源定位算法得到說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo)值，將該坐標(biāo)值傳給 上位機(jī)模塊600。
[0055]步驟三、眼睛水平轉(zhuǎn)角求解：即對仿生眼云臺模塊300左右兩個(gè)子云臺各自水平轉(zhuǎn) 角(^和杉:的求解。
[0056]上位機(jī)模塊600根據(jù)說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo)值，折算成 說話人嘴部相對于頸部坐標(biāo)系O1的三維坐標(biāo)值，在當(dāng)前搭載平臺302未旋轉(zhuǎn)狀態(tài)下，來求解 左攝像頭201和右攝像頭202分別轉(zhuǎn)向說話人嘴部時(shí)左子云臺303水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角 度^和右子云臺304水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角度扮，若其中任意一個(gè)的水平轉(zhuǎn)角超過±30° (設(shè)定范圍），這時(shí)需要對搭載平臺302頸部進(jìn)行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟四；若求解出來的左 子云臺303水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角度Q 1和右子云臺304水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角度扮都未 超過±30° (設(shè)定范圍），這時(shí)不需要對搭載平臺302進(jìn)行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟五。
[0057]步驟四、對頸部關(guān)節(jié)進(jìn)行旋轉(zhuǎn)調(diào)整：即對搭載平臺302水平旋轉(zhuǎn)轉(zhuǎn)角Θ的求解。
[0058]上位機(jī)模塊600先根據(jù)說話人嘴部相對于頸部坐標(biāo)系O1的三維坐標(biāo)值，以滿足搭 載平臺302轉(zhuǎn)向正直面向說話人嘴部為條件，反解出搭載平臺302頸部所需的水平旋轉(zhuǎn)角θ。 上位機(jī)模塊600將搭載平臺302頸部所需的水平旋轉(zhuǎn)角Θ發(fā)給控制器模塊500,由控制器模塊 500控制搭載平臺302的水平旋轉(zhuǎn)驅(qū)動電機(jī)401轉(zhuǎn)動相應(yīng)角度Θ，實(shí)現(xiàn)搭載平臺302轉(zhuǎn)向正直 面對說話人嘴部方向，這樣，頸部坐標(biāo)系軸也轉(zhuǎn)向正直面對說話人嘴部方向，然后轉(zhuǎn) 向步驟五，再相對當(dāng)前頸部坐標(biāo)系O 1來進(jìn)行仿生眼云臺模塊左右兩個(gè)子云臺的關(guān)節(jié)空間求 解運(yùn)算，以使得左攝像頭201和右攝像頭202分別轉(zhuǎn)向說話人嘴部方向 [0059] 步驟五、仿生眼云臺模塊300左右兩個(gè)子云臺關(guān)節(jié)空間求解:上位機(jī)模塊600根據(jù) 說話人嘴部相對當(dāng)前頸部坐標(biāo)系O1的關(guān)系來進(jìn)行仿生眼云臺模塊左右兩個(gè)子云臺的關(guān)節(jié) 空間求解運(yùn)算，分別反解出左子云臺303的水平旋轉(zhuǎn)驅(qū)動電機(jī)402和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403 的旋轉(zhuǎn)角度^、吧，右子云臺304的水平旋轉(zhuǎn)驅(qū)動電機(jī)404和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)405的旋轉(zhuǎn)角 度βι、&，然后發(fā)給控制器模塊500,由控制器模塊500控制左子云臺303的水平旋轉(zhuǎn)驅(qū)動電機(jī) 402和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403、右子云臺304的水平旋轉(zhuǎn)驅(qū)動電機(jī)404和俯仰旋轉(zhuǎn)驅(qū)動電機(jī) 405轉(zhuǎn)動相應(yīng)角度，以實(shí)現(xiàn)仿生眼的左攝像頭201和右攝像頭202初步對向說話人的嘴部。
[0060] 至此，完成了將兩個(gè)攝像頭(眼睛)初步對準(zhǔn)說話人嘴部的過程。
[0061] 步驟六、眼睛方向修正：即對仿生眼云臺模塊左右兩個(gè)子云臺各個(gè)旋轉(zhuǎn)關(guān)節(jié)轉(zhuǎn)角 的修正。
[0062] 上位機(jī)模塊600運(yùn)行人臉識別算法，來獲取說話人臉部矩形外圍輪廓并求取其中 心位置在左攝像頭201的視頻圖像坐標(biāo)系Oi-XiYi和右攝像頭202的視頻圖像坐標(biāo)系O r-XrYr 中的二維坐標(biāo)值(Χι，Υι)和(Xr，Yr)，如圖5所示，設(shè)圖像寬度為W，高度為Η，根據(jù)該二維坐標(biāo) 值與視頻圖像中心位置(W/2，H/2)的偏移量，分別求出左子云臺303的水平旋轉(zhuǎn)驅(qū)動電機(jī) 402旋轉(zhuǎn)角度^的修正值△ Ct1和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403旋轉(zhuǎn)角度<12的修正值△ a2，以及右子 云臺304的水平旋轉(zhuǎn)驅(qū)動電機(jī)404旋轉(zhuǎn)角度仏的修正值△扮和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)405旋轉(zhuǎn)角 度說的修正值△ β2，然后將上述旋轉(zhuǎn)角度修正值再次發(fā)給控制器模塊500，由控制器模塊500 控制左子云臺303的水平旋轉(zhuǎn)驅(qū)動電機(jī)402和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403、右子云臺304的水平旋 轉(zhuǎn)驅(qū)動電機(jī)404和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)405微調(diào)相應(yīng)角度，以實(shí)現(xiàn)仿生眼的左攝像頭201和右 攝像頭201分別精準(zhǔn)朝向說話人臉部矩形輪廓中心方向，使得說話人臉部矩形外圍輪廓中 心出現(xiàn)在攝像頭識別的視頻圖像中心。
[0063]步驟七、若控制器模塊500檢測到有新的說話人出現(xiàn)時(shí)，則循環(huán)執(zhí)行步驟二、步驟 三、步驟四、步驟五、步驟六，對新出現(xiàn)的說話人臉進(jìn)行實(shí)時(shí)跟蹤;若沒有新的說話人出現(xiàn)， 則循環(huán)執(zhí)行步驟六，使得眼睛的相應(yīng)自由度根據(jù)當(dāng)前說話人臉位置的移動而調(diào)整。
[0064]步驟八、檢測整個(gè)系統(tǒng)是否需要繼續(xù)工作，若是，則轉(zhuǎn)向步驟七，判斷是否有新的 說話人出現(xiàn)，若否，則退出工作關(guān)機(jī)。
[0065]本發(fā)明工作方法中：步驟三中提到的眼睛水平轉(zhuǎn)角求解的具體算法、步驟四中提 到的對頸部進(jìn)行旋轉(zhuǎn)調(diào)整的計(jì)算方法、步驟五中提到的仿生眼云臺模塊左右兩個(gè)子云臺關(guān) 節(jié)空間求解方法均為本領(lǐng)域常用技術(shù)。為了便于審查員理解，下面分別詳述。
[0066]本發(fā)明描述所涉及的所有角度單位均取為:度，所有長度單位均取為:毫米(mm)。 [0067]在上述步驟三中提到的眼睛水平轉(zhuǎn)角求解的具體算法包含如下步驟：
[0068]步驟3.1、如圖6所示，在仿生眼云臺模塊300上分別建立固定的云臺基礎(chǔ)坐標(biāo)系 Oo-XqYqZo,水平轉(zhuǎn)動的頸部坐標(biāo)系O1-X1Y1Z1，左子云臺303基礎(chǔ)坐標(biāo)系O 2-X2Y2Z2,左子云臺 303水平旋轉(zhuǎn)坐標(biāo)系O3-X3Y3Z3,303左子云臺俯仰旋轉(zhuǎn)坐標(biāo)系〇4_Χ 4Υ4Ζ4,右子云臺304基礎(chǔ)坐 標(biāo)系O5-K5Y5Z5坐標(biāo)系，右子云臺304水平旋轉(zhuǎn)坐標(biāo)系〇6~K6Y6Z6,右子云臺304俯仰旋轉(zhuǎn)坐標(biāo)系 Ο7-Χ7Υ7Ζ7,分別簡稱為 〇0、〇1、〇2、〇4、〇5、〇6、〇7坐標(biāo)系，其中：
[0069] Oo坐標(biāo)系建在仿生眼云臺底座301支點(diǎn)中心，經(jīng)聲源定位算法獲得說話人嘴部的 三維坐標(biāo)值是在該坐標(biāo)系下的表述，為整個(gè)仿生眼云臺的基礎(chǔ)坐標(biāo)系；
[0070] O1坐標(biāo)系建在搭載平臺302上面的中心處，與搭載平臺302綁定一起，相當(dāng)于頸部 坐標(biāo)系，O 1坐標(biāo)系跟隨搭載平臺302的水平轉(zhuǎn)動而轉(zhuǎn)動，其轉(zhuǎn)角用Θ表示；
[0071] O2坐標(biāo)系建在左子云臺303的水平旋轉(zhuǎn)關(guān)節(jié)軸線的底端中心平面上，與搭載平臺 302綁定一起，為左子云臺303基礎(chǔ)坐標(biāo)系；
[0072] O3坐標(biāo)系其原點(diǎn)正好建在左子云臺303的水平旋轉(zhuǎn)關(guān)節(jié)軸線的正上方，且與俯仰 關(guān)節(jié)軸線等高，〇3坐標(biāo)系端正地綁定在左子云臺303水平旋轉(zhuǎn)架305上，隨著左子云臺303的 水平旋轉(zhuǎn)架305的水平轉(zhuǎn)動而轉(zhuǎn)動，其轉(zhuǎn)角用Ct1表示；
[0073] 〇4坐標(biāo)系原點(diǎn)與O3坐標(biāo)系原點(diǎn)重合，O4坐標(biāo)系端正地綁定在左子云臺303俯仰旋轉(zhuǎn) 架306上，隨著左子云臺303俯仰旋轉(zhuǎn)架306的俯仰轉(zhuǎn)動而轉(zhuǎn)動，因?yàn)椹?坐標(biāo)系的X4軸正方向 正好與固定在俯仰旋轉(zhuǎn)架306上的左攝像頭201的光軸重合，如圖5所示，故，〇4坐標(biāo)系也稱 為左攝像頭201坐標(biāo)系，左攝像頭201將會隨著左子云臺303水平旋轉(zhuǎn)架305及俯仰旋轉(zhuǎn)架 306的轉(zhuǎn)動而轉(zhuǎn)動，〇4坐標(biāo)系隨左子云臺303俯仰旋轉(zhuǎn)架306俯仰的轉(zhuǎn)角用α2表示；
[0074] O5坐標(biāo)系建在右子云臺304的水平旋轉(zhuǎn)關(guān)節(jié)軸線的底端中心平面上，與搭載平臺 302綁定一起，為右子云臺304基礎(chǔ)坐標(biāo)系；
[0075] O6坐標(biāo)系其原點(diǎn)正好建在右子云臺304的水平旋轉(zhuǎn)關(guān)節(jié)軸線的正上方，且與俯仰 關(guān)節(jié)軸線等高，O6坐標(biāo)系端正地綁定在右子云臺水平旋轉(zhuǎn)架307上，隨著右子云臺304水平 旋轉(zhuǎn)架307的水平轉(zhuǎn)動而轉(zhuǎn)動，其轉(zhuǎn)角用扮表示；
[0076] 〇7坐標(biāo)系原點(diǎn)與O6坐標(biāo)系原點(diǎn)重合，0?坐標(biāo)系端正地綁定在右子云臺304俯仰旋轉(zhuǎn) 架308上，隨著右子云臺304俯仰旋轉(zhuǎn)架308的俯仰轉(zhuǎn)動而轉(zhuǎn)動，因?yàn)椹?坐標(biāo)系的X7軸正方向 正好與固定在俯仰旋轉(zhuǎn)架308上的右攝像頭201的光軸重合，故，〇7坐標(biāo)系也稱為右攝像頭 坐標(biāo)系，右攝像201頭將會隨著右子云臺304水平旋轉(zhuǎn)架307及俯仰旋轉(zhuǎn)架308的轉(zhuǎn)動而轉(zhuǎn) 動，O 7坐標(biāo)系隨右子云臺304俯仰旋轉(zhuǎn)架308俯仰的轉(zhuǎn)角用β2表示；
[0077]步驟3.2、空間相對關(guān)系描述：
[0078]如圖6所示，將頸部坐標(biāo)系&相對于云臺基礎(chǔ)坐標(biāo)系Oo的平動和水平旋轉(zhuǎn)關(guān)系用矩 陣Ao描述，將O2坐標(biāo)系相對于O1坐標(biāo)系的平動關(guān)系用矩陣A1描述，將O 3坐標(biāo)系相對于O2坐標(biāo) 系的平動和水平旋轉(zhuǎn)關(guān)系用矩陣A2描述，將O 4坐標(biāo)系相對于O3坐標(biāo)系的俯仰旋轉(zhuǎn)關(guān)系用矩 陣A3描述，將O 5坐標(biāo)系相對于O1坐標(biāo)系的平動關(guān)系用矩陣A4描述，將O6坐標(biāo)系相對于O 5坐標(biāo) 系的平動和水平旋轉(zhuǎn)關(guān)系用矩陣A5描述，將〇7坐標(biāo)系相對于O6坐標(biāo)系的俯仰旋轉(zhuǎn)關(guān)系用矩 陣A 6描述，將說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的矢量關(guān)系用矩陣P描述，將說話人嘴部 相對于左攝像頭坐標(biāo)系〇4的矢量關(guān)系用矩陣Pl描述，將說話人的嘴部相對于右攝像頭坐標(biāo) 系0?的矢量關(guān)系用矩陣Pr描述；
[0079]根據(jù)上述坐標(biāo)系的空間關(guān)系描述可分別表示為如下系列矩陣：
[0080]
[0081]
[0082]
[0083]
[0084]
[0085] 矩陣中=Pz1SO1坐標(biāo)系原點(diǎn)相對于Oo坐標(biāo)系原點(diǎn)的高度，為已知;Py為頸部坐標(biāo)系 (^原點(diǎn)與左右兩個(gè)子云臺基礎(chǔ)坐標(biāo)系原點(diǎn)之間的距離，為已知;Pz 2為O3坐標(biāo)系原點(diǎn)相對于 坐標(biāo)系原點(diǎn)和〇6坐標(biāo)系原點(diǎn)相對于％坐標(biāo)系原點(diǎn)的高度，為已知；
[0086] Θ為O1坐標(biāo)系相對于〇Q坐標(biāo)系的水平旋轉(zhuǎn)角度，也是頸部水平旋轉(zhuǎn)驅(qū)動電機(jī)401的 轉(zhuǎn)角度，從上方看，逆時(shí)針為正，順時(shí)針為負(fù)，可隨時(shí)讀取，為已知量；
[0087] Ct1SO3坐標(biāo)系相對于O2坐標(biāo)系的水平旋轉(zhuǎn)角度，也是左子云臺水平旋轉(zhuǎn)驅(qū)動電機(jī) 402的轉(zhuǎn)角度，該轉(zhuǎn)角充當(dāng)左眼的水平轉(zhuǎn)動，從上方看，逆時(shí)針為正，順時(shí)針為負(fù)，是需求解 量；
[0088] ~為叫坐標(biāo)系相對于O3坐標(biāo)系的俯仰旋轉(zhuǎn)角度，也是左子云臺俯仰旋轉(zhuǎn)驅(qū)動電機(jī) 403的轉(zhuǎn)角度，該轉(zhuǎn)角充當(dāng)左眼的俯仰轉(zhuǎn)動，從側(cè)面看，下俯為正，上仰為負(fù)，是需求解量； [0089]仇為0 6坐標(biāo)系相對于O5坐標(biāo)系的水平旋轉(zhuǎn)角度，也是右子云臺水平旋轉(zhuǎn)驅(qū)動電機(jī) 404的轉(zhuǎn)角度，該轉(zhuǎn)角充當(dāng)右眼的水平轉(zhuǎn)動，從上方看，逆時(shí)針為正，順時(shí)針為負(fù)，是需求解 量；
[0090] 扮為07坐標(biāo)系相對于O6坐標(biāo)系的俯仰旋轉(zhuǎn)角度，也是右子云臺俯仰旋轉(zhuǎn)驅(qū)動電機(jī) 405的轉(zhuǎn)角度，該轉(zhuǎn)角充當(dāng)右眼的俯仰轉(zhuǎn)動，從側(cè)面看，下俯為正，上仰為負(fù)，是需求解量；
[0091] X、Y、Z為說話人嘴部的三維坐標(biāo)值，經(jīng)控制器模塊500運(yùn)行聲源定位算法實(shí)時(shí)獲 得，在此處計(jì)算時(shí)作為已知量；
[0092]當(dāng)左右兩個(gè)子云臺面向正前方時(shí)，左右兩個(gè)子云臺的水平旋轉(zhuǎn)角分別為:(^ = 0°、 βι = 〇° ；
[0093] 當(dāng)左攝像頭201正對聲源目標(biāo)時(shí)，必有Yl = 0，Zl = 0，Xl是需求解量；
[0094] 當(dāng)右攝像頭202正對聲源目標(biāo)時(shí)，必有Yr = 0，Zr = 0，Xr是需求解量；
[0095] 步驟3.3、在頸部未旋轉(zhuǎn)的情況下，進(jìn)行仿生眼云臺左子云臺303水平旋轉(zhuǎn)驅(qū)動電 機(jī)的轉(zhuǎn)角度Q1和右子云臺304水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角度扮求解運(yùn)算：
[0096]根據(jù)上述各個(gè)坐標(biāo)系間的空間關(guān)系，可以將說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的 三維坐標(biāo)值的矢量描述P與左攝像頭201、右攝像頭202坐標(biāo)系的X軸正直朝向說話人嘴部時(shí) 的矢量描述Pl、Pr建立如下關(guān)系式：
[0097]
(11)
[0098]此時(shí)，只需計(jì)算左右兩個(gè)子云臺所需的水平旋轉(zhuǎn)角度<^與扮，通過前述各公式及已 知條件可以推導(dǎo)獲得：
[0099]
(12)
[0100] 這樣，在頸部關(guān)節(jié)未旋轉(zhuǎn)的情況下（θ = 0°)，求解得到了眼睛看向說話人嘴部位置 時(shí)，左右兩個(gè)子云臺所需的水平旋轉(zhuǎn)角度<^與扮，即得到了左子云臺303水平旋轉(zhuǎn)驅(qū)動電機(jī) 的轉(zhuǎn)角度α 1和右子云臺304水平旋轉(zhuǎn)驅(qū)動電機(jī)的轉(zhuǎn)角度扮。
[0101] 在上述步驟四中提到的對頸部進(jìn)行旋轉(zhuǎn)調(diào)整的計(jì)算方法為：
[0102] 若將頸部關(guān)節(jié)旋轉(zhuǎn)調(diào)整好后，頸部坐標(biāo)系O1應(yīng)該正直朝向說話人嘴部，設(shè)調(diào)整后 說話人的嘴部相對頸部坐標(biāo)系O 1的矢量關(guān)系用矩陣P1描述，設(shè)調(diào)整后O1頸部坐標(biāo)系相對于 云臺基礎(chǔ)坐標(biāo)系Oo的平動和水平旋轉(zhuǎn)關(guān)系用B描述，則可將它們寫成下列矩陣：
[0103]
(14)矩陣中： (X1，Y1，Z1)為說話人嘴部在頸部坐標(biāo)系O1中的坐標(biāo)表述，當(dāng)頸部坐標(biāo)系⑴的心軸正直朝向說 話人嘴部時(shí)Yi = O，是定值，Xi、Z1是需求解量;Θ為頸部水平旋轉(zhuǎn)驅(qū)動電機(jī)401的旋轉(zhuǎn)角度，從 上方看，逆時(shí)針為正，順時(shí)針為負(fù)，是需求解量;Pz 1為坐標(biāo)系相對Oo坐標(biāo)系的高度，可測量得 到，為已知量；
[0104] 根據(jù)上述各個(gè)坐標(biāo)系間的空間關(guān)系，可以將說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系O0 的三維坐標(biāo)值的矢量描述P與相對于調(diào)整后頸部坐標(biāo)系〇1的矢量描述丹建立如下關(guān)系式：
[0105] P = B · Pi (15)
[0106] 將(8)式及已知條件代入(15)式可推導(dǎo)獲得：
[0107]
(16)
[0108]上述所求的仿生眼頸部關(guān)節(jié)水平旋轉(zhuǎn)角度Θ，即為，若使搭載平臺302正對向說話 人的嘴部方向，搭載平臺302所需得旋轉(zhuǎn)角度，也是頸部水平旋轉(zhuǎn)驅(qū)動電機(jī)401所需的轉(zhuǎn)動 角度Θ。
[0109]在上述步驟五中提到的，仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間求解方法為： [0110]此時(shí)，頸部關(guān)節(jié)無需作旋轉(zhuǎn)調(diào)整，根據(jù)前述建立的各個(gè)坐標(biāo)系間的關(guān)系描述公式 (I)-(IO)，當(dāng)左右兩個(gè)攝像頭都對準(zhǔn)同一個(gè)說話人的嘴部位置時(shí)，同樣應(yīng)有公式(11)。 由前述各公式及已知條件可以推導(dǎo)獲得：
[0112]
(17)
[0113] 上述求解左右子云臺相應(yīng)自由度的旋轉(zhuǎn)角度〇1、〇2、仇、02的過程，即為反解左子云 臺303的水平旋轉(zhuǎn)驅(qū)動電機(jī)402旋轉(zhuǎn)角度^和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)403旋轉(zhuǎn)角度<1 2，右子云臺 304的水平旋轉(zhuǎn)驅(qū)動電機(jī)404的旋轉(zhuǎn)角度仇和俯仰旋轉(zhuǎn)驅(qū)動電機(jī)405的旋轉(zhuǎn)角度扮的計(jì)算過 程，其中，Xl是左攝像頭201的光心到說話人嘴部之間的距離，Xr是右攝像頭光心到說話人嘴 部之間的距離。
[0114] 本發(fā)明步驟六所提的眼睛方向修正值的計(jì)算方法步驟如下：以下所有角度單位均 取為:度(° )，所有與視頻圖像相關(guān)的參數(shù)單位均取為:像素；
[0115] 步驟6.1、上位機(jī)模塊600讀取并顯示仿生眼的左攝像頭201和右攝像頭202獲取的 視頻圖像，設(shè)圖像寬度為W，高度為H;
[0116] 步驟6.2、上位機(jī)模塊600運(yùn)行人臉識別算法，分別在左攝像頭201、右攝像頭202識 別的視頻圖像中，計(jì)算出說話人臉矩形外圍輪廓中心位置在左攝像頭201的視頻圖像坐標(biāo) 系Oi-XiYi和右攝像頭201的視頻圖像坐標(biāo)系O r-XrYr中的二維坐標(biāo)值：（Xi，Yi )、(Xr，Yr)，如圖 5所示。
[0117] 步驟6.3、取左攝像頭201的視頻圖像坐標(biāo)系Oi-XiYi和右攝像頭201的視頻圖像坐 標(biāo)系Or-XrYr的中心位置坐標(biāo)值均為：（W/2，H/2)，則在左攝像頭201識別的視頻圖像中，說話 人臉部中心位置的二維坐標(biāo)值(Χι，Υι)與視頻圖像中心位置的二維坐標(biāo)值(W/2，H/2)偏移量 為：
[0118] .(IS)
[0119] 在右攝像頭201識別的視頻圖像中，說話人臉部中心位置的二維坐標(biāo)值(Xr，Yr)與 視頻圖像中心位置的二維坐標(biāo)值(W/2，H/2)偏移量為：
[0120]
(19)
[0121] 步驟6.4、根據(jù)偏移量求取雙眼相應(yīng)自由度旋轉(zhuǎn)角度修正值：
[0122] 左眼水平旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：Δ aparctanC Δ Xi/length); (20)
[0123] 左眼俯仰旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：Δ a2 = arctan( Δ Yi/length); (21)
[0124] 右眼水平旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：Δ Pparctar^ Δ Xr/length); (22)
[0125] 右眼俯仰旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：Δ 02 = arctan( Δ Yr/length); (23)
[0126] 其中，length為攝像頭的焦距參數(shù)，根據(jù)攝像頭的實(shí)際參數(shù)來設(shè)定;旋轉(zhuǎn)角修正值 Δ αι、Δ a〗、Δ βι、Δ 02中均包含正、負(fù)號兩種情況。
[0127] 相應(yīng)驅(qū)動電機(jī)旋轉(zhuǎn)上述修正角后，可將說話人臉部矩形外圍輪廓調(diào)整到圖像的中 心位置。
[0128] 下面列舉兩個(gè)實(shí)施例進(jìn)一步說明本發(fā)明在實(shí)際中的應(yīng)用
[0129] 實(shí)施例：
[0130] 實(shí)施例1:仿生眼云臺結(jié)構(gòu)設(shè)計(jì)參數(shù)為:PzI = 150mm，PZ2 = 120mm，Pyi = 120mm，假設(shè) 由控制器模塊500運(yùn)行聲源定位算法得到說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo) 值P=[6000 2000 3000 1]τ;首先，根據(jù)本發(fā)明步驟三中公式（12)式及已知條件得：
[0131] αι = 17.398〇 ,βι = 19.461〇
[0132] 兩個(gè)角度值均在±30°以內(nèi)，這時(shí)不需要對搭載平臺302頸部進(jìn)行旋轉(zhuǎn)調(diào)整；
[0133] 然后，根據(jù)本發(fā)明步驟五，將已知條件代入公式(17)得：
[0134] αι = 17.398〇 ,α2 = -23.472〇 ,Xl = 6854.7mm,0i = 19.461° ,β2 = -23.2214° ,Xr = 6924.4mm；
[0135] 如果將上述計(jì)算結(jié)果及已知條件帶回公式（11)進(jìn)行驗(yàn)證，可以得出說話人嘴部相 對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo)值：
[0136] 'Ρ=[6000.1 1999.7 2999.8 1]τ
[0137] 可知'Ρ~Ρ，且誤差在允許范圍內(nèi)，驗(yàn)證了本發(fā)明角度求解方法的正確性。
[0138] 最后，根據(jù)本發(fā)明步驟六，說話人臉矩形外圍輪廓中心位置在左攝像頭201的視頻 圖像坐標(biāo)系Oi-XiYi和右攝像頭201的視頻圖像坐標(biāo)系O r-XrYr中的二維坐標(biāo)值分別為：（520， 100)、（130,110)，與視頻圖像中心位置的二維坐標(biāo)值(320，240)偏移量分別為：
[0139]
[0140]攝像頭焦距參數(shù)取為：length = 3000，將上述條件帶入公式(20)-(23)得出各個(gè)旋 轉(zhuǎn)角修正值：
[0141] Δαι = 3.81〇 ^ Δα2 = -2.61° ^ Δβι = -3.62〇 ^ Δβ2 = -2.48°
[0142] 相應(yīng)驅(qū)動電機(jī)旋轉(zhuǎn)上述修正角后，可將說話人臉部矩形外圍輪廓調(diào)整到圖像的中 心位置。
[0?43] 實(shí)施例2:仿生眼云臺結(jié)構(gòu)設(shè)計(jì)參數(shù)為:PzI = 150mm，PZ2 = 120mm，Pyi = 120mm，假設(shè) 由控制器模塊500運(yùn)行聲源定位算法得到說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo) 值P=[3000 3000 3000 1]τ;根據(jù)本發(fā)明步驟三中（12)式及已知條件得：
[0144] αι = 43·834。、βι = 46·1267。，
[0145] 可見，它們均超出了 ±30°范圍，根據(jù)本發(fā)明步驟四，首先要對搭載平臺302頸部進(jìn) 行旋轉(zhuǎn)調(diào)整，將已知條件代入（16)式可求得：θ = 45.0033°，控制搭載平臺302旋轉(zhuǎn)角度Θ = 45.0033°后，使搭載平臺302正對向說話人的嘴部方向；然后，相對當(dāng)前頸部坐標(biāo)系O1來進(jìn) 行步驟五運(yùn)算，將P=[3000 3000 3000 1]τ，θ = 45.0033°及其它已知條件代入公式（17)， 得：(^ = -1.6204°，α2 = -32·7519。，XL = 5O46.5mm，0i = 1.62O4。，β2 = -32·7519。，Xr = 5046.5mm，此時(shí)，CX1 =-1.6204°、βι = 1.6204°，均在±30°以內(nèi)；如果將上述計(jì)算結(jié)果及已知 條件帶回公式（I 1)進(jìn)行驗(yàn)證，可以得出說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系Oo的三維坐標(biāo)值 為：
[0146] 'Ρ=[3000.1 2999.8 2999.9 1]τ
[0147] 可知'Ρ~Ρ，且誤差在允許范圍內(nèi)，驗(yàn)證了本發(fā)明角度求解方法的正確性。
[0148] 最后，根據(jù)本發(fā)明步驟六，說話人臉矩形外圍輪廓中心位置在左攝像頭201的視頻 圖像坐標(biāo)系Oi-XiYi和右攝像頭201的視頻圖像坐標(biāo)系O r-XrYr中的二維坐標(biāo)值分別為：
[0149] (400，340 )、（ 240，350 )，與視頻圖像中心位置的二維坐標(biāo)值(320，240)偏移量分別 為：
[0150]
[0151] 攝像頭焦距參數(shù)取為：length = 3000，將上述條件帶入公式(20)-(23)得出各個(gè)旋 轉(zhuǎn)角修正值：
[0152] Δ Qi = 1.53° ^ Aa2 = 1.90° ^ Δβι = -1.53〇 ^ Δβ2 = 2.09°
[0153] 相應(yīng)驅(qū)動電機(jī)旋轉(zhuǎn)上述修正角后，可將說話人臉部矩形外圍輪廓調(diào)整到圖像的中 心位置。
[0154]聲源定位、人臉識別和視覺處理等技術(shù)與算法為公知技術(shù)，在此不再詳細(xì)描述，本 發(fā)明結(jié)合上述技術(shù)及仿生眼云臺結(jié)構(gòu)設(shè)計(jì)與關(guān)節(jié)空間求解算法，實(shí)現(xiàn)了仿生眼對說話人臉 部矩形外圍輪廓的精確定位與追蹤。
【主權(quán)項(xiàng)】
1. 一種仿生眼定位追蹤系統(tǒng)，其特征在于，它主要由以下六部分組成： 仿生眼云臺模塊、聲音采集傳感器陣列、攝像頭模塊、云臺運(yùn)動控制模塊、控制器模塊 和上位機(jī)模塊;其中： 所述的仿生眼云臺模塊包括：一個(gè)云臺底座、一個(gè)搭載平臺和左右兩個(gè)子云臺，其中， 云臺底座與搭載平臺之間通過一個(gè)水平旋轉(zhuǎn)關(guān)節(jié)相連，通過搭載平臺在云臺底座上的水平 轉(zhuǎn)動來模仿仿生機(jī)器人的頸部轉(zhuǎn)動；在搭載平臺上安裝有左右兩個(gè)子云臺，左右兩個(gè)子云 臺分別各有一個(gè)水平旋轉(zhuǎn)架和一個(gè)俯仰旋轉(zhuǎn)架，這樣，每個(gè)子云臺都具有水平旋轉(zhuǎn)和俯仰 旋轉(zhuǎn)兩個(gè)轉(zhuǎn)動關(guān)節(jié)，兩個(gè)攝像頭分別安裝在左右兩個(gè)子云臺中間的俯仰旋轉(zhuǎn)架上，充當(dāng)仿 生眼的眼睛，通過左右兩個(gè)子云臺各自的水平旋轉(zhuǎn)和俯仰旋轉(zhuǎn)關(guān)節(jié)的轉(zhuǎn)動，可以分別調(diào)整 安裝在左右兩個(gè)子云臺上的攝像頭指向，來模仿眼睛的轉(zhuǎn)動； 所述的聲音采集傳感器陣列在本系統(tǒng)中充當(dāng)仿生耳，將四個(gè)特性相同的麥克風(fēng)，以仿 生眼云臺底座支點(diǎn)為中心，按正四面體的空間幾何關(guān)系安裝在云臺底座中心周圍，并將云 臺底座支點(diǎn)中心作為仿生眼云臺基礎(chǔ)坐標(biāo)系的原點(diǎn)，這樣，通過采集到的聲音信號及聲源 定位算法，得到說話人嘴部相對于基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值； 所述的攝像頭模塊由兩個(gè)獨(dú)立的攝像頭組成，分別安裝在左右兩個(gè)子云臺中間的俯仰 旋轉(zhuǎn)架上，在本系統(tǒng)中充當(dāng)仿生眼的雙眼，用來獲取視頻信息，并將視頻數(shù)據(jù)傳給上位機(jī)模 塊； 所述的云臺運(yùn)動控制模塊包括:分別安裝在左右兩個(gè)子云臺上的水平旋轉(zhuǎn)驅(qū)動電機(jī)和 俯仰旋轉(zhuǎn)驅(qū)動電機(jī)、一個(gè)搭載平臺的水平旋轉(zhuǎn)驅(qū)動電機(jī)和數(shù)據(jù)傳輸模塊;云臺運(yùn)動控制模 塊根據(jù)接收到的控制器模塊輸出的各個(gè)驅(qū)動電機(jī)轉(zhuǎn)動信號來控制相應(yīng)關(guān)節(jié)的驅(qū)動電機(jī)進(jìn) 行轉(zhuǎn)動； 所述的控制器模塊，一方面采集聲音采集傳感器陣列的輸出信號，運(yùn)行聲源定位算法， 獲得說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，并將該說話人嘴部的三維坐標(biāo)傳給 上位機(jī)模塊;另一方面接收上位機(jī)模塊發(fā)出的控制指令和數(shù)據(jù)信息，來控制各個(gè)驅(qū)動電機(jī) 轉(zhuǎn)動相應(yīng)角度，同時(shí)也向上位機(jī)模塊返回系統(tǒng)的運(yùn)動狀態(tài)； 所述的上位機(jī)模塊包括:仿生眼云臺的眼睛水平轉(zhuǎn)角W和扮的求解運(yùn)算程序、對搭載平 臺水平旋轉(zhuǎn)轉(zhuǎn)角9的求解運(yùn)算程序、仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間的求解運(yùn)算 程序、視覺處理算法程序和與控制器的通信程序。2. -種如權(quán)利要求1所述的仿生眼定位追蹤系統(tǒng)的工作方法，其特征在于，主要包含如 下步驟： 步驟一、系統(tǒng)初始化:系統(tǒng)上電，聲音采集傳感器陣列進(jìn)入工作狀態(tài)，上位機(jī)模塊顯示 攝像頭模塊獲取的視頻圖像，控制器模塊控制所有驅(qū)動電機(jī)復(fù)位到初始角度； 步驟二、聲源定位:控制器模塊讀取聲音采集傳感器陣列采集的聲音數(shù)據(jù)，并運(yùn)行聲源 定位算法得到說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，將該坐標(biāo)值傳給上位機(jī)模 塊； 步驟三、眼睛水平轉(zhuǎn)角求解：即對仿生眼云臺模塊左右兩個(gè)子云臺各自水平轉(zhuǎn)角的求 解； 上位機(jī)模塊根據(jù)說話人嘴部相對于云臺基礎(chǔ)坐標(biāo)系的三維坐標(biāo)值，折算成說話人嘴部 相對于頸部坐標(biāo)系的三維坐標(biāo)值，在當(dāng)前頸部未旋轉(zhuǎn)狀態(tài)下，來求解兩個(gè)眼睛分別轉(zhuǎn)向說 話人嘴部時(shí)所需的水平轉(zhuǎn)角;若其中任意一個(gè)的水平轉(zhuǎn)角超過±30度，這時(shí)需要對頸部進(jìn) 行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟四；若求解出來的兩個(gè)眼睛的水平旋轉(zhuǎn)角都未超過±30度，這時(shí)不 需要對頸部進(jìn)行旋轉(zhuǎn)調(diào)整，則轉(zhuǎn)向步驟五； 步驟四、對頸部關(guān)節(jié)進(jìn)行旋轉(zhuǎn)調(diào)整：即對搭載平臺水平旋轉(zhuǎn)轉(zhuǎn)角的求解； 上位機(jī)模塊先根據(jù)說話人嘴部相對于頸部坐標(biāo)系的三維坐標(biāo)值，以滿足搭載平臺轉(zhuǎn)向 正直面向說話人嘴部為條件，反解出頸部所需的水平旋轉(zhuǎn)角，上位機(jī)模塊將頸部的水平旋 轉(zhuǎn)角發(fā)給控制器模塊，由控制器模塊控制頸部水平旋轉(zhuǎn)驅(qū)動電機(jī)轉(zhuǎn)動相應(yīng)角度，實(shí)現(xiàn)搭載 平臺轉(zhuǎn)向正直面對說話人嘴部方向，這樣，頸部坐標(biāo)系也轉(zhuǎn)向正直面對說話人嘴部方向，然 后轉(zhuǎn)向步驟五，再相對當(dāng)前頸部坐標(biāo)系來進(jìn)行仿生眼云臺模塊左右兩個(gè)子云臺的關(guān)節(jié)空間 求解運(yùn)算，以使得兩個(gè)眼睛分別轉(zhuǎn)向說話人嘴部方向； 步驟五、仿生眼云臺模塊左右兩個(gè)子云臺關(guān)節(jié)空間求解： 上位機(jī)模塊根據(jù)說話人嘴部相對當(dāng)前頸部坐標(biāo)系的關(guān)系來進(jìn)行仿生眼云臺模塊左右 兩個(gè)子云臺關(guān)節(jié)空間求解運(yùn)算，分別反解出左右兩個(gè)子云臺的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)和水平旋 轉(zhuǎn)驅(qū)動電機(jī)應(yīng)當(dāng)旋轉(zhuǎn)的角度信息，然后發(fā)給控制器模塊，由控制器模塊控制左右兩個(gè)子云 臺各自的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)和水平旋轉(zhuǎn)驅(qū)動電機(jī)轉(zhuǎn)動相應(yīng)角度，以實(shí)現(xiàn)仿生眼的雙眼初步 對向說話人的嘴部； 至此，完成了將兩個(gè)攝像頭初步對準(zhǔn)說話人嘴部的過程； 步驟六、眼睛方向修正：即對仿生眼云臺模塊左右兩個(gè)子云臺各個(gè)旋轉(zhuǎn)關(guān)節(jié)轉(zhuǎn)角的修 正； 上位機(jī)模塊運(yùn)行人臉識別算法，來獲取說話人臉部矩形外圍輪廓并求取其中心位置在 視頻圖像坐標(biāo)系中的二維坐標(biāo)值，根據(jù)該二維坐標(biāo)值與視頻圖像中心位置的偏移量，分別 求出左右兩個(gè)子云臺的俯仰旋轉(zhuǎn)驅(qū)動電機(jī)和水平旋轉(zhuǎn)驅(qū)動電機(jī)旋轉(zhuǎn)角度的修正值，然后將 上述旋轉(zhuǎn)角度修正值再次發(fā)給控制器模塊，由控制器模塊控制左右兩個(gè)子云臺各自的俯仰 旋轉(zhuǎn)驅(qū)動電機(jī)和水平旋轉(zhuǎn)驅(qū)動電機(jī)微調(diào)相應(yīng)角度，以實(shí)現(xiàn)對仿生眼兩個(gè)眼睛分別精準(zhǔn)朝向 說話人的臉部輪廓中心方向，使得說話人臉部矩形輪廓中心出現(xiàn)在攝像頭識別的視頻圖像 中心； 步驟七、若控制器模塊檢測到新的說話人出現(xiàn)時(shí)，則循環(huán)執(zhí)行步驟二、步驟三、步驟四、 步驟五和步驟六，對新出現(xiàn)的說話人臉進(jìn)行實(shí)時(shí)跟蹤;若沒有新的說話人出現(xiàn)，則循環(huán)執(zhí)行 步驟六，使得眼睛的相應(yīng)自由度根據(jù)當(dāng)前說話人臉位置的移動而調(diào)整； 步驟八、檢測整個(gè)系統(tǒng)是否需要繼續(xù)工作，若是，則轉(zhuǎn)向步驟七，判斷是否有新的說話 人出現(xiàn)，若否，則退出工作關(guān)機(jī)。3.如權(quán)利要求2所述的工作方法，其特征在于，步驟六所提的眼睛方向修正值的計(jì)算方 法步驟如下： 以下所有角度單位均取為:度(°)，所有與視頻圖像相關(guān)的參數(shù)單位均取為:像素； 步驟6.1、上位機(jī)模塊(600)讀取并顯示仿生眼的左攝像頭(201)和右攝像頭(202)獲取 的視頻圖像，設(shè)圖像寬度為W，高度為H; 步驟6.2、上位機(jī)模塊(600)運(yùn)行人臉識別算法，分別在左攝像頭(201)、右攝像頭(202) 識別的視頻圖像中，計(jì)算出說話人臉矩形外圍輪廓中心位置在左攝像頭(201)的視頻圖像 坐標(biāo)系Oi-XiYi和右攝像頭（201)的視頻圖像坐標(biāo)系O r-XrYr中的二維坐標(biāo)值：（Xi，Yi)、（Xr， Yr)； 步驟6.3、取左攝像頭（201)的視頻圖像坐標(biāo)系O1-X1Y1和右攝像頭（201)的視頻圖像坐 標(biāo)系Or-XrYr的中心位置坐標(biāo)值均為：（W/2，H/2)，則在左攝像頭(201)識別的視頻圖像中，說 話人臉部中心位置的二維坐標(biāo)值(X^YO與視頻圖像中心位置的二維坐標(biāo)值(W/2，H/2)偏移 量為：在右攝像頭(201)識別的視頻圖像中，說話人臉部中心位置的二維坐標(biāo)值(Xr，Yr)與視 頻圖像中心位置的二維坐標(biāo)值(W/2，H/2)偏移量為：步驟6.4、根據(jù)偏移量求取雙眼相應(yīng)自由度旋轉(zhuǎn)角度修正值： 左眼水平旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：A afarctar^ A Xi/length); 左眼俯仰旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：A a2 = arctan( A Yi/length); 右眼水平旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：A fo = arctan( A Xr/length); 右眼俯仰旋轉(zhuǎn)自由度旋轉(zhuǎn)角修正值：A fe = arctan( A Yr/length); 其中，length為攝像頭的焦距參數(shù)，根據(jù)攝像頭的實(shí)際參數(shù)來設(shè)定;旋轉(zhuǎn)角修正值A(chǔ)ai、 A a2、A 0i、A說中均包含正、負(fù)號兩種情況； 相應(yīng)驅(qū)動電機(jī)旋轉(zhuǎn)上述修正角后，從而將說話人臉部矩形外圍輪廓調(diào)整到圖像的中心 位置。
【文檔編號】B25J19/04GK106042005SQ201610379179
【公開日】2016年10月26日
【申請日】2016年6月1日
【發(fā)明人】樊炳輝, 李鎮(zhèn), 劉勰, 柏山清, 尹遜敏
【申請人】山東科技大學(xué)