動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)及其動(dòng)態(tài)重配置方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，包括：系統(tǒng)控制模塊、圖像處理模塊、圖像采集模塊、圖像顯示模塊和通訊模塊；系統(tǒng)控制模塊和上述所有其它模塊相連，圖像處理模塊分別與圖像采集模塊、圖像顯示模塊和通訊模塊相連；所述圖像處理模塊集成于SoC（System?on?Chip系統(tǒng)級(jí)芯片）芯片及其外圍電路上，所述SoC芯片上具有硬核處理器和FPGA資源，部分或全部FPGA資源可以動(dòng)態(tài)重配置；所述圖像處理模塊實(shí)時(shí)動(dòng)態(tài)部分或全部重配置圖像處理功能。本發(fā)明還公開(kāi)了基于上述動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)的圖像處理功能動(dòng)態(tài)重配置方法。本發(fā)明在相機(jī)使用期間，能夠不中斷系統(tǒng)的情況下更換不同的圖像處理算法，提高了智能相機(jī)的靈活性和適應(yīng)性。
【專(zhuān)利說(shuō)明】動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)及其動(dòng)態(tài)重配置方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及相機(jī)技術(shù)，具體涉及一種動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)及其動(dòng)態(tài)重配置方法。
【背景技術(shù)】
[0002]隨著相機(jī)的應(yīng)用領(lǐng)域不斷擴(kuò)大，對(duì)相機(jī)提出了越來(lái)越高的要求，不僅要求相機(jī)的像素提高、處理速度加快，而且還要求相機(jī)功能豐富、靈活適應(yīng)各種應(yīng)用場(chǎng)合的要求。然而目前采用ARM和DSP芯片的相機(jī)，一方面處理速度有待提高，另一方面不適合用來(lái)實(shí)現(xiàn)數(shù)據(jù)運(yùn)算量較大圖像處理算法。采用FPGA芯片的相機(jī)，則有并行計(jì)算的優(yōu)勢(shì)，然而相機(jī)廠商的相機(jī)產(chǎn)品出廠時(shí)在FPGA芯片上的算法配置就已經(jīng)固化，用戶不能根據(jù)實(shí)際應(yīng)用場(chǎng)合更改，失去了相機(jī)靈活性。因此，迫切需要一種既有很高的運(yùn)算速度，又有很高靈活性的智能相機(jī)。Xilinx和Altera兩家公司均已開(kāi)始供應(yīng)可動(dòng)態(tài)重配置的芯片，并在部分系列的芯片上增加了硬核處理器，可以通過(guò)硬核處理器實(shí)現(xiàn)芯片的FPGA資源動(dòng)態(tài)重配置，因此智能相機(jī)的圖像處理功能可以在FPGA資源上實(shí)現(xiàn)，并且可以根據(jù)需要?jiǎng)討B(tài)配置。
【發(fā)明內(nèi)容】
[0003]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種結(jié)構(gòu)緊湊合理、處理數(shù)字圖像功能更靈活、更快捷的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)。
[0004]為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是，一種動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，包括:系統(tǒng)控制模塊、圖像處理模塊、圖像采集模塊、圖像顯示模塊和通訊模塊；系統(tǒng)控制模塊和上述所有其它模塊相連，圖像處理模塊分別與圖像采集模塊、圖像顯示模塊和通訊模塊相連；所述圖像處理模塊集成于SoC (System on Chip系統(tǒng)級(jí)芯片)芯片及其外圍電路上，所述SoC芯片上具有硬核處理器和FPGA資源，部分或全部FPGA資源可以動(dòng)態(tài)重配置；所述圖像處理模塊實(shí)時(shí)動(dòng)態(tài)部分或全部重配置圖像處理功能。
[0005]更具體的，在所述SoC芯片的FPGA資源上設(shè)定一部分作為可重配置資源，其余作為靜態(tài)配置資源，該可重配置資源可以是FPGA資源的一部分也可以是FPGA資源的全部。
[0006]更具體的，所述可重配置資源由若干個(gè)獨(dú)立的區(qū)域構(gòu)成，一個(gè)區(qū)域?qū)崿F(xiàn)一項(xiàng)功能，一項(xiàng)圖像處理功能重配置是指對(duì)所述可重配置資源中一個(gè)區(qū)域重配置。
[0007]更具體的，將在FPGA資源上實(shí)現(xiàn)的所有功能劃分為可重配置的功能和不可重配置的功能兩類(lèi)。編程工具將所有不可重配置的功能編譯到單個(gè)靜態(tài)配置文件中；將每一項(xiàng)可重配置的功能編譯成相應(yīng)的每一個(gè)動(dòng)態(tài)配置文件。這樣，F(xiàn)PGA資源上實(shí)現(xiàn)的所有功能就對(duì)應(yīng)一個(gè)靜態(tài)配置文件和若干個(gè)動(dòng)態(tài)配置文件。FPGA資源上設(shè)定的靜態(tài)配置資源使用一個(gè)靜態(tài)配置文件配置，可重配置資源使用若干個(gè)動(dòng)態(tài)配置文件配置。
[0008]更具體的，所有圖像處理功能采用統(tǒng)一的流式高速圖像處理總線接口，該接口實(shí)現(xiàn)圖像處理功能之間的隔離和數(shù)據(jù)傳輸。所述流式高速圖像處理總線接口，是一種采用流水式數(shù)據(jù)傳輸方式的總線，在總線的時(shí)鐘信號(hào)驅(qū)動(dòng)下，一個(gè)時(shí)鐘周期傳輸若干個(gè)圖像像素的數(shù)據(jù)，從數(shù)據(jù)發(fā)送端按照?qǐng)D像像素的順序向數(shù)據(jù)接收端發(fā)送。
[0009]更具體的，在程序編寫(xiě)中使用編程工具以流式圖像處理總線的程序代碼對(duì)圖像處理功能代碼封裝，使圖像處理功能的輸入輸出接口成為流式高速圖像處理總線接口，從而得到帶有流式高速圖像處理總線接口的圖像處理功能，由編程工具對(duì)程序代碼編譯轉(zhuǎn)換為圖像處理功能的配置文件。
[0010]更具體的，將編程工具產(chǎn)生的所有配置文件存儲(chǔ)到相機(jī)的外部存儲(chǔ)中。
[0011]更具體的，所述系統(tǒng)控制模塊集成于SoC芯片及其外圍電路上，實(shí)現(xiàn)對(duì)所有其它模塊的控制。
[0012]更具體的，所述圖像采集模塊包括:圖像傳感器及其驅(qū)動(dòng)電路、光學(xué)成像系統(tǒng)和與所述圖像處理模塊相連的接口，其完成圖像的采集，并完成圖像數(shù)據(jù)的AD轉(zhuǎn)換。
[0013]更具體的，所述圖像顯示模塊包括:與所述SoC芯片相連的顯示接口驅(qū)動(dòng)芯片和與所述顯示接口驅(qū)動(dòng)芯片相連的IO接口。
[0014]更具體的，所述通訊模塊包括:通訊接口驅(qū)動(dòng)芯片和與所述通訊接口驅(qū)動(dòng)芯片相連的通訊IO接口。
[0015]更具體的，所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC
-H-* I I
心/T O
[0016]更具體的，所述智能相機(jī)運(yùn)行一種基于Iinux內(nèi)核的操作系統(tǒng)，該操作系統(tǒng)在所述SoC芯片的硬核處理器上運(yùn)行，管理所有硬件資源和任務(wù)調(diào)度，提供圖形用戶界面，并將該圖形用戶界面在所述圖像顯示模塊中輸出。
[0017]本發(fā)明的目的還在于提供基于上述動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)的圖像處理功能動(dòng)態(tài)重配置方法，步驟包括:
[0018]S1、產(chǎn)生配置文件:
[0019]S11、在所述SoC芯片的FPGA資源上設(shè)定一部分作為可重配置資源，其余作為靜態(tài)配置資源，該可重配置資源可以是FPGA資源的一部分也可以是FPGA資源的全部。所述可重配置資源由若干個(gè)獨(dú)立的區(qū)域構(gòu)成，一個(gè)區(qū)域?qū)崿F(xiàn)一項(xiàng)功能，一項(xiàng)圖像處理功能重配置是指對(duì)所述可重配置資源中一個(gè)區(qū)域重配置。
[0020]S12、將在FPGA資源上實(shí)現(xiàn)的所有功能劃分為可重配置的功能和不可重配置的功能兩類(lèi)。編程工具將所有不可重配置的功能編譯到單個(gè)靜態(tài)配置文件中；將每一項(xiàng)可重配置的功能編譯成相應(yīng)的每一個(gè)動(dòng)態(tài)配置文件。這樣，F(xiàn)PGA資源上實(shí)現(xiàn)的所有功能就對(duì)應(yīng)一個(gè)靜態(tài)配置文件和若干個(gè)動(dòng)態(tài)配置文件。FPGA資源上設(shè)定的靜態(tài)配置資源使用一個(gè)靜態(tài)配置文件配置，可重配置資源使用若干個(gè)動(dòng)態(tài)配置文件配置。
[0021]S13、所有圖像處理功能采用統(tǒng)一的流式高速圖像處理總線接口，該接口是一種采用流水式數(shù)據(jù)傳輸方式的總線，在總線的時(shí)鐘信號(hào)驅(qū)動(dòng)下，一個(gè)時(shí)鐘周期傳輸若干個(gè)圖像像素的數(shù)據(jù)，從數(shù)據(jù)發(fā)送端按照?qǐng)D像像素的順序向數(shù)據(jù)接收端發(fā)送。所述流式高速圖像處理總線接口實(shí)現(xiàn)圖像處理功能之間的隔離和數(shù)據(jù)傳輸。
[0022]S14在程序編寫(xiě)中使用編程工具將所述流式高速圖像處理總線和圖像處理功能代碼封裝在一起，使圖像處理功能的輸入輸出接口成為流式高速圖像處理總線接口，從而得到帶有流式高速圖像處理總線接口的圖像處理功能對(duì)應(yīng)的配置文件。
[0023]S15、將所有配置文件存儲(chǔ)到相機(jī)的外部存儲(chǔ)中。[0024]S2、動(dòng)態(tài)重配置圖像處理功能:
[0025]S21、系統(tǒng)啟動(dòng)，SoC芯片先加載靜態(tài)配置文件，圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，開(kāi)始由靜態(tài)配置文件對(duì)應(yīng)的若干個(gè)圖像處理功能處理，向輸出接口傳輸。
[0026]S22、系統(tǒng)運(yùn)行中，用戶向系統(tǒng)發(fā)出一個(gè)重配置某項(xiàng)功能的指令，系統(tǒng)將與該項(xiàng)功能對(duì)應(yīng)的動(dòng)態(tài)配置文件加載到內(nèi)存中，再加載到FPGA的可重配置資源上的某個(gè)區(qū)域；或者直接從外部存儲(chǔ)加載到FPGA可重配置資源上。
[0027]S23、根據(jù)所述動(dòng)態(tài)配置文件識(shí)別FPGA可重配置資源的一個(gè)區(qū)域，對(duì)該區(qū)域進(jìn)行邏輯重構(gòu)，同時(shí)自動(dòng)連接圖像處理功能之間的流式高速圖像處理總線接口，啟動(dòng)重配置后的圖像處理功能。
[0028]加載所述動(dòng)態(tài)配置文件時(shí)分為兩種情況:1)、可重配置資源中對(duì)應(yīng)的區(qū)域未被配置，所述動(dòng)態(tài)配置文件直接加載到該區(qū)域上；2)、可重配置資源中對(duì)應(yīng)的區(qū)域已被配置，先擦除該對(duì)應(yīng)區(qū)域里原來(lái)的配置文件，再加載所述動(dòng)態(tài)配置文件到此區(qū)域。
[0029]S24、所述動(dòng)態(tài)配置文件的圖像處理功能與靜態(tài)配置文件對(duì)應(yīng)的圖像處理功能通過(guò)流式高速圖像處理總線串聯(lián)，按照?qǐng)D像處理過(guò)程的先后順序，對(duì)圖像的逐個(gè)或者逐行數(shù)據(jù)邊傳輸邊處理，總線的上一級(jí)圖像處理輸出作為下一級(jí)圖像處理的輸入。
[0030]S25、根據(jù)用戶的指令，可重配置資源中的任一區(qū)域可以實(shí)時(shí)動(dòng)態(tài)反復(fù)使用不同的動(dòng)態(tài)配置文件配置，重復(fù)S22、S23和S24步驟，實(shí)現(xiàn)不同的圖像處理功能動(dòng)態(tài)重配置。
[0031]S26、圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，經(jīng)過(guò)上述若干個(gè)數(shù)字圖像處理功能處理之后，從流式高速圖像處理總線輸出接口輸出。
[0032]相對(duì)于現(xiàn)有技術(shù)，本發(fā)明的有益效果是:智能相機(jī)上的圖像處理功能能夠動(dòng)態(tài)重配置，在有限的FPGA資源上實(shí)現(xiàn)多種數(shù)字圖像處理算法，在相機(jī)使用期間，不中斷系統(tǒng)的情況下更換不同的圖像處理算法，提高了智能相機(jī)的靈活性和適應(yīng)性。而且SoC芯片上實(shí)現(xiàn)多種功能，使得相機(jī)結(jié)構(gòu)緊湊，占用空間小，使用便捷。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0033]圖1為本發(fā)明的智能相機(jī)的模塊框圖。
[0034]圖2為本發(fā)明的FPGA資源分配結(jié)構(gòu)圖。
[0035]圖3為本發(fā)明的流式高速圖像處理總線工作原理圖。
[0036]圖4為本發(fā)明圖像處理功能動(dòng)態(tài)重配置方法流程圖。
【具體實(shí)施方式】
[0037]下面結(jié)合附圖和實(shí)施例進(jìn)一步說(shuō)明本發(fā)明，但本發(fā)明要求保護(hù)的范圍并不限于實(shí)施例表述的范圍。對(duì)本領(lǐng)域的技術(shù)人員在不背離本發(fā)明的精神及保護(hù)范圍的情況下做出的其它的變化和修改，仍包括在權(quán)利要求書(shū)保護(hù)的范圍內(nèi)。
[0038]實(shí)施例
[0039]本實(shí)施例，一種動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，包括:系統(tǒng)控制模塊、圖像處理模塊、圖像采集模塊、圖像顯示模塊和通訊模塊；系統(tǒng)控制模塊和上述所有其它模塊相連，圖像處理模塊分別與圖像采集模塊、圖像顯示模塊和通訊模塊相連；所述圖像處理模塊集成于SoC (System on Chip系統(tǒng)級(jí)芯片)芯片及其外圍電路上，所述SoC芯片上具有硬核處理器和FPGA資源，部分或全部FPGA資源可以動(dòng)態(tài)重配置；所述圖像處理模塊實(shí)時(shí)動(dòng)態(tài)部分或全部重配置圖像處理功能。其模塊框圖如圖1所示。
[0040]所述系統(tǒng)控制模塊集成于SoC芯片及其外圍電路上，實(shí)現(xiàn)對(duì)所有其它模塊的控制。所述圖像采集模塊包括:圖像傳感器及其驅(qū)動(dòng)電路、光學(xué)成像系統(tǒng)和與所述圖像處理模塊相連的接口，其完成圖像的采集，并完成圖像數(shù)據(jù)的AD轉(zhuǎn)換。所述圖像顯示模塊包括:與所述SoC芯片相連的顯示接口驅(qū)動(dòng)芯片和與所述顯示接口驅(qū)動(dòng)芯片相連的IO接口。所述通訊模塊包括:通訊接口驅(qū)動(dòng)芯片和與所述通訊接口驅(qū)動(dòng)芯片相連的通訊IO接口。所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。本實(shí)施例優(yōu)選Altera公司的SoC芯片。
[0041]本實(shí)施例運(yùn)行一種基于Iinux內(nèi)核的操作系統(tǒng)，該操作系統(tǒng)在所述SoC芯片的硬核處理器上運(yùn)行，管理所有硬件資源和任務(wù)調(diào)度，提供圖形用戶界面，并將該圖形用戶界面在所述圖像顯示模塊中輸出。
[0042]本實(shí)施例工作原理:
[0043]本實(shí)施例SoC芯片的FPGA資源上設(shè)定一部分作為可重配置資源，其余作為靜態(tài)配置資源，該可重配置資源可以是FPGA資源的一部分也可以是FPGA資源的全部。所述可重配置資源由若干個(gè)獨(dú)立的區(qū)域構(gòu)成，一個(gè)區(qū)域?qū)崿F(xiàn)一項(xiàng)功能，一項(xiàng)圖像處理功能重配置是指對(duì)所述可重配置資源中一個(gè)區(qū)域重配置。將在FPGA資源上實(shí)現(xiàn)的所有功能劃分為可重配置的功能和不可重配置的功能兩類(lèi)。編程工具將所有不可重配置的功能編譯到單個(gè)靜態(tài)配置文件中；將每一項(xiàng)可重配置的功能編譯成相應(yīng)的每一個(gè)動(dòng)態(tài)配置文件。這樣，F(xiàn)PGA資源上實(shí)現(xiàn)的所有功能就對(duì)應(yīng)一個(gè)靜態(tài)配置文件和若干個(gè)動(dòng)態(tài)配置文件。FPGA資源上設(shè)定的靜態(tài)配置資源使用一個(gè)靜態(tài)配置文件配置，可重配置資源使用若干個(gè)動(dòng)態(tài)配置文件配置。那么，在本實(shí)施例上實(shí)現(xiàn)動(dòng)態(tài)重配置圖像處理功能就可以轉(zhuǎn)化成動(dòng)態(tài)加載不同的配置文件。FPGA資源分配結(jié)構(gòu)如圖2所示。
[0044]在本實(shí)施例上實(shí)現(xiàn)的所有圖像處理功能采用統(tǒng)一的流式高速圖像處理總線接口，該接口實(shí)現(xiàn)圖像處理功能之間的隔離和數(shù)據(jù)傳輸。所述流式高速圖像處理總線接口，是一種采用流水式數(shù)據(jù)傳輸方式的總線，在總線的時(shí)鐘信號(hào)驅(qū)動(dòng)下，一個(gè)時(shí)鐘周期傳輸若干個(gè)圖像像素的數(shù)據(jù)，從數(shù)據(jù)發(fā)送端按照?qǐng)D像像素的順序向數(shù)據(jù)接收端發(fā)送。流式高速圖像處理總線工作原理如圖3所示。
[0045]本實(shí)施例圖像處理功能動(dòng)態(tài)重配置方法流程圖如圖4所示，首先使用編程工具以流式圖像處理總線的程序代碼對(duì)圖像處理功能代碼封裝，使圖像處理功能的輸入輸出接口成為流式高速圖像處理總線接口，從而得到帶有流式高速圖像處理總線接口的圖像處理功能，由編程工具對(duì)程序代碼編譯轉(zhuǎn)換為圖像處理功能的配置文件。
[0046]然后將所有配置文件存儲(chǔ)到相機(jī)的外部存儲(chǔ)中，所述外部存儲(chǔ)可以是SD卡(Secure Digital Memory Card),或者其它可移動(dòng)的電子存儲(chǔ)介質(zhì)。本實(shí)施例優(yōu)選SD卡。
[0047]系統(tǒng)啟動(dòng)，SoC芯片先加載靜態(tài)配置文件，圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，開(kāi)始由靜態(tài)配置文件對(duì)應(yīng)的若干個(gè)圖像處理功能處理，向輸出接口傳輸。[0048]系統(tǒng)運(yùn)行中，用戶向系統(tǒng)發(fā)出一個(gè)重配置某項(xiàng)功能的指令，系統(tǒng)將與該項(xiàng)功能對(duì)應(yīng)的動(dòng)態(tài)配置文件加載到內(nèi)存中，再加載到FPGA的可重配置資源上的某個(gè)區(qū)域；或者直接從SD卡加載到FPGA可重配置資源上。
[0049]根據(jù)所述動(dòng)態(tài)配置文件識(shí)別FPGA可重配置資源的一個(gè)區(qū)域，對(duì)該區(qū)域進(jìn)行邏輯重構(gòu)，同時(shí)自動(dòng)連接圖像處理功能之間的流式高速圖像處理總線接口，啟動(dòng)重配置后的該項(xiàng)圖像處理功能。
[0050]加載所述動(dòng)態(tài)配置文件時(shí)分為兩種情況:1)、可重配置資源中對(duì)應(yīng)的區(qū)域未被配置，所述動(dòng)態(tài)配置文件直接加載到該區(qū)域上；2)、可重配置資源中對(duì)應(yīng)的區(qū)域已被配置，先擦除該對(duì)應(yīng)區(qū)域里原來(lái)的配置文件，再加載所述動(dòng)態(tài)配置文件到此區(qū)域。
[0051]所述動(dòng)態(tài)配置文件的圖像處理功能與靜態(tài)配置文件對(duì)應(yīng)的圖像處理功能通過(guò)流式高速圖像處理總線串聯(lián)，按照?qǐng)D像處理過(guò)程的先后順序，對(duì)圖像的逐個(gè)或者逐行數(shù)據(jù)邊傳輸邊處理，總線的上一級(jí)圖像處理輸出作為下一級(jí)圖像處理的輸入。
[0052]根據(jù)用戶的指令，可重配置資源中的任一區(qū)域可以實(shí)時(shí)動(dòng)態(tài)反復(fù)使用不同的動(dòng)態(tài)配置文件配置，重復(fù)上述三個(gè)步驟，實(shí)現(xiàn)各種圖像處理功能動(dòng)態(tài)重配置。
[0053]圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，經(jīng)過(guò)上述若干個(gè)數(shù)字圖像處理功能處理之后，從流式高速圖像處理總線輸出接口輸出
[0054]上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，包括系統(tǒng)控制模塊、圖像處理模塊、圖像采集模塊、圖像顯示模塊和通訊模塊，其特征在于:系統(tǒng)控制模塊和上述所有其它模塊相連，圖像處理模塊分別與圖像采集模塊、圖像顯示模塊和通訊模塊相連；所述圖像處理模塊集成于SoC芯片及其外圍電路上，所述SoC芯片上具有硬核處理器和FPGA資源，部分或全部FPGA資源可以動(dòng)態(tài)重配置；所述圖像處理模塊實(shí)時(shí)動(dòng)態(tài)部分或全部重配置圖像處理功能。
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:在所述SoC芯片的FPGA資源上設(shè)定一部分作為可重配置資源，其余作為靜態(tài)配置資源，該可重配置資源可以是FPGA資源的一部分也可以是FPGA資源的全部。
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征 在于:所述可重配置資源由若干個(gè)獨(dú)立的區(qū)域構(gòu)成，一個(gè)區(qū)域?qū)崿F(xiàn)一項(xiàng)功能。
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:在FPGA資源上實(shí)現(xiàn)的所有功能劃分為可重配置的功能和不可重配置的功能兩類(lèi)，編程工具將所有不可重配置的功能編譯到單個(gè)靜態(tài)配置文件中；將每一項(xiàng)可重配置的功能編譯成相應(yīng)的每一個(gè)動(dòng)態(tài)配置文件。
5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:所有圖像處理功能采用統(tǒng)一的流式高速圖像處理總線接口，該接口是一種采用流水式數(shù)據(jù)傳輸方式的總線，在總線的時(shí)鐘信號(hào)驅(qū)動(dòng)下，一個(gè)時(shí)鐘周期傳輸若干個(gè)圖像像素的數(shù)據(jù)，從數(shù)據(jù)發(fā)送端按照?qǐng)D像像素的順序向數(shù)據(jù)接收端發(fā)送。
6.根據(jù)權(quán)利要求4所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:所有配置文件存儲(chǔ)在相機(jī)的外部存儲(chǔ)中，所述外部存儲(chǔ)可以是SD卡，或者其它可移動(dòng)的電子存儲(chǔ)介質(zhì)。
7.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:所述系統(tǒng)控制模塊集成于SoC芯片及其外圍電路上，實(shí)現(xiàn)對(duì)所有其它模塊的控制。
8.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:所述SoC芯片是Xilinx公司的ZYNQ系列芯片或者Altera公司的SoC芯片。
9.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)，其特征在于:所述智能相機(jī)運(yùn)行一種基于Iinux內(nèi)核的操作系統(tǒng)，該操作系統(tǒng)在所述SoC芯片的硬核處理器上運(yùn)行，管理所有硬件資源和任務(wù)調(diào)度。
10.根據(jù)權(quán)利要求1-9任一項(xiàng)所述的動(dòng)態(tài)重配置圖像處理功能的智能相機(jī)的圖像處理功能動(dòng)態(tài)重配置方法，其特征在于步驟包括: S1、產(chǎn)生配置文件: SI 1、在所述SoC芯片的FPGA資源上設(shè)定一部分作為可重配置資源，其余作為靜態(tài)配置資源，該可重配置資源可以是FPGA資源的一部分也可以是FPGA資源的全部；所述可重配置資源由若干個(gè)獨(dú)立的區(qū)域構(gòu)成，一個(gè)區(qū)域?qū)崿F(xiàn)一項(xiàng)功能，一項(xiàng)圖像處理功能重配置是指對(duì)所述可重配置資源中一個(gè)區(qū)域重配置； S12、將在FPGA資源上實(shí)現(xiàn)的所有功能劃分為可重配置的功能和不可重配置的功能兩類(lèi)。編程工具將所有不可重配置的功能編譯到單個(gè)靜態(tài)配置文件中；將每一項(xiàng)可重配置的功能編譯成相應(yīng)的每一個(gè)動(dòng)態(tài)配置文件； S13、所有圖像處理功能采用統(tǒng)一的流式高速圖像處理總線接口，該接口是一種采用流水式數(shù)據(jù)傳輸方式的總線，在總線的時(shí)鐘信號(hào)驅(qū)動(dòng)下，一個(gè)時(shí)鐘周期傳輸若干個(gè)圖像像素的數(shù)據(jù)，從數(shù)據(jù)發(fā)送端按照?qǐng)D像像素的順序向數(shù)據(jù)接收端發(fā)送； S14在程序編寫(xiě)中使用編程工具將所述流式高速圖像處理總線和圖像處理功能代碼封裝在一起，使圖像處理功能的輸入輸出接口成為流式高速圖像處理總線接口，得到帶有流式高速圖像處理總線接口的圖像處理功能對(duì)應(yīng)的配置文件； S15、將所有配置文件存儲(chǔ)到相機(jī)的外部存儲(chǔ)中； S2、動(dòng)態(tài)重配置圖像處理功能: s21、系統(tǒng)啟動(dòng)，SoC芯片先加載靜態(tài)配置文件，圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，開(kāi)始由靜態(tài)配置文件對(duì)應(yīng)的若干個(gè)圖像處理功能處理，向輸出接口傳輸； s22、系統(tǒng)運(yùn)行中，用戶向系統(tǒng)發(fā)出一個(gè)重配置某項(xiàng)功能的指令，系統(tǒng)將與該項(xiàng)功能對(duì)應(yīng)的動(dòng)態(tài)配置文件加載到內(nèi)存中，再加載到FPGA的可重配置資源上的某個(gè)區(qū)域；或者直接從外部存儲(chǔ)加載到FPGA可重配置資源上； s23、根據(jù)所述動(dòng)態(tài)配置文件識(shí)別FPGA可重配置資源的一個(gè)區(qū)域，對(duì)該區(qū)域進(jìn)行邏輯重構(gòu)，同時(shí)自動(dòng)連接圖像處理功能之間的流式高速圖像處理總線接口，啟動(dòng)重配置后的圖像處理功能； 加載所述動(dòng)態(tài)配置文件時(shí)分為兩種情況:1)、可重配置資源中對(duì)應(yīng)的區(qū)域未被配置，所述動(dòng)態(tài)配置文件直接加載到該區(qū)域上；2)、可重配置資源中對(duì)應(yīng)的區(qū)域已被配置，先擦除該對(duì)應(yīng)區(qū)域里原來(lái)的配置文件，再加載所述動(dòng)態(tài)配置文件到此區(qū)域； s24、所述動(dòng)態(tài)配置文件的圖像處理功能與靜態(tài)配置文件對(duì)應(yīng)的圖像處理功能通過(guò)流式高速圖像處理總線串聯(lián)，按照?qǐng)D像處理過(guò)程的先后順序，對(duì)圖像的逐個(gè)或者逐行數(shù)據(jù)邊傳輸邊處理，總線的上一級(jí)圖像處理輸出作為下一級(jí)圖像處理的輸入； s25、根據(jù)用戶的指令，可重配置資源中的任一區(qū)域可以實(shí)時(shí)動(dòng)態(tài)反復(fù)使用不同的動(dòng)態(tài)配置文件配置，重復(fù)S22、S23和S24步驟，實(shí)現(xiàn)不同的圖像處理功能動(dòng)態(tài)重配置； s26、圖像數(shù)據(jù)從流式高速圖像處理總線輸入接口輸入到總線中，成為流式高速圖像處理總線的格式，經(jīng)過(guò)上述若干個(gè)數(shù)字圖像處理功能處理之后，從流式高速圖像處理總線輸出接口輸出。
【文檔編號(hào)】H04N5/232GK103685890SQ201310659093
【公開(kāi)日】2014年3月26日 申請(qǐng)日期:2013年12月5日 優(yōu)先權(quán)日:2013年12月5日
【發(fā)明者】葉峰, 陳劍東, 賴乙宗, 陳燦杰 申請(qǐng)人:華南理工大學(xué)