本技術(shù)涉及計(jì)算機(jī)，具體涉及一種多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在圖像處理領(lǐng)域，傳感器（sensor）采集到的原始圖像數(shù)據(jù)通常需要經(jīng)過soc（system?on?chip，片上系統(tǒng)）上的多個(gè)ip核（intellectual?property?core，知識(shí)產(chǎn)權(quán)核）進(jìn)行處理后，才能最終傳遞到終端設(shè)備進(jìn)行顯示或存儲(chǔ)；其中，ip核在集成電路設(shè)計(jì)中指的是一個(gè)可重復(fù)使用的、經(jīng)過驗(yàn)證的邏輯功能模塊或設(shè)計(jì)單元，其包括但不限于圖像信號(hào)處理器（isp）、圖像增強(qiáng)模塊、編碼器等，它們共同構(gòu)成了一個(gè)完整的圖像處理鏈路。在使用ip核時(shí)，有時(shí)需要使用單ip核，有時(shí)需要組合多ip核來使用，因此需要一個(gè)靈活度高、開發(fā)周期短且使用起來簡便的軟件框架。

2、相關(guān)技術(shù)中，gstreamer作為一個(gè)廣泛使用的多媒體開源框架，其通常用于構(gòu)建音頻、視頻和圖像處理的多媒體管道。然而，gstreamer在實(shí)際應(yīng)用和特定場景中卻存在一些局限性和不足，比如，在實(shí)現(xiàn)新ip核集成時(shí)，需要對(duì)現(xiàn)有的上層框架代碼進(jìn)行修改，以致開發(fā)周期較長；而在將多個(gè)ip核的調(diào)用寫進(jìn)一個(gè)應(yīng)用程序后，若需要對(duì)多個(gè)ip核進(jìn)行組合使用，則需要重新修改應(yīng)用代碼并編譯運(yùn)行，進(jìn)而導(dǎo)致需要較長的開發(fā)周期。可見，如何高效實(shí)現(xiàn)ip核的靈活集成，以降低多媒體數(shù)據(jù)傳輸系統(tǒng)的開發(fā)周期是當(dāng)前亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，可高效實(shí)現(xiàn)ip核的靈活集成，以有效降低多媒體數(shù)據(jù)傳輸系統(tǒng)的開發(fā)周期。

2、第一方面，本技術(shù)實(shí)施例提供一種多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)方法，包括以下步驟：

3、對(duì)預(yù)設(shè)的目標(biāo)xml配置文件進(jìn)行解析，得到待運(yùn)行鏈接層信息、待連接模塊信息和待填充設(shè)備參數(shù)信息；

4、基于待運(yùn)行鏈接層信息和待連接模塊信息構(gòu)建包含鏈接結(jié)構(gòu)體的鏈接層對(duì)象，所述鏈接結(jié)構(gòu)體用于存儲(chǔ)首尾模塊層對(duì)象信息和操作接口函數(shù)；

5、通過待連接模塊信息構(gòu)建多個(gè)包含模塊結(jié)構(gòu)體的模塊層對(duì)象并連接至鏈接層對(duì)象，且為模塊層對(duì)象創(chuàng)建主線程任務(wù)，所述模塊結(jié)構(gòu)體用于存儲(chǔ)綁定信息，所述綁定信息包括模塊層對(duì)象與鏈接層對(duì)象、設(shè)備層對(duì)象以及設(shè)備回調(diào)函數(shù)間的綁定關(guān)系；

6、構(gòu)建與模塊層對(duì)象對(duì)應(yīng)的包含設(shè)備結(jié)構(gòu)體的設(shè)備層對(duì)象并連接至對(duì)應(yīng)的模塊層對(duì)象，且基于所述待填充設(shè)備參數(shù)信息對(duì)設(shè)備結(jié)構(gòu)體進(jìn)行填充；

7、其中，鏈接層對(duì)象通過鏈接結(jié)構(gòu)體控制模塊層對(duì)象中的主線程任務(wù)基于設(shè)備回調(diào)函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)，并通過目標(biāo)驅(qū)動(dòng)、模塊結(jié)構(gòu)體和設(shè)備結(jié)構(gòu)體實(shí)現(xiàn)數(shù)據(jù)傳輸。

8、結(jié)合第一方面，在一種實(shí)施方式中，所述操作接口函數(shù)包括鏈接層初始化函數(shù)和激活函數(shù)，所述設(shè)備回調(diào)函數(shù)包括設(shè)備初始化函數(shù)和數(shù)據(jù)處理函數(shù)。

9、結(jié)合第一方面，在一種實(shí)施方式中，所述鏈接層對(duì)象通過鏈接結(jié)構(gòu)體控制模塊層對(duì)象中的主線程任務(wù)基于設(shè)備回調(diào)函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)，包括：

10、鏈接層對(duì)象通過鏈接層初始化函數(shù)控制各個(gè)模塊層對(duì)象處于初始化狀態(tài)，以基于設(shè)備初始化函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)并進(jìn)行初始化處理，完成設(shè)備層對(duì)象的初始化。

11、結(jié)合第一方面，在一種實(shí)施方式中，所述方法還包括：

12、根據(jù)與模塊層對(duì)象對(duì)應(yīng)的預(yù)設(shè)模塊類型為模塊層對(duì)象創(chuàng)建緩沖區(qū)隊(duì)列，所述緩沖區(qū)隊(duì)列用于實(shí)現(xiàn)不同模塊層對(duì)象間的數(shù)據(jù)流轉(zhuǎn)；

13、其中，所述模塊結(jié)構(gòu)體還用于存儲(chǔ)緩沖區(qū)隊(duì)列信息和前后級(jí)模塊信息。

14、結(jié)合第一方面，在一種實(shí)施方式中，所述通過目標(biāo)驅(qū)動(dòng)、模塊結(jié)構(gòu)體和設(shè)備結(jié)構(gòu)體實(shí)現(xiàn)數(shù)據(jù)傳輸，包括：

15、鏈接層對(duì)象根據(jù)激活函數(shù)控制各個(gè)模塊層對(duì)象處于激活狀態(tài)，以使模塊層對(duì)象中的主線程任務(wù)執(zhí)行數(shù)據(jù)處理函數(shù)，以從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)并提交至目標(biāo)驅(qū)動(dòng)；

16、目標(biāo)驅(qū)動(dòng)基于目標(biāo)緩沖區(qū)對(duì)與設(shè)備結(jié)構(gòu)體對(duì)應(yīng)的目標(biāo)硬件設(shè)備進(jìn)行操作；

17、待操作結(jié)束后，模塊層對(duì)象基于前后級(jí)模塊信息將目標(biāo)緩沖區(qū)傳遞至下一級(jí)模塊層對(duì)象中對(duì)應(yīng)的緩沖區(qū)隊(duì)列或上一級(jí)模塊層對(duì)象中的緩沖區(qū)隊(duì)列，以實(shí)現(xiàn)數(shù)據(jù)傳輸。

18、結(jié)合第一方面，在一種實(shí)施方式中，所述從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)并提交至目標(biāo)驅(qū)動(dòng)，包括：

19、模塊層對(duì)象從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)，并根據(jù)目標(biāo)緩沖區(qū)中的目標(biāo)標(biāo)記確定所述目標(biāo)緩沖區(qū)是否為自身需要處理的緩沖區(qū)；

20、若是，則將所述目標(biāo)緩沖區(qū)提交至目標(biāo)驅(qū)動(dòng)；

21、若否，則將所述目標(biāo)緩沖區(qū)傳遞至下一級(jí)模塊層對(duì)象中對(duì)應(yīng)的目標(biāo)緩沖區(qū)隊(duì)列，以供下一級(jí)模塊層對(duì)象基于所述目標(biāo)緩沖區(qū)隊(duì)列執(zhí)行所述從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)的步驟。

22、結(jié)合第一方面，在一種實(shí)施方式中，所述模塊類型包括輸出類型、輸入類型以及輸入輸出類型，所述根據(jù)預(yù)設(shè)的模塊類型創(chuàng)建與模塊層對(duì)象對(duì)應(yīng)的緩沖區(qū)隊(duì)列，包括：

23、當(dāng)所述模塊類型為輸出類型時(shí)，創(chuàng)建輸出空閑隊(duì)列和輸出繁忙隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列；

24、當(dāng)所述模塊類型為輸入類型時(shí)，創(chuàng)建輸入空閑隊(duì)列、輸入繁忙隊(duì)列以及等待隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列；

25、當(dāng)所述模塊類型為輸入輸出類型時(shí)，創(chuàng)建輸出空閑隊(duì)列、輸出繁忙隊(duì)列、輸入空閑隊(duì)列、輸入繁忙隊(duì)列以及等待隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列。

26、第二方面，本技術(shù)實(shí)施例提供了一種多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)裝置，包括：

27、信息解析單元，其用于對(duì)預(yù)設(shè)的目標(biāo)xml配置文件進(jìn)行解析，得到待運(yùn)行鏈接層信息、待連接模塊信息和待填充設(shè)備參數(shù)信息；

28、第一創(chuàng)建單元，其用于基于待運(yùn)行鏈接層信息和待連接模塊信息構(gòu)建包含鏈接結(jié)構(gòu)體的鏈接層對(duì)象，所述鏈接結(jié)構(gòu)體用于存儲(chǔ)首尾模塊層對(duì)象信息和操作接口函數(shù)；

29、第二創(chuàng)建單元，其用于通過待連接模塊信息構(gòu)建多個(gè)包含模塊結(jié)構(gòu)體的模塊層對(duì)象并連接至鏈接層對(duì)象，且為模塊層對(duì)象創(chuàng)建主線程任務(wù)，所述模塊結(jié)構(gòu)體用于存儲(chǔ)綁定信息，所述綁定信息包括模塊層對(duì)象與鏈接層對(duì)象、設(shè)備層對(duì)象以及設(shè)備回調(diào)函數(shù)間的綁定關(guān)系；

30、第三創(chuàng)建單元，其用于構(gòu)建與模塊層對(duì)象對(duì)應(yīng)的包含設(shè)備結(jié)構(gòu)體的設(shè)備層對(duì)象并連接至對(duì)應(yīng)的模塊層對(duì)象，且基于所述待填充設(shè)備參數(shù)信息對(duì)設(shè)備結(jié)構(gòu)體進(jìn)行填充；

31、其中，鏈接層對(duì)象通過鏈接結(jié)構(gòu)體控制模塊層對(duì)象中的主線程任務(wù)基于設(shè)備回調(diào)函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)，并通過目標(biāo)驅(qū)動(dòng)、模塊結(jié)構(gòu)體和設(shè)備結(jié)構(gòu)體實(shí)現(xiàn)數(shù)據(jù)傳輸。

32、結(jié)合第二方面，在一種實(shí)施方式中，所述操作接口函數(shù)包括鏈接層初始化函數(shù)和激活函數(shù)，所述設(shè)備回調(diào)函數(shù)包括設(shè)備初始化函數(shù)和數(shù)據(jù)處理函數(shù)。

33、結(jié)合第二方面，在一種實(shí)施方式中，所述鏈接層對(duì)象通過鏈接結(jié)構(gòu)體控制模塊層對(duì)象中的主線程任務(wù)基于設(shè)備回調(diào)函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)，包括：

34、鏈接層對(duì)象通過鏈接層初始化函數(shù)控制各個(gè)模塊層對(duì)象處于初始化狀態(tài)，以基于設(shè)備初始化函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)并進(jìn)行初始化處理，完成設(shè)備層對(duì)象的初始化。

35、結(jié)合第二方面，在一種實(shí)施方式中，所述第二創(chuàng)建單元還用于：

36、根據(jù)與模塊層對(duì)象對(duì)應(yīng)的預(yù)設(shè)模塊類型為模塊層對(duì)象創(chuàng)建緩沖區(qū)隊(duì)列，所述緩沖區(qū)隊(duì)列用于實(shí)現(xiàn)不同模塊層對(duì)象間的數(shù)據(jù)流轉(zhuǎn)；

37、其中，所述模塊結(jié)構(gòu)體還用于存儲(chǔ)緩沖區(qū)隊(duì)列信息和前后級(jí)模塊信息。

38、結(jié)合第二方面，在一種實(shí)施方式中，所述通過目標(biāo)驅(qū)動(dòng)、模塊結(jié)構(gòu)體和設(shè)備結(jié)構(gòu)體實(shí)現(xiàn)數(shù)據(jù)傳輸，包括：

39、鏈接層對(duì)象根據(jù)激活函數(shù)控制各個(gè)模塊層對(duì)象處于激活狀態(tài)，以使模塊層對(duì)象中的主線程任務(wù)執(zhí)行數(shù)據(jù)處理函數(shù)，以從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)并提交至目標(biāo)驅(qū)動(dòng)；

40、目標(biāo)驅(qū)動(dòng)基于目標(biāo)緩沖區(qū)對(duì)與設(shè)備結(jié)構(gòu)體對(duì)應(yīng)的目標(biāo)硬件設(shè)備進(jìn)行操作；

41、待操作結(jié)束后，模塊層對(duì)象基于前后級(jí)模塊信息將目標(biāo)緩沖區(qū)傳遞至下一級(jí)模塊層對(duì)象中對(duì)應(yīng)的緩沖區(qū)隊(duì)列或上一級(jí)模塊層對(duì)象中的緩沖區(qū)隊(duì)列，以實(shí)現(xiàn)數(shù)據(jù)傳輸。

42、結(jié)合第二方面，在一種實(shí)施方式中，所述從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)并提交至目標(biāo)驅(qū)動(dòng)，包括：

43、模塊層對(duì)象從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)，并根據(jù)目標(biāo)緩沖區(qū)中的目標(biāo)標(biāo)記確定所述目標(biāo)緩沖區(qū)是否為自身需要處理的緩沖區(qū)；

44、若是，則將所述目標(biāo)緩沖區(qū)提交至目標(biāo)驅(qū)動(dòng)；

45、若否，則將所述目標(biāo)緩沖區(qū)傳遞至下一級(jí)模塊層對(duì)象中對(duì)應(yīng)的目標(biāo)緩沖區(qū)隊(duì)列，以供下一級(jí)模塊層對(duì)象基于所述目標(biāo)緩沖區(qū)隊(duì)列執(zhí)行所述從緩沖區(qū)隊(duì)列中讀取出目標(biāo)緩沖區(qū)的步驟。

46、結(jié)合第二方面，在一種實(shí)施方式中，所述模塊類型包括輸出類型、輸入類型以及輸入輸出類型，所述根據(jù)預(yù)設(shè)的模塊類型創(chuàng)建與模塊層對(duì)象對(duì)應(yīng)的緩沖區(qū)隊(duì)列，包括：

47、當(dāng)所述模塊類型為輸出類型時(shí)，創(chuàng)建輸出空閑隊(duì)列和輸出繁忙隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列；

48、當(dāng)所述模塊類型為輸入類型時(shí)，創(chuàng)建輸入空閑隊(duì)列、輸入繁忙隊(duì)列以及等待隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列；

49、當(dāng)所述模塊類型為輸入輸出類型時(shí)，創(chuàng)建輸出空閑隊(duì)列、輸出繁忙隊(duì)列、輸入空閑隊(duì)列、輸入繁忙隊(duì)列以及等待隊(duì)列作為模塊層對(duì)象的緩沖區(qū)隊(duì)列。

50、第三方面，本技術(shù)實(shí)施例提供了一種多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)設(shè)備，所述多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)設(shè)備包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器上并可被所述處理器執(zhí)行的多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)程序，其中所述多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如前述的多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)方法的步驟。

51、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)程序，其中所述多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如前述的多媒體數(shù)據(jù)傳輸系統(tǒng)實(shí)現(xiàn)方法的步驟。

52、本技術(shù)實(shí)施例提供的技術(shù)方案帶來的有益效果包括：

53、通過對(duì)目標(biāo)xml配置文件進(jìn)行解析來得到待運(yùn)行鏈接層信息、待連接模塊信息和待填充設(shè)備參數(shù)信息，并基于待運(yùn)行鏈接層信息和待連接模塊信息構(gòu)建包含鏈接結(jié)構(gòu)體的鏈接層對(duì)象；然后通過待連接模塊信息構(gòu)建多個(gè)包含模塊結(jié)構(gòu)體的模塊層對(duì)象并連接至鏈接層對(duì)象，且為模塊層對(duì)象創(chuàng)建主線程任務(wù)，再構(gòu)建與模塊層對(duì)象對(duì)應(yīng)的包含設(shè)備結(jié)構(gòu)體的設(shè)備層對(duì)象并連接至對(duì)應(yīng)的模塊層對(duì)象，以形成分層架構(gòu)，且基于待填充設(shè)備參數(shù)信息對(duì)設(shè)備結(jié)構(gòu)體進(jìn)行填充；其中，鏈接層對(duì)象通過鏈接結(jié)構(gòu)體控制模塊層對(duì)象中的主線程任務(wù)基于設(shè)備回調(diào)函數(shù)調(diào)用目標(biāo)驅(qū)動(dòng)，并通過目標(biāo)驅(qū)動(dòng)、模塊結(jié)構(gòu)體和設(shè)備結(jié)構(gòu)體實(shí)現(xiàn)數(shù)據(jù)傳輸?？梢?，本技術(shù)通過配置文件的方式運(yùn)行希望使用的新硬件設(shè)備或多個(gè)組合的硬件設(shè)備，以高效實(shí)現(xiàn)ip核的靈活集成，而無需重新編譯應(yīng)用程序，且通過回調(diào)函數(shù)機(jī)制實(shí)現(xiàn)對(duì)硬件操作的靈活控制，而無需對(duì)上層框架代碼進(jìn)行修改，有效縮短了多媒體數(shù)據(jù)傳輸系統(tǒng)的開發(fā)周期。