本發(fā)明屬于醫(yī)療機(jī)器人及遠(yuǎn)程手術(shù)，尤其涉及一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)。

背景技術(shù)：

1、遠(yuǎn)程手術(shù)是一種通過網(wǎng)絡(luò)將外科醫(yī)生的操作指令實(shí)時(shí)傳遞給遠(yuǎn)程機(jī)械臂以完成手術(shù)的技術(shù)。手術(shù)視頻的實(shí)時(shí)傳輸是遠(yuǎn)程手術(shù)系統(tǒng)的關(guān)鍵環(huán)節(jié)。然而，由于網(wǎng)絡(luò)帶寬有限，高清手術(shù)視頻的傳輸容易受到卡頓和延遲的影響，從而降低手術(shù)的安全性和準(zhǔn)確性。

2、現(xiàn)有方法主要采用視頻壓縮算法和固定帶寬分配策略，但未能充分結(jié)合外科醫(yī)生的視覺關(guān)注點(diǎn)動(dòng)態(tài)調(diào)整視頻編碼參數(shù)，導(dǎo)致寶貴的帶寬資源未被高效利用。眼動(dòng)追蹤技術(shù)可精確捕捉醫(yī)生的視覺注意力，為手術(shù)視頻的動(dòng)態(tài)優(yōu)化提供了可能。

3、也就是說，現(xiàn)有的視頻壓縮算法和固定帶寬分配策略具有如下缺陷：

4、1.資源利用不足：傳統(tǒng)方法對(duì)手術(shù)視頻的所有區(qū)域采用統(tǒng)一的編碼策略，未能區(qū)分關(guān)鍵區(qū)域和次要區(qū)域，導(dǎo)致帶寬資源浪費(fèi)。

5、2.傳輸延遲高：固定帶寬分配策略無法適應(yīng)網(wǎng)絡(luò)條件的波動(dòng)，容易在帶寬不足時(shí)導(dǎo)致視頻卡頓，影響遠(yuǎn)程手術(shù)的實(shí)時(shí)性和可靠性。

6、3.醫(yī)生操作負(fù)擔(dān)大：現(xiàn)有系統(tǒng)未結(jié)合外科醫(yī)生的視覺關(guān)注區(qū)域優(yōu)化視頻質(zhì)量，醫(yī)生需要在模糊的非關(guān)鍵區(qū)域中尋找手術(shù)細(xì)節(jié)，增加操作難度。

7、4.缺乏動(dòng)態(tài)性：現(xiàn)有方法缺乏根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)和醫(yī)生需求動(dòng)態(tài)調(diào)整視頻編碼和帶寬分配的能力。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問題，本發(fā)明提供一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，通過實(shí)時(shí)獲取外科醫(yī)生的視覺關(guān)注區(qū)域，動(dòng)態(tài)調(diào)整手術(shù)視頻編碼參數(shù)，優(yōu)化帶寬分配，實(shí)現(xiàn)高效傳輸和精準(zhǔn)手術(shù)。

2、一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，包括眼動(dòng)數(shù)據(jù)采集模塊、感興趣區(qū)域生成模塊、視頻編碼優(yōu)化模塊、動(dòng)態(tài)帶寬分配模塊、視頻解碼與呈現(xiàn)模塊；

3、所述眼動(dòng)數(shù)據(jù)采集模塊用于實(shí)時(shí)捕獲醫(yī)生的注視點(diǎn)，生成視線軌跡數(shù)據(jù)；

4、所述感興趣區(qū)域生成模塊用于對(duì)視線軌跡數(shù)據(jù)進(jìn)行聚類，生成感興趣區(qū)域；

5、所述視頻編碼優(yōu)化模塊用于分別對(duì)感興趣區(qū)域與非感興趣區(qū)域進(jìn)行編碼，其中，感興趣區(qū)域的編碼分辨率高于非感興趣區(qū)域的編碼分辨率；

6、所述動(dòng)態(tài)帶寬分配模塊用于實(shí)時(shí)調(diào)整感興趣區(qū)域與非感興趣區(qū)域的帶寬分配比例，其中，感興趣區(qū)域的帶寬大于非感興趣區(qū)域的帶寬；

7、所述視頻解碼與呈現(xiàn)模塊用于在遠(yuǎn)程手術(shù)終端將按照設(shè)定編碼分辨率編碼和按照設(shè)定帶寬傳輸而來的視頻流呈現(xiàn)給外科醫(yī)生。

8、進(jìn)一步地，所述眼動(dòng)數(shù)據(jù)采集模塊通過安裝在手術(shù)終端的眼動(dòng)追蹤設(shè)備實(shí)時(shí)捕捉醫(yī)生的注視點(diǎn)。

9、進(jìn)一步地，所述眼動(dòng)追蹤設(shè)備為雙目紅外眼動(dòng)儀、生理傳感器或ar眼鏡內(nèi)置模塊。

10、進(jìn)一步地，所述感興趣區(qū)域生成模塊基于視覺注意力網(wǎng)絡(luò)模型對(duì)視線軌跡數(shù)據(jù)進(jìn)行聚類，生成感興趣區(qū)域。

11、進(jìn)一步地，所述動(dòng)態(tài)帶寬分配模塊采用基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)帶寬分配算法實(shí)時(shí)調(diào)整感興趣區(qū)域與非感興趣區(qū)域的帶寬分配比例。

12、進(jìn)一步地，所述動(dòng)態(tài)帶寬分配模塊將遠(yuǎn)程傳輸網(wǎng)絡(luò)的擁塞狀態(tài)以及感興趣區(qū)域的大小、位置作為基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)帶寬分配算法的輸入，由動(dòng)態(tài)帶寬分配算法實(shí)時(shí)輸出感興趣區(qū)域與非感興趣區(qū)域的帶寬分配比例。

13、有益效果：

14、本發(fā)明提供一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，結(jié)合眼動(dòng)追蹤數(shù)據(jù)與視覺注意力模型，動(dòng)態(tài)生成手術(shù)視頻中的感興趣區(qū)域；對(duì)感興趣區(qū)域和非感興趣區(qū)域分別進(jìn)行差異化壓縮，為感興趣區(qū)域優(yōu)先分配帶寬，采用高分辨率對(duì)感興趣區(qū)域進(jìn)行編碼以此確保感興趣區(qū)域中的關(guān)鍵細(xì)節(jié)清晰，同時(shí)降低非感興趣區(qū)域的帶寬占用；本發(fā)明還基于網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)調(diào)整視頻帶寬分配策略，以此調(diào)整網(wǎng)絡(luò)資源分配，優(yōu)先保證感興趣區(qū)域的傳輸質(zhì)量；因此，本發(fā)明能夠通過動(dòng)態(tài)感興趣生成和編碼優(yōu)化顯著降低了延遲，提升了遠(yuǎn)程手術(shù)的實(shí)時(shí)性和可靠性；同時(shí)，本發(fā)明通過優(yōu)化關(guān)鍵區(qū)域的顯示質(zhì)量，還能減少醫(yī)生的視覺搜索負(fù)擔(dān)，提高操作效率。

技術(shù)特征：

1.一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，包括眼動(dòng)數(shù)據(jù)采集模塊、感興趣區(qū)域生成模塊、視頻編碼優(yōu)化模塊、動(dòng)態(tài)帶寬分配模塊、視頻解碼與呈現(xiàn)模塊；

2.如權(quán)利要求1所述的一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，所述眼動(dòng)數(shù)據(jù)采集模塊通過安裝在手術(shù)終端的眼動(dòng)追蹤設(shè)備實(shí)時(shí)捕捉醫(yī)生的注視點(diǎn)。

3.如權(quán)利要求2所述的一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，所述眼動(dòng)追蹤設(shè)備為雙目紅外眼動(dòng)儀、生理傳感器或ar眼鏡內(nèi)置模塊。

4.如權(quán)利要求1所述的一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，所述感興趣區(qū)域生成模塊基于視覺注意力網(wǎng)絡(luò)模型對(duì)視線軌跡數(shù)據(jù)進(jìn)行聚類，生成感興趣區(qū)域。

5.如權(quán)利要求1所述的一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，所述動(dòng)態(tài)帶寬分配模塊采用基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)帶寬分配算法實(shí)時(shí)調(diào)整感興趣區(qū)域與非感興趣區(qū)域的帶寬分配比例。

6.如權(quán)利要求5所述的一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，其特征在于，所述動(dòng)態(tài)帶寬分配模塊將遠(yuǎn)程傳輸網(wǎng)絡(luò)的擁塞狀態(tài)以及感興趣區(qū)域的大小、位置作為基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)帶寬分配算法的輸入，由動(dòng)態(tài)帶寬分配算法實(shí)時(shí)輸出感興趣區(qū)域與非感興趣區(qū)域的帶寬分配比例。

技術(shù)總結(jié)
本發(fā)明提供一種基于眼動(dòng)追蹤的遠(yuǎn)程手術(shù)視頻優(yōu)化系統(tǒng)，結(jié)合眼動(dòng)追蹤數(shù)據(jù)與視覺注意力模型，動(dòng)態(tài)生成手術(shù)視頻中的感興趣區(qū)域；對(duì)感興趣區(qū)域和非感興趣區(qū)域分別進(jìn)行差異化壓縮，為感興趣區(qū)域優(yōu)先分配帶寬，采用高分辨率對(duì)感興趣區(qū)域進(jìn)行編碼以此確保感興趣區(qū)域中的關(guān)鍵細(xì)節(jié)清晰，同時(shí)降低非感興趣區(qū)域的帶寬占用；本發(fā)明還基于網(wǎng)絡(luò)狀態(tài)實(shí)時(shí)調(diào)整視頻帶寬分配策略，以此調(diào)整網(wǎng)絡(luò)資源分配，優(yōu)先保證感興趣區(qū)域的傳輸質(zhì)量；因此，本發(fā)明能夠通過動(dòng)態(tài)感興趣生成和編碼優(yōu)化顯著降低了延遲，提升了遠(yuǎn)程手術(shù)的實(shí)時(shí)性和可靠性；同時(shí)，本發(fā)明通過優(yōu)化關(guān)鍵區(qū)域的顯示質(zhì)量，還能減少醫(yī)生的視覺搜索負(fù)擔(dān)，提高操作效率。

技術(shù)研發(fā)人員：段星光,謝東升,賈通宇,馬鑫
受保護(hù)的技術(shù)使用者：北京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/15