本公開涉及一種用于處理使用超透鏡獲得的圖像的電子設(shè)備及其操作方法。具體地，本公開提供一種用于通過(guò)使用人工智能(ai)模型來(lái)執(zhí)行用于從編碼圖像中檢測(cè)、分類或分割對(duì)象的圖像處理的電子設(shè)備。

背景技術(shù)：

1、近來(lái)，相機(jī)已經(jīng)安裝在諸如tv、冰箱或機(jī)器人真空吸塵器的家用電器或物聯(lián)網(wǎng)(iot)設(shè)備中，并且由相機(jī)捕獲的圖像越來(lái)越多地用于監(jiān)測(cè)對(duì)象。隨著基于視覺識(shí)別的人工智能(ai)技術(shù)的進(jìn)步，當(dāng)相機(jī)用于在諸如在家中或在室內(nèi)環(huán)境中的不應(yīng)暴露個(gè)人隱私的地方進(jìn)行監(jiān)測(cè)時(shí)，存在由于圖像數(shù)據(jù)的劫持或黑客攻擊而導(dǎo)致個(gè)人信息泄露的風(fēng)險(xiǎn)。

2、用于防止個(gè)人信息泄漏的常規(guī)方法可以包括使用事件相機(jī)的方法，事件相機(jī)不通過(guò)接收從對(duì)象反射的光來(lái)獲得紅綠藍(lán)(rgb)圖像，而是基于光的亮度(強(qiáng)度)的改變程度來(lái)獲得圖像。事件相機(jī)在隱私保護(hù)和防止個(gè)人信息泄露方面是有利的，這是因?yàn)樗鼈儾猾@得人類視覺上可識(shí)別的rgb圖像。然而，使用事件相機(jī)的方法具有的限制在于，僅當(dāng)光的強(qiáng)度存在改變時(shí)，事件相機(jī)才能夠獲得圖像。

技術(shù)實(shí)現(xiàn)思路

1、問題的解決方案

2、根據(jù)本公開的一方面，一種用于從通過(guò)超透鏡獲得的圖像中獲得識(shí)別對(duì)象的結(jié)果的電子設(shè)備。根據(jù)本公開的實(shí)施例，一種電子設(shè)備可以包括超透鏡，該超透鏡具有形成在其表面上并由具有彼此不同的形狀、高度和面積的多個(gè)柱或銷組成的圖案，并具有通過(guò)表面上的圖案來(lái)調(diào)制從對(duì)象反射的光的相位的光學(xué)屬性。根據(jù)本公開的實(shí)施例，電子設(shè)備可以包括圖像傳感器，該圖像傳感器被配置為通過(guò)接收從對(duì)象反射并通過(guò)穿透超透鏡進(jìn)行相位調(diào)制的光并且將接收的光轉(zhuǎn)換成電信號(hào)來(lái)獲得編碼圖像。根據(jù)本公開的實(shí)施例，電子設(shè)備可以包括至少一個(gè)處理器，至少一個(gè)處理器被配置為將編碼圖像輸入到人工智能(ai)模型，并通過(guò)使用ai模型執(zhí)行推斷來(lái)獲得與識(shí)別對(duì)象的結(jié)果相對(duì)應(yīng)的標(biāo)簽。在本公開的實(shí)施例中，ai模型可以是神經(jīng)網(wǎng)絡(luò)模型，其被訓(xùn)練為通過(guò)將紅綠藍(lán)(rgb)圖像輸入到反映超透鏡的光學(xué)屬性的模型來(lái)獲得模擬圖像，并輸出指示輸入rgb圖像的真值(ground?truth)的標(biāo)簽作為識(shí)別獲得的模擬圖像的結(jié)果。在本公開的實(shí)施例中，ai模型可以被訓(xùn)練為最小化指示rgb圖像與模擬圖像之間的相似性的信息。

3、根據(jù)本公開的另一方面，提供一種由電子設(shè)備執(zhí)行的從通過(guò)超透鏡獲得的圖像中識(shí)別對(duì)象的方法。該方法可以包括通過(guò)接收從對(duì)象反射并通過(guò)穿透超透鏡進(jìn)行相位調(diào)制的光并將接收的光轉(zhuǎn)換成電信號(hào)來(lái)獲得編碼圖像。該方法可以包括將編碼圖像輸入到ai模型，并通過(guò)使用ai模型執(zhí)行推斷來(lái)獲得指示識(shí)別對(duì)象的結(jié)果的標(biāo)簽。

4、根據(jù)本公開的另一方面，提供一種包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的計(jì)算機(jī)程序產(chǎn)品。存儲(chǔ)介質(zhì)可以包括指令，指令可由電子設(shè)備讀取以通過(guò)接收從對(duì)象反射并通過(guò)穿透超透鏡進(jìn)行相位調(diào)制的光并將接收的光轉(zhuǎn)換成電信號(hào)來(lái)獲得編碼圖像，并且將編碼圖像輸入到ai模型并通過(guò)使用ai模型執(zhí)行推斷來(lái)獲得指示識(shí)別對(duì)象的結(jié)果的標(biāo)簽。

技術(shù)特征：

1.一種電子設(shè)備(100)，包括：

2.根據(jù)權(quán)利要求1所述的電子設(shè)備(100)，其中：

3.根據(jù)權(quán)利要求2所述的電子設(shè)備(100)，還包括：通過(guò)經(jīng)由反向傳播更新權(quán)重來(lái)訓(xùn)練第一ai模型(210)，反向傳播應(yīng)用表示rgb圖像與模擬圖像之間的相似性的互信息作為損失，使得互信息被最小化。

4.根據(jù)權(quán)利要求3所述的電子設(shè)備(100)，其中，第一ai模型(210)被訓(xùn)練為通過(guò)最小化表示rgb圖像與模擬圖像在向量空間中的分布之間的相關(guān)性kullback-leibler(kl)散度來(lái)最小化損失。

5.根據(jù)權(quán)利要求3所述的電子設(shè)備(100)，其中：

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的電子設(shè)備(100)，其中，

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的電子設(shè)備(100)，其中，

8.一種由電子設(shè)備(100)執(zhí)行的從通過(guò)超透鏡(110)獲得的圖像中獲得識(shí)別對(duì)象的結(jié)果的方法，所述方法包括：

9.根據(jù)權(quán)利要求8所述的方法，其中，

10.根據(jù)權(quán)利要求9所述的方法，其中，通過(guò)經(jīng)由反向傳播更新權(quán)重來(lái)訓(xùn)練第一ai模型(210)，反向傳播應(yīng)用表示rgb圖像與模擬圖像之間的相似性的互信息作為損失，使得互信息被最小化。

11.根據(jù)權(quán)利要求10所述的方法，其中，第一ai模型(210)被訓(xùn)練為通過(guò)最小化表示rgb圖像與模擬圖像在向量空間中的分布之間的相關(guān)性的kullback-leibler(kl)散度來(lái)最小化損失。

12.根據(jù)權(quán)利要求10所述的方法，其中，

13.根據(jù)權(quán)利要求8至12中任一項(xiàng)所述的方法，其中，

14.根據(jù)權(quán)利要求8至13中任一項(xiàng)所述的方法，還包括：

15.一種包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，其中，

技術(shù)總結(jié)
提供一種用于從使用超透鏡獲得的圖像獲得識(shí)別對(duì)象的結(jié)果的電子設(shè)備、以及一種電子設(shè)備的操作方法。根據(jù)本公開的實(shí)施例的電子設(shè)備可以包括：超透鏡，具有形成在其表面上并由具有彼此不同的形狀、高度和面積的多個(gè)柱或銷組成的圖案，并具有通過(guò)表面上的圖案來(lái)調(diào)制從對(duì)象反射的光的相位的光學(xué)屬性；圖像傳感器，被配置為通過(guò)接收從對(duì)象反射并通過(guò)穿透超透鏡進(jìn)行相位調(diào)制的光并將接收的光轉(zhuǎn)換成電信號(hào)來(lái)獲得編碼圖像；以及至少一個(gè)處理器，被配置為將編碼圖像輸入到人工智能(AI)模型，并通過(guò)使用AI模型進(jìn)行推斷來(lái)獲得指示識(shí)別對(duì)象的結(jié)果的標(biāo)簽。

技術(shù)研發(fā)人員：李廷旻,樸永五,崔光杓
受保護(hù)的技術(shù)使用者：三星電子株式會(huì)社
技術(shù)研發(fā)日：
技術(shù)公布日：2025/5/22