本發(fā)明涉及圖像線畫生成，具體地說，涉及基于位像轉(zhuǎn)換為非位像的圖像線畫生成系統(tǒng)。

背景技術(shù)：

1、在3d打印流程中，高質(zhì)量的模型數(shù)據(jù)是確保打印效果的基礎(chǔ)，位像雖能細膩呈現(xiàn)圖像細節(jié)（如中國專利申請?zhí)枺篶n202210079343.6），但因基于像素存儲，在3d打印的模型縮放、編輯過程中，易出現(xiàn)鋸齒、模糊等問題，嚴重影響打印精度與模型質(zhì)量，將位像轉(zhuǎn)換為非位像的圖像線畫，以矢量線條描述物體輪廓與結(jié)構(gòu)，能使模型在3d打印中實現(xiàn)無限縮放不失真，為了能夠通過對圖像進行特征提取，識別圖像的線畫密集程度，根據(jù)反饋損失信息，動態(tài)調(diào)整生成器參數(shù)，對圖像密集區(qū)域進行高精度線畫，同時，針對多個紋理的接痕處，進行特殊標記，保證3d打印的真實性，因此，我們提出基于位像轉(zhuǎn)換為非位像的圖像線畫生成系統(tǒng)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于解決3d打印在模型縮放、編輯過程中，易出現(xiàn)鋸齒、模糊等問題，嚴重影響打印精度與模型質(zhì)量，為了能夠通過對圖像進行特征提取，識別圖像的線畫密集程度，根據(jù)反饋損失信息，動態(tài)調(diào)整生成器參數(shù)，對圖像密集區(qū)域進行高精度線畫，同時，針對多個紋理的接痕處，進行特殊標記，保證3d打印的真實性。

2、為實現(xiàn)上述目的，本發(fā)明提供一種基于位像轉(zhuǎn)換為非位像的圖像線畫生成系統(tǒng)，包括位像采集模塊、特征提取模塊、接痕標記模塊和線畫生成模塊；

3、所述位像采集模塊采集圖像的深度圖像信息和顏色圖像信息生成融合數(shù)據(jù)，并將融合數(shù)據(jù)輸入至特征提取模塊建立提取特征的卷積神經(jīng)網(wǎng)絡(luò)模型，輸出圖像的結(jié)構(gòu)特征和邊緣特征；

4、所述接痕標記模塊利用幾何標記和顏色標記對不同紋理的接痕處進行特殊標記，并將接痕標記信息反饋至特征提取模塊，利用空間濾波方法，將接痕標記信息、圖像結(jié)構(gòu)特征和邊緣特征進行二次融合，生成線畫數(shù)據(jù)；

5、所述線畫生成模塊將線畫數(shù)據(jù)進行量化處理，根據(jù)量化后的特征對圖像的線畫密集程度進行分類，利用生成對抗網(wǎng)絡(luò)，通過判別器判定生成圖像與真實圖像之間的差異，并反饋損失信息，根據(jù)損失信息動態(tài)調(diào)整不同線畫密集程度下生成器的參數(shù)。

6、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

7、1.該基于位像轉(zhuǎn)換為非位像的圖像線畫生成系統(tǒng)中，通過位像采集模塊采集圖像的深度圖像信息和顏色圖像信息，將深度圖像與顏色圖像進行配準融合，生成融合數(shù)據(jù)，特征提取模塊以深度圖像和顏色圖像的融合數(shù)據(jù)為輸入，建立提取特征的卷積神經(jīng)網(wǎng)絡(luò)模型，提取圖像的結(jié)構(gòu)特征和邊緣特征，線畫生成模塊將提取的結(jié)構(gòu)特征和邊緣特征進行量化處理，根據(jù)量化后的特征對圖像的線畫密集程度進行分類，根據(jù)判別器反饋的損失信息，動態(tài)調(diào)整不同線畫密集程度下生成器的參數(shù)，實現(xiàn)針對圖像不同線畫密集程度，動態(tài)調(diào)整生成器的精度參數(shù)，提高打印精度與模型質(zhì)量；

8、2.接痕標記模塊對特征數(shù)據(jù)進行分析，識別不同紋理之間的接痕信息，利用幾何標記和顏色標記對不同紋理的接痕處進行特殊標記，并將接痕標記信息反饋至特征提取模塊，利用空間濾波方法，將接痕標記信息、圖像結(jié)構(gòu)特征和邊緣特征進行融合，在特征數(shù)據(jù)中突出接痕信息，保證3d打印的圖像層次分明，交界明顯，更具真實性。

9、在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進：

10、作為本技術(shù)方案的進一步改進，所述位像采集模塊利用特征匹配算法，將深度圖像與顏色圖像進行配準融合，生成融合數(shù)據(jù)，其步驟如下：

11、s1、圖像配準：使用標定板，通過獲取標定板在深度圖像和顏色圖像中的特征點，計算兩者之間的變換矩陣，從而將深度圖像和顏色圖像對齊到同一坐標系下；

12、s2、特征點檢測：利用特征點檢測算法，分別檢測深度圖像和顏色圖像中的特征點；

13、s3、特征匹配：計算深度圖像中每個特征點的描述符與顏色圖像中所有特征點的描述符之間的距離，選擇距離最小的特征點作為匹配點；

14、s4、圖像融合：根據(jù)匹配好的特征點，采用加權(quán)平均的方法，為深度信息和顏色信息分配不同的權(quán)重，然后將對應(yīng)位置的像素值進行加權(quán)組合。

15、采用上述進一步方案的有益效果是，在采集圖像信息時，顏色圖像包含了豐富的紋理、色彩等視覺信息，深度圖像可以更準確地確定物體的位置和邊界，利用特征匹配算法能夠找到深度圖像和顏色圖像中對應(yīng)的特征點，通過這些特征點將兩幅圖像進行精確的配準，避免了信息的錯位或偏差，從而實現(xiàn)更精準的信息融合，融合后的圖像能為目標識別算法提供更豐富的特征，從而提高識別的準確率和定位的精度。

16、作為本技術(shù)方案的進一步改進，所述特征提取模塊包括建立模型單元和提取特征單元；

17、所述建立模型單元對融合數(shù)據(jù)進行數(shù)據(jù)增強操作，將增強后的融合數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集，根據(jù)融合數(shù)據(jù)的維度，定義輸入層維度，采用多個卷積層堆疊構(gòu)建基礎(chǔ)卷積塊，提取不同尺度的局部特征，并在卷積層之間插入池化層，利用全連接層將提取到的特征映射到輸出空間，由輸出層分別輸出圖像的結(jié)構(gòu)特征和邊緣特征，建立提取特征的卷積神經(jīng)網(wǎng)絡(luò)模型；

18、所述提取特征單元將卷積神經(jīng)網(wǎng)絡(luò)輸出圖像的結(jié)構(gòu)特征和邊緣特征與輸入融合數(shù)據(jù)進行對比，采用均方誤差損失函數(shù)，衡量卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測的結(jié)構(gòu)特征與真實結(jié)構(gòu)特征之間的差異，并以差異值最小為目標，優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，進而精確地提取圖像的結(jié)構(gòu)特征和邊緣特征。

19、采用上述進一步方案的有益效果是，在建立提取特征的卷積神經(jīng)網(wǎng)絡(luò)模型時，每個卷積層都能學(xué)習(xí)到不同層次和類型的局部特征，淺層卷積層可以捕捉到圖像中較為簡單的特征，如邊緣、角點等低級特征，隨著卷積層的堆疊，網(wǎng)絡(luò)能夠逐漸學(xué)習(xí)到更復(fù)雜、更抽象的特征，如物體的部分、整體形狀等高級特征，通過這種方式，網(wǎng)絡(luò)可以從圖像中提取出豐富多樣的局部特征，有助于更全面地描述圖像的內(nèi)容；

20、在提取圖像的結(jié)構(gòu)特征和邊緣特征時，均方誤差損失函數(shù)直觀地衡量了預(yù)測結(jié)構(gòu)特征與真實結(jié)構(gòu)特征之間的平均平方差異，放大較大的差異，使得卷積神經(jīng)網(wǎng)絡(luò)模型更加關(guān)注那些預(yù)測效果較差的樣本，從而促使模型努力減少這些較大的誤差，提高整體的預(yù)測準確性。

21、作為本技術(shù)方案的進一步改進，所述建立模型單元將淺層卷積層的特征圖與深層卷積層的特征圖進行拼接，通過引入跳躍連接，使模型能夠同時利用不同層次的特征信息，保留圖像的細節(jié)和邊緣信息。

22、采用上述進一步方案的有益效果是，在卷積神經(jīng)網(wǎng)絡(luò)進行卷積操作時，淺層卷積層提取的特征圖通常包含圖像的低級、細節(jié)信息，深層卷積層的特征圖則更多地捕捉到圖像的高級、語義信息，通過將兩者拼接，模型可以融合多尺度的特征信息，既能夠利用淺層的細節(jié)特征進行精確的定位和描述，又可以借助深層的語義特征進行更抽象的理解和分類，從而提高對圖像內(nèi)容的全面理解和表達能力。

23、作為本技術(shù)方案的進一步改進，所述提取特征單元提取邊緣特征時，采用單通道卷積層，輸出與輸入圖像尺寸相同的單通道特征圖，提取關(guān)鍵結(jié)構(gòu)特征時，設(shè)計多個通道輸出，每個通道對應(yīng)不同類型的結(jié)構(gòu)特征。

24、采用上述進一步方案的有益效果是，針對邊緣特征，其本質(zhì)上是一種相對單一且明確的特征，單通道卷積層專注于捕捉這種單一類型的特征，能夠?qū)⑺械挠嬎阗Y源集中在檢測邊緣的存在和位置上，針對結(jié)構(gòu)特征，具有多樣性，如物體的形狀和紋理，不同類型的結(jié)構(gòu)特征需要不同的卷積核來進行提取，通過設(shè)計多個通道輸出，每個通道可以使用不同的卷積核，從而并行地提取不同類型的結(jié)構(gòu)特征。

25、作為本技術(shù)方案的進一步改進，所述接痕標記模塊根據(jù)接痕標記的顏色飽和度和亮度、標記尺寸和標記密度，確定標記強度，反映接痕的重要性和明顯程度。

26、采用上述進一步方案的有益效果是，在對接痕進行特殊標記時，通過對顏色飽和度、亮度、尺寸和密度這些具體屬性的測量和分析，可以將接痕的特征進行量化。不再是模糊地描述接痕的明顯程度，而是有了具體的數(shù)值或等級來表示，使得對接痕的評估更加準確和客觀。

27、作為本技術(shù)方案的進一步改進，所述線畫生成模塊包括線畫區(qū)分單元和參數(shù)調(diào)整單元；

28、所述線畫區(qū)分單元利用基于閾值量化方法對線畫數(shù)據(jù)進行量化，根據(jù)量化后的特征對線畫密集程度進行區(qū)分；

29、所述參數(shù)調(diào)整單元將特征融合后的線畫數(shù)據(jù)和隨機噪聲向量輸入至生成器，由判別器對生成器生成的圖像進行判斷，構(gòu)建生成對抗網(wǎng)絡(luò)，根據(jù)判別器反饋的損失信息，動態(tài)調(diào)整不同線畫密集程度下生成器的參數(shù)，生成精確的線畫圖像。

30、采用上述進一步方案的有益效果是，對線畫數(shù)據(jù)進行量化時，根據(jù)閾值將特征值進行分類，能夠突出數(shù)據(jù)中的關(guān)鍵信息。在區(qū)分線畫密集程度時，通過閾值量化可以將線畫部分和背景部分清晰地區(qū)分開來，只關(guān)注線畫區(qū)域的特征，忽略背景等無關(guān)信息，使對線畫密集程度的分析更加專注和有效；

31、在動態(tài)調(diào)整不同線畫密集程度下生成器的參數(shù)時，生成器通過學(xué)習(xí)特征融合后的線畫數(shù)據(jù)，能夠捕捉到不同線畫密集程度下的圖像特征，隨機噪聲向量的加入則增加了生成圖像的多樣性，判別器不斷對生成器生成的圖像進行判斷，并反饋損失信息，促使生成器根據(jù)這些反饋調(diào)整參數(shù)，從而更準確地學(xué)習(xí)到真實數(shù)據(jù)的分布，生成更逼真、質(zhì)量更高的圖像。

32、作為本技術(shù)方案的進一步改進，所述參數(shù)調(diào)整單元內(nèi)判別器的損失信息由兩部分組成，圖像真假判別損失和線畫密集程度判別損失，其中，圖像真假判別損失的公式為：

33、；

34、其中，為圖像真假判別損失，為批量大小，為標簽，為真實圖像，為隨機噪聲向量，為線畫密集程度標簽，為判別器對真實圖像和標簽的輸出，為生成器根據(jù)噪聲向量和線畫密集程度標簽生成的圖像；

35、其中，線畫密集程度判別損失的公式為：

36、；

37、其中，為線畫密集程度判別損失，為批量大小，為真實圖像，為隨機噪聲向量，為線畫密集程度標簽，為判別器對真實圖像和標簽的輸出，為生成器根據(jù)噪聲向量和線畫密集程度標簽生成的圖像。

38、采用上述進一步方案的有益效果是，通過上述公式，能夠準確的計算出圖像真假判別損失和線畫密集程度判別損失，圖像真假判別損失和線畫密集程度判別損失各自引導(dǎo)模型在不同方面進行學(xué)習(xí)和優(yōu)化，避免模型在訓(xùn)練過程中過于偏向某一方面而導(dǎo)致失衡。

39、作為本技術(shù)方案的進一步改進，所述參數(shù)調(diào)整單元引入注意力機制，通過縮放點積注意力的方式，計算注意力權(quán)重，對生成器圖像中的重要區(qū)域進行關(guān)注，突出重要特征。

40、采用上述進一步方案的有益效果是，在生成器生成圖像時，注意力機制能夠自動識別生成器圖像中的重要區(qū)域，如物體的輪廓、細節(jié)部分等，并給予這些區(qū)域更高的關(guān)注度，通過對關(guān)鍵特征的強化，生成的圖像在視覺上更加清晰、準確，能夠更好地呈現(xiàn)出物體的形態(tài)和結(jié)構(gòu)，提高圖像的整體質(zhì)量和真實感。

41、作為本技術(shù)方案的進一步改進，所述參數(shù)調(diào)整單元利用前向傳播對判別器和生成器進行訓(xùn)練，通過反向傳播進行參數(shù)更新，生成器會根據(jù)判別器反饋的損失信息不斷調(diào)整生成器參數(shù)。

42、采用上述進一步方案的有益效果是，在判別器和生成器進行訓(xùn)練時，前向傳播和反向傳播的過程使得生成器和判別器能夠相互作用、相互制約，生成器試圖最小化判別器反饋的損失，而判別器則試圖最大化這個損失，這種對抗性的訓(xùn)練方式能夠在兩者之間找到一種平衡，通過不斷調(diào)整生成器參數(shù)，能夠避免生成器和判別器中的任何一方過于強大或過于弱小，從而保證整個生成對抗網(wǎng)絡(luò)的穩(wěn)定訓(xùn)練。

43、除了上面所描述的目的、特征和優(yōu)點之外，本發(fā)明還有其他的目的、特征和優(yōu)點。下面將參照圖，對本發(fā)明作進一步詳細的說明。