本發(fā)明涉及數(shù)據(jù)信息處理技術(shù)領(lǐng)域，尤其涉及一種基于存儲(chǔ)系統(tǒng)的在線數(shù)據(jù)存儲(chǔ)優(yōu)化方法。

背景技術(shù)：

隨著數(shù)字化的多媒體信息尤其是數(shù)字視頻、音頻信號(hào)的數(shù)據(jù)量特別龐大，對(duì)于數(shù)據(jù)量的不斷海量。如果不對(duì)其進(jìn)行有效的數(shù)據(jù)存儲(chǔ)優(yōu)化處理就難以得到實(shí)際的應(yīng)用。因此，數(shù)據(jù)存儲(chǔ)優(yōu)化技術(shù)已成為當(dāng)今數(shù)字通信、廣播、存儲(chǔ)和多媒體娛樂中的一項(xiàng)關(guān)鍵的共性技術(shù)。各大領(lǐng)域?qū)εc存儲(chǔ)空間優(yōu)化技術(shù)要求越來越高。在對(duì)空間優(yōu)化技術(shù)要求高的同時(shí)也要保證數(shù)據(jù)存儲(chǔ)性能。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為解決現(xiàn)有技術(shù)存在的上述問題，提供一種基于存儲(chǔ)系統(tǒng)的在線數(shù)據(jù)存儲(chǔ)優(yōu)化方法；本發(fā)明通過有效的在線數(shù)據(jù)存儲(chǔ)優(yōu)化，可以降低磁盤介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率，且不影響存儲(chǔ)性能。對(duì)用戶來講，節(jié)省了存儲(chǔ)空間，從而降低了投入成本。本發(fā)明解決技術(shù)問題的技術(shù)方案為：

一種基于存儲(chǔ)系統(tǒng)的在線數(shù)據(jù)存儲(chǔ)優(yōu)化方法,包括以下步驟：

1)原始數(shù)據(jù)通過主機(jī)下發(fā)到存儲(chǔ)的緩存中，保存在緩存中的原始數(shù)據(jù)信息通過存儲(chǔ)鏡像復(fù)制功能，存放到兩個(gè)存儲(chǔ)控制器的nvram中，以確保數(shù)據(jù)的一致性；當(dāng)鏡像完成后，存儲(chǔ)向主機(jī)反饋信息，表明寫入操作已完成；

2)存儲(chǔ)系統(tǒng)對(duì)原始數(shù)據(jù)進(jìn)行在線數(shù)據(jù)存儲(chǔ)分析優(yōu)化，所述在線數(shù)據(jù)存儲(chǔ)分析優(yōu)化采用lz4壓縮算法，通過lz4壓縮算法形成多個(gè)數(shù)據(jù)優(yōu)化后的不同長度的數(shù)據(jù)塊；

3)將不同長度的多個(gè)數(shù)據(jù)塊邏輯上合并為數(shù)據(jù)組；

4)最后將數(shù)據(jù)組順序?qū)懭胱罱K存儲(chǔ)介質(zhì)中；

5)將存儲(chǔ)介質(zhì)中數(shù)據(jù)塊m以及同組所有數(shù)據(jù)塊，通過讀取操作存至系統(tǒng)內(nèi)存中；

6)將數(shù)據(jù)塊及同組所有數(shù)據(jù)塊，解除數(shù)據(jù)存儲(chǔ)優(yōu)化，更新數(shù)據(jù)塊進(jìn)中的數(shù)據(jù)；再次將更新后的數(shù)據(jù)塊以及同組數(shù)據(jù)塊通過lz4壓縮算法進(jìn)行數(shù)據(jù)存儲(chǔ)優(yōu)化操作；

7)從邏輯上合并進(jìn)入新的數(shù)據(jù)組，按照順序?qū)懭胱罱K的存儲(chǔ)介質(zhì)中及步驟4)中創(chuàng)建的卷中。

所述步驟4)的最終存儲(chǔ)介質(zhì)為ssd或者磁盤。

所述最終存儲(chǔ)介質(zhì)的管理包括以下內(nèi)容：

1)要在存儲(chǔ)上創(chuàng)建新卷；

2)配置卷基本信息：填寫卷名、卷的描述信息、卷性能策略、確認(rèn)應(yīng)用類型、加密功能配置、訪問控制策略(無限制訪問和限制訪問兩種)、chap名字以及允許多個(gè)initiator訪問的配置信息；

3)配置卷的尺寸信息：卷的大小、卷所在的卷組、重刪功能配置、卷空間配置的百分比數(shù)即預(yù)留的空間大小的配置信息；

4)配置卷保護(hù)策略信息：暫不不做快照備份策略、加入已有的一致性組、創(chuàng)建一個(gè)新的卷組、將卷單獨(dú)進(jìn)行保護(hù)，只需選擇其中一個(gè)保護(hù)策略；

5)通過以上操作新卷創(chuàng)建完成，數(shù)據(jù)組按照順序?qū)懭氪鎯?chǔ)介質(zhì)中；優(yōu)化后的數(shù)據(jù)能夠降低存儲(chǔ)介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率。

本發(fā)明的有益效果：

1.本發(fā)明的方法采用有后備電源的鏡像nvram(非易失緩存)做寫緩存掉電安全保護(hù)，數(shù)據(jù)同時(shí)寫入普通內(nèi)存和nvram，并在兩個(gè)控制器的nvram之間做鏡像復(fù)制，鏡像完成后就向主機(jī)回復(fù)寫入操作完成，然后存儲(chǔ)系統(tǒng)對(duì)在內(nèi)存中的數(shù)據(jù)進(jìn)行優(yōu)化處理，在線數(shù)據(jù)存儲(chǔ)優(yōu)化技術(shù)的基礎(chǔ)是變長數(shù)據(jù)塊布局，在線數(shù)據(jù)存儲(chǔ)優(yōu)化技術(shù)選用的lz4壓縮算法，實(shí)現(xiàn)了快速和資源成本低的效果，因此對(duì)控制器的cpu、內(nèi)存等資源占用很少，數(shù)據(jù)存儲(chǔ)優(yōu)化的效果好，系統(tǒng)整體基本不受影響，不需要考慮在線數(shù)據(jù)優(yōu)化處理對(duì)性能的影響。通過實(shí)施示例中步驟3、6有效的在線數(shù)據(jù)存儲(chǔ)優(yōu)化，可以降低存儲(chǔ)介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率，對(duì)用戶來講，節(jié)省了存儲(chǔ)空間，從而降低了投入成本。

2.本發(fā)明中使用的nvram益處：在斷電之后，所存儲(chǔ)的數(shù)據(jù)不丟失，提高了數(shù)據(jù)的安全性；nvram是在dram和存儲(chǔ)介質(zhì)之間建立的一個(gè)新存儲(chǔ)層級(jí)，性能優(yōu)異、可靠性超高；nvram里有一個(gè)專門移動(dòng)數(shù)據(jù)的處理器，會(huì)代替cpu把數(shù)據(jù)移動(dòng)到nvram里，從而降低cpu資源的占用率。

3.本發(fā)明的方法最終存儲(chǔ)的介質(zhì)，如sdd或者磁盤，不僅可以通過管理進(jìn)行基本的配置，而且還可以根據(jù)不同應(yīng)用，選擇相關(guān)的配置信息，能夠多元化的滿足用戶的不同需求，為用戶提供量身定制的數(shù)據(jù)存儲(chǔ)優(yōu)化方法。

4.本發(fā)明除虛擬化桌面vdi環(huán)境外，數(shù)據(jù)存儲(chǔ)優(yōu)化在更多的應(yīng)用環(huán)境中效率優(yōu)于重復(fù)數(shù)據(jù)刪除，有效的在線數(shù)據(jù)存儲(chǔ)優(yōu)化，可以降低磁盤介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率。

附圖說明

圖1為發(fā)明的數(shù)據(jù)存儲(chǔ)優(yōu)化流程圖。

具體實(shí)施方式

為了更好地理解本發(fā)明，下面結(jié)合附圖來詳細(xì)解釋本發(fā)明的實(shí)施方式。

參考圖1，一種基于存儲(chǔ)系統(tǒng)的在線數(shù)據(jù)存儲(chǔ)優(yōu)化方法,包括以下步驟：1)原始數(shù)據(jù)通過主機(jī)下發(fā)到存儲(chǔ)的緩存中，保存在緩存中的原始數(shù)據(jù)信息通過存儲(chǔ)鏡像復(fù)制功能，存放到兩個(gè)存儲(chǔ)控制器的nvram中，以確保數(shù)據(jù)的一致性；當(dāng)鏡像完成后，存儲(chǔ)向主機(jī)反饋信息，表明寫入操作已完成；

2)存儲(chǔ)系統(tǒng)對(duì)原始數(shù)據(jù)進(jìn)行在線數(shù)據(jù)存儲(chǔ)分析優(yōu)化，所述在線數(shù)據(jù)存儲(chǔ)分析優(yōu)化采用lz4壓縮算法，通過lz4壓縮算法形成多個(gè)數(shù)據(jù)優(yōu)化后的不同長度的數(shù)據(jù)塊。lz4壓縮算法對(duì)以快速和資源開銷小為目標(biāo)的壓縮算法，因此對(duì)控制器的cpu、內(nèi)存等資源占用很少，對(duì)性能也是微小的影響，最多3％的性能影響；

3)將不同長度的多個(gè)數(shù)據(jù)塊邏輯上合并為數(shù)據(jù)組，即數(shù)據(jù)條帶；

4)最后將數(shù)據(jù)組順序?qū)懭胱罱K存儲(chǔ)介質(zhì)中。

5)將存儲(chǔ)介質(zhì)中數(shù)據(jù)塊m以及同組所有數(shù)據(jù)塊，通過讀取操作存至系統(tǒng)內(nèi)存中；

6)將數(shù)據(jù)塊m及同組所有數(shù)據(jù)塊，解除數(shù)據(jù)存儲(chǔ)優(yōu)化，更新數(shù)據(jù)塊m進(jìn)中的數(shù)據(jù)；再次將更新后的數(shù)據(jù)塊m’以及同組數(shù)據(jù)塊進(jìn)行數(shù)據(jù)存儲(chǔ)優(yōu)化操作，同步驟(2)中采用了lz4壓縮算法的數(shù)據(jù)存儲(chǔ)優(yōu)化技術(shù)?？梢越档痛鎯?chǔ)介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率，節(jié)省了存儲(chǔ)空間降低了成本；

7)從邏輯上合并進(jìn)入新的數(shù)據(jù)組，即數(shù)據(jù)條帶。按照順序?qū)懭胱罱K的存儲(chǔ)介質(zhì)中及步驟4)中創(chuàng)建的卷中。

所述步驟4)的最終存儲(chǔ)介質(zhì)為ssd或者磁盤。

所述最終存儲(chǔ)介質(zhì)的管理包括以下內(nèi)容：

1)要在存儲(chǔ)上創(chuàng)建新卷；

2)配置卷基本信息：填寫卷名、卷的描述信息、卷性能策略、確認(rèn)應(yīng)用類型、加密功能配置、訪問控制策略(無限制訪問和限制訪問兩種)、chap名字以及允許多個(gè)initiator訪問的配置信息；

3)配置卷的尺寸信息：卷的大小、卷所在的卷組、重刪功能配置、卷空間配置的百分比數(shù)即預(yù)留的空間大小的配置信息；

4)配置卷保護(hù)策略信息：暫不不做快照備份策略、加入已有的一致性組、創(chuàng)建一個(gè)新的卷組、將卷單獨(dú)進(jìn)行保護(hù)，只需選擇其中一個(gè)保護(hù)策略；

5)通過以上操作新卷創(chuàng)建完成，數(shù)據(jù)組按照順序?qū)懭氪鎯?chǔ)介質(zhì)中；優(yōu)化后的數(shù)據(jù)能夠降低存儲(chǔ)介質(zhì)進(jìn)行重復(fù)數(shù)據(jù)刪除時(shí)的存儲(chǔ)消耗，從而提高磁盤使用率。

上述雖然結(jié)合附圖對(duì)發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。