海量存儲場景下存儲系統(tǒng)的挑戰(zhàn)與應(yīng)對

伴隨著各種終端技術(shù)及網(wǎng)絡(luò)的發(fā)展，人類感知世界，探索世界的步伐越來越快，大量的數(shù)據(jù)被采集并記錄。種種數(shù)據(jù)表明，人類已進(jìn)入信息爆炸時代。從IDC研究來看，從2009年到2020年，全球信息總量增長44倍以上，將達(dá)到35.2ZB（1ZB=1,000,000PB），而每一家組織都將面臨需要存儲至少10倍以上數(shù)據(jù)量的現(xiàn)狀。存儲系統(tǒng)的容量需求已經(jīng)從幾十T發(fā)展到幾十P甚至100P以上，我們把這種場景稱為海量存儲場景。海量存儲場景對存儲系統(tǒng)提出了巨大挑戰(zhàn)。

傳統(tǒng)存儲架構(gòu)很難應(yīng)對海量存儲場景所引發(fā)的諸多問題。首先，傳統(tǒng)IT系統(tǒng)多為“煙囪式”架構(gòu)，一平臺一應(yīng)用，如果需要擴(kuò)容，原有的架構(gòu)和部署方式必然發(fā)生巨大變化，并且多系統(tǒng)之間很難實現(xiàn)數(shù)據(jù)共享，擴(kuò)容成本極高。其次，多套系統(tǒng)造成管理、維護(hù)效率低下。研究表明，IT系統(tǒng)用于維護(hù)的費用占到整體費用的72%，遠(yuǎn)高于首次采購設(shè)備的費用。而這一狀況在進(jìn)入海量存儲時代后變得更加突出。

需求與現(xiàn)狀正在產(chǎn)生巨大矛盾。如何降低整體擁有成本，提高管理維護(hù)效率，保證業(yè)務(wù)連續(xù)性是當(dāng)前存儲系統(tǒng)亟待解決的難題。

海量存儲系統(tǒng)應(yīng)運而生

新的產(chǎn)品與服務(wù)不斷出現(xiàn)以解決上文提到的矛盾，公有云服務(wù)是有效手段之一。企業(yè)采用“以租代買”的方式，把建設(shè)與管理IT設(shè)施的風(fēng)險交給了運營商。云服務(wù)運營商提供近乎無限的存儲空間供用戶使用，“按需購買”的付費方式也降低了用戶使用IT設(shè)施的門檻，從而解決了擴(kuò)展性和成本的問題。因此公有云市場最近幾年發(fā)展迅猛，其中最具代表的就是亞馬遜，存儲在亞馬遜的對象數(shù)在2011年增長了192%，達(dá)到7千億個，相當(dāng)于為整個地球上每個人提供近100個對象存儲。

然而公有云并不能解決所有問題。網(wǎng)絡(luò)存儲對帶寬消耗巨大，同時出于安全性的考慮，一些企業(yè)也不愿把自己苦心經(jīng)營得到的數(shù)據(jù)存放到第三方數(shù)據(jù)中心。因此很多企業(yè)選擇自建數(shù)據(jù)中心。他們選擇低廉的服務(wù)器與存儲，基于開源軟件進(jìn)行研究與開發(fā)，自建海量廉價資源池。但這種方式對研發(fā)及測試實力要求極高，中小企業(yè)很難做到。大型企業(yè)往往投入大量人力物力也無法做到商用要求，得不償失。

不論是借助公有云還是自建數(shù)據(jù)中心，背后對存儲的需求是一致的，最突出的就是極高的擴(kuò)展性及極低的TCO。只有解決了這兩個難題，系統(tǒng)才能在海量存儲場景下，滿足高速發(fā)展的業(yè)務(wù)增長需求。

這種以高擴(kuò)展和低TCO為核心訴求的存儲顯然不是現(xiàn)有存儲系統(tǒng)所具備的?，F(xiàn)有存儲不論是SAN還是集群NAS，都很難滿足100PB以上的部署要求。因此，一種新的存儲類型應(yīng)運而生，它可以滿足海量存儲場景下的部署要求，追求極強(qiáng)的擴(kuò)展性，極低的TCO，以及較好的開放性以應(yīng)對各種上層應(yīng)用，而這種新的存儲類型對網(wǎng)絡(luò)時延要求較低。我們把這種新的存儲類型稱為海量存儲系統(tǒng)。

近幾年部件技術(shù)的快速發(fā)展也為海量存儲系統(tǒng)的誕生創(chuàng)造了條件。磁盤容量越來越高，從2TB，4TB到8TB，10TB，而磁盤單位容量的功耗越來越低。處理器計算能力越來越強(qiáng)，而每核所消耗的功耗也越來越低。同時萬兆以太網(wǎng)技術(shù)也在不斷成熟。這些都是海量存儲系統(tǒng)登上存儲歷史舞臺的必要條件。

華為UDS海量存儲系統(tǒng)開創(chuàng)EB級存儲未來

海量存儲系統(tǒng)以對象作為基本存儲形式。對象是數(shù)據(jù)和自描述信息的集合，是數(shù)據(jù)在磁盤上存儲的基本單元。對象存儲在文件系統(tǒng)的基礎(chǔ)上進(jìn)行優(yōu)化，通過降低文件系統(tǒng)目錄、接口的復(fù)雜度，提高了當(dāng)對象數(shù)量高速增長時系統(tǒng)的擴(kuò)展性。同時對象的智能自管理功能也能有效降低系統(tǒng)維護(hù)復(fù)雜度。

海量存儲系統(tǒng)適用于對容量要求極高，而網(wǎng)絡(luò)時延要求相對較低的應(yīng)用場景，如公有云存儲服務(wù)。一方面當(dāng)客戶數(shù)量快速增長時對存儲空間的需求難以預(yù)期，另一方面服務(wù)是通過互聯(lián)網(wǎng)提供的，用戶對網(wǎng)絡(luò)延遲具有較高的容忍度。海量存儲系統(tǒng)可以作為基礎(chǔ)架構(gòu)為用戶提供空間存儲服務(wù)，或基于存儲的上層業(yè)務(wù)服務(wù)。在行業(yè)應(yīng)用中也能找到適合海量存儲系統(tǒng)的應(yīng)用場景，如數(shù)據(jù)歸檔，媒資管理等。

UDS海量存儲系統(tǒng)是華為面向海量存儲市場推出的最新產(chǎn)品。UDS采用基于ARM架構(gòu)的低功耗、高密度存儲節(jié)點，通過對象存儲技術(shù)、P2P分布式存儲引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建海量對象存儲基礎(chǔ)架構(gòu)平臺，對外提供S3、NFS、CIFS等多種訪問接口，以滿足不同業(yè)務(wù)的適配需求?；赨DS可以構(gòu)建多種解決方案，如海量資源池，網(wǎng)盤，云備份，集中備份等。

如何解決海量數(shù)據(jù)所帶來的困境是信息化社會必須面對的問題。華為攜手運營商與行業(yè)客戶，基于UDS海量存儲系統(tǒng)，開拓創(chuàng)新，構(gòu)建強(qiáng)擴(kuò)展，易管理，高可靠的EB級數(shù)據(jù)管理方案，輕松應(yīng)對各種挑戰(zhàn)，開創(chuàng)海量數(shù)據(jù)業(yè)務(wù)的未來。

來源：CCTIME飛象網(wǎng)

　　版權(quán)及免責(zé)聲明：凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀