面向海量數(shù)據(jù)的云存儲(chǔ)技術(shù)研究

　　當(dāng)今社會(huì)發(fā)展的主題是經(jīng)濟(jì)的快速發(fā)展，伴隨著Internet技術(shù)的快速推進(jìn)，數(shù)據(jù)量更是呈現(xiàn)出爆炸式的增長(zhǎng)。隨著數(shù)據(jù)量的急劇增長(zhǎng)，對(duì)所需的存儲(chǔ)系統(tǒng)有更高的要求———更大存儲(chǔ)容量、更強(qiáng)的性能、更高的安全性級(jí)別、進(jìn)一步智能化等，傳統(tǒng)的SAN 或NAS 存儲(chǔ)技術(shù)面對(duì)PB 級(jí)甚至EB 級(jí)海量數(shù)據(jù)，存在容量、性能、擴(kuò)展性和費(fèi)用上的瓶頸，已經(jīng)無(wú)法滿足新形勢(shì)下數(shù)據(jù)存儲(chǔ)要求。因此，為了應(yīng)對(duì)不斷變大的存儲(chǔ)容量、不斷加入的新型存儲(chǔ)設(shè)備、不斷擴(kuò)展的存儲(chǔ)系統(tǒng)規(guī)模，云存儲(chǔ)作為一種全新的解決方案被提出，備受業(yè)界的認(rèn)可和關(guān)愛(ài)。

　　1.云存儲(chǔ)概念

　　云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來(lái)的一個(gè)新概念，專注于解決云計(jì)算中海量數(shù)據(jù)的存儲(chǔ)挑戰(zhàn)，它不但能夠給云計(jì)算服務(wù)提供專業(yè)的存儲(chǔ)解決方案，而且還可以獨(dú)立的發(fā)布存儲(chǔ)服務(wù)。云存儲(chǔ)是指綜合分布式文件系統(tǒng)、集群應(yīng)用和網(wǎng)格技術(shù)等技術(shù)， 通過(guò)應(yīng)用軟件讓網(wǎng)絡(luò)中存在的大量的、不同類型的存儲(chǔ)設(shè)備協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。

　　云存儲(chǔ)的本質(zhì)是一種可擴(kuò)展、高速、低成本的基于Web的特殊形式的實(shí)用型服務(wù)，是一種服務(wù)理念，而不是存儲(chǔ)，不是一些具體的設(shè)備，它提供了多個(gè)用戶通過(guò)互聯(lián)網(wǎng)連接訪問(wèn)共享存儲(chǔ)池的能力。用戶不需要了解系統(tǒng)是怎么構(gòu)成的，也不需要了解怎么提供存儲(chǔ)，所有設(shè)備對(duì)用戶來(lái)說(shuō)都是完全透明的，任何一個(gè)經(jīng)授權(quán)的合法用戶無(wú)論在何方都可以通過(guò)網(wǎng)絡(luò)與云存儲(chǔ)連接，享用云服務(wù)。

　　2.云存儲(chǔ)的結(jié)構(gòu)模型

　　云存儲(chǔ)是一個(gè)以存儲(chǔ)設(shè)備為核心，由多部分組成的復(fù)雜系統(tǒng)，通過(guò)一些應(yīng)用軟件來(lái)對(duì)外提供服務(wù)。其結(jié)構(gòu)模型由以下四層組成。

　　2.1 存儲(chǔ)層

　　云存儲(chǔ)中最基礎(chǔ)的部分是存儲(chǔ)層， 位于云存儲(chǔ)的最底層。該層可有多種存儲(chǔ)設(shè)備供選擇使用，可以是IP 存儲(chǔ)設(shè)備，也可以是DAS 存儲(chǔ)設(shè)備，或者是光纖通道存儲(chǔ)設(shè)備。云存儲(chǔ)中的存儲(chǔ)設(shè)備種類、數(shù)量眾多，并且分布在不同地理位置，它們之間通過(guò)互聯(lián)網(wǎng)、光纖通道網(wǎng)絡(luò)等各種網(wǎng)絡(luò)連接在一起。

　　2.2 基礎(chǔ)管理層

　　云存儲(chǔ)中比較難實(shí)現(xiàn)的部分是基礎(chǔ)管理層，也是云存儲(chǔ)中最核心的一層。應(yīng)用集群、分布式文件系統(tǒng)、網(wǎng)格計(jì)算等技術(shù)，通過(guò)基礎(chǔ)管理層來(lái)實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使得這些設(shè)備對(duì)外向用戶提供一致服務(wù)。為了保護(hù)用戶數(shù)據(jù)的安全性和私密性， 云存儲(chǔ)使用了數(shù)據(jù)加密技術(shù)、內(nèi)容分發(fā)技術(shù)、數(shù)據(jù)備份和容災(zāi)技術(shù)等，使得用戶的數(shù)據(jù)不被竊取、泄密或丟失。

　　2.3 應(yīng)用接口層

　　云存儲(chǔ)最靈活多變的部分是應(yīng)用接口層。云存儲(chǔ)服務(wù)商根據(jù)實(shí)際業(yè)務(wù)需求，可以開發(fā)遠(yuǎn)程數(shù)據(jù)備份、視頻點(diǎn)播平臺(tái)等不同類型的服務(wù)接口，提供相應(yīng)的應(yīng)用服務(wù)。

　　2.4 訪問(wèn)層

　　云存儲(chǔ)的要求是只有經(jīng)過(guò)授權(quán)的用戶才可以通過(guò)標(biāo)準(zhǔn)的應(yīng)用接口登陸系統(tǒng)，才能享用里面的各項(xiàng)服務(wù)，但是服務(wù)商所提供的訪問(wèn)手段和訪問(wèn)類型因采用的手段不同而不同。

　　3.云存儲(chǔ)關(guān)鍵技術(shù)

　　3.1 存儲(chǔ)虛擬化技術(shù)

　　存儲(chǔ)虛擬化技術(shù)是云存儲(chǔ)的核心技術(shù)。通過(guò)存儲(chǔ)虛擬化方法，把不同廠商、不同型號(hào)、不同通信技術(shù)、不同類型的存儲(chǔ)設(shè)備的互聯(lián)起來(lái)，將系統(tǒng)中各種異構(gòu)的存儲(chǔ)設(shè)備映射為一個(gè)統(tǒng)一的存儲(chǔ)資源池。存儲(chǔ)虛擬化技術(shù)能夠?qū)Υ鎯?chǔ)資源進(jìn)行統(tǒng)一分配管理，又可以屏蔽存儲(chǔ)實(shí)體間的物理位置以及異構(gòu)特性，實(shí)現(xiàn)了資源對(duì)用戶的透明性，降低了構(gòu)建、管理和維護(hù)資源的成本，從而提升云存儲(chǔ)系統(tǒng)的資源利用率。

　　3.2 分布式存儲(chǔ)技術(shù)

　　分布式存儲(chǔ)是通過(guò)網(wǎng)絡(luò)使用服務(wù)商提供的各個(gè)存儲(chǔ)設(shè)備上的存儲(chǔ)空間，并將這些分散的存儲(chǔ)資源構(gòu)成一個(gè)虛擬的存儲(chǔ)設(shè)備，數(shù)據(jù)分散的存儲(chǔ)在各個(gè)存儲(chǔ)設(shè)備上。它所涉及的主要技術(shù)有網(wǎng)絡(luò)存儲(chǔ)技術(shù)、分布式文件系統(tǒng)和網(wǎng)格存儲(chǔ)技術(shù)等，利用這些技術(shù)實(shí)現(xiàn)云存儲(chǔ)中不同存儲(chǔ)設(shè)備、不同應(yīng)用、不同服務(wù)的協(xié)同工作。

　　3.3 重復(fù)數(shù)據(jù)刪除技術(shù)

　　隨著數(shù)據(jù)中重復(fù)數(shù)據(jù)的數(shù)據(jù)量不斷增加，會(huì)導(dǎo)致重復(fù)的數(shù)據(jù)占用更多的空間。重復(fù)數(shù)據(jù)刪除技術(shù)一種非常高級(jí)的數(shù)據(jù)縮減技術(shù)，可以極大的減少備份數(shù)據(jù)的數(shù)量，通常用于基于磁盤的備份系統(tǒng)，通過(guò)刪除運(yùn)算，消除冗余的文件、數(shù)據(jù)塊或字節(jié)，以保證只有單一的數(shù)據(jù)存儲(chǔ)在系統(tǒng)中。其目的是減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量，增大可用的存儲(chǔ)空間，增加網(wǎng)絡(luò)傳輸中的有效數(shù)據(jù)量。然而重復(fù)刪除運(yùn)算相當(dāng)消耗運(yùn)算資源，對(duì)存取能效會(huì)造成相當(dāng)程度沖擊，要應(yīng)用在對(duì)存取能效較敏感的網(wǎng)絡(luò)存儲(chǔ)設(shè)備上，將會(huì)面臨許多困難。

　　3.4 數(shù)據(jù)備份技術(shù)

　　在以數(shù)據(jù)為中心的時(shí)代，數(shù)據(jù)的重要性無(wú)可置否，如何保護(hù)數(shù)據(jù)是一個(gè)永恒的話題， 即便是現(xiàn)在的云存儲(chǔ)發(fā)展時(shí)代，數(shù)據(jù)備份技術(shù)也非常重要。數(shù)據(jù)備份技術(shù)是將數(shù)據(jù)本身或者其中的部分在某一時(shí)間的狀態(tài)以特定的格式保存下來(lái)，以備原數(shù)據(jù)出現(xiàn)錯(cuò)誤、被誤刪除、惡意加密等各種原因不可用時(shí)，可快速準(zhǔn)確的將數(shù)據(jù)進(jìn)行恢復(fù)的技術(shù)。數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)， 是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護(hù)措施，根本目的是數(shù)據(jù)資源重新利用和保護(hù)，核心的工作是數(shù)據(jù)恢復(fù)。

　　3.5 存儲(chǔ)加密技術(shù)

　　存儲(chǔ)加密是指當(dāng)數(shù)據(jù)從前端服務(wù)器輸出，或在寫進(jìn)存儲(chǔ)設(shè)備之前通過(guò)系統(tǒng)為數(shù)據(jù)加密，以保證存放在存儲(chǔ)設(shè)備上的數(shù)據(jù)只有授權(quán)用戶才能讀取。目前云存儲(chǔ)中常用的存儲(chǔ)加密技術(shù)有以下幾種：全盤加密，全部存儲(chǔ)數(shù)據(jù)都是以密文形式書寫的；虛擬磁盤加密，存放數(shù)據(jù)之前建立加密的磁盤空間，并通過(guò)加密磁盤空間對(duì)數(shù)據(jù)進(jìn)行加密；卷加密，所有用戶和系統(tǒng)文件都被加密；文件/目錄加密，對(duì)單個(gè)的文件或者目錄進(jìn)行加密。

　　3.6 內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)

　　內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對(duì)現(xiàn)有的Internet 進(jìn)行改造。基本思想是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點(diǎn)分布不均、用戶訪問(wèn)量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。通過(guò)在網(wǎng)絡(luò)各處放置節(jié)點(diǎn)服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實(shí)時(shí)地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點(diǎn)的連接和負(fù)載情況、響應(yīng)時(shí)間、到用戶的距離等信息將用戶的請(qǐng)求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點(diǎn)上。目的是使用戶可就近取得所需內(nèi)容，解決Internet 網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問(wèn)網(wǎng)站的速度。

　　4.結(jié)束語(yǔ)

　　隨著科技的快速發(fā)展，云存儲(chǔ)已經(jīng)成為人們?cè)絹?lái)越關(guān)注的一個(gè)焦點(diǎn)，它可以在最大程度上為用戶節(jié)約成本，并且能夠提供安全、可靠的數(shù)據(jù)訪問(wèn)服務(wù)，具有非常好的應(yīng)用價(jià)值和研究前景。本文主要研究了云存儲(chǔ)的關(guān)鍵技術(shù)，但對(duì)各項(xiàng)技術(shù)的具體研究不夠透徹，是今后努力的一個(gè)方向。

來(lái)源：CIO時(shí)代網(wǎng)

　　版權(quán)及免責(zé)聲明：凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀