大數(shù)據(jù)驅(qū)動(dòng)時(shí)代 云計(jì)算 規(guī)模化 高性能計(jì)算

　　不久前的一次互聯(lián)網(wǎng)大會(huì)上，與會(huì)人員已經(jīng)明確將重點(diǎn)放在擴(kuò)大網(wǎng)絡(luò)帶寬和通過網(wǎng)絡(luò)的增強(qiáng)提高合作方面，這將帶來更好的視頻會(huì)議和其他大數(shù)據(jù)應(yīng)用。

　　這些活動(dòng)使企業(yè)都意識(shí)到他們將為大數(shù)據(jù)創(chuàng)造更大的網(wǎng)絡(luò)管道，而不需要將每種功能都完全商業(yè)化。

　　同時(shí)，企業(yè)應(yīng)該采取幾個(gè)與網(wǎng)絡(luò)相關(guān)的實(shí)際步驟，以確保成功傳輸大數(shù)據(jù)。

　　這些步驟包括：

　　使網(wǎng)絡(luò)規(guī)劃成為所有大數(shù)據(jù)項(xiàng)目的一部分

　　你會(huì)驚奇地發(fā)現(xiàn)相當(dāng)一部分的企業(yè)都已然將服務(wù)器、數(shù)據(jù)庫、應(yīng)用程序、甚至數(shù)據(jù)中心業(yè)務(wù)納入到大數(shù)據(jù)項(xiàng)目討論的議程，但卻獨(dú)獨(dú)忘記了網(wǎng)絡(luò)有關(guān)的部分。網(wǎng)絡(luò)功能和規(guī)模應(yīng)始終是任何大數(shù)據(jù)規(guī)劃工作的一個(gè)組成部分。

　　考慮安全和數(shù)據(jù)所有權(quán)

　　對(duì)于選擇使用云計(jì)算的進(jìn)行大數(shù)據(jù)處理和存儲(chǔ)的企業(yè)來說，應(yīng)該坦率的與供應(yīng)商討論誰“擁有”數(shù)據(jù)，誰有權(quán)使用或重用大數(shù)據(jù)挖掘公式和算法。

　　IDC觀察到，亞太地區(qū)市場(chǎng)具有其獨(dú)特的特征，例如以人口眾多的特大城市為中心的分布式的制造中心，數(shù)據(jù)共享和流體法規(guī)創(chuàng)造了顯著的新機(jī)遇。然而，在亞洲，許多大企業(yè)中心只是在數(shù)據(jù)倡議下建設(shè)了大型數(shù)據(jù)存儲(chǔ)庫。雖然這是確實(shí)是非常重要的第一步，但這并不等于企業(yè)就真正實(shí)現(xiàn)了對(duì)于大數(shù)據(jù)利益概念的理解。購買所有所需的服務(wù)器來處理和分析數(shù)據(jù)，即使該處理過程可能只需要幾個(gè)小時(shí)、一個(gè)星期或一個(gè)月，如此昂貴的成本，會(huì)導(dǎo)致資源在其他時(shí)間沒有被充分利用。

　　為了更具經(jīng)濟(jì)和戰(zhàn)略意義，亞洲企業(yè)的CIO們必須將IT的三大趨勢(shì)的力量結(jié)合起來：大數(shù)據(jù)、虛擬化和云服務(wù)。虛擬化和云計(jì)算是促使大數(shù)據(jù)使用的推動(dòng)力量，使得創(chuàng)造高度自動(dòng)化的大型池的計(jì)算成為可能，以便處理大數(shù)據(jù)量。三大趨勢(shì)的組合將創(chuàng)建一個(gè)靈活的、可擴(kuò)展的、智能化的大數(shù)據(jù)應(yīng)用程序的基礎(chǔ)。

　　因此，經(jīng)濟(jì)上講，企業(yè)可以以基礎(chǔ)設(shè)施即服務(wù)的一種形式從云供應(yīng)商那里“租賃”幾乎無限的存儲(chǔ)容量，而只需要支付他們使用的容量的費(fèi)用。自此，存儲(chǔ)和處理能力的問題就解決了。

　　然而，從云數(shù)據(jù)中心遷移大型數(shù)據(jù)集將顯示出“大數(shù)據(jù)系統(tǒng)”中的薄弱環(huán)節(jié)，一個(gè)不是用來處理大量數(shù)據(jù)的網(wǎng)絡(luò)。隨著令人眼花繚亂的新服務(wù)和數(shù)據(jù)勢(shì)不可擋的崛起，網(wǎng)絡(luò)容量問題突顯，這個(gè)問題不能通過簡(jiǎn)單的不斷安裝或租賃較大的數(shù)據(jù)存儲(chǔ)空間就能解決。

　　相反，使用一個(gè)虛擬數(shù)據(jù)中心的架構(gòu)是有效地處理大數(shù)據(jù)的更好的服務(wù)方法，在單個(gè)數(shù)據(jù)中心的物理墻作為一個(gè)邏輯實(shí)體有效地打破了連接多個(gè)數(shù)據(jù)中心。換句話說，這就創(chuàng)造了一個(gè)“沒有圍墻的數(shù)據(jù)中心”，使用一個(gè)高性能的“云骨干網(wǎng)絡(luò)的無縫連接到一個(gè)更大的企業(yè)和運(yùn)營商數(shù)據(jù)中心之間的共享資源池?！?br>

　　通過虛擬化和集中所有的數(shù)據(jù)中心和網(wǎng)絡(luò)資產(chǎn)，企業(yè)可以根據(jù)不斷變化的需要，允許靈活的配置和遷移工作負(fù)載。這是唯一的設(shè)置，可以非常經(jīng)濟(jì)地滿足大數(shù)據(jù)帶來的基礎(chǔ)設(shè)施的挑戰(zhàn)。

　　Forrester稱，絕大多數(shù)亞太大數(shù)據(jù)中心主要是大型數(shù)據(jù)存儲(chǔ)庫，其次是為用戶提供更先進(jìn)的數(shù)據(jù)挖掘和可視化工具。但他們并不是“沒有圍墻的數(shù)據(jù)中心”，無法以最有效的方式允許大數(shù)據(jù)處理，以滿足企業(yè)的業(yè)務(wù)目標(biāo)。

　　為越來越大量的數(shù)據(jù)時(shí)代的到來做好迎接準(zhǔn)備，以便滿足新的監(jiān)管要求，絕不僅僅是一款工具或自動(dòng)化就能夠簡(jiǎn)單解決的事情。相反，IT部門與其他相關(guān)的業(yè)務(wù)方面的關(guān)鍵人員必須共同決定哪些大數(shù)據(jù)應(yīng)該被存儲(chǔ)和收集，以及應(yīng)該如何定義個(gè)人數(shù)據(jù)。

　　盡管IT部門可以借助工具潛在的評(píng)估這些數(shù)據(jù)是否是高質(zhì)量的。然而，即使IT部門這樣做了，最終簽收的仍然則是最終業(yè)務(wù)用戶。

　　一旦確定了哪些大數(shù)據(jù)應(yīng)該被收集和存儲(chǔ)、并進(jìn)行相關(guān)的數(shù)據(jù)清理和準(zhǔn)備工作，就必須以相關(guān)“活文件”的政策、標(biāo)準(zhǔn)和程序，管理所有的大數(shù)據(jù)資產(chǎn)。

　　相關(guān)的業(yè)務(wù)方面的關(guān)鍵人員包括整個(gè)企業(yè)中從CXO級(jí)別的管理人員到業(yè)務(wù)部經(jīng)理以及IT工作人員，都必須遵守這些政策協(xié)議。當(dāng)然，行業(yè)監(jiān)管機(jī)構(gòu)可以采訪所有的這些相關(guān)的工作人員，檢查明文規(guī)定的政策和程序，以確保企業(yè)的相關(guān)政策符合行業(yè)監(jiān)管機(jī)構(gòu)的規(guī)定。

　　最后，對(duì)于IT部門來說最為重要的是，確定收集和存儲(chǔ)大的數(shù)據(jù)必須高度符合的終端業(yè)務(wù)信息的要求。為了做到這一點(diǎn)，CIO和其他IT工作人員必須積極的與整個(gè)企業(yè)的各個(gè)業(yè)務(wù)單位的同行配合，以確保每個(gè)人都遵循相同的大數(shù)據(jù)政策和程序，以便讓企業(yè)所需要的大數(shù)據(jù)類型被存儲(chǔ)、收集，并符合其最終的經(jīng)營宗旨。

　　所有上述這一切都是艱難的，勞動(dòng)力密集的工作，可能并不總是出現(xiàn)在項(xiàng)目的時(shí)間表里，但卻是必不可少的。

　　IT部門如何確保其管治滿足大數(shù)據(jù)發(fā)展的步伐?

　　協(xié)調(diào)監(jiān)管和審計(jì)，提前確保你的企業(yè)所管治的大數(shù)據(jù)是最新的。同時(shí)也必須意識(shí)到，未來相關(guān)管理法規(guī)的變化，可能會(huì)影響數(shù)據(jù)治理。

　　大數(shù)據(jù)項(xiàng)目是跨學(xué)科的，因?yàn)榇髷?shù)據(jù)的有效管理是每個(gè)人的責(zé)任。

　　由于這些工具的靈活性，這些工具現(xiàn)在也正在為企業(yè)提供一個(gè)直接與大數(shù)據(jù)整合的平臺(tái)，如Hadoop和Cassandra一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫。然而，現(xiàn)在我們看到，老的供應(yīng)商也開始在以新產(chǎn)品打入市場(chǎng)的堆棧來解決這一差距，并希望在未來一兩年內(nèi)再次洗牌，重新鞏固市場(chǎng)。

　　在大數(shù)據(jù)領(lǐng)域，高性能是一項(xiàng)特別的挑戰(zhàn)。大數(shù)據(jù)量的特質(zhì)和查詢速度使得數(shù)據(jù)將通過倉庫工具Hive進(jìn)行整合，這意味著直接針對(duì)數(shù)據(jù)的查詢將抑制工具的動(dòng)態(tài)性能。

　　這些工具的關(guān)鍵用例是快速的發(fā)現(xiàn)而非創(chuàng)造標(biāo)準(zhǔn)的報(bào)告。這意味著所需的數(shù)據(jù)在本質(zhì)上是暫時(shí)性的——需要支持一種假設(shè)，然后丟棄。這導(dǎo)致了實(shí)現(xiàn)高性能的領(lǐng)先方案是創(chuàng)建特定的數(shù)據(jù)集，例如，通過引導(dǎo)圖減少工作量，以及捕捉可視化工具中的內(nèi)存。

　　可視化工具的一個(gè)關(guān)鍵性的好處是，他們改變了項(xiàng)目交付的方法。因?yàn)樗麄冊(cè)试S通過原型快速實(shí)現(xiàn)價(jià)值可視化，他們能夠在被納入一個(gè)工業(yè)化的平臺(tái)之前，在低成本點(diǎn)證明價(jià)值。作為這一進(jìn)程的一部分，可視化工具提供了一個(gè)共同的語言，通過它，企業(yè)的IT部門和業(yè)務(wù)部門可以進(jìn)行溝通。這就創(chuàng)造了一個(gè)對(duì)于需求的清晰的認(rèn)識(shí)，有助于設(shè)置什么能夠被交付的期望。

　　雖然能夠?qū)崿F(xiàn)數(shù)據(jù)的快速可視化有很多好處，我們也看到創(chuàng)建Excel電子表格或者Access數(shù)據(jù)庫進(jìn)行數(shù)據(jù)庫訪問所存在的一些老的內(nèi)在危險(xiǎn)問題。鑒于此，支持大數(shù)據(jù)可視化必須采用一個(gè)強(qiáng)大的數(shù)據(jù)管理方法已經(jīng)是一個(gè)不爭(zhēng)的事實(shí)。

　　這將創(chuàng)建一個(gè)混合環(huán)境的需要。在實(shí)踐中，這意味著數(shù)據(jù)首先是在大數(shù)據(jù)環(huán)境下進(jìn)行探索;然后，如果這些探索揭示了某些數(shù)據(jù)報(bào)道所需要的價(jià)值，此時(shí)數(shù)據(jù)才被推廣到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，無論是MPP或內(nèi)存中的。

　　不容忽視的最后一個(gè)方面是，這些工具對(duì)于業(yè)務(wù)部門和IT部門之間的關(guān)系所產(chǎn)生的影響?？梢暬ぞ邔⑹跈?quán)業(yè)務(wù)，從而幫助企業(yè)業(yè)務(wù)部門實(shí)現(xiàn)快速的見解，并驅(qū)動(dòng)更高價(jià)值的數(shù)據(jù)資產(chǎn)。因此，IT部門將需要以一套更加靈活的方式來提供數(shù)據(jù)。

　　這將創(chuàng)建一個(gè)二分法。一方面，必須迅速提供信息，在更傳統(tǒng)的過程以外驅(qū)動(dòng)價(jià)值。另一方面，一旦解決方案需要工業(yè)化，還需要通過更傳統(tǒng)的項(xiàng)目進(jìn)行剛性的治理。未能達(dá)到適當(dāng)?shù)钠胶?，?huì)導(dǎo)致挫折和價(jià)值的明顯減少。

　　兩個(gè)部門都有其自己的責(zé)任：業(yè)務(wù)部門需要建立適當(dāng)?shù)亩床煲娊猓⒋_保以企業(yè)正常的運(yùn)作方式驅(qū)動(dòng)變革，而IT部門需要提供一套適當(dāng)治理水平的數(shù)據(jù)服務(wù)。

來源：比特網(wǎng)

　　版權(quán)及免責(zé)聲明：凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀