云計(jì)算時(shí)代建立大數(shù)據(jù)交易所 勢(shì)在必行


時(shí)間:2014-01-26





  隨著大數(shù)據(jù)技術(shù)的成熟和發(fā)展,大數(shù)據(jù)在商業(yè)上的應(yīng)用越來越廣泛,有關(guān)大數(shù)據(jù)的交互、整合、交換、交易的例子也日益增多。本文就進(jìn)行大數(shù)據(jù)交易的一些問題, 以及建立大數(shù)據(jù)交易所的必要性, 做一些探討和研究。我們認(rèn)為,建立大數(shù)據(jù)交易所是勢(shì)在必行的市場(chǎng)需求。

  目前下列公司和機(jī)構(gòu)通常擁有大數(shù)據(jù):

  大型實(shí)體商業(yè)公司或電子商務(wù)公司,如大型連鎖商店walmart,sears等,或amazon,阿里巴巴。這類公司大都擁有大量的客戶數(shù)量、長期的客戶購賣記錄、客戶的支付歷史等。這類公司最感興趣的是客戶購物的消費(fèi)偏好和消費(fèi)習(xí)慣。目前這類公司的大數(shù)據(jù)應(yīng)用包括推薦關(guān)聯(lián)產(chǎn)品和推出其它新的產(chǎn)品、 新的服務(wù)上。

  大型服務(wù)公司,如銀行、電信服務(wù)等公司。這類公司也擁有客戶的某個(gè)方面歷史消費(fèi)記錄,比如銀行可能擁有客戶的金融賬戶收入支出信息,電信公司擁有客戶的電話或網(wǎng)絡(luò)使用歷史。這類公司通常對(duì)本行業(yè)內(nèi)推出新的產(chǎn)品和服務(wù),以及尋找潛在客戶,降低業(yè)務(wù)風(fēng)險(xiǎn)較感興趣,比如熱門的推薦系統(tǒng)等。

  大型制造企業(yè),如福特汽車公司等。這類公司因?yàn)槠浯罅康目蛻艋A(chǔ),往往可以在推出新產(chǎn)品服務(wù)上使用大數(shù)據(jù)技術(shù)和應(yīng)用。

  大型網(wǎng)絡(luò)服務(wù)公司,如google,百度,yahoo 等。這類公司由于在其服務(wù)行業(yè)的壟斷性,積累有海量的用戶在網(wǎng)絡(luò)虛擬世界的行為信息。這類公司通過歸納和機(jī)器學(xué)習(xí)等,可以挖掘出非常多有價(jià)值的應(yīng)用產(chǎn)品和服務(wù)。目前使用大數(shù)據(jù)最好的公司是google.google廣告系統(tǒng)adsense就是利用大數(shù)據(jù)技術(shù)來實(shí)現(xiàn)的。另外,google公司還可以利用大數(shù)據(jù)做出一些預(yù)測(cè),如流感的爆發(fā),政治性事件的預(yù)測(cè)等。google公司還進(jìn)一步推出如自動(dòng)駕駛等大數(shù)據(jù)應(yīng)用,及google眼鏡等結(jié)合大數(shù)據(jù)收集與應(yīng)用于一身的產(chǎn)品應(yīng)用。

  大型社交網(wǎng)站,如facebook,twitter,及其它社交網(wǎng)站如linkedin和其它活躍論壇等。 全世界用戶每天都在社交網(wǎng)站上產(chǎn)生大量的內(nèi)容。僅facebook每天需要處理的社交信息就達(dá)到了500tb之多。 目前這些數(shù)據(jù)正在被大量的個(gè)人開發(fā)者和技術(shù)公司使用,用來做各種商業(yè)服務(wù)推薦或新的產(chǎn)品。

  政府部門和科研機(jī)構(gòu)的公開數(shù)據(jù),如有關(guān)天氣、交通狀態(tài)、道路、地質(zhì)、環(huán)境 以及科學(xué)研究的進(jìn)展等部分。美國聯(lián)邦政府特別提出,將聯(lián)邦政府各部門的數(shù)據(jù)開放給公眾,這些數(shù)據(jù)的應(yīng)用包括自動(dòng)駕駛、智能交通監(jiān)測(cè)系統(tǒng)等。

  除了上述商業(yè)機(jī)構(gòu)的大數(shù)據(jù)之外,國家機(jī)構(gòu)還擁有大量有關(guān)國家安全的敏感信息。本文只討論商業(yè)應(yīng)用,故不討論這部分大數(shù)據(jù)的應(yīng)用和交互。

  一位曾在teradata公司工作的數(shù)據(jù)專家說過,很多商業(yè)公司大約只存儲(chǔ)15%的有關(guān)他們業(yè)務(wù)的數(shù)據(jù),其余85%數(shù)據(jù)都存儲(chǔ)在其它外部公司或網(wǎng)站上。大數(shù)據(jù)時(shí)代的技術(shù),使得企業(yè)內(nèi)部的大數(shù)據(jù)和外部數(shù)據(jù)的整合、交互變得更加重要。

  目前一些商業(yè)機(jī)構(gòu)對(duì)大數(shù)據(jù)的應(yīng)用,不止局限于對(duì)自身擁有的大數(shù)據(jù)進(jìn)行分析,還需要用到其它方面的大數(shù)據(jù)。

  例子1:某些金融企業(yè)如銀行希望和利用獲得其用戶的社交信息,以便和該金融企業(yè)擁有的客戶信息整合起來,推出更多的新產(chǎn)品和更好的客戶體驗(yàn)。

  例子2:一位醫(yī)療保險(xiǎn)公司的客戶要去某國外城市旅行,在微博上發(fā)表了這一信息,醫(yī)療保險(xiǎn)公司因?yàn)槭孪鹊玫娇蛻舻脑S可,可以從社交媒體(微博)上獲得這一信息,根據(jù)這位客戶的個(gè)人特殊身體情況,醫(yī)療保險(xiǎn)公司馬上給該客戶發(fā)去避免某些當(dāng)?shù)厥澄锏亩绦拧?/p>

  例子3:一家經(jīng)營連鎖旅館的企業(yè),除了自己網(wǎng)站、各地客房入住等情況外,希望能夠獲得其它旅游方面的大數(shù)據(jù),例如景區(qū)旅游人數(shù)、租車公司的客戶數(shù)量、租的汽車的檔次等變化等,這些對(duì)旅館的房價(jià)定價(jià),經(jīng)營預(yù)期等有著很強(qiáng)的輔助作用。

  例子4:一家初創(chuàng)公司,利用城市交通情況的公開信息(政府信息),結(jié)合其用戶群上傳的即時(shí)的城市交通狀況(互聯(lián)終端產(chǎn)生的用戶自創(chuàng)信息或社交信息),對(duì)交通路線、預(yù)測(cè)到達(dá)時(shí)間等進(jìn)行預(yù)測(cè),從而為城市里的駕車人群車流進(jìn)行更好的服務(wù)。

  商業(yè)公司對(duì)外部大數(shù)據(jù)的整合和交互是未來的大趨勢(shì),國外有很多公司已經(jīng)開始著手這方面的技術(shù)和服務(wù),如alteryx、qlikview、tableau、factual等。

  對(duì)于政府或科研部門公開的大數(shù)據(jù)信息,商業(yè)公司業(yè)可以進(jìn)行整合和分析,比如人口調(diào)查、gdp統(tǒng)計(jì)、房產(chǎn)信息(美國是公開的)交通情況等。眾多大數(shù)據(jù)技術(shù)公司也已經(jīng)在這方面發(fā)力,如factual、infochimps、socrata等公司。

  據(jù)gartner預(yù)測(cè),到2017年,約三分之二的大數(shù)據(jù)整合項(xiàng)目,將是企業(yè)防火墻之外(外部數(shù)據(jù))的整合。

  商業(yè)公司之間的大數(shù)據(jù)交互至少有下列幾種:

  方式一:兩家或兩家以上的商業(yè)公司,他們從事的服務(wù)行業(yè)不同,擁有客戶的不同方面的信息,他們的服務(wù)行業(yè)有的具較有強(qiáng)的相關(guān)性,整合、交互信息對(duì)其中一方或參與各方都能增加新的價(jià)值。

  方式二:商業(yè)公司對(duì)社交網(wǎng)站的客戶個(gè)人信息數(shù)據(jù)整合,期望帶來新的業(yè)務(wù)增長點(diǎn)或?qū)嵭懈玫目蛻舴?wù)。

  方式三:商業(yè)公司對(duì)政府部門的公開信息,進(jìn)行大數(shù)據(jù)級(jí)別的整合和交互,產(chǎn)生新的商業(yè)模式、新業(yè)務(wù)、或改進(jìn)客戶服務(wù)。

  方式四:未來,還會(huì)有新的外部大數(shù)據(jù)的整合方式會(huì)產(chǎn)生價(jià)值,比如某商業(yè)公司進(jìn)行大量的對(duì)外部弱相關(guān)的數(shù)據(jù)的整合,當(dāng)總量達(dá)到一定規(guī)模之后,仍然會(huì)產(chǎn)生對(duì)商業(yè)公司自身業(yè)務(wù)具有巨大價(jià)值的信息。

  商業(yè)公司間的大數(shù)據(jù)種類眾多,幾乎大多數(shù)的情況下,兩個(gè)公司之間數(shù)據(jù)的整合只對(duì)其中一方的業(yè)務(wù)有幫助,或者對(duì)雙方的業(yè)務(wù)幫助價(jià)值不對(duì)等,比如社交媒體的信息對(duì)于大眾商品銷售公司等。因此,購買大數(shù)據(jù)的可能性遠(yuǎn)大于簡單數(shù)據(jù)交換或數(shù)據(jù)互通。如何引導(dǎo),規(guī)范大數(shù)據(jù)的交易,以及提供交易方式、工具等, 成為有關(guān)部門和大數(shù)據(jù)技術(shù)公司研究的重要課題。

  我們認(rèn)為,要開展大數(shù)據(jù)的交易,需要解決一系列的問題,例如:

  如何引導(dǎo)更多企業(yè)開放大數(shù)據(jù)? 大數(shù)據(jù)的應(yīng)用需要更多的企業(yè)開發(fā)各自行業(yè)、領(lǐng)域的數(shù)據(jù),市場(chǎng)的參與者越多,市場(chǎng)的交易選擇和能找到的價(jià)值就越大。我國政府應(yīng)該鼓勵(lì)更多企業(yè)開放他們的大數(shù)據(jù)。企業(yè)間的大數(shù)據(jù)通過更多的交互和交易,才能最大的價(jià)值化。

  如何保護(hù)大數(shù)據(jù)的屬有權(quán)和隱私權(quán)?大數(shù)據(jù)往往是個(gè)人信息的集成, 我國對(duì)于個(gè)人信息隱私的保護(hù)有明確法規(guī)和引導(dǎo),大型企業(yè)都特別注意對(duì)用戶的隱私保護(hù)。企業(yè)間用來交易的大數(shù)據(jù),必須遵守國家有關(guān)法律,保護(hù)個(gè)人隱私和重要信息。因此,市場(chǎng)能提供的大數(shù)據(jù)應(yīng)該更多是經(jīng)過處理,隱去個(gè)人敏感信息,或者直接就是按照區(qū)域、人口年齡、收入情況等進(jìn)行分類集成后的信息。相關(guān)部門可以制定關(guān)于大數(shù)據(jù)交易的法規(guī),引導(dǎo)市場(chǎng)參與者在提供大數(shù)據(jù)的同時(shí),對(duì)于國家安全信息、個(gè)人隱私、商業(yè)機(jī)密等方面進(jìn)行特別保護(hù)和處理。

  如何更好地開放政府部門信息?各國政府都在開放更多的公開信息,建立公開的大數(shù)據(jù)平臺(tái),更好的利用大數(shù)據(jù)為社會(huì)服務(wù)和產(chǎn)生價(jià)值。我國政府在這方面也大有可為。

  如何找到有價(jià)值的外部數(shù)據(jù)?商業(yè)公司只對(duì)自身業(yè)務(wù)有關(guān)的外部數(shù)據(jù)感興趣,如何找到強(qiáng)相關(guān)或弱相關(guān)的外部數(shù)據(jù),成為重要的課題。大數(shù)據(jù)創(chuàng)業(yè)公司可以在提供工具,建立開放的api等方向有所作為。各類云計(jì)算平臺(tái)也可以提供大數(shù)據(jù)的api.我們認(rèn)為,政府或大數(shù)據(jù)技術(shù)公司等業(yè)界,應(yīng)該創(chuàng)造一些基本的數(shù)據(jù)處理、歸類、分析工具。 為商業(yè)公司尋找外部大數(shù)據(jù)的整合和應(yīng)用,提供服務(wù)和方便。

  如何衡量大數(shù)據(jù)的量和質(zhì)?一般說來,一個(gè)大數(shù)據(jù)包,如果包含某一方面的大數(shù)據(jù)年限越久,覆蓋人群或服務(wù)方向越多,其價(jià)值就越高。但是同樣的大數(shù)據(jù),對(duì)于不同的潛在買家,可能具有的價(jià)值不同。例如某電子商務(wù)網(wǎng)站的客戶消費(fèi)記錄,對(duì)于一個(gè)大型綜合類銷售公司,和對(duì)某一小型單一產(chǎn)品銷售公司的價(jià)值,差別巨大。如何對(duì)大數(shù)據(jù)產(chǎn)品進(jìn)行量和質(zhì)進(jìn)行價(jià)值上的分類,是進(jìn)行大數(shù)據(jù)交易必須解決的問題。

  如何規(guī)范大數(shù)據(jù)商品的可重復(fù)使用性?一個(gè)大數(shù)據(jù)包,可能會(huì)對(duì)不同的外部企業(yè)都具有價(jià)值,有時(shí)而且沒有利益沖突。理論上一個(gè)大數(shù)據(jù)商品,可能可以出賣多次。對(duì)大數(shù)據(jù)交易,是否產(chǎn)生使用權(quán),屬有權(quán)的改變?是否能夠再次出售,能否轉(zhuǎn)賣?能否賣給某位買家的競爭對(duì)手?等問題,都應(yīng)該進(jìn)行明確和規(guī)定。

  如何建立大數(shù)據(jù)商品交互技術(shù)平臺(tái)、開放api、統(tǒng)一api?由于大數(shù)據(jù)的量大,規(guī)格眾多等特性,大部分時(shí)候,大數(shù)據(jù)的直接轉(zhuǎn)移非常困難或不現(xiàn)實(shí),買家往往需要通過api來使用大數(shù)據(jù)商品,如何建立統(tǒng)一的api,建立大數(shù)據(jù)交互的技術(shù)平臺(tái),也是一個(gè)巨大的挑戰(zhàn)。

  另外,大數(shù)據(jù)商品,更接近于原始的商品,市場(chǎng)參與者各自帶上自己的貨物,到一個(gè)市場(chǎng)進(jìn)行交易, 類似于擺攤。由于上述的大數(shù)據(jù)商品的特性,更加需要建立規(guī)范的、方便的交易場(chǎng)所。

  大數(shù)據(jù)商品的交易可能會(huì)包含下列過程:

  賣家對(duì)自己的大數(shù)據(jù)進(jìn)行預(yù)處理,保證用于交易的大數(shù)據(jù)商品遵守國家相關(guān)的法律和規(guī)定;

  賣家描述自己的大數(shù)據(jù)包,并描述以往的交易歷史,包括歷史買家的行業(yè)描述等;

  買家在大數(shù)據(jù)交易平臺(tái)上尋找對(duì)自己業(yè)務(wù)有幫助的大數(shù)據(jù)商品;

  買賣雙方就數(shù)據(jù)的使用權(quán),數(shù)據(jù)的轉(zhuǎn)移,數(shù)據(jù)是否可以再次出售(時(shí)間上,競爭對(duì)手限制等),是否委托第三方技術(shù)公司進(jìn)行數(shù)據(jù)分析等等, 達(dá)成協(xié)議;

  買方支付交易金額,同時(shí)大數(shù)據(jù)商品轉(zhuǎn)移到買方;

  買方將對(duì)大數(shù)據(jù)商品進(jìn)行分析或應(yīng)用,實(shí)現(xiàn)大數(shù)據(jù)商品的價(jià)值。

  我們認(rèn)為,由于大數(shù)據(jù)商品的特殊性,建立大數(shù)據(jù)交易所,可以對(duì)大數(shù)據(jù)的交易做出權(quán)威性的規(guī)范,保證交易安全,同時(shí)為市場(chǎng)參與者提供工具和幫助。

  大數(shù)據(jù)交易所的重大作用:

  大數(shù)據(jù)交易所可以深化國家有關(guān)法律對(duì)大數(shù)據(jù)商品的規(guī)范,特別是確保大數(shù)據(jù)交易的買賣雙方遵守國家有關(guān)隱私,國家安全,商業(yè)機(jī)密等方面的法律,保護(hù)消費(fèi)者的信息安全和其它權(quán)益;

  大數(shù)據(jù)交易所可以引導(dǎo)對(duì)大數(shù)據(jù)商品的規(guī)范,對(duì)大數(shù)據(jù)進(jìn)行定量,定價(jià)方面進(jìn)行引導(dǎo);

  大數(shù)據(jù)交易所應(yīng)該建立認(rèn)證系統(tǒng),確保大數(shù)據(jù)商品的真實(shí)性和價(jià)值;

  大數(shù)據(jù)交易所應(yīng)該為市場(chǎng)參與者提供技術(shù)上的幫助,幫助市場(chǎng)參與者尋找適合自己的交易方;

  大數(shù)據(jù)交易所應(yīng)該且可以對(duì)大數(shù)據(jù)的轉(zhuǎn)移和使用提供法律上的保障;

  大數(shù)據(jù)交易所應(yīng)該且可以對(duì)大數(shù)據(jù)的轉(zhuǎn)移和使用提供數(shù)據(jù)安全上的技術(shù)保障;

  大數(shù)據(jù)交易所,應(yīng)該確保資金的轉(zhuǎn)移和安全;

  大數(shù)據(jù)交易所,還可以開放大數(shù)據(jù)期貨,即對(duì)未來某時(shí)間段將要產(chǎn)生的大數(shù)據(jù),進(jìn)行交易。

  由于市場(chǎng)參與者大都為商業(yè)公司,大數(shù)據(jù)的交易更像是實(shí)體商品交易而不同于股票交易。隨著交易的進(jìn)行和市場(chǎng)參與者的增多,大數(shù)據(jù)商品的種類會(huì)逐漸豐富,從而吸引更多的市場(chǎng)參與者。

  大數(shù)據(jù)交易的參與者至少包含下列幾類:

  初端賣家,即提供某方面信息的大數(shù)據(jù)商品賣家,該類用戶可能通過從事的行業(yè)服務(wù),積累某個(gè)方面的數(shù)據(jù);

  終端買家,對(duì)相關(guān)行業(yè)服務(wù)信息由需求的商業(yè)服務(wù)公司,買來大數(shù)據(jù)提升自己的服務(wù)或產(chǎn)品;

  大數(shù)據(jù)投資者,這類參與者發(fā)現(xiàn)或認(rèn)可某大數(shù)據(jù)商品的價(jià)值,可以先買入,再買給有需求的大數(shù)據(jù)終端買家;

  加工商,由于大數(shù)據(jù)商品的高技術(shù)含量,大數(shù)據(jù)技術(shù)公司可能先買入原始數(shù)據(jù),經(jīng)過處理,集成后,再賣給終端買家。

  市場(chǎng)參與者可能具有多重交易身份,既是大數(shù)據(jù)的提供者,也是大數(shù)據(jù)的消費(fèi)者。各類市場(chǎng)參與者的交易,能使大數(shù)據(jù)交易市場(chǎng)更加活躍,增加市場(chǎng)的流動(dòng)性,引來更多的大數(shù)據(jù)商品的加入和交易。

  綜上所述,建立大數(shù)據(jù)交易所,雖然在技術(shù)上、法律上、流程上尚有一系列需要解決的問題,但我們認(rèn)為,這是一個(gè)可以逐步進(jìn)行,逐步解決的過程。 我們認(rèn)為,建立大數(shù)據(jù)交易所有非常大的必要性和可行性,建立大數(shù)據(jù)交易所是勢(shì)在必行的市場(chǎng)需求。

來源:IT專家網(wǎng)



  版權(quán)及免責(zé)聲明:凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章,不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系:010-65363056。

延伸閱讀

熱點(diǎn)視頻

第六屆中國報(bào)業(yè)黨建工作座談會(huì)(1) 第六屆中國報(bào)業(yè)黨建工作座談會(huì)(1)

熱點(diǎn)新聞

熱點(diǎn)輿情

特色小鎮(zhèn)

版權(quán)所有:中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)京ICP備11041399號(hào)-2京公網(wǎng)安備11010502003583