美國福布斯雜志最近發(fā)表了一篇Irfan Khan的署名文章，“The Big Lie About Big Data”，Irfan是SAP Sybase公司全球CTO，負(fù)責(zé)SAP公司全球的數(shù)據(jù)庫戰(zhàn)略方向。
 

題目很吸引人，甚至可以說有些“聳人聽聞”，但是讀下來，其中有很多觀點(diǎn)倒是和我前一段在“通訊行業(yè)云計(jì)算峰會”上發(fā)表的一些言論相似，我認(rèn)為“大數(shù)據(jù)”這個詞現(xiàn)在非常火，但是某種程度上不過是過去30-40年來對數(shù)據(jù)管理和數(shù)據(jù)處理挑戰(zhàn)的理解、認(rèn)識的新一輪說法。當(dāng)然，每一輪的說法不一樣也并不是完全意義上的重復(fù)，循環(huán)式上升，畢竟每一輪的硬件、軟件、網(wǎng)絡(luò)、業(yè)務(wù)的關(guān)注點(diǎn)都不同，數(shù)據(jù)量的確是個硬指標(biāo)，30年前提“數(shù)據(jù)倉庫”概念時的挑戰(zhàn)和現(xiàn)在的挑戰(zhàn)不可同日而語，10年之后再看現(xiàn)在的“大數(shù)據(jù)”也許也會一笑而過，到那時，我們似乎才可以明白，這一個輪回的真正意義。
 

以下是文章的翻譯稿，供大家參考：
 
天又一次塌下來了。這一次是“大數(shù)據(jù)”讓IT部門如臨大敵。但是就像“世界末日”和“外星人”一樣，“大數(shù)據(jù)”是虛構(gòu)的，是一個“大謊言”。
 
正如街談巷議的傳聞一樣，不管你走到哪里，關(guān)于“大數(shù)據(jù)”的討論無處不在。在Google搜索這個詞組，搜索結(jié)果超過13億條。它甚至在維基百科擁有專門的條目。數(shù)據(jù)泛濫導(dǎo)致很多人得出結(jié)論：企業(yè)將不堪重負(fù)。這并不是說企業(yè)內(nèi)部的信息量不會增長。相反地，企業(yè)內(nèi)部信息量也難逃增長的命運(yùn)。因?yàn)椋髷?shù)據(jù)一直是個難題。
 
盡管不斷有人聲稱，數(shù)據(jù)洪流將導(dǎo)致厄運(yùn)來臨，但I(xiàn)T行業(yè)卻始終能夠通過改進(jìn)計(jì)算基礎(chǔ)架構(gòu)，使它們速度更快、容量更大、價(jià)格更便宜、體積更小巧，從而讓揮之不去的信息“大決戰(zhàn)”預(yù)言不攻自破。
 
今天，通過使用列式數(shù)據(jù)庫分析架構(gòu)，組織機(jī)構(gòu)可以不必過度對“大數(shù)據(jù)”帶來的焦慮，相反，還能夠讓“大數(shù)據(jù)”更好為企業(yè)運(yùn)營服務(wù)。在列式數(shù)據(jù)庫中，用戶可以隨時調(diào)用和分析大數(shù)據(jù)集，即使對諸如非結(jié)構(gòu)化數(shù)據(jù)等各種數(shù)據(jù)類型的大數(shù)據(jù)集亦是如此。它們不僅隨時可用，而且執(zhí)行速度更快，還能根據(jù)工作要求，更方便地?cái)U(kuò)展，從而為盡可能多的用戶服務(wù)，涵蓋盡可能多的數(shù)據(jù)。
 
這種做法其實(shí)就是挖掘組織機(jī)構(gòu)內(nèi)外部的“大數(shù)據(jù)”，并提取有價(jià)值的部分供企業(yè)使用。它的目的是讓組織機(jī)構(gòu)更靈活、更具競爭力，提高組織機(jī)構(gòu)的盈利能力。
 
對于部署一個分析數(shù)據(jù)倉庫而言，最重要的步驟之一就是找到質(zhì)量合格的數(shù)據(jù)。從數(shù)據(jù)凈化到采用數(shù)據(jù)管理總策略——用于確保數(shù)據(jù)質(zhì)量的技術(shù)已經(jīng)成熟。獲取最優(yōu)質(zhì)數(shù)據(jù)時還要對其進(jìn)行內(nèi)部審核。
 
數(shù)據(jù)延遲：需考慮組織內(nèi)部數(shù)據(jù)延遲的三個方面：數(shù)據(jù)發(fā)生時機(jī)、事件延續(xù)時間、決策所需時間。
 
數(shù)據(jù)關(guān)聯(lián)：與商業(yè)用戶合作確定數(shù)據(jù)的前后關(guān)系，并就使用中的多個數(shù)據(jù)集建立相互聯(lián)系，同時還需要考慮數(shù)據(jù)增長率以及重復(fù)的來源。
 
自服務(wù)：確定高級用戶如何在不影響IT或其他資源的情況下，對用于查詢的數(shù)據(jù)實(shí)施控制。
 
首席數(shù)據(jù)官(Chief Data Officer)：指定一名高級職員擔(dān)任首席數(shù)據(jù)官的職務(wù)，使其能夠在維持組織治理的同時保證數(shù)據(jù)的可操作性。
 
數(shù)據(jù)質(zhì)量的重要性再怎么強(qiáng)調(diào)也不為過。以comScore為例，作為一家為電子商務(wù)市場提供分析服務(wù)和解決方案的云計(jì)算公司，該公司從創(chuàng)立伊始就意識到，網(wǎng)絡(luò)營銷的重點(diǎn)正從訪客數(shù)量轉(zhuǎn)變?yōu)橛浴omScore的“客戶知識平臺”（Customer Knowledge Platform）針對顧客瀏覽互聯(lián)網(wǎng)的行為與偏好提供了全方位的觀察視角。該服務(wù)追蹤所有愿意提供互聯(lián)網(wǎng)行為以供分析的用戶，記錄他們在各個網(wǎng)站的沖浪以及購買行為。
 
隨著數(shù)以百萬計(jì)的網(wǎng)絡(luò)用戶注冊該服務(wù)接受監(jiān)測，comScore收集到了海量數(shù)據(jù)。事實(shí)上，comScore所分析的壓縮數(shù)據(jù)達(dá)到40 TB以上，每周都會新增接近150 GB。令人印象深刻的是，盡管數(shù)據(jù)量如此龐大，您卻無需耗費(fèi)時間焦急等待查詢結(jié)果。據(jù)comScore工程事業(yè)部副總裁Ric Elert稱，由于上述原因，“我們得以更加迅速地挖掘數(shù)據(jù)，并為客戶提供結(jié)果。這有助于他們提高營銷效率，開發(fā)出更多業(yè)務(wù)。”
 
此外，該公司使用列存儲技術(shù)，實(shí)現(xiàn)了40%的壓縮率。comScore表示，若使用傳統(tǒng)方法，存儲成本會比現(xiàn)在高很多。數(shù)據(jù)倉庫副總裁Scott Smith說道：“由于我們面對的是海量的數(shù)據(jù)，壓縮對我們而言至關(guān)重要。我們擁有的數(shù)據(jù)儲量如此龐大，是大多數(shù)人從未見過的。”
 
西班牙Airtel Vodafone公司的列存儲數(shù)據(jù)倉庫可根據(jù)公司的業(yè)務(wù)地圖進(jìn)行信息組織。盡管很多不同的部門都使用同樣的數(shù)據(jù)，但Airtel Vodafone仍然能夠有效保證信息的一致性和完整性。數(shù)據(jù)倉庫將數(shù)據(jù)轉(zhuǎn)換成知識，通過一個接口，將現(xiàn)實(shí)世界中的事實(shí)轉(zhuǎn)化為有價(jià)值的商業(yè)情報(bào)。準(zhǔn)確分析和預(yù)測客戶行為的能力是Airtel Vodafone公司整體業(yè)務(wù)戰(zhàn)略的關(guān)鍵所在。
 
有了列式數(shù)據(jù)倉庫，用戶可根據(jù)工作流（而不是按照企業(yè)的層級結(jié)構(gòu)）需要獲取信息，這提高了員工的工作效率和有效性。換言之，從事市場營銷的用戶與從事財(cái)務(wù)工作的用戶（舉例而言）使用的是相同的信息，只是他們接觸數(shù)據(jù)的角度有所不同，分析目的也各不相同。數(shù)據(jù)倉庫環(huán)境包含了市場營銷數(shù)據(jù)庫、呼叫系統(tǒng)、客戶服務(wù)、全球移動通信系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)、開票系統(tǒng)、收賬與檢索，以及所有的后勤管理信息。
 
如今，Airtel Vodafone擁有一個理想的運(yùn)行環(huán)境，能夠滿足各種需求，從而讓存儲在各種運(yùn)行環(huán)境中的數(shù)據(jù)實(shí)現(xiàn)快速、低成本的集成。因此，它可以直接從數(shù)據(jù)倉庫平臺中調(diào)用有關(guān)公司活動的詳細(xì)信息或匯總信息。基于列存儲的數(shù)據(jù)倉庫使Airtel Vodafone公司贏得了市場份額，成為歐洲電信業(yè)中的一方諸侯。
 
當(dāng)今，分析行業(yè)也沒有任何借口不使用“大數(shù)據(jù)”。無論是擴(kuò)大分析數(shù)據(jù)倉庫、涵蓋數(shù)以千計(jì)的用戶，還是分析來自各種奇特來源的各類數(shù)據(jù)（如來自社交媒體網(wǎng)站的海量非結(jié)構(gòu)化信息），它們都沒有逃脫的借口。不要再躲避了，分析行業(yè)再也不能躲在“大數(shù)據(jù)”這個嚇人的怪物身后，因?yàn)槲覀冎溃ㄟ^使用列式分析基礎(chǔ)架構(gòu)，就能夠讓“大數(shù)據(jù)”更好為企業(yè)運(yùn)營服務(wù)。