大數(shù)據(jù)技術(shù)能夠幫助企業(yè)用戶在茫茫的數(shù)據(jù)海洋里快速找到所需要的東西。大數(shù)據(jù)分析相關(guān)的人才之爭即將展開。
對于推特（Twitter）來說，處理海量的用戶數(shù)據(jù)是一個非常令人頭疼的問題，為此他們專門收購了一家公司幫助他們做這項工作。推特的成功完全取決于其對用戶所產(chǎn)生數(shù)據(jù)的充分利用。他們需要處理大量的數(shù)據(jù)：推特?fù)碛?億多個托管賬戶，而這些賬戶每天會產(chǎn)生2.3億條推文。
2011年7月份，社交網(wǎng)站巨子推特收購了BackType公司及該公司的Storm軟件，后者能夠從語法上實時分析數(shù)據(jù)流，例如數(shù)百萬條的推文。收購之后，推特公布了Storm的源代碼，無意使該軟件商品化。Storm對于推特的價值在于其特殊的工作方式，因為這有助于識別新出現(xiàn)話題。比方說，推特使用該軟件能夠?qū)崟r計算出Web地址在多個推特用戶間的共享程度。
推特的Storm 軟件首席工程師Nathan Marz解釋說：“這一工作實際上是一種高強度的計算，涉及數(shù)千個數(shù)據(jù)調(diào)用和數(shù)百萬份的用戶記錄。”在使用一臺機器的情況下，計算Web地址的范圍需要花上10分鐘的時間。但是如果使用10臺機器，那么計算只需要幾秒鐘。對于靠新興趨勢銷售廣告掙錢的公司而言，更快的運作非常關(guān)鍵。
推特等公司發(fā)現(xiàn)，他們手中掌握著大量的數(shù)據(jù)，而這些數(shù)據(jù)可幫助實現(xiàn)利潤的最大化，并提高效率。而實現(xiàn)這些目標(biāo)的前提是，他們能夠快速組織和分析這些數(shù)據(jù)。目前大量新技術(shù)的出現(xiàn)使得這一目標(biāo)成為可能，這些新技術(shù)大多數(shù)是開源技術(shù)。
團購網(wǎng)站LivingSocial 的CTO Aaron Batalion說：“如果我們能夠更好地理解用戶關(guān)注什么，利用這些數(shù)據(jù)提供更好的服務(wù)體驗，那么我們無疑將獲得競爭優(yōu)勢。”目前LivingSocial使用的是Apache Hadoop數(shù)據(jù)處理平臺，以收集更多的用戶關(guān)注信息。
Batalion說：“開發(fā)出一款產(chǎn)品，然后讓它們工作起來就萬事大吉的日子已經(jīng)結(jié)束了。為了獲得成功，你必須要想主意、測試它們、進行迭代、使用數(shù)據(jù)和分析法去搞清楚哪些在工作，哪些沒有。這是我們使用大數(shù)據(jù)基礎(chǔ)設(shè)施的方式。”
大數(shù)據(jù)越來越大
2011年5月，咨詢公司McKinsey and Company公布了一份報告。該報告預(yù)測了企業(yè)在未來幾年將會如何被數(shù)據(jù)洪流所淹沒。他們還預(yù)測了包括醫(yī)療、公共部門和制造業(yè)等行業(yè)將從對快速增長的數(shù)據(jù)的分析中獲益。
收集和分析交易數(shù)據(jù)可以讓企業(yè)洞察到客戶的選擇，讓他們能夠及時通知產(chǎn)品設(shè)計與服務(wù)部門，同時讓他們對新出現(xiàn)的問題進行快速補救。報告總結(jié)稱：“對大數(shù)據(jù)的使用將成為單個企業(yè)的競爭力與增長的重要基礎(chǔ)。大數(shù)據(jù)的使用將支撐下一波生產(chǎn)力增長與消費者盈余浪潮。”
當(dāng)然，Teradata、IBM和甲骨文等公司推出太字節(jié)級（TB）的數(shù)據(jù)倉庫已有十多年時間。在這段時期內(nèi)，數(shù)據(jù)更多的是以各種各樣的格式被收集與存儲，數(shù)據(jù)能夠在多個服務(wù)器間被平行處理，而這是大量信息被分析的必要基礎(chǔ)。除了維護來自數(shù)據(jù)庫的交易型數(shù)據(jù)，認(rèn)真挑選數(shù)據(jù)倉庫中的數(shù)據(jù)外，企業(yè)還獲得了服務(wù)器產(chǎn)生的大量日志數(shù)據(jù)、由機器生成的數(shù)據(jù)表格、來自內(nèi)部與外部社交網(wǎng)絡(luò)的用戶評論，以及其他松散的非結(jié)構(gòu)型數(shù)據(jù)源。
Hortonworks公司的CTO Eric Baldeschwieler說：“傳統(tǒng)的數(shù)據(jù)系統(tǒng)無法很好地處理大數(shù)據(jù)，它們無法處理各種各樣的數(shù)據(jù)，同時這些系統(tǒng)無法以相應(yīng)的速度進行擴展。這是因為數(shù)據(jù)增長速度很快，當(dāng)今的數(shù)據(jù)很少是結(jié)構(gòu)化的數(shù)據(jù)。”
研究機構(gòu)Monash Research的Curt Monash稱，數(shù)據(jù)增長的速度正在以指數(shù)級的速度增長。摩爾定律指出，集成電路上可容納的晶體管數(shù)目，約每隔18個月便會增加一倍，性能也將提升一倍。 因此并不奇怪，新服務(wù)器的性能每18個月就會增長一倍，這也意味著它們的活動將相應(yīng)地產(chǎn)生更多的數(shù)據(jù)集。
MapR公司的營銷副總裁Jack Norris認(rèn)為，大數(shù)據(jù)解決方案代表了數(shù)據(jù)處理方式出現(xiàn)了重大轉(zhuǎn)變。此前，被認(rèn)真挑選出來的數(shù)據(jù)通過被輸入到數(shù)據(jù)倉庫中，在那里它們將被進一步檢測。隨著數(shù)據(jù)量的增長，網(wǎng)絡(luò)將成為瓶頸。而Hadoop等分布式系統(tǒng)能夠在數(shù)據(jù)所在地就對數(shù)據(jù)進行分析。
大數(shù)據(jù)軟件僅僅是收集企業(yè)產(chǎn)生的所有數(shù)據(jù)，讓管理員和分析師以后再考慮如何使用這些數(shù)據(jù)，而不是在數(shù)據(jù)倉庫中創(chuàng)建干凈的用戶數(shù)據(jù)子集放置數(shù)據(jù)，然后再以有限的預(yù)設(shè)方式應(yīng)付查詢。在這一層面上，與傳統(tǒng)的數(shù)據(jù)庫和數(shù)據(jù)倉庫相比，它們要更具備可擴展性。
互聯(lián)網(wǎng)推動大數(shù)據(jù)增長
在許多方面，谷歌、亞馬遜、雅虎、Facebook和推特等在線服務(wù)巨頭處于如何充分利用這些龐大數(shù)據(jù)集的最前沿。谷歌和雅虎等公司大力支持發(fā)展Hadoop。Facebook的工程師們則大力發(fā)展同樣是開源的Apache Cassandra分布式數(shù)據(jù)庫。
2004年的谷歌白皮書為Hadoop的發(fā)展拉開了帷幕。這份白皮書詳細(xì)地闡述了谷歌將通過一個名為BigTable的索引系統(tǒng)，創(chuàng)建能夠在眾多不同服務(wù)器中分析數(shù)據(jù)的基礎(chǔ)設(shè)施。谷歌一直在內(nèi)部使用BigTable，但是曾經(jīng)創(chuàng)建過Lucene/Solr開源搜索引擎的開發(fā)者Doug Cutting為其創(chuàng)建了一個開源版本，并以兒子的玩具象命名了該項技術(shù)。
雅虎是Hadoop技術(shù)的早期部署者。該公司在2006年雇用了Cutting并開始將大量的工程工作，以改良這種技術(shù)。目前已跳槽為Hadoop軟件和服務(wù)提供商Cloudera工作的Cutting說：“雅虎有著大量以不同形式相互關(guān)聯(lián)的重要數(shù)據(jù)，但是它們存在于相互獨立的系統(tǒng)之中。”
雅虎目前是Hadoop最大的用戶之一，其在40000多臺服務(wù)器中部署了該技術(shù)。同時雅虎正在以多種方式使用該技術(shù)。Hadoop的集群掌握了大量事件的日志文件和用戶點擊區(qū)域的日志文件，廣告活動也被存儲在Hadoop集群中。Monash說：“在將數(shù)據(jù)存入關(guān)系型數(shù)據(jù)庫前，Hadoop是一個組織和壓縮海量數(shù)據(jù)的重要工具。該技術(shù)非常適合跨大量文本集的搜索。”
另一款被互聯(lián)網(wǎng)服務(wù)商使用的大數(shù)據(jù)技術(shù)是Cassandra數(shù)據(jù)庫。Cassandra在單一行上能夠存儲200萬個列，這便于在現(xiàn)有用戶賬戶上附加更多的數(shù)據(jù)，而無需提前獲知數(shù)據(jù)被格式化的方式。使用Cassandra數(shù)據(jù)庫的另一個好處在于，它能夠在多個服務(wù)器中擴展，幫助企業(yè)更為容易地在單一服務(wù)器或小型服務(wù)器集群中擴展其數(shù)據(jù)庫。
Apache Cassandra項目主席、DataStax公司聯(lián)合創(chuàng)始人Jonathan Ellis稱，Cassandra由社交網(wǎng)絡(luò)巨頭Facebook開發(fā)，因為該公司需要一個大型分布式數(shù)據(jù)庫，以支持收件箱內(nèi)搜索。
雅虎、Facebook等公司希望使用谷歌的BigTable架構(gòu)，因為它能夠提供一個定向于行與列的數(shù)據(jù)庫結(jié)構(gòu)，并且能夠在大量節(jié)點中擴展。BigTable的局限性在于其為定向于主節(jié)點的設(shè)計。整體運作依賴于單一節(jié)點協(xié)調(diào)其他所有節(jié)點中的讀寫活動。換句話說，如果主要節(jié)點故障，那么整個系統(tǒng)將癱瘓。 Ellis說：“這不是一個最佳設(shè)計。我們希望一臺機器故障后，其他的機器依然能夠正常運行。”
因此，Ellis和他的同行使用由亞馬遜開發(fā)的分布式架構(gòu)Dynamo創(chuàng)建了Cassandra。關(guān)于Dynamo，亞馬遜工程師曾經(jīng)在2007年的報告中進行了詳細(xì)的闡述。亞馬遜最初開發(fā)Dynamo是為了追蹤在線用戶將哪些東西放在了他們的網(wǎng)絡(luò)購物車中。Dynamo的設(shè)計并不依賴于任何一個主節(jié)點。任何節(jié)點都能夠為整個系統(tǒng)接收數(shù)據(jù)和查詢。數(shù)據(jù)將在多個主機中被復(fù)制。
致企業(yè)用戶
對于企業(yè)用戶而言，好的消息是越來越多最初由互聯(lián)網(wǎng)服務(wù)提供商開發(fā)的工具已經(jīng)開始作為開源軟件提供給企業(yè)使用。目前，除了大型互聯(lián)網(wǎng)服務(wù)提供商外，大量企業(yè)也在對大數(shù)據(jù)工具進行測試。Baldeschwieler指出，金融機構(gòu)、電信公司、政府部門、公共事業(yè)公司、零售商和能源公司也都在測試大數(shù)據(jù)系統(tǒng)。他說：“Hadoop和大數(shù)據(jù)部署是不可避免的。它們非常適合不同要求的客戶。”
那么，企業(yè)應(yīng)該如何利用由機器和社交網(wǎng)絡(luò)產(chǎn)生的大量數(shù)據(jù)呢？事實上，對于企業(yè)的CIO來說，部署基礎(chǔ)設(shè)施并不是他們面臨的最大挑戰(zhàn)。Cloudera、Hortonworks、MapR等廠商正在致力于大數(shù)據(jù)技術(shù)的商品化，這將讓大數(shù)據(jù)技術(shù)的部署與管理變得更加容易。
研究機構(gòu)Forrester的分析師James Kobielus說：“相比之下，找到在數(shù)據(jù)分析方面具有天賦的人才才是最大的困難。企業(yè)必須要關(guān)注數(shù)據(jù)科學(xué)。他們必須要雇用統(tǒng)計建模專家、文本挖掘?qū)＜遥约皩ｉT從事情緒分析的人才。大數(shù)據(jù)依賴于穩(wěn)定的數(shù)據(jù)模型。統(tǒng)計預(yù)測模式和測試分析模式是處理大數(shù)據(jù)的核心應(yīng)用。”
許多業(yè)內(nèi)人士預(yù)測，大數(shù)據(jù)將會帶來一個全新的專業(yè)人員——數(shù)據(jù)科學(xué)家。他們對數(shù)學(xué)和統(tǒng)計學(xué)方面有著精深的造詣，并且熟悉如何利用大數(shù)據(jù)技術(shù)開展工作。這類人才可能非常稀缺。McKinsey and Company預(yù)測，到2018年，僅美國就短缺14萬至19萬名擁有深度分析技能的人才，短缺150萬名能夠熟練使用大數(shù)據(jù)分析做出有效決策的經(jīng)理人和分析師。
MapR的Norris表示，盡管存在著許多局限性，但是企業(yè)需要不斷開拓進取，以保持競爭力和效率。他以進入互聯(lián)網(wǎng)搜索領(lǐng)域已有多年時間的谷歌舉例稱，該公司通過競爭在兩年時間內(nèi)就控制了整個市場。“在這很大程度上要歸功于谷歌后臺架構(gòu)所具有的先進性。大數(shù)據(jù)是一個重大轉(zhuǎn)變，它可能會導(dǎo)致眾多行業(yè)發(fā)生變革。”Norris說。
