說(shuō)到大數(shù)據(jù)，你先想到什么？

超過(guò)PB級(jí)的流量和存儲(chǔ)，電子商務(wù)網(wǎng)站的各種購(gòu)買(mǎi)記錄、購(gòu)物車(chē)記錄和頁(yè)面瀏覽記錄，上億用戶級(jí)別的社交網(wǎng)絡(luò)，抓取整個(gè)互聯(lián)網(wǎng)的搜索引擎，金融領(lǐng)域以秒作為時(shí)間間隔的、快速變更的交易信息，3D地圖，每天增長(zhǎng)飛速的圖片、音頻和視頻流……

業(yè)界對(duì)大數(shù)據(jù)普遍進(jìn)行了幾方面的特征定義，如數(shù)據(jù)量大、數(shù)據(jù)類(lèi)型復(fù)雜、處理速度快。再說(shuō)的直白點(diǎn)，大數(shù)據(jù)相比“傳統(tǒng)”上的數(shù)據(jù)處理，不過(guò)是各方面維度的量級(jí)增加而已，由于技術(shù)的進(jìn)步，把以前需要用大型機(jī)計(jì)算一個(gè)月的數(shù)據(jù)，變成用一個(gè)普通的機(jī)器或廉價(jià)的集群用幾秒鐘就能處理完畢的工作。

從這個(gè)角度來(lái)看，大數(shù)據(jù)的趨勢(shì)其實(shí)針對(duì)各行各業(yè)都適用，而并非只是互聯(lián)網(wǎng)、金融、搞氣象或天文的科研機(jī)構(gòu)這幾個(gè)行業(yè)的專(zhuān)屬趨勢(shì)。所以，當(dāng)微軟的CIO也開(kāi)始談?wù)摯髷?shù)據(jù)的時(shí)候，各位也不必感到驚訝。

上周，微軟公司副總裁兼首席信息官Tony Scott（@kncukier）在北京微軟大廈與幾家媒體見(jiàn)面，一起聊了一些大數(shù)據(jù)方面的話題，51CTO記者也受邀參加。在談到大數(shù)據(jù)的整體趨勢(shì)時(shí)，Scott很高興的將自己兒子的一個(gè)案例故事分享給大家聽(tīng)：

“我兒子最近在洛杉磯，自己創(chuàng)辦了一家小企業(yè)。我非常驚訝的發(fā)現(xiàn)，他免費(fèi)的獲得了很多的洛杉磯本土的人文信息，他從事行業(yè)的業(yè)務(wù)信息以及流量信息。對(duì)大量的免費(fèi)信息進(jìn)行綜合分析之后，能夠準(zhǔn)確地做一個(gè)業(yè)務(wù)決策：這個(gè)業(yè)務(wù)從哪兒開(kāi)始做，如業(yè)務(wù)門(mén)店的選址等。如果是在十年之前，這樣的數(shù)據(jù)要么是無(wú)法獲得，要么就是要花高昂的成本購(gòu)買(mǎi)。但是現(xiàn)在令人驚喜的一點(diǎn)是，所有的數(shù)據(jù)是免費(fèi)的，而且為他提供很好的知情的業(yè)務(wù)決策。”

一個(gè)獨(dú)立創(chuàng)業(yè)者涉及到的數(shù)據(jù)量雖然還稱(chēng)不上多“大”，但要知道這可僅僅是冰山一角。單單是“門(mén)店選址”這一塊需求，不用說(shuō)面向整個(gè)城市，想想看單就海淀區(qū)有多少這方面的需求：就算不考慮那些街邊賣(mài)水果煎餅的路攤，要考慮到人流量、時(shí)間段、購(gòu)買(mǎi)能力、購(gòu)買(mǎi)欲望等等因素，這個(gè)數(shù)據(jù)量就已經(jīng)相當(dāng)可觀了。

大數(shù)據(jù)在微軟

根據(jù)Scott的介紹，目前微軟內(nèi)部的IT部門(mén)負(fù)責(zé)對(duì)微軟在全球的9萬(wàn)名直接員工提供服務(wù)，加上微軟服務(wù)供應(yīng)商和外部咨詢(xún)員等第三方人員，總用戶數(shù)量大約在27萬(wàn)左右。IT部門(mén)本身不擁有數(shù)據(jù)中心：他們自己也是微軟各種云計(jì)算業(yè)務(wù)的租戶之一，如Azure，Office 365，MSN，Bing搜索，Hotmail等等。

針對(duì)這27萬(wàn)用戶的服務(wù)，微軟IT部門(mén)直接可管理的物理服務(wù)器有8000臺(tái)，如果考慮虛擬化的情況則是至少24000個(gè)虛機(jī)，整個(gè)集群上運(yùn)行著代號(hào)為Isotope的微軟大數(shù)據(jù)平臺(tái)（Hadoop到Windows Server的端口），為微軟內(nèi)部的營(yíng)銷(xiāo)團(tuán)隊(duì)、測(cè)試團(tuán)隊(duì)等用戶提供支持。IT部門(mén)管理的終端聯(lián)網(wǎng)設(shè)備在30萬(wàn)臺(tái)左右，其中有大量的PC機(jī)，還有因最近BYOD（自帶設(shè)備辦公）趨勢(shì)下所增長(zhǎng)的個(gè)性化移動(dòng)設(shè)備。

“關(guān)于我們的營(yíng)銷(xiāo)團(tuán)隊(duì)的一個(gè)例子，他們?cè)噲D對(duì)各種不同類(lèi)型客戶的在線和離線行為進(jìn)行建模。他們的數(shù)據(jù)集從數(shù)億到數(shù)十萬(wàn)不等，由于當(dāng)前模型預(yù)測(cè)的局限性，試圖對(duì)在線和離線進(jìn)行建模是非常困難的。根據(jù)我們的大數(shù)據(jù)演示，未來(lái)我們應(yīng)該能夠提供更強(qiáng)大的預(yù)測(cè)變量，更好的控制模型開(kāi)發(fā)，更靈活的驗(yàn)證模型，縮短結(jié)果呈現(xiàn)的周期，并降低開(kāi)發(fā)和維護(hù)成本。”

Scott也提到這個(gè)平臺(tái)是如何支持上周剛剛發(fā)布RP版本的Windows 8產(chǎn)品開(kāi)發(fā)的。眾所周知，Windows自身有一套bug反饋系統(tǒng)，在用戶系統(tǒng)崩潰了的時(shí)候，系統(tǒng)會(huì)將錯(cuò)誤報(bào)告發(fā)送給微軟的研發(fā)團(tuán)隊(duì)。比如在Windows 8的測(cè)試版本發(fā)布之后，就會(huì)收到來(lái)自上百萬(wàn)臺(tái)PC反饋的信息。對(duì)這些bug信息進(jìn)行分析建模，根據(jù)反饋的結(jié)果進(jìn)行產(chǎn)品改良，才有最終Windows 8的完成。

大數(shù)據(jù)在各行各業(yè)

微軟的IT部門(mén)跟許多非企業(yè)級(jí)技術(shù)類(lèi)公司的IT部門(mén)的職責(zé)還不完全一樣。由于微軟本身就是一個(gè)龐大的企業(yè)，而微軟的大部分業(yè)務(wù)是面向企業(yè)級(jí)用戶所研發(fā)的，因此微軟會(huì)先內(nèi)部部署試用自己的產(chǎn)品（即業(yè)界常常提到的“吃狗糧”文化）。也正因?yàn)槿绱耍m然身為微軟面向內(nèi)部的CIO，但Scott也會(huì)經(jīng)常跟微軟的產(chǎn)品技術(shù)部門(mén)溝通，也會(huì)跟微軟的客戶們溝通，使微軟自身能夠以微軟產(chǎn)品“第一用戶”的身份進(jìn)行經(jīng)驗(yàn)分享。而Scott還有另一個(gè)優(yōu)勢(shì)，就是在加盟微軟之前，他曾先后在萬(wàn)豪國(guó)際集團(tuán)、通用汽車(chē)、迪斯尼等企業(yè)就職，對(duì)于這些傳統(tǒng)行業(yè)的狀態(tài)和需求都有一定的了解。

“對(duì)于制造行業(yè)來(lái)說(shuō)，有的制造商屬于大的制造商，他們生產(chǎn)的產(chǎn)品數(shù)以百萬(wàn)計(jì)，而且在全球進(jìn)行分銷(xiāo)，這些產(chǎn)品可能是PC機(jī)、手機(jī)，或者其他的智能設(shè)備，或者是汽車(chē)。對(duì)于這些制造商來(lái)說(shuō)，他們必須收集用戶使用這些產(chǎn)品的信息，幫助他們?nèi)ラ_(kāi)發(fā)、生產(chǎn)更高質(zhì)量，而且對(duì)用戶來(lái)說(shuō)更適用的產(chǎn)品……再比如說(shuō)我們有一個(gè)規(guī)模非常大的工廠，可能每天要生產(chǎn)幾千臺(tái)大型的設(shè)備，整個(gè)制造流水線當(dāng)中有不同的流程。那么就需要收集每個(gè)流程的信息，從而更好地進(jìn)行質(zhì)量的控制，提高最終成品的質(zhì)量。這樣的技術(shù)應(yīng)用已經(jīng)在汽車(chē)制造行業(yè)，電子設(shè)備制造行業(yè)，還有一些醫(yī)療設(shè)備制造行業(yè)所廣泛的使用。”

Scott也曾經(jīng)在醫(yī)藥公司工作過(guò)。“你也知道，醫(yī)藥公司早期的研發(fā)或者銷(xiāo)售時(shí)，通常都是搜集月度的信息，利用原來(lái)傳統(tǒng)的數(shù)據(jù)庫(kù)的工具，花幾個(gè)月才能分析出來(lái)。現(xiàn)在有了大數(shù)據(jù)的工具，我們以小時(shí)為單位來(lái)采集數(shù)據(jù)，在不到幾分之幾秒的時(shí)間里獲得以前一個(gè)星期甚至一個(gè)月才能得出的數(shù)據(jù)結(jié)果。而且這一切都是以實(shí)時(shí)方式實(shí)現(xiàn)的。”

共同的機(jī)遇與挑戰(zhàn)

現(xiàn)在，有云計(jì)算集群這樣價(jià)格相對(duì)低廉的、可出租的強(qiáng)大計(jì)算力，有Hadoop這樣開(kāi)源的軟件框架來(lái)支持海量數(shù)據(jù)的快速分析，一些以前需要一個(gè)資金雄厚的組織花費(fèi)大量人力物力完成的任務(wù)，現(xiàn)在很可能一個(gè)不到十人的小團(tuán)隊(duì)，花費(fèi)很少的成本就能夠完成。

“對(duì)于微軟的客戶來(lái)說(shuō)，最關(guān)鍵的一點(diǎn)，一方面通過(guò)云的技術(shù)能夠讓用戶獲得無(wú)限計(jì)算的資源，來(lái)去分析大規(guī)模的數(shù)據(jù)，而且對(duì)客戶來(lái)說(shuō)，成本是低到可以接受的程度。通過(guò)對(duì)大數(shù)據(jù)的分析，能夠讓客戶獲得獨(dú)一無(wú)二的洞察力，而且有的時(shí)候是非常專(zhuān)業(yè)性的學(xué)習(xí)能力。而且隨著時(shí)間的推移，每一年這樣的學(xué)習(xí)能力，這樣的洞察力都在變得更好。”Scott十分看好大數(shù)據(jù)應(yīng)用在各個(gè)專(zhuān)業(yè)領(lǐng)域的發(fā)展前景。“我們看到在不同的領(lǐng)域，比如說(shuō)醫(yī)藥領(lǐng)域，科學(xué)技術(shù)領(lǐng)域，基礎(chǔ)研究領(lǐng)域，制造，甚至是天氣預(yù)報(bào)的領(lǐng)域，都出現(xiàn)一些非常有意思的大數(shù)據(jù)類(lèi)型的應(yīng)用。而且逐漸的也能夠?qū)@樣一些應(yīng)用帶來(lái)的成果進(jìn)行評(píng)估。正是因?yàn)橥ㄟ^(guò)私有云，或者公有云匯集計(jì)算的力量，我們才能夠獲得這樣一個(gè)獨(dú)一無(wú)二的機(jī)會(huì)，解決一些以前無(wú)法解決的非常有意義的問(wèn)題。”

這也意味著整個(gè)市場(chǎng)會(huì)誕生很多新的機(jī)會(huì)。就企業(yè)而言，以前可能是一些在數(shù)據(jù)方面和統(tǒng)計(jì)學(xué)專(zhuān)業(yè)方面的商業(yè)分析員，使用著那些普通人看也看不懂的工具，每個(gè)月一次生成報(bào)表給業(yè)務(wù)人員和領(lǐng)導(dǎo)們看，由此輔助企業(yè)的戰(zhàn)略制定。而大數(shù)據(jù)應(yīng)用成熟之后，很多業(yè)務(wù)部門(mén)的人自己也可以用一些通用的工具來(lái)處理很多很容易就拿到的數(shù)據(jù)，進(jìn)行自己的業(yè)務(wù)決策。這種快速、低門(mén)檻的環(huán)境，將推動(dòng)大量細(xì)分市場(chǎng)的發(fā)展。

而另一方面，對(duì)于任何數(shù)據(jù)分析而言，都存在一個(gè)最初的問(wèn)題：我們要收集哪些數(shù)據(jù)？要以怎樣的頻率收集這些數(shù)據(jù)？我們又要保留哪些數(shù)據(jù)？需要保留多長(zhǎng)的時(shí)間？很多時(shí)候，并不是數(shù)據(jù)越多越好。甚至對(duì)錯(cuò)誤的數(shù)據(jù)進(jìn)行分析，還會(huì)引導(dǎo)出錯(cuò)誤的商業(yè)決策。Scott認(rèn)為，目前我們還缺乏一個(gè)很好的框架來(lái)解決這些問(wèn)題。不過(guò)，Scott建議大家可以從兩個(gè)方面來(lái)考慮：“第一個(gè)方面，你要了解，保留這些數(shù)據(jù)能帶來(lái)什么樣的商業(yè)價(jià)值？第二個(gè)方面，可以看看相關(guān)的IT治理政策條例是怎樣制定的。”

原文鏈接：http://os.51cto.com/art/201206/340631.htm