大數(shù)據(jù)會(huì)是一場(chǎng)概念的騙局么？近期這樣的討論在網(wǎng)上隨著大數(shù)據(jù)的話題而不斷涌現(xiàn)出來(lái)。其實(shí)大數(shù)據(jù)并不是一項(xiàng)全新的技術(shù)，它的本質(zhì)表現(xiàn)在數(shù)據(jù)的形態(tài)更為復(fù)雜，增長(zhǎng)的速度更快和交互的頻率更高。如何對(duì)具備這樣特征的數(shù)據(jù)集群進(jìn)行管理和使用，是區(qū)別于傳統(tǒng)數(shù)據(jù)應(yīng)用的主要特點(diǎn)。更為重要的一點(diǎn)是：當(dāng)前的技術(shù)將大數(shù)據(jù)應(yīng)用的成本降低到了中小型企業(yè)也可以使用的階段，在有關(guān)大數(shù)據(jù)的話題討論中，這一點(diǎn)也是備受關(guān)注和認(rèn)可的。
伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，商業(yè)決策已經(jīng)越來(lái)越依賴于數(shù)據(jù)。然而，傳統(tǒng)的商業(yè)智能系統(tǒng)中用于分析的數(shù)據(jù)，大都是企業(yè)自身信息系統(tǒng)中產(chǎn)生的運(yùn)營(yíng)數(shù)據(jù)，這些數(shù)據(jù)大都是標(biāo)準(zhǔn)化、結(jié)構(gòu)化的。事實(shí)上，這些數(shù)據(jù)只占到了企業(yè)所能獲取的數(shù)據(jù)中很小的一部分，還有更加廣泛的數(shù)據(jù)是存在于Social、Mobile、電子商務(wù)等應(yīng)用中的非結(jié)構(gòu)化數(shù)據(jù)。
企業(yè)用以分析的數(shù)據(jù)越全面，結(jié)果就越接近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將它與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合。微軟亞太研發(fā)集團(tuán)服務(wù)器與開(kāi)發(fā)工具事業(yè)部，中國(guó)云計(jì)算創(chuàng)新中心商務(wù)戰(zhàn)略總監(jiān)殷皓在接受51CTO記者專(zhuān)訪時(shí)特別談到了一個(gè)很有意思的案例：“某汽車(chē)銷(xiāo)售機(jī)構(gòu)希望了解歷年油價(jià)的波動(dòng)對(duì)汽車(chē)銷(xiāo)售帶來(lái)的影響，這時(shí)他們不需要重新采集關(guān)于油價(jià)的數(shù)據(jù)，而是通過(guò)Windows Azure上的一個(gè)數(shù)據(jù)集市服務(wù)，獲得了準(zhǔn)確而專(zhuān)業(yè)的數(shù)據(jù)信息，很快的完成了這項(xiàng)分析，充分體現(xiàn)了數(shù)據(jù)服務(wù)帶來(lái)的價(jià)值。”殷皓認(rèn)為數(shù)據(jù)不能停留數(shù)據(jù)存儲(chǔ)的階段，而是要轉(zhuǎn)換成為有價(jià)值的信息服務(wù)，創(chuàng)造新的商業(yè)機(jī)會(huì)。
微軟亞太研發(fā)集團(tuán)服務(wù)器與開(kāi)發(fā)工具事業(yè)部，中國(guó)云計(jì)算創(chuàng)新中心商務(wù)戰(zhàn)略總監(jiān)殷皓
大數(shù)據(jù)將改變誰(shuí)的命運(yùn)
DBA是在傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用領(lǐng)域中極為重要的人群，也許大數(shù)據(jù)會(huì)帶給他們理念上的轉(zhuǎn)變。“DBA曾經(jīng)是IT行業(yè)中的金飯碗，因?yàn)楹诵牡臄?shù)據(jù)庫(kù)技術(shù)發(fā)展相對(duì)來(lái)說(shuō)變化的較少，所以有些DBA會(huì)慢慢變懶”，殷皓談到：“但是，變化少不代表不變。如果DBA的工作定位偏向底層運(yùn)維型的話，那么他們的職能會(huì)變得越來(lái)越小，甚至?xí)蛔詣?dòng)化的服務(wù)來(lái)取代，未來(lái)DBA對(duì)基礎(chǔ)設(shè)施的管理會(huì)越來(lái)越少，更多的向上層業(yè)務(wù)擴(kuò)展。”
我們關(guān)注到發(fā)展中的DBA分工，其中的一種可能會(huì)涉及到企業(yè)核心安全保障，成為企業(yè)里數(shù)據(jù)的守門(mén)人之一。另一種角色是研發(fā)DBA，它和業(yè)務(wù)應(yīng)用結(jié)合的非常緊密。包括數(shù)據(jù)定義、數(shù)據(jù)建模，從邏輯建模到物理建模，以及后端存儲(chǔ)的設(shè)計(jì)等，未來(lái)更多的是成為企業(yè)數(shù)據(jù)模型的管理者。“這實(shí)際上也是一個(gè)職業(yè)發(fā)展的過(guò)程“，殷皓認(rèn)為：“運(yùn)維DBA需要確保7*24的業(yè)務(wù)連續(xù)性，研發(fā)DBA更多的負(fù)責(zé)物理建模，完成開(kāi)發(fā)人員寫(xiě)的存儲(chǔ)過(guò)程。而我們看到的數(shù)據(jù)架構(gòu)師層面，就是需要從業(yè)務(wù)需求出發(fā)來(lái)實(shí)現(xiàn)邏輯建模。因?yàn)閷?duì)業(yè)務(wù)的理解是自動(dòng)化工具所不能取代的，這也是在大數(shù)據(jù)的趨勢(shì)下，DBA所要面臨的轉(zhuǎn)變。”
SQL Server與大數(shù)據(jù)的對(duì)接
Hadoop是大數(shù)據(jù)的一個(gè)分布式系統(tǒng)架構(gòu)。5月與微軟SQL Server 2012同時(shí)發(fā)布的還有將Hadoop和SQL Server連在一起的連通器，他們通過(guò)標(biāo)準(zhǔn)的ODBC模式，把Hadoop和PDW微軟并行數(shù)據(jù)倉(cāng)庫(kù)連在一起，實(shí)現(xiàn)多核并發(fā)的并行數(shù)據(jù)倉(cāng)庫(kù)。“用戶無(wú)需對(duì)應(yīng)用做出很大的改動(dòng)，只是連接到SQL Server、數(shù)據(jù)倉(cāng)庫(kù)，或者是一個(gè)對(duì)象。通過(guò)這個(gè)對(duì)象可以把我的連接通過(guò)連接鍵引申出去，然后把所有的數(shù)據(jù)整合在一起”，殷皓興奮的分享到：“在這種場(chǎng)景下，我可以把結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、甚至是數(shù)據(jù)倉(cāng)庫(kù)在模型中的數(shù)據(jù)整合在一起，做更加深入的數(shù)據(jù)分析。”
SQL Server 2012版本中，微軟亞太研發(fā)集團(tuán)服務(wù)器與開(kāi)發(fā)工具事業(yè)部參與了兩個(gè)大的功能研發(fā)：數(shù)據(jù)的遷移工具SSIS，數(shù)據(jù)庫(kù)升級(jí)的服務(wù)。微軟針對(duì)Hadoop在Windows Server Kernel上做出性能的優(yōu)化、安全認(rèn)證的整合，形成企業(yè)級(jí)的AD整合，并實(shí)現(xiàn)了和BI工具的整合。“微軟在NoSQL上加一個(gè)SQL的索引層，比如eBay的底層用了MangoDB，但所有的交易數(shù)據(jù)都按照SQL來(lái)存儲(chǔ)到結(jié)點(diǎn)中”，殷浩認(rèn)為：“NoSQL提供了一個(gè)很好的存儲(chǔ)機(jī)制，但要提高數(shù)據(jù)利用的效率，最好回到SQL的場(chǎng)景。NoSQL將會(huì)是數(shù)據(jù)庫(kù)發(fā)展過(guò)程中的一個(gè)中間階段，會(huì)逐漸體現(xiàn)為數(shù)據(jù)服務(wù)中的一部分，而非數(shù)據(jù)平臺(tái)的主流。”
關(guān)于大數(shù)據(jù)的話題還將繼續(xù)爭(zhēng)論下去，但可以看到的是，在企業(yè)商業(yè)智能的發(fā)展基礎(chǔ)上，數(shù)據(jù)分析將作為一種服務(wù)提供給用戶。IT技術(shù)提供商們開(kāi)始實(shí)踐的大數(shù)據(jù)，不僅是把數(shù)據(jù)用于企業(yè)內(nèi)部的業(yè)務(wù)分析和決策支持，而是以提供數(shù)據(jù)分析模型的方式優(yōu)化企業(yè)決策。這不僅僅是技術(shù)的更新，而是IT消費(fèi)模式的變革。
原文鏈接：http://database.51cto.com/art/201206/340405.htm
