2013年即將畫(huà)上句號(hào)，這一年IT界關(guān)注的焦點(diǎn)之一即“智慧城市”，媒體甚至將2013年稱(chēng)為智慧城市發(fā)展元年。隨著智慧城市大帷幕的開(kāi)啟，大數(shù)據(jù)也作為其中一個(gè)主角走上了舞臺(tái)，并伴隨著大數(shù)據(jù)搜集和分析技術(shù)的發(fā)展，未來(lái)的交通、零售、醫(yī)療、安全、教育等領(lǐng)域都將發(fā)生重大變化。大數(shù)據(jù)將在智慧城市中擔(dān)當(dāng)重任，也使得當(dāng)前大數(shù)據(jù)的研究更加緊迫和關(guān)鍵。

大數(shù)據(jù)研究前沿   北大重點(diǎn)實(shí)驗(yàn)室擔(dān)重任

如今越來(lái)越多的領(lǐng)域都需要使用大數(shù)據(jù)分析和挖掘技術(shù)，大數(shù)據(jù)的獲取、挖掘和分析不只是生產(chǎn)工具，而且它已經(jīng)成為科學(xué)進(jìn)程的組成部分，未來(lái)不論在自然科學(xué)還是社會(huì)科學(xué)方面，很多研究都將由大數(shù)據(jù)驅(qū)動(dòng)。大數(shù)據(jù)研究這一具有挑戰(zhàn)性的課題，目前由國(guó)內(nèi)最頂尖的高等學(xué)府北京大學(xué)重點(diǎn)研究實(shí)驗(yàn)室承擔(dān)，也就是北京大學(xué)機(jī)器感知與智能教育部重點(diǎn)實(shí)驗(yàn)室（以下簡(jiǎn)稱(chēng)北大重點(diǎn)實(shí)驗(yàn)室）。

北大重點(diǎn)實(shí)驗(yàn)室是一個(gè)橫跨多個(gè)研究領(lǐng)域的實(shí)驗(yàn)室，目前涉及的主要領(lǐng)域包括計(jì)算機(jī)科學(xué)、智能科學(xué)技術(shù)、心理學(xué)以及認(rèn)知科學(xué)等，是一個(gè)多學(xué)科交叉科研機(jī)構(gòu)。實(shí)驗(yàn)室以實(shí)現(xiàn)高度智能化的機(jī)器感知系統(tǒng)為目標(biāo)，并緊密結(jié)合國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展的要求，開(kāi)展機(jī)器感知、智能信息處理與認(rèn)知科學(xué)方面的基礎(chǔ)與應(yīng)用基礎(chǔ)研究。目前實(shí)驗(yàn)室的主要研究方向有感知機(jī)理，計(jì)算智能與知識(shí)發(fā)現(xiàn)，視感知，聽(tīng)感知，數(shù)字媒體技術(shù)，可視化與視覺(jué)計(jì)算。

北大重點(diǎn)實(shí)驗(yàn)室承擔(dān)著多學(xué)科的重點(diǎn)研究，并一直走在科技的前沿，這次北大重點(diǎn)實(shí)驗(yàn)室承接了大數(shù)據(jù)研究這一項(xiàng)目后，將工作重點(diǎn)不僅放在了研發(fā)用于處理海量數(shù)據(jù)的新技術(shù)和系統(tǒng)上面，還放在了確保個(gè)人資料的收集、處理和分析在一個(gè)嚴(yán)密、安全的環(huán)境下進(jìn)行上面。同時(shí)，北大重點(diǎn)實(shí)驗(yàn)室還承擔(dān)著如何利用大數(shù)據(jù)解決交通運(yùn)輸、城市規(guī)劃、衛(wèi)生、財(cái)政和教育等現(xiàn)實(shí)中不同領(lǐng)域的問(wèn)題，以及如何通過(guò)大數(shù)據(jù)建立分析模型，來(lái)預(yù)測(cè)傳染病的傳播并進(jìn)行輿情分析等研究方向。

大數(shù)據(jù)研究面臨的挑戰(zhàn)及北大重點(diǎn)實(shí)驗(yàn)室IT選型重點(diǎn)

目前，參與大數(shù)據(jù)研究的各方面臨著一些技術(shù)上的挑戰(zhàn)，其中包括：

1. 非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理

據(jù)統(tǒng)計(jì)，目前采集到的數(shù)據(jù)85%以上是非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，而傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)技術(shù)無(wú)法勝任這些數(shù)據(jù)的處理，因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的出發(fā)點(diǎn)是追求高度的數(shù)據(jù)一致性和容錯(cuò)性。

2. 如何探索大數(shù)據(jù)復(fù)雜性、不確定性特征描述的刻畫(huà)方法及大數(shù)據(jù)的系統(tǒng)建模

這一問(wèn)題的突破是實(shí)現(xiàn)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)的前提和關(guān)鍵。從長(zhǎng)遠(yuǎn)角度來(lái)看，依照大數(shù)據(jù)的個(gè)體復(fù)雜性和隨機(jī)性所帶來(lái)的挑戰(zhàn)將促使大數(shù)據(jù)數(shù)學(xué)結(jié)構(gòu)的形成，從而導(dǎo)致大數(shù)據(jù)統(tǒng)一理論的完備。從短期而言，學(xué)術(shù)界鼓勵(lì)發(fā)展一種一般性的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)之間的轉(zhuǎn)化原則，以支持大數(shù)據(jù)的交叉工業(yè)應(yīng)用。管理科學(xué)，尤其是基于最優(yōu)化的理論將在發(fā)展大數(shù)據(jù)知識(shí)發(fā)現(xiàn)的一般性方法和規(guī)律性中發(fā)揮重要的作用。

3. 數(shù)據(jù)異構(gòu)性與決策異構(gòu)性的關(guān)系對(duì)大數(shù)據(jù)知識(shí)發(fā)現(xiàn)與管理決策的影響

由于大數(shù)據(jù)本身的復(fù)雜性，這一問(wèn)題無(wú)疑是一個(gè)重要的科研課題，對(duì)傳統(tǒng)的數(shù)據(jù)挖掘理論和技術(shù)提出了新的挑戰(zhàn)。在大數(shù)據(jù)環(huán)境下，管理決策面臨著兩個(gè)“異構(gòu)性”問(wèn)題：“數(shù)據(jù)異構(gòu)性”和“決策異構(gòu)性”。傳統(tǒng)的管理決定模式取決于對(duì)業(yè)務(wù)知識(shí)的學(xué)習(xí)和日益積累的實(shí)踐經(jīng)驗(yàn)，而管理決策又是以數(shù)據(jù)分析為基礎(chǔ)的。

4. 數(shù)據(jù)的去冗余和高效率低成本的數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)中有大量的冗余，消除冗余是降低開(kāi)銷(xiāo)的重要途徑。大數(shù)據(jù)的存儲(chǔ)方式不僅影響效率也影響成本，需要研究高效率低成本的數(shù)據(jù)存儲(chǔ)方式。需要研究多源多模態(tài)數(shù)據(jù)的高質(zhì)量獲取與整合的理論和技術(shù)、錯(cuò)誤自動(dòng)檢測(cè)與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計(jì)算的理論和算法等。

5. 大數(shù)據(jù)的有效融合

數(shù)據(jù)不整合就發(fā)揮不出大數(shù)據(jù)的大價(jià)值。大數(shù)據(jù)的泛濫與數(shù)據(jù)格式太多有關(guān)。大數(shù)據(jù)面臨的一個(gè)重要問(wèn)題是個(gè)人、企業(yè)和政府機(jī)構(gòu)的各種數(shù)據(jù)和信息能否方便地融合。

6. 適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開(kāi)發(fā)環(huán)境

不同行業(yè)需要不同的大數(shù)據(jù)分析工具和開(kāi)發(fā)環(huán)境，應(yīng)鼓勵(lì)計(jì)算機(jī)算法研究人員與各領(lǐng)域的科研人員密切合作，在分析工具和開(kāi)發(fā)環(huán)境上創(chuàng)新。當(dāng)前跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享仍存在大量壁壘，海量數(shù)據(jù)的收集，特別是關(guān)聯(lián)領(lǐng)域的同時(shí)收集還存在很大挑戰(zhàn)。

7. 大幅度降低數(shù)據(jù)處理、存儲(chǔ)和通信能耗的新技術(shù)

大數(shù)據(jù)的獲取、通信、存儲(chǔ)、管理與分析處理都需要消耗大量的能源。在能源問(wèn)題日益突出的今天，研究創(chuàng)新的數(shù)據(jù)處理和傳送的節(jié)能方法與技術(shù)是重要的研究方向。

顯然，這些挑戰(zhàn)是大數(shù)據(jù)研究者共同面臨的，而北大重點(diǎn)實(shí)驗(yàn)室IT選型的重點(diǎn)就是針對(duì)上述的挑戰(zhàn)，找到合適的解決方案。

北大重點(diǎn)實(shí)驗(yàn)室IT架構(gòu)解決方案

經(jīng)過(guò)大量的前期調(diào)查，比較和分析準(zhǔn)備工作，北大重點(diǎn)實(shí)驗(yàn)室最后選擇了華為基于高性能服務(wù)器RH5885 V2的HANA數(shù)據(jù)處理平臺(tái)。HANA提供的對(duì)大量實(shí)時(shí)業(yè)務(wù)數(shù)據(jù)進(jìn)行快速查詢(xún)和分析以及實(shí)時(shí)數(shù)據(jù)計(jì)算等功能，在很大程度上得益于華為RH5885 V2服務(wù)器的高可靠、高性能和高可用性的支撐。

華為RH5885 V2是新一代四路/八路機(jī)架服務(wù)器，采用Intel® Xeon® E7-8800/4800系列處理器，支持6核、8核及10核CPU類(lèi)型，最高頻率2.66GHz，最大30MB L3緩存空間，完全能滿(mǎn)足大數(shù)據(jù)分析、挖掘?qū)Ψ?wù)器提出的具備強(qiáng)大處理性能的要求；支持兩個(gè)高性能GPU，這就在很大程度上提升了系統(tǒng)圖形處理與浮點(diǎn)計(jì)算能力，恰好滿(mǎn)足了大數(shù)據(jù)分析中圖形展示對(duì)服務(wù)器提出的高性能GPU要求。

RH5885 V2其他的特點(diǎn)還包括：可靈活擴(kuò)展，八路服務(wù)器支持128條內(nèi)存，最大容量4TB；可靠性高，支持多達(dá)35項(xiàng)容錯(cuò)特性；維護(hù)簡(jiǎn)單，支持免開(kāi)箱維護(hù)和綠色環(huán)保等。這些特點(diǎn)都為HANA提供了強(qiáng)大的硬件支撐，讓HANA能夠順暢地進(jìn)行大數(shù)據(jù)的各種應(yīng)用。

北大重點(diǎn)實(shí)驗(yàn)室繼續(xù)引領(lǐng)大數(shù)據(jù)研究前沿

華為高性能服務(wù)器RH5885V2的HANA一體機(jī)應(yīng)用于北大重點(diǎn)實(shí)驗(yàn)室后，經(jīng)過(guò)近一年的使用，以事實(shí)證明了其高可靠、高性能的領(lǐng)先優(yōu)勢(shì)，不僅如此，北大重點(diǎn)實(shí)驗(yàn)室的相關(guān)負(fù)責(zé)人認(rèn)為：“華為創(chuàng)新的SSD 高速存儲(chǔ)卡，使一體機(jī)I/O 性能提升了5 倍，僅系統(tǒng)硬件就幫助北大重點(diǎn)實(shí)驗(yàn)節(jié)省投資60%，一體機(jī)方案優(yōu)勢(shì)明顯。更重要的是，通過(guò)使用華為高性能服務(wù)器RH5885V2的HANA一體機(jī)，優(yōu)越的性能幫助我們的研究取得事半功倍的效果，并在智能化大數(shù)據(jù)領(lǐng)域的研究始終走在國(guó)內(nèi)的最前沿。“而華為也在此次與北大重點(diǎn)實(shí)驗(yàn)室的合作中，更細(xì)致的把握了教育行業(yè)及大數(shù)據(jù)應(yīng)用的需求特點(diǎn)，幫助更多的中國(guó)教育行業(yè)用戶(hù)及大數(shù)據(jù)應(yīng)用用戶(hù)構(gòu)建更加卓越的IT系統(tǒng)架構(gòu)。