繼物聯(lián)網、云計算之后，“大數(shù)據”已迅速成為市場和用戶爭相討論的熱門科技概念。那么究竟什么是大數(shù)據呢?調研機構IDC認為，某項技術要想成為大數(shù)據技術，必須滿足IBM所描述的三個“V”：即多樣性(variety)、大容量(volume)和時效性高(velocity)。多樣性是指數(shù)據應包含結構化的和非結構化的數(shù)據；大容量是指聚合在一起供分析的數(shù)據量必須是非常龐大的；時效性高則是指數(shù)據處理的速度必須很快。
在2011年，“大數(shù)據”的概念已經賺足了人氣，調研機構IDC數(shù)字宇宙在2011年6月的報告顯示，全球數(shù)據量在2011年已達到1.8ZB，在過去5年里增加了5倍，而到2015年將達到近8ZB。進入2012年，大數(shù)據絲毫不會放慢增長的步伐，全球制造業(yè)、政府、零售商、金融等眾多機構已經陷入“數(shù)據爆炸”的困境。
尤其在互聯(lián)網和電信行業(yè)中，隨著移動互聯(lián)網的不斷創(chuàng)新強大，海量數(shù)據蜂擁而至，更多新的數(shù)據形式也不斷涌現(xiàn)，現(xiàn)在的數(shù)據早已不是結構化的了，還摻雜了包括辦公文檔、文本、圖片、網頁、報表、音頻、視頻信息等很多非結構化數(shù)據，這為傳統(tǒng)的數(shù)據處理帶來了新的挑戰(zhàn)。
隨著數(shù)據量的急劇增長，以及對數(shù)據在線處理能力的要求不斷提高，海量數(shù)據的處理問題越來越受到關注。在金融、電信等領域，都需要通過對大量的用戶數(shù)據進行分析，才能做出相應的決策。對互聯(lián)網數(shù)據進行存儲和處理的海量數(shù)據處理系統(tǒng)也開始向數(shù)據密集型計算系統(tǒng)發(fā)展。
數(shù)據密集型計算系統(tǒng)特點
數(shù)據密集型計算系統(tǒng)不僅需要存儲超大規(guī)模的數(shù)據，還需要對這些數(shù)據進行復雜的計算與分析。由于對數(shù)據密集型大規(guī)模計算系統(tǒng)的需求越來越多，人們也越來越關注。不同于已有的分布式計算或高性能計算，數(shù)據密集型大規(guī)模計算的特點可以概括為兩個方面：
海量的數(shù)據集：通常在PB級。這意味著對于一次計算任務而言，獲取所需的數(shù)據所花費的時間將是不可忍受的，這完全不同于以往的計算系統(tǒng)，同時也給數(shù)據密集型大規(guī)模計算系統(tǒng)的設計與實現(xiàn)帶來了新的挑戰(zhàn)。
復雜的計算過程：簡單地將數(shù)據進行分塊處理已經不能滿足數(shù)據密集型計算的需求。即使是對互聯(lián)網數(shù)據的分析也開始具備科學計算的復雜性，這種計算的復雜性為局部性的優(yōu)化和數(shù)據管理帶來了新的挑戰(zhàn)。
由于數(shù)據密集型大規(guī)模計算系統(tǒng)的研究還處在起步階段，對于數(shù)據密集型大規(guī)模計算系統(tǒng)的體系結構設計仍在探索中，目前在對系統(tǒng)結構方面的研究中，重點大多集中在如何使計算盡可能地靠近數(shù)據。但是，當大規(guī)模計算的數(shù)據量超過1PB時，傳統(tǒng)的存儲子系統(tǒng)已經難以滿足海量數(shù)據處理的讀寫需要，數(shù)據傳輸I/O帶寬的瓶頸愈發(fā)突出。
因此，數(shù)據密集型計算系統(tǒng)在系統(tǒng)結構方面面臨的最大挑戰(zhàn)其實是如何在存儲超大規(guī)模數(shù)據量的同時，保證存儲系統(tǒng)與計算系統(tǒng)之間的I/O帶寬。海量數(shù)據處理系統(tǒng)面向的應用是處理大量的數(shù)據，所以其設計關鍵是如何組織存儲資源以獲得高速的I/O吞吐率以及海量的數(shù)據容量。
大型機打破I/O瓶頸 強化安全
在2011年，IBM就提出了“智慧的運算”概念，其內涵包含大規(guī)模數(shù)據整合、優(yōu)化的系統(tǒng)，以及云計算等新興服務交付模式。伴隨著全新的zEnterprise 114大型機產品發(fā)布，zEnterprise System企業(yè)級大型機已經作為“系統(tǒng)中的系統(tǒng)”來全面實現(xiàn)“智慧的運算”。
眾多周知，除了RAS外，大型機的設計被公認用來處理大容量的I/O應用。IBM大型機的設計中包括一些輔助電腦來管理I/O吞吐量的通道，而讓CPU解放出來只處理高速內存中的數(shù)據，每一個I/O通道都能同時處理許多I/O操作和控制上千個設備。利用大型機處理數(shù)據中心超大數(shù)據是已經是十分常見的情景了。
相比于x86服務器，大型機經常是同時處理上千個數(shù)據流。并且能保證每一個數(shù)據流的高速運轉。在軟件方面，IBM提供一種高性能操作系統(tǒng)IBM z/TPF，專為具有高需求、高容量、實時事務處理需要的組織提供高可用性而設計。
此外，隨著高度分布式的計算、廣泛的在線協(xié)作和異構IT環(huán)境的結合，對數(shù)據的依賴性已越來越高，使得信息安全比以往更加關鍵和復雜。由于IT基礎架構更加開放和多樣，安全威脅正在加劇，并變得更加難以管理。
在安全性方面，IBM大型機具備得天獨厚的優(yōu)勢，System z大型機具有一種高度安全的設計，可幫助減少如今分布式、協(xié)作、多平臺環(huán)境中的數(shù)據破壞風險。安全構筑于大型機結構的每個層級，包括處理器、操作系統(tǒng)、通信、存儲和應用。
除了異常強大的安全基礎，得益處于IBM Security Solutions“Secure by Design” 計劃，大型機從一開始就將安全性構筑到IT基礎架構內。該計劃的目的就是幫助企業(yè)將安全性整合到內部的服務結構中，并融入到業(yè)務流程和日常操作之中。
而且，IBM也已將“Secure by Design”計劃考慮到軟件設計中，針對于大型機的IBM Tivoli和IBM Information Management安全產品支持“Secure by Design”背后的理念，并提供用戶管理、資源保護以及審計與合規(guī)性報告的解決方案。這也使得在目前分布式、多平臺計算環(huán)境中，大型機更加適合于作為企業(yè)集中的安全中心，來支持和管理多個混合環(huán)境，以最大限度降低混合環(huán)境中的風險。
原文鏈接：http://server.it168.com/a2012/0331/1332/000001332818_1.shtml
