這是一個數據爆炸的時代！IDC在最近的一次調研中，對數據的增長做了一個粗略的估計：到今年年末將有1.8萬億字節的數據存放于50億個文件中，IDC據此估計，到2015年將產生7.9千萬億兆字節的數據。
數據量太龐大了，即使是最快的IT系統也跟不上收集數據的速度。而所有的這些信息需要篩選、處理并集成，最后進行分析，才能為企業帶來價值。因此，如何把這些數據轉變成有用信息成為企業亟待解決的問題。
“大數據”問題的由來
一直以來，IT人員都是通過面向批處理的數據倉庫架構來提供及時的數據分析，但在今天，隨著數據量的激增和新數據類型及其所需的數據處理方法，這種架構已經不堪重負了，這是因為，現有的數據倉庫是為結構化數據構建的，非結構化數據并不適合這種架構模式，但實現的情況是：80％的數據是非結構化的。移動和修改海量的非結構化數據將耗費大量的人力物力，因而無法將非結構化數據轉換成必要的結構以方便抽取。
除此之外，為了滿足新興的業務需求，IT部門還需要采用新的方法來訪問、處理和分析多種類型的非結構化數據及相關架構，并且應當以企業級的高標準來完成。如果沒有一種靈活的企業級方法來訪問、處理和分析非結構化數據并據此作出明智的業務決策，那么沒有內在價值的數據會讓IT部門不堪重負——這就是我們今天面臨的“大數據”問題。
企業級“大數據”解決方案
根據2011 TDWI的一份調查，34%的企業開始使用大數據分析來幫助制定決策。MapReduce無疑是解決“大數據”問題最受關注的新一代技術。MapReduce提供了在計算集群下分布處理大數據的軟件框架，利用MapReduce解決方案，開發人員可以開發出運行在分布式集群上，能夠并行處理海量非結構化數據的程序。
一個企業級的MapReduce應該提供以下功能：
- 能夠在整個企業范圍內部署和運行數據抽取和分析程序。
- 管理和監控大規模環境。
- 包括一個負載管理系統以確保服務質量，并根據業務目標，確定應用的優先級。
- 可為多個MapReduce用戶和業務部門提供服務，可能還需為其他分布式處理提供服務。
- 具備一定的靈活性，可根據特定的應用需求來選擇合適的存儲和文件系統。
由于在性能和擴展性方面存在不足，現有的MapReduce解決方案還難以滿足企業通過MapReduce對龐大的異構數據集執行分布式計算需求。
為了滿足將MapReduce應用遷移至生產環境的需求，全球領先的集群、網格、云中間件和云管理平臺提供商——Platform公司已經將其企業級的工作負載管理功能引入到“大數據”領域。
Platform MapReduce是Platform公司最新交付的業界首款針對MapReduce應用程序的企業級分布式運行引擎，基于該公司近二十年來在分布式架構管理領域積累的豐富經驗以及Platform Symphony核心技術而構建，能夠幫助企業克服將應用程序轉移至生產環境的一切障礙，非常適用于跨分布式文件系統的企業級運行服務。
作為一種分布式計算平臺，Platform MapReduce支持開放應用架構，該架構支持企業采用的多種分布式文件系統。它的企業級功能包括：每個MapReduce應用能夠擴展至數千個處理器、能以非常高的速度運行、能夠在為多個業務部門用戶控制負載策略的同時為IT提供可管理性和監控能力，它還有內置的高可用性服務，以確保必要的服務質量。
與市場上開源和商用MapReduce分布式工作負載引擎不同，Platform MapReduce提供了企業級的MapReduce應用程序分布式運行引擎，可以實現對跨整個分布式文件系統的集群中的MapReduce應用程序進行調度和管理。它提供了企業級的可管理性和可伸縮性、高資源利用率和可用性、操作便利性、多應用支持以及一個開放分布式系統架構，其中還包括了對于Hadoop分布式文件系統（HDFS）和Appistry Cloud IQ的支持，這將確保企業可以放心地將MapReduce應用程序轉移至生產環境中。Platform MapReduce提供的關鍵價值包括企業級可管理性和伸縮性、高資源利用率和共享功能、高可靠性、易管理性、多應用支持、開放分布式文件系統架構等。
目前，Platform公司提供的MapReduce企業級解決方案目前已經在多個關鍵的市場廣泛采用，用戶涉及金融服務、電信、政府機構、生命科學和零售等領域。Platform MapReduce已經成為企業面對“大數據”挑戰最值得信賴的基石。
