麥肯錫在研究報告中指出，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素;而人們對于海量數(shù)據(jù)的運用將預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。麥肯錫的報告發(fā)布后，包括IBM、EMC、甲骨文、微軟、天融信在內(nèi)的各大廠商紛紛跑馬圈地，強勢進入，投入了巨大的資源搶占這個領(lǐng)域的話語權(quán)。

　　非結(jié)構(gòu)化數(shù)據(jù)增長帶來新安全問題

　　隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身是資產(chǎn)，這一點在業(yè)界已經(jīng)形成共識。事實上，“大數(shù)據(jù)”并不是一項技術(shù)，而是由于不斷增長的數(shù)據(jù)量和數(shù)據(jù)種類而逐漸衍生出來的一種現(xiàn)象。因此，“大數(shù)據(jù)”在業(yè)內(nèi)并沒有統(tǒng)一的定義。不同廠商，不同用戶，站的角度不同，對大數(shù)據(jù)的理解也不一樣。因此，大數(shù)據(jù)市場的快速發(fā)展，主要得益于非結(jié)構(gòu)化數(shù)據(jù)的爆炸式增長。

　　隨著計算機信息化技術(shù)飛速發(fā)展，企業(yè)中的主機、服務(wù)器、防火墻、交換機、防毒墻、無線路由等等網(wǎng)絡(luò)設(shè)備、安全設(shè)備以及應(yīng)用系統(tǒng)越來越多，這些設(shè)備所產(chǎn)生的海量日志信息成為了大數(shù)據(jù)時代飛速增長的數(shù)據(jù)的重要組成部分，由此帶來的日志管理與安全審計的工作也變得越來越復(fù)雜。面對海量數(shù)據(jù)，單靠人工進行管理幾乎成了一件不可能完成的工作。越來越多的企業(yè)也意識到了這種挑戰(zhàn)：一方面，IT 負責人和職員無法有效地對海量數(shù)據(jù)進行有效地收集、處理和分析;另一方面，企業(yè)CEO 以及高層管理人員因不能及時獲得所需的信息，而無法預(yù)測出潛在的業(yè)務(wù)風險，坐等商業(yè)機會的流失。

　　綜合管理應(yīng)對海量數(shù)據(jù)安全挑戰(zhàn)

　　天融信在面對大數(shù)據(jù)時代帶來的新挑戰(zhàn)時，提出大數(shù)據(jù)綜合管理平臺戰(zhàn)略，相應(yīng)地推出了海量日志數(shù)據(jù)自動收集與實時智能分析產(chǎn)品(TopAudit-Log，簡稱TA-L)，為企業(yè)轉(zhuǎn)型、成長提供必要的戰(zhàn)略技術(shù)支撐，幫助企業(yè)將新挑戰(zhàn)變?yōu)樾聶C遇。通過海量數(shù)據(jù)的自動收集、處理以及實時的智能分析實現(xiàn)企業(yè)高效、便捷、經(jīng)濟的大數(shù)據(jù)管理。

　　該產(chǎn)品主要由數(shù)據(jù)采集、實時數(shù)據(jù)分析與存儲、綜合管理平臺三部分構(gòu)成，其結(jié)構(gòu)如下圖所示：

　　產(chǎn)品架構(gòu)

　　海量日志數(shù)據(jù)自動收集與實時智能分析能夠與任何企業(yè)以及職能部門進行整合，從以下四個方面幫助其全面應(yīng)對海量數(shù)據(jù)帶給企業(yè)的新挑戰(zhàn)：

　　1.通過技術(shù)手段進行海量數(shù)據(jù)自動收集，并進行非結(jié)構(gòu)數(shù)據(jù)歸一化處理，同時將原始數(shù)據(jù)進行高效壓縮存儲，最大限度提高存儲利用率和數(shù)據(jù)收集速度，解決人工無法完成海量數(shù)據(jù)收集的難題。

　　2.收集數(shù)據(jù)的同時通過數(shù)據(jù)實時分析引擎對海量數(shù)據(jù)進行深度分析，數(shù)據(jù)實時分析引擎融合了數(shù)據(jù)庫、人工智能、機器學(xué)習、統(tǒng)計學(xué)等多個領(lǐng)域的理論和技術(shù)，從收集到的大數(shù)據(jù)中第一時間挖掘出黑客攻擊、非法操作、潛在威脅等各類管理者關(guān)注的安全事件。同時，采用獨特的事件關(guān)聯(lián)分析技術(shù)實現(xiàn)用戶、事件、后臺數(shù)據(jù)庫三層關(guān)聯(lián)分析，關(guān)聯(lián)分析準確度高達90%以上，從根本上解決了人工無法進行海量數(shù)據(jù)處理與分析的難題。

　　3.數(shù)據(jù)實時分析引擎進行深度分析出的各類安全事件將第一時間通知實時告警平臺，告警平臺根據(jù)管理者的要求第一時間將管理者關(guān)注的安全事件信息告知，便于管理者及時采取有效的管理措施，幫助管理者有效的進行企業(yè)風險管理。

　　4.最后通過統(tǒng)一管理平臺，管理者可以進行海量數(shù)據(jù)查詢以及統(tǒng)計分析，可以第一時間幫助管理者整理出企業(yè)CEO以及高層管理人員關(guān)注的信息，簡單、直觀、高效。為企業(yè)高層管理者預(yù)測未來并制定相關(guān)管理辦法以及企業(yè)發(fā)展規(guī)劃提供依據(jù)，并幫助企業(yè)更好的進行風險管理以及滿足各項合規(guī)性檢查。

　　TA-L的典型應(yīng)用

　　TA-L高效的大數(shù)據(jù)自動收集效率以及智能動態(tài)分析性能是行業(yè)獨一無二的，不僅涵蓋了從軟件到硬件的各類安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)，同時也創(chuàng)造性的將各種看似毫無關(guān)聯(lián)的海量數(shù)據(jù)進行深度挖掘并進行關(guān)聯(lián)性分析，將普通的大數(shù)據(jù)處理提高到了智能分析，化挑戰(zhàn)為機遇的戰(zhàn)略高度，充分涵蓋了海量信息價值發(fā)掘歷程中的各個層面。該產(chǎn)品尤其適合網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、系統(tǒng)規(guī)模龐大、容易形成大數(shù)據(jù)的金融、政府、銀行、證券、運營商、醫(yī)療等各大型機構(gòu)。采用多級分域部署的集中管理方式，構(gòu)建覆蓋全國總部、各省級單位和地市級單位的綜合管理體系。其典型的部署架構(gòu)如下圖所示：

　　產(chǎn)品典型部署

　　天融信日志數(shù)據(jù)自動收集與實時智能分析系統(tǒng)憑借優(yōu)異的大數(shù)據(jù)自動收集性能結(jié)合高效的海量數(shù)據(jù)智能實時分析與動態(tài)實時告警，已經(jīng)到政府、軍工、教育、能源等多個行業(yè)得到了廣泛應(yīng)用，深受IT管理者好評。相信在不久的未來，海量數(shù)據(jù)智能實時分析將輻射各行各業(yè)，為各企業(yè)在大數(shù)據(jù)時代的穩(wěn)健發(fā)展提供前所未有的有價值的信息，幫助各企業(yè)變挑戰(zhàn)為基于，同時，各種基于大數(shù)據(jù)智能實時分析的產(chǎn)品也將得到更廣泛的應(yīng)用，屆時將會有更多的廠商進入這一領(lǐng)域，百家爭鳴的局面指日可待。