領誠科技大數據日誌分析解決方案

日誌分析，並非大數據「雕蟲技」

經過長期的信息化建設，企業積攢了成百上千套系統，每天產生海量的日誌信息數據。然而，大量的日誌信息往往被遺棄、或存放歷史庫中，未能有效發揮其價值。部分企業逐步意識到日誌信息的重要性，部署了Tivoli等管理系統，但這種傳統解決方案，對半結構和非結構化數據適應性極差，且局限於歷史數據的統計展示，對日誌數據的獲取、使用和價值發揮均存在較嚴重的能力不足。

造成這些日誌分析窘境的原因，主要包含以下幾點：

日誌數據的存儲和維護成本高;

日誌記錄格式不規範、不統一，導致整合困難;

日誌記錄的垃圾數據較多，數據價值提煉困難且成本高;

使用手段單一，多是對系統異常現狀監測和核心數據備份;

海量日誌信息流轉期長，時效性差。

隨著科技的飛速發展，大數據技術日趨成熟，在日誌分析方面，大數據亦能大展雄威。領誠科技大數據日誌分析解決方案，可望有力地改善企業日誌分析的處境，全面發揮日誌分析的業務價值。

總體解決方案

經過多年的潛心研究和實踐，領誠科技對大數據技術及應用具有深刻的理解。大數據，並不僅是指數據存儲量的巨大，更強調數據維度的全面和更快速的結果反饋。因此，我們需要從數據源的全面性、時效性和預測能力等多方面發力。

大數據日誌分析解決方案的核心思路如下：

基於NoSQL等技術的數據存儲系統，以適應數據源格式多樣性和不統一，極大限度的促進數據的全面性。

設計常規數據源API，通過拖拽的方式實現大部分數據的接入，降低多樣數據源的接入成本和IT人員維護難度。

採用分散式架構，通過廉價伺服器集群方式來存儲和計算海量日誌數據。

設計離線與實時分離的數據處理方式，實現對海量歷史數據的和實時數據的分析，協助系統管理人員實現對問題的敏捷洞察，快速排查故障。

集成開源的R、Python實現對日誌數據的可視化和深度挖掘，從而完成對生產系統全面預警、監控、統計分析和故障排查。充分利用機器學習和人工智慧分析方法，實現對關鍵問題預測分析，協助管理決策，全面提升企業信息化管理水平。

整體架構示例圖：

針對不同企業的不同數據安全及系統管理要求，我們提供公共雲與私有雲兩種部署方案。兩種模式均提供豐富的API，可以對多種類型傳統關係型資料庫、非關係型資料庫以及平面文件實現批量和實時的採集、整合和分析。

相比私有雲方案，公共雲更具性價比，我們提供7×24小時託管服務，無需耗費大量資源運維底層系統。另外，去中心化的架構設計能夠提升服務的穩定性。更有價值的是，我們內置大量常規分析模型和機器學習模型，能夠有效降低企業預測分析與實時預警的門檻。

公共雲方案

雲端模式可以通過代理自動上傳日誌數據，通過雲端分析平台統計和分析日誌數據。

公共雲架構：

私有雲方案

私有化雲模式需要本地部署日誌採集和分析平台，通過企業網路匯流排實現日誌數據的集中，再由分析平台提供分析和預測服務。

私有雲架構：

日誌採集與整合

針對不同企業的日誌存儲策略，我們提供豐富的API，可以對多種類型關係資料庫、非關係資料庫、XML文件和平面文件實現批量和實時採集。對於特殊日誌格式，可以定製介面，最大限度保證數據的完整新。

海量日誌收集後經由平台統一進行分類整合。首先，對日誌原始數據進行清洗，提高數據質量;其次，對數據進行標準化轉換，統一格式和口徑;然後，根據維度建模的策略對數據進行轉換;之後，根據需求進行KPI計算;最後，根據分析需求建立不同主題的集市主題。

存儲與計算

整合後的數據由分散式NoSQL和關係資料庫存儲與計算。這也是集中體現大數據優勢技術的地方，分散式的策略極大的降低數據存儲成本，相對其它開支幾乎可以忽略不計。另一方面，處理海量數據的計算能力卻極大提升，能夠快速分析日誌結果，從而減少系統運行問題帶來的影響。除此以外，我們提出離線和實時數據分流的策略，進一步平衡實時性和成本的平衡。

應用分析

應用層面，提供多種可視化組件，通過拖拽式操作即可實現對日誌數據敏捷展示、查詢和多維分析。在此基礎上，提供全面預警功能，可以通過郵件和簡訊等形式迅速反饋預警信息。同時，集成R和Python，滿足數據挖掘、機器學習和人工智慧分析需求，實現對關鍵問題的聚類分析和預測分析，全面提高日誌數據的利用效率。

學習示意圖：

日誌分析是發現系統安全問題的重要手段之一，我們利用整合的日誌數據，通過安全分析模型，利用機器學習相關演算法，可以迅速洞察以下幾種事件：受感染軟體惡意傳播，遭受入侵的系統，成功的攻擊，內部人員違規操作，隱蔽通道或隱藏後門通信，高頻探查。

End.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！