Elasticsearch 5.4 beta 新功能：機器學習官方支持來了！

如果你也是 Elaticsearch 的粉絲，或者機器學習的愛好者，你肯定不會錯過這個東西。5 月份 Elaticsearch 推出了新版本 5.4，準確地說是 Elastic Stack 全家桶都更新為 5.4 了，在 X-pack 中的 beta 特性中，加入了 Machine Learning 這個特性，同時也會在 Kibana 中有所體現。

據官方博客報導，他們講 Prelert Machine Learning 的技術應用到了 Elastic Stack 中，Prelert 是 Elastic 公司去年 9 月份收購的行為分析技術提供商，意圖是幫助客戶解決網路安全、欺詐檢測、IT 運營分析等場景問題。Prelert 和 Elastic 產品的高度契合，最終成就了這個看起來很炫酷的工具。

報導還稱，「目前，X-Pack Machine Learning 功能的著眼點是，利用無監督式機器學習，提供 「時間序列異常檢測」 功能。以後將計劃增加更多 Machine Learning 功能，但是我們目前只專註於為用戶存儲的時間序列數據（例如日誌文件、應用程序和性能指標、網路流量或 Elasticsearch 中的財務/交易數據）提供附加值。」 這就是說，大家可能比較期待的有監督學習或者什麼深度學習並沒有集成進來，而更多的還是 Elasticsearch 更擅長的時間序列分析。

下面將介紹三種不同的使用用例：

自動提醒關鍵績效指標值的異常變化

自動追蹤數以千計的指標

高級作業

用例1：自動提醒關鍵績效指標值的異常變化

Machine Learning 功能的首個切入點是單一指標作業，如何識別單變數時間序列數據中存在的異常。如果您發現的異常是有意義的，您就可以連續地實時運行這項分析，並在發生異常時發出警報。產品後台包含大量複雜的無監督式機器學習演算法和統計模型，因此我們對於任意信號具有魯棒性，並且能夠準確反映。該功能可以在 Elasticsearch 集群中像原生程序一樣運行，功能實現進行了優化，幾秒鐘即可分析數以百萬計的事件。

用例2：自動追蹤數以千計的指標

GIF/603K

Machine Learning 產品可以擴展到數十萬指標和日誌文件，那麼下一步就是要同時分析多個指標。假設我要處理來自一大組應用程序服務的響應時間，我可以直接分析各個服務一段時間以來的響應時間，分別確認各個行為異常的服務，同時展示整體的系統異常情況。

用例3：高級作業

GIF/1.1M

如果您想找出與整體相比行為異常的用戶、異常的 DNS 流量，或者倫敦街頭的擁堵路段，這時您就可以利用高級作業，靈活地分析 Elasticsearch 中存儲的任何時間序列數據。

Elastic Stack 整合

安裝 X-Pack 之後，就可以使用 Machine Learning 功能實時分析 Elasticsearch 中的時間序列數據。 Machine Learning 作業與索引和分片基本類似，能夠跨 Elasticsearch 集群自動分布和管理。

聲明：本文由公眾號Java架構師之路授權發布，以期講知識傳播更多人。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！