ELK(ElasticSearch、Logstash、Kibana )的組合，是一種比較常見的數據採集分析進行可視化展示的技術方案，這裡重點展示介紹下logstash的用法。

借用官方的介紹：https://www.elastic.co/cn/products/logstash

集中、轉換和存儲數據

Logstash 是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據，轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。

下面，用一個比較直接的圖形，表示其功能和關係。

簡單的匯總logstash的工作流程：輸入->過濾->輸出

1、輸入過程：

採集各種樣式、大小和來源的數據

數據往往以各種各樣的形式，或分散或集中地存在於很多系統中。 Logstash 支持各種輸入選擇 ，可以在同一時間從眾多常用來源捕捉事件。能夠以連續的流式傳輸方式，輕鬆地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據

2、過濾

實時解析和轉換數據

數據從源傳輸到存儲庫的過程中，Logstash 過濾器能夠解析各個事件，識別已命名的欄位以構建結構，並將它們轉換成通用格式，以便更輕鬆、更快速地分析和實現商業價值。

• 利用 Grok 從非結構化數據中派生出結構
• 從 IP 地址破譯出地理坐標
• 將 PII 數據匿名化，完全排除敏感欄位
• 簡化整體處理，不受數據源、格式或架構的影響

我們的過濾器庫豐富多樣，擁有無限可能。

輸出：

選擇您的存儲庫，導出您的數據

儘管 Elasticsearch 是我們的首選輸出方向，能夠為我們的搜索和分析帶來無限可能，但它並非唯一選擇。

Logstash 提供眾多輸出選擇，您可以將數據發送到您要指定的地方，並且能夠靈活地解鎖眾多下游用例。

另外，logstash是基於java開發的，jdk1.8以上即可。另外，提供了豐富的插件，研發人員，也可以開發自己的插件。用官方的話，有了

插件，就讓服務有無數的可能。

接下來，我將會對目前的各個服務的Nginx日誌進行採集分析，然後進行可是化展示。這些工作，就要藉助於ELK的組合了。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！