通過ELK監控Flume

如何通過http協議暴露Flume的metrics，官方文檔已經說的很清楚，這裡只是說一下碰到的問題。

1、通過logstash插件http_poller採集數據

地址：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-http_poller.html。

配置input：

通過上面的方式採集的數據有個問題：會把所有value都映射為ElasticStack的text類型。經過查看，發現不是logstash的問題，而是Flume本身吐出來的數據，json里的value就是string。

如下圖所示：

所有的數字都被引號包裹。

可視化效果

Flume最關心的指標就是Channel有沒有堵塞。上面可以直觀地查看到Channel的當前數量，下面我們再設置告警，比如Channel的Size是1,00000，我們可以設置超過200000告警。

上面的告警系統是自己寫的一個基於ES的告警系統，後續會開源出來。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！