大數據「重磅炸彈」：實時計算框架 Flink

你是不是經常體驗或看到以下這些場景？

小田，你看能不能做個監控大屏實時查看促銷活動銷售額（GMV）？

小朱，搞促銷活動的時候能不能實時統計下網站的 PV/UV 啊？

小鵬，我們現在搞促銷活動能不能實時統計銷量 Top5 啊？

小李，怎麼回事啊？現在搞促銷活動結果伺服器宕機了都沒告警，能不能加一個？

小劉，伺服器這會好卡，是不是出了什麼問題啊，你看能不能做個監控大屏實時查看機器的運行情況？

小趙，我們線上的應用頻繁出現 Error 日誌，但是只有靠人肉上機器查看才知道情況，能不能在出現錯誤的時候及時告警通知？

小夏，我們 1 元秒殺促銷活動中有件商品被某個用戶薅了 100 件，怎麼都沒有風控啊？

小宋，你看我們搞促銷活動能不能根據每個顧客的瀏覽記錄實時推薦不同的商品啊？

。。。

那這些場景對應著什什麼業務需求呢？我們來總結下，大概如下：

初看這些需求，是不不是感覺很難？那麼我們接下來來分析一下該怎麼去實現？

從這些需求來看，最根本的業務都是需要實時查看數據信息，那麼首先我們得想想如何去採集這些實時數據，然後將採集的實時數據進行實時的計算，最後將計算後的結果下發到第三方。大概會有以下三個方面：

• 數據實時採集
• 數據實時計算
• 數據實時下發

本文從日常老闆的需求口吻來講解現在越來越多的實時性要求高的需求，並將這些需求做了個歸納統計，然後從需求裡面得到了該如何去實現這類需求，是需要實時採集、實時計算、實時下發，並用圖片把需求完成後的效果圖展示了出來。

接著我們分析了對實時性要求高的計算這塊，然後將離線計算與實時計算進行了對比，批處理與流處理進行對比，離線計算的特點與實時計算的特點，加上我自己的調研結果，歸納了實時計算的四種使用場景，提出了使用實時計算時要面臨的挑戰，因為各種需求，也就造就了現在出現不斷的實時計算框架，接著看了下市場上所有的實時框架，但是因為這類對比的文章網上比較多，因此我只介紹了 Flink 的特性和其 API。

通過這篇文章的學習，你可以知道實時計算有哪些場景，你的公司這些場景是不是也可以換成 Flink 來做？同時也知道了實時計算與離線計算的區別，並初步認識了一下這個好玩好用的實時計算框架——Flink。

▼

後面系列 Chat 文章中我們通過多個實戰和大型案例來講解 Flink，也歡迎大家訂閱後在讀者圈交流溝通你們公司是不是也在使用 Flink？使用 Flink 遇到什麼坑？大概哪些場景使用到了 Flink？有沒有更多的場景可以使用 Flink？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！