互聯網運營平台通用架構設計

運營平台，已經介紹了引流和流量轉化的內容

今天介紹自己為企業雲產品所設計的運營平台的產品思路和架構設計思路。

一、產品設計

這次設計的互聯網運營平台的產品架構，包含了數據採集、運營報表、運營門戶、運營開發模板、支付通道、第三方系統對接、推送能力、大數據BI系統、基礎的容器化運行時環境（Avatar平台）。

1、數據採集

目前常用的用戶行為信息收集主要通過前端埋點來收集，包括代碼埋點、無痕埋點等，這些埋點信息一般根據系統的成熟度，以時間為間隔批量地上傳埋點處理伺服器（一般1分鐘或是1天的都有，視業務類型而定），伺服器進行格式轉換之後就丟入「管道」，交由後端處理。

2、運營開發模板

3、支付通道

與支付寶、微信、銀聯支付網關打通

4、運營報表

基於各種開源報表組件提供定製化報表。

5、第三方系統對接

支持通過Resuful API與其它系統對接，如開戶、計費等

6、推送能力

推送是運營活動的一個重要手段，包括公眾號、服務號、Push消息、郵件、簡訊等

7、運營門戶

運營平台對用戶提供服務的主要窗口，是一個CMS系統，具體業務內容由各個業務定義

8、大數據BI

當用戶規模達到10萬級別之後，每天通過數據採集系統獲取的日誌量將達到百萬條，通過傳統結構化資料庫已經無法滿足運營分析的要求，引入大數據分析就勢在必行。

9、基礎運行運維平台

提供包括Docker、容器編排、服務容災、自動運維、滾動升級、灰度發布、多租戶、防刷、限流、降級、配置管理等在內的平台能力

二、架構設計

1、一期方案：

一期方案，實時分析方案，客戶端（PC、移動端）上傳埋點文件之後，通過logstash放到kafka通道，經由spark stream進行ETL之後，把數據存入ElasticSearch，在運營門戶中通過ElasticSearch-sql插件獲取數據進行表格展現。

2、二期方案（暫定）

二期方案，實時計算+離線計算方案，客戶端（PC、移動端）上傳埋點文件之後，先解析存入MySql資料庫，然後在Kettle中進行ETL之後，存在數據集群的Mysql（MyCat）集群，通過kafka Connector導出Mysql（MyCat）集群中的數據，一方面通過Spark Stream針對關鍵數據進行實時計算之後，導出到運營管理平台的資料庫中，以生成報表。另一方面將源數據存入HDFS，通過Hive關聯外部表的方式，通過sqoop導入到Mysql.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！