客戶案例
企業(yè)數字化轉型值得信賴的合作伙伴
廣汽本田精準營銷項目
項目背景描述
隨著近幾年汽車銷量下滑，廣汽本田想借助互聯(lián)網營銷技術，來提升本公司的汽車銷量。通過采用最近火熱的大數據精準營銷，為廣本帶來一定銷量。由于大數據精準營銷平臺的不穩(wěn)定與容量不足，導致廣本在2018年4月18日的促銷活動，以失敗告終。
大數據精準營銷平臺（簡稱：DMP），通過在第三方與小轎車有關的專業(yè)網站，進行數據埋點，然后，將與汽車相關的用戶數據，引流到廣本DMP上，進行數據分析，定位用戶的需求，推送相關車型廣告。
原本廣本的整個大數據分析系統(tǒng)經（DMP）都部署在本地機房，由于4.18活動的訪問量瞬間突增，導致DMP已準備的基礎資源容量不足，系統(tǒng)直接崩潰；本身日常維護對廣本來講，也是相當困難，因為需要具備很多能力，例如：Hadoop/HDFS/Hive/Kafa/Redis等，帶寬資源也是頭大難題?？紤]到以上眾多問題，以及4.18事件，廣本決定把DMP遷移到AWS，并核心的數據處理組件，采用EMR和S3。如下圖：
架構描述
1.ELB負載均衡分為兩種，一種位于http(s)應用層（ALB），另一種位于網絡層（NLB）。因為DMP本地使用http協(xié)議，所以我們選擇ALB，從而可以直接重復利用現有程序，無需要修改代碼。
2.ALB收集的數據平分給EC2群組內各個EC2進行初步數據處理，從而實現負載均衡。這里有兩個EC2群組，分別位于不同可用區(qū)（AZ）。兩個可用區(qū)地理位置至少相隔50公里，當一個可用區(qū)發(fā)生自然災害時，另一個可用區(qū)可接管所有工作，系統(tǒng)可用性高。
3.EC2群組可以根據組內平均CPU利用率、平均網絡IO字節(jié)、平均硬盤IO操作數等指標自動擴展或收縮。
4.初步處理過的數據經過Kafka分發(fā)給3個下游子系統(tǒng)使用。
5.EMR支持兩種數據處理框架：實時處理（Spark streaming）和批量處理（Hadoop)。EMR群集可以根據業(yè)務量配置自動伸縮策略。
6.實時EMR處理完的數據可存儲在S3，S3數據在寧夏區(qū)域的3個AZ中均有復本，實現數據同城災備。S3還可定義數據生命周期 將冷數據根據一定規(guī)則自動轉存到Glacier以節(jié)省成本。
7.批量EMR只在需要的時候才啟動，以節(jié)省資源使用成本。當數據量積累得足夠多時，啟動批量EMR處理并根據業(yè)務需要存儲到MariaDB或S3。
8.MariaDB是AWS托管的服務，AWS負責數據庫的維護工作，用戶只管使用數據庫即可。
9.Redis和Druid，目前DMP暫時沒有業(yè)務需求，所以并沒有部署。但是將來如有需要可迅速部署，AWS云資源可在分鐘級別的時間內即可用。
10.AWS有豐富的運維工具：CloudWatch可監(jiān)控EC2等系統(tǒng)資源使用情況、CloudTrail可監(jiān)控dmp系統(tǒng)的任何API調用，適合安全審核、SNS可以發(fā)送郵件等方式通知操作員目前系統(tǒng)運行狀況、IAM用于控制每個系統(tǒng)用戶的權限管理。
