文/廣發銀行股份有限公司信息技術部開發中心總經理 呂志剛

編者按 ：廣發銀行結合信息資源大集中、大整合、共分享、重安全的IT戰略，經過嚴謹的調研論證，啟動實施、搭建了全行數據挖掘分析平臺，實現全行數據分析資源集中優化管理，提升數據分析的處理性能，滿足不斷增長的數據分析需求，實現了全行數據分析挖掘的靈活擴展。“全行統一數據挖掘分析平臺”項目讓廣發銀行與SAS攜手榮膺《亞洲銀行家》“2015年度最佳數據與分析項目”大獎。

傳統銀行的轉型實戰：看工商銀行如何利用大數據洞察客戶心聲？

西太平洋銀行：用大數據提升產品推薦接受度達50%

董俊峰：銀行可運用大數據為客戶構建360度畫像

民生銀行的“大數據”加工廠

隨著互聯網金融的興起，傳統金融企業與互聯網企業競合加劇，越來越多的傳統銀行通過整合數據資源，加強數據挖掘，提升數據分析效率，助力業務轉型、創新和發展，提高精細化營銷、管理和決策水平。

廣發銀行很早就認識到數據挖掘分析在客戶維護、營銷推廣、風險管理等領域的核心價值和戰略意義。由于各業務部門業務發展需求差異，從2002年起，信用卡、零售、風險管理、小企業金融等部門先后各自建立了數據挖掘分析系統，帶來了重復部署投入、資源使用不均、系統擴展性不強、數據共享性差等問題。隨著各業務條線的需求日益清晰、對數據挖掘資源需求趨于共性，考慮到集中管理、數據等資源共享、平臺擴展、信息安全等諸多因素，急需對全行數據挖掘分析資源進行整合并統籌分配使用，以節約資源投入、提升數據挖掘分析效率，實現數據共享、靈活擴展。

2014年，廣發銀行結合信息資源大集中、大整合、共分享、重安全的IT戰略，經過嚴謹的調研論證，啟動實施、搭建了全行數據挖掘分析平臺，實現全行數據分析資源集中優化管理，提升數據分析的處理性能，滿足不斷增長的數據分析需求，實現了全行數據分析挖掘　　的靈活擴展。該平臺榮獲《亞洲銀行家》頒發的“2015年度最佳數據與分析項目”大獎。

一、統一數據挖掘分析平臺方案概述

全行統一數據挖掘分析平臺利用SAS網格技術的資源集中管理、負載均衡、架構靈活和高可用性等特點，規范管理數據分析，實現了全行數據分析資源的集中優化管理、數據的有效治理及共享，提高數據分析處理效率，合理控制了全行數據分析挖掘工具及系統資源的重復投入，不僅很好地滿足全行各業務條線的數據分析需求，還可針對未來爆發增長的數據服務需求進行靈活擴展。廣發銀行全行統一數據挖掘分析平臺技術架構如圖1所示。

二、統一數據挖掘分析平臺技術特點

經過7個月的建設實施，廣發銀行統一數據挖掘分析平臺順利投產，系統使用效果完全達到預期目標，平臺自身一些獨特的技術特點也大幅提升了數據挖掘分析效率。

1.資源集中管理、調配和共享

(1)集中管理

平臺實現了廣發銀行數據分析資源的集中管理和分配，包括分析平臺的數據安全集中管理，用戶訪問權限集中管理，資源分配集中管理，任務調度集中管理等，支持全行的數據分析應用按作業、隊列、主機和用戶進行管理，進行不同作業的優先級設定，基于事先制定的規則排隊作業，更好地利用計算資源，支持自動識別、分配、管理和優化計算資源和程序流，用戶和應用程序可以利用所有的計算資源，進行更大型、更復雜的數據挖掘分析。

(2)負載均衡

平臺實現了分析平臺資源的動態優化管理，通過負載均衡管理技術，實現了數據分析多任務的均衡處理，縮短了業務分析總體處理時間，降低了單節點主機資源的消耗，滿足了業務分析峰值的負載要求，提升了分析平臺的處理性能。平臺可以自動為應用程序生成多線程和分布式處理，在多個計算資源上運行，從而加速應用程序的運行效率，更有效地利用計算資源。

(3)高可用

平臺提供高可用性手段來支持關鍵的應用服務，使用網格節點作為容災熱備節點，進行無中斷的運行維護。自動檢測網格中的軟硬件故障并及時恢復，確保運行作業能夠及時完成。借助于網格計算架構的作業檢查點、重啟特性，實現成功檢查點自動重啟作業。

(4)靈活擴展

平臺的技術架構支持計算資源的動態擴展，可靈活地逐步添加硬件資源，以應對不斷增加的用戶數量和業務需求。允許網格環境中的服務器脫機而不中斷業務，從而方便地進行硬件服務器的維護。專業分析工具的配置充分考慮了全行各業務發展目前及未來的數據分析需求，通過靈活的分析產品配置，運用許可分階段更新激活的方式，實現了分析平臺在數據分析、數據挖掘功能方面的靈活擴展。

2.數據統一、規范使用

(1)統一數據視圖

廣發銀行數據倉庫平臺(EDW)已經將分散在各個應用平臺中的數據信息按客戶、賬戶、產品、渠道等多個主題的方式進行有效的組織和存儲，統一數據挖掘分析平臺以EDW作為主要數據源，針對各業務部門的數據需求，統一數據加工規則，統一處理，提供給各業務部門統一的數據視圖，避免了各業務部門由于數據加工口徑不同帶來的數據差異。

(2)規范使用

在統一數據挖掘分析平臺的實施過程中，聯合數據管控平臺、信息安全處、稽核等部門，健全了配套的數據使用管理規范制度，制定了《數據工作間管理辦法》、《數據挖掘需求管理辦法》和《統一數據挖掘平臺運營辦法》等相關管理制度，使數據挖掘分析的流程固化，改變了之前數據挖掘分析松散、模糊的工作模式，使數據挖掘分析工作有章可依，提升了數據安全性。

(3)數據共享

統一數據挖掘分析平臺保存了各業務部門的共性數據和個性數據，統一進行數據加工處理，在平臺集中管理下，可以根據業務發展需要，有針對性地開放和共享跨業務條線的業務數據，快速滿足跨業務條線的數據挖掘分析需求，有效支持了交叉營銷、客戶維護等方面的工作。

(4)高效數據處理

整合優化既有的數據ETL處理模式，實現了規范化的統一數據抽取、轉換和加載處理，實現每天可以提供T-1的業務數據，數據處理時間控制在2.5小時之內，提升了業務數據分析的實效性。

三、統一數據挖掘分析平臺實施經驗

1.分批次實施平滑切換

此前廣發銀行數據挖掘分析系統由各部門獨立建設，主要應用于目標客戶群定位、客戶準入、額度核定、風險控制、催收、定價及貸后風險監測等領域，為廣發銀行的各類差異化產品及金融服務設計、營銷提供決策支持。因此，全行統一數據挖掘分析平臺的建設要有序實施這些應用的改造及遷移，減少對正常業務管理的影響。在平臺實施中，通過與數據分析人員逐一細致分析各應用的有效性、重要性，在充分驗證數據滿足度、準確性基礎上，分批實施數據挖掘應用的改造及遷移。

2.數據處理優化與數據治理雙管齊下

在平臺實施過程中，我們發現各部門原有數據挖掘分析系統數據處理效率不高，無法保障數據供給及時性，為此統一數據挖掘平臺專門成立了數據優化小組，對各業務部門的SAS數據ETL處理模式進行整合和流程再造，形成全行統一的數據處理規范，不僅大幅提升了數據處理效率，并且有效解決了數據供給時效性不強，數據處理時間過長等問題，使業務分析人員從繁雜的數據處理工作中解放出來，將更多精力聚焦在數據分析和數據建模等提升業務價值領域的工作。

數據優化小組的另外一項主要工作是提升數據質量，在各業務部門進行數據核對檢查的過程中，存在數據質量問題，這是影響數據分析效果的關鍵問題，為解決這一問題，統一數據挖掘分析平臺聯合數據管控平臺，采取多種策略進行數據治理，對于發現的業務系統數據質量問題，督促業務系統整改，確保從源頭解決問題。對于數據加工口徑引起的數據質量問題，和相關業務部門溝通確定數據加工口徑，確保數據處理規則的權威性。針對管控平臺上已制定數據規范的數據，與業務部門討論，在統一數據挖掘分析平臺上落地數據規范，針對還未制定數據規范的數據，和相關業務部門討論溝通確定各個數據的規則，補充制定相應的數據規范。通過這種“多管齊下”、“多頭治理”的方式，有效提升了數據質量。

四、平臺分析應用實踐

統一數據挖掘分析平臺在推動廣發銀行經營管理和業務績效提升方面發揮的重要作用主要體現在以下三個方面。一是通過對績效考核指標的分析和挖掘，實現對分支行機構、客戶經理、員工的精細化科學管理，優化內部管理和考核機制;二是通過加強對客戶的分析和洞察，豐富客戶全景視圖，制定個性化的客戶維護策略，提高客戶的獲取率和留存率，活躍客戶的激活率和持續力，提高客戶交叉銷售效能，提升客戶整體價值，實現對銀行客戶關系的精準管理;三是通過建立相應挖掘模型實現對客戶信用風險、操作風險、市場風險等主要風險的計量，根據廣發銀行的風險偏好選擇發展最優業務，在降低資本占用的同時提升全行風險管控水平。具體案例如下。

1.官網首頁金融超市理財產品精準營銷案例

為了更好地銷售理財產品，廣發銀行官網首頁于2014年3月新增了金融超市功能，為每位訪問官網首頁的客戶固定推薦三款在售理財產品。考慮到每個客戶理財偏好的差異，金融超市基于統一數據挖掘分析平臺和企業級數據倉庫整合的客戶“360度”信息，對全行個人網銀客戶的理財產品偏好度進行深度分析挖掘，為訪問官網的客戶精準推薦定制化理財產品，有效提高理財產品的簽約率和銷售效率。分析平臺實施前后的理財產品推薦方式對比如圖2所示。

2.對公客戶擔保圈圖形化識別案例

近年來，關聯擔保、互保、聯保授信風險事件頻發，擔保圈授信風險愈加凸顯，為此銀監會專門下發通知要求商業銀行加強企業擔保圈貸款風險防范和化解工作。在此背景下，廣發銀行啟動了擔保圈專項檢查工作，對全行有信貸余額的客戶進行風險排查。相比較而言，分支行掌握的信息有限，總行擁有全行所有客戶的數據，更具數據及技術優勢，所以工作模式是由總行生成客戶清單及擔保圈明細，下發各分行，由分行逐一進行風險排查。由于擔保圈可能涉及數十甚至上百家企業，并且企業間關系錯綜復雜、種類繁多，文字或表格描述的方式難以讓分行完整理解和掌握擔保圈的傳遞途徑，需用一種簡單、直觀、易于理解的圖形化展示方法。

本案例對1741個擔保圈，使用統一數據挖掘分析平臺提供的SAS DS2CONST分析方法生成相應的HTML文件，用線條箭頭描述擔保方向、線條顏色描述企業間的關聯關系、線條虛實描述有無資金往來、節點顏色/形狀/大小描述企業的風險情況，鼠標置于企業簡稱上方顯示企業全稱、信貸余額、廣發銀行及他行的風險分類、風險預警信號，更簡單、直觀的表現出企業間的關系。分析平臺實施前后的對公客戶擔保圈展現方式對比如圖3所示。

五、統一數據挖掘平臺發展展望

統一數據挖掘平臺的建立為廣發銀行的數據分析團隊打造了一個穩定、靈活的工作平臺，不僅大幅提高了數據分析效率，還可以靈活擴展。未來，統一數據挖掘分析平臺希望實施數據沙箱、分布式存儲等技術，以滿足爆炸式的數據存儲分析需求。

1.利用數據沙箱技術，深挖數據價值

銀行不缺數據，關鍵是對海量數據的整合和運用。廣發銀行企業級數據倉庫平臺已經將分散在各個應用平臺中的數據信息按標準化主題的方式進行有效的組織和存儲，如何挖掘出這些數據的最大價值、快速把價值傳遞到對客戶的服務中尤為關鍵，利用數據沙箱技術，可以減少系統間的數據傳遞消耗，進一步提升數據價值傳遞的效率。在EDW中建立數據沙箱，統一數據挖掘分析平臺可以直接基于數據沙箱進行個性化數據探索、臨時性數據分析、共性數據需求提煉、概念驗證、自主分析等數據試驗室類分析應用，不僅減少了EDW和統一數據挖掘平臺之前的數據傳遞消耗，還可有效降低統一數據挖掘分析平臺對存儲空間的需求。

2.建立分布式存儲，滿足“大數據”應用需求

大數據是重塑金融競爭格局的重要支撐，為金融企業帶來創新動能，善于高效運用大數據的金融機構，將在未來的競爭中脫穎而出，大數據的應用水平也將成為金融企業打造差異化競爭優勢的重要支柱。但機遇與挑戰并存，面對大數據挑戰，傳統IT架構亟待轉型。目前廣發銀行統一數據挖掘分析平臺已經具備了一定的數據處理能力，但要面對未來爆炸式的數據量增長，還需進一步優化，可利用分布式存儲技術，使用集群應用、網絡技術，分布式文件系統等功能，將網絡中各種不同類型的存儲設備集合起來協同工作，共同對外提供數據存儲及業務訪問功能，在提升系統I/O讀寫性能、數據高可用性和管理復雜性的同時，有效降低存儲成本。

End.