當前位置:首頁>宏觀經濟
銀行數字化轉型的思考:“流批一體”實時智能決策與分析體系
發布時間:2022-11-22 11:36:15 文章來源: 搜狐

數字經濟時代,數字化轉型已成為銀行業轉型升級的戰略手段。數字化轉型背景下,技術創新、組織創新、融合創新、跨界創新等快速締造形成了新的發展趨勢。2022年初,中國人民銀行和銀保監會先后印發了《金融科技發展規劃(2022—2025年)》和《關于銀行業保險業數字化轉型的指導意見》,給銀行業未來數字化轉型提供了戰略藍圖和行動指南。

面對銀行數字化轉型新階段與新挑戰,商業銀行需要把握數字化階段客觀規律,聚焦數字化通用核心能力體系建設,激活數字化內生動能,逐步探索形成符合自身特色的數字化轉型之路。

銀行數字化轉型是一個以客戶體驗為中心,通過數據和技術雙要素的驅動,對業務模式和管理模式進行創新和重構,進而持續提升全渠道、無縫式、定制化的金融服務質量和效率的過程。

據有關統計,未來銀行半數以上的應用是實時相關的。未來銀行的實時化能力是指實時感知和響應客戶需求。銀行通過場景感知,實時捕捉、識別和判斷客戶需求,實時從決策引擎中獲取風險回報平衡決策,并通過集中的后臺服務實時響應客戶需求。實時智能決策與分析領域的提前布局,充分挖掘“熱數據”價值進而實現“熱知識”快速迭代,是銀行數字化轉型的關鍵舉措。

一、實時決策領域的痛點

從趨勢的角度上說:銀行業本身是數據密集型行業,在經營過程中積累了大量跨周期的金融交易數據,具備數字化轉型的先天優勢。結合銀行的實際情況,如何進一步充分發揮數據要素價值化和賦能商業決策是一個痛點。

從競爭的角度上說:各家銀行產品同質化嚴重、網點布局重疊、利率價格趨同和獲客成本走高,這些都加劇了行業間的競爭程度。如何擺脫競爭中的痛點,需要銀行從智慧化、在線化、以及實時化的角度加大投入,尋求差異化。

從市場的角度上說:近些年來,融合互聯網和大數據的新金融、類金融迅猛發展,對銀行業務產生沖擊,銀行業正在面臨越來越多的跨業競爭甚至無邊界競爭的挑戰。銀行服務需要應對互聯網化的沖擊,實時決策是一個重要的抓手。

從客戶的角度上說:隨著90后和00后的陸續出現,他們都是互聯網的數字原住民,從小和互聯網一起生活和成長。如何能夠在激烈的市場競爭中,獲得客戶的認可和信任,增強客戶的粘合度,這是一個大的痛點,了解他們的特性,并賦予合適的場景營銷和產品定位。新客戶特別是年輕客戶的獲得需要更實時化,個性化的銀行服務能力。

從自身的角度上說:在當下決策驅動的銀行業務領域內,知識迭代速度太慢仍是一大痛點,且通常至少要以月為單位進行時間計量。目前大部分銀行的業務專家可在已有指標集的基礎上配置生產級業務規則并即刻上線,然而指標增刪改嚴重依賴科技人員的配合,難以滿足業務規則模型快速迭代的要求。此外,由于需要多部門、多角色協同才能完成業務規則的迭代上線,通常伴隨著冗長的開發及上線流程,信息傳遞的不通暢進一步降低了知識迭代速度。

二、“熱數據”與“熱知識”

為解決上述問題,我們提出了兩個關鍵概念,“熱數據”以及“熱知識”。

所謂“熱數據”是指那些OLTP系統剛產生(通常在秒級以及毫秒級)的數據,是“熱乎乎”的,這時的價值最大,隨時間流逝其價值會指數級下降。為讓“熱數據”直接產生業務價值,需進行兩階段的建設:

(1)初始建設階段:簡單而言,就是讓銀行的OLTP系統實時(秒級)接上OLAP系統,并具備產生實時業務價值的能力。具體而言,可從實時旁路采集、實時數據加工、實時指標計算以及實時業務決策等不同層級分開建設。

(2)持續強化階段:隨著實時業務開展的不斷深入,持續接入各類業務場景,最終形成銀行自有的事件體系、指標體系、規則模型體系;持續深入挖掘數據的價值,從復雜計算、時間窗口、多層關聯、機器學習算法、深度學習等眾多技術領域進行探索,從而達成“熱數據價值最大化”的目標。

當然,除了“熱數據”以外,通常意義上,還有“溫數據”以及“冷數據”的概念,分別是表示一天以內的數據以及一天以后的數據,這部分數據也需要持續存儲,為其他業務場景賦能。

所謂“熱知識”是指知識在運行過程隨著數據不斷產生,知識自身在不斷回饋修正,整個回饋的過程控制在秒級。同理,也有溫知識以及冷知識。熱知識是一個趨勢,是人工智能技術發展到高階段的體現。在“熱數據”初步建成的基礎上,才可以讓知識熱起來,為達成此目標,需進行三個階段的建設:

(1)初級階段:指標層、決策層開放給業務專家使其可自由配置指標及規則模型;建成標簽回饋系統,讓業務專家可自行打標。在該階段,業務專家具備周級到天級的知識迭代能力。

(2)中級階段:在已有指標特征集的基礎上,選擇有監督機器學習算法,通過實時回饋的標簽自動完成模型更新;在特定業務領域的督導下,在時間、算子、關聯等維度進行自動化特征枚舉,從而讓自動化機器學習更進一步;在特定業務領域通過“蜜罐”等技術手段建設自動標簽系統。在該階段,業務專家具備分鐘級甚至秒級的知識迭代能力。

(3)高級階段:通過深度學習、強化學習以及更加強大的算力支持達成完全自動化的實時知識迭代階段,該階段是“熱知識”的最終形態,尚無先例可供借鑒。

“熱數據”及“熱知識”提供“一站式”的實時數據應用能力,賦能業務專家,為銀行數字化轉型提供強大的助力。

三、“流批一體”實時智能決策與分析體系

在“熱數據”及“熱知識”概念基礎上,結合團隊十幾年在銀行業的技術深耕,我們提出了“流批一體”的實時智能決策與分析體系(簡稱實時智能),具體如下圖所示。

該體系把銀行業常見的數據資產分為四層,并提出了對應的三層數據處理架構,以知識為媒介,揉合流處理、批處理、決策等多種技術體系,是一種面向業務的流批一體的數據處理體系架構。

該體系把數據資產分為以下四層:

(1) 原始數據:OLTP系統流入OLAP體系的原始數據集。

(2) 事件/事實:通過過濾、轉換、關聯等技術手段對原始數據進行加工處理,從而生成事件/事實層。從原始數據到事件/事實的數據處理過程,我們稱為數據加工。

(3) 指標/特征:通過統計計算、時序計算、關聯計算等技術手段在事件/事實的基礎上進行多維計算而來。對應的數據處理過程,我們稱為數據計算。

(4) 信號/標簽;通過規則決策、機器學習模型預測以及圖模式匹配等技術手段在指標/特征等基礎上進行決策而來。對應的數據處理過程,我們稱為業務決策。

通過信貸業務舉例簡單說明該處理體系。以借款、還款行為數據為例,原始數據包括借款時點、應還時點、實還時點、交易地點等,將其進行簡單的加工,將會產生大量事件/事實:借款、逾期、提前還款、正常還款等,如果客戶在某個應還時點前多次發起借款申請,那么很可能是在“借新還舊”。運用這些事件/事實,根據許多可以熱修改的特征工程規則,可以構建出許多指標/特征,如同一地點近若干小時內申請次數、用戶最近一次交易消費時間間隔以及最近若干時間內交易總額等,通過這些指標/特征,可以進行決策,比如若客戶當前處于逾期狀態,則新申請借款則可直接拒絕;比如若在同一地點申請過于頻繁,則有可能存在非法風險,將生成風險信號。這就是生成了信號/標簽,以進行決策或指導迭代優化特征工程、算法篩選等步驟。

知識是實時智能的媒介,縱向來看分為知識應用以及知識生成兩類場景。其中知識應用及知識生成都可細分為在線以及離線兩類場景,這四類場景的數據處理都可橫向細化為前面提及的四層數據資產。

實際運行過程中,從知識的生成到應用,從知識的離線運行到在線運行,對應的三層數據處理能力,迫切需要“流批一體”的技術能力以提升開發及運維效率。考慮三層數據處理對技術的要求差異巨大,“流批一體”宜分層建設,特別是業務決策層,尚未有相關的決策技術做到“流批一體”的能力;而數據計算層,開源技術中flink以及spark等技術框架對復雜的指標/特征的高性能計算支持度一般。

實時智能的建設并非一蹴而就的,需要銀行縝密的籌劃以及長期的投入,不同銀行處于不同階段,開展的業務也不盡相同,需進行差異化的建設。

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

關鍵詞:
精彩文檔:
最近更新:
熱文
焦點