建設(shè)分布式統(tǒng)一調(diào)度平臺(tái)，提升銀行數(shù)字化運(yùn)營(yíng)能力

“十四五”規(guī)劃綱要指出，信息技術(shù)應(yīng)用創(chuàng)新產(chǎn)業(yè)(以下簡(jiǎn)稱(chēng)“信創(chuàng)產(chǎn)業(yè)”)發(fā)展應(yīng)加強(qiáng)關(guān)鍵數(shù)字技術(shù)創(chuàng)新應(yīng)用。在此背景下，業(yè)務(wù)數(shù)字化、技術(shù)分布式、平臺(tái)可進(jìn)化等新一代建設(shè)需求對(duì)科技轉(zhuǎn)型發(fā)展提出了全新挑戰(zhàn)，而準(zhǔn)確把握產(chǎn)品、技術(shù)等核心競(jìng)爭(zhēng)力也成為銀行機(jī)構(gòu)需要重點(diǎn)關(guān)注的核心問(wèn)題。

金融行業(yè)擁有豐富的數(shù)據(jù)類(lèi)型，面對(duì)EB級(jí)規(guī)模的歷史數(shù)據(jù)、PB級(jí)的數(shù)據(jù)增長(zhǎng)以及百萬(wàn)級(jí)執(zhí)行中的數(shù)據(jù)任務(wù)，如何進(jìn)一步提升企業(yè)內(nèi)部的數(shù)字化運(yùn)營(yíng)能力、激活數(shù)據(jù)價(jià)值，已然是銀行機(jī)構(gòu)急需解決的關(guān)鍵問(wèn)題。同時(shí)，數(shù)據(jù)的井噴式增長(zhǎng)也為數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用及運(yùn)維帶來(lái)了極大考驗(yàn)，而數(shù)據(jù)調(diào)度尤其是批量調(diào)度作為數(shù)據(jù)加工處理、數(shù)據(jù)報(bào)表生成的重要環(huán)節(jié)，則會(huì)對(duì)業(yè)務(wù)處理效率產(chǎn)生巨大影響。

一般而言，銀行業(yè)批處理作業(yè)調(diào)度是指通過(guò)一系列監(jiān)測(cè)手段和算法，根據(jù)系統(tǒng)運(yùn)行情況動(dòng)態(tài)分配資源，以及對(duì)批處理作業(yè)進(jìn)行調(diào)用的整個(gè)過(guò)程。據(jù)相關(guān)研究顯示，銀行所有系統(tǒng)中需要批處理調(diào)度的系統(tǒng)約占70%，且這類(lèi)系統(tǒng)大多以項(xiàng)目形式建設(shè)而成。但是，在建設(shè)過(guò)程中，銀行很少對(duì)“調(diào)度”任務(wù)的執(zhí)行進(jìn)行統(tǒng)一規(guī)劃，同時(shí)其所使用的調(diào)度系統(tǒng)往往并不統(tǒng)一，包括開(kāi)源、自主研發(fā)、廠商附帶等，以上系統(tǒng)無(wú)論從功能上還是性能上都難以滿(mǎn)足所有系統(tǒng)的調(diào)度需求。此外，加之系統(tǒng)日益增多、數(shù)據(jù)量日益增長(zhǎng)等因素影響，導(dǎo)致銀行對(duì)批處理作業(yè)的管理愈加困難，不僅運(yùn)維工作量大且效率較低，同時(shí)系統(tǒng)運(yùn)行風(fēng)險(xiǎn)也越來(lái)越高。面對(duì)上述挑戰(zhàn)，銀行機(jī)構(gòu)對(duì)建設(shè)全行級(jí)統(tǒng)一調(diào)度平臺(tái)的需求日益迫切。

對(duì)于銀行機(jī)構(gòu)動(dòng)輒百萬(wàn)級(jí)的作業(yè)量而言，分組分層是一種極為有效的管理方式，考慮到批處理作業(yè)間具有依賴(lài)性，北京先進(jìn)數(shù)通信息技術(shù)股份公司(以下簡(jiǎn)稱(chēng)“先進(jìn)數(shù)通”)適時(shí)提出了流程化的管理思路：在縱向上，模擬目錄與文件的結(jié)構(gòu)關(guān)系進(jìn)行作業(yè)管理；在橫向上，將同一個(gè)層級(jí)歸屬為同一流程進(jìn)行管理；在全局上，支持在任意兩個(gè)對(duì)象間建立依賴(lài)關(guān)系。流程化管理思路如圖1所示。

圖1 流程化管理思路

在金融業(yè)務(wù)領(lǐng)域，一個(gè)強(qiáng)大的任務(wù)調(diào)度系統(tǒng)應(yīng)具備支持7×24小時(shí)連續(xù)運(yùn)轉(zhuǎn)的能力，且即便某一任務(wù)環(huán)節(jié)出現(xiàn)問(wèn)題，也不會(huì)影響其他環(huán)節(jié)正常運(yùn)行。同時(shí)，鑒于銀行批處理作業(yè)量仍會(huì)不斷增加，因此統(tǒng)一調(diào)度平臺(tái)還應(yīng)具備一定的擴(kuò)容能力，即可在薄弱環(huán)節(jié)通過(guò)增加資源、擴(kuò)大調(diào)度容量等方式，增強(qiáng)系統(tǒng)性能。對(duì)此，先進(jìn)數(shù)通在平臺(tái)中引入分布式微服務(wù)架構(gòu)，實(shí)現(xiàn)了統(tǒng)一調(diào)度功能。具體來(lái)說(shuō)，即通過(guò)將調(diào)度方式按照功能、處理業(yè)務(wù)進(jìn)行拆分，使得每個(gè)服務(wù)均可根據(jù)用戶(hù)實(shí)際需求進(jìn)行部署，不僅實(shí)現(xiàn)了整個(gè)調(diào)度平臺(tái)無(wú)單點(diǎn)故障及便捷擴(kuò)容，同時(shí)也為用戶(hù)未來(lái)調(diào)度業(yè)務(wù)上云提供了便利條件。微服務(wù)架構(gòu)如圖2所示。

圖2 微服務(wù)架構(gòu)

一般情況下，常規(guī)的調(diào)度平臺(tái)往往只注重調(diào)度能力，極少考慮開(kāi)發(fā)及投產(chǎn)因素，從而易忽視真正的業(yè)務(wù)需求。尤其是金融業(yè)務(wù)普遍存在頻繁變更、頻繁上線等特點(diǎn)，因此使得敏捷開(kāi)發(fā)能力、便捷投產(chǎn)能力也成為建設(shè)統(tǒng)一調(diào)度平臺(tái)的基本要求。具體而言，敏捷開(kāi)發(fā)能力主要包括圖形開(kāi)發(fā)、批量開(kāi)發(fā)、接口開(kāi)發(fā)等，其中，圖形開(kāi)發(fā)重在實(shí)現(xiàn)批處理作業(yè)間快速配置依賴(lài)，批量開(kāi)發(fā)重在實(shí)現(xiàn)一次性大批量作業(yè)的導(dǎo)入或修改，接口開(kāi)發(fā)重在實(shí)現(xiàn)與開(kāi)發(fā)平臺(tái)或其他系統(tǒng)的集成。此外，對(duì)于銀行機(jī)構(gòu)來(lái)說(shuō)，上線投產(chǎn)也幾乎每周都在發(fā)生，而調(diào)度投產(chǎn)則是指將調(diào)度配置信息根據(jù)業(yè)務(wù)需要遷移到生產(chǎn)環(huán)境，且為了最大程度降低投產(chǎn)風(fēng)險(xiǎn)，需盡可能將投產(chǎn)粒度控制在最低水平。換言之，即全行級(jí)統(tǒng)一調(diào)度平臺(tái)需能夠支持從每個(gè)系統(tǒng)、每個(gè)層級(jí)甚至到單個(gè)作業(yè)級(jí)別的投產(chǎn)需求。

對(duì)于銀行機(jī)構(gòu)而言，當(dāng)一個(gè)全行級(jí)的統(tǒng)一調(diào)度平臺(tái)建設(shè)完成，通常會(huì)被移交給運(yùn)維部門(mén)，并要求統(tǒng)一調(diào)度平臺(tái)具備全方位的監(jiān)控能力及便捷高效的運(yùn)維手段，可以對(duì)調(diào)度運(yùn)行狀況進(jìn)行全方位監(jiān)控(包括調(diào)度各個(gè)層級(jí)的監(jiān)控、所有調(diào)度作業(yè)的監(jiān)控、調(diào)度流程的監(jiān)控以及血緣視角的監(jiān)控等)，以節(jié)省運(yùn)維部門(mén)在人力、物力上的投入。調(diào)度全方位監(jiān)控如圖3所示。

圖3 調(diào)度全方位監(jiān)控

在全方位監(jiān)控之外，統(tǒng)一調(diào)度平臺(tái)還需能提供便捷的運(yùn)維手段，包括短信、微信、郵件等通知機(jī)制，以及支持運(yùn)行過(guò)程中的各種人工干預(yù)措施，如中斷、重做、續(xù)做、插隊(duì)等(如圖4所示)。

圖4 人工干預(yù)措施

全行級(jí)統(tǒng)一調(diào)度平臺(tái)需要具備統(tǒng)計(jì)分析功能，如大屏、總覽、日?qǐng)?bào)等，以便于運(yùn)維人員快速、及時(shí)地掌握調(diào)度全局的運(yùn)行情況，以及根據(jù)分析數(shù)據(jù)進(jìn)行調(diào)優(yōu)。可視化大屏展示如圖5所示。

圖5 可視化大屏展示

多頭管理一直是金融數(shù)據(jù)管理中難以回避的重要問(wèn)題，齊抓共管如“九龍治水”，不僅會(huì)嚴(yán)重影響管理效率，同時(shí)也難以界定金融業(yè)務(wù)數(shù)據(jù)的管理和使用權(quán)責(zé)。對(duì)此，通過(guò)建立分布式統(tǒng)一調(diào)度平臺(tái)，可有效控制管理規(guī)范，使工作重心回歸業(yè)務(wù)。

一是建立企業(yè)統(tǒng)一規(guī)范，即通過(guò)建設(shè)統(tǒng)一調(diào)度平臺(tái)，建立相應(yīng)的管理規(guī)范、開(kāi)發(fā)規(guī)范、上線規(guī)范、運(yùn)維規(guī)范，有效減少開(kāi)發(fā)和運(yùn)維工作量。

二是提高系統(tǒng)運(yùn)行效率，即利用系統(tǒng)事件觸發(fā)和負(fù)載均衡機(jī)制，實(shí)現(xiàn)調(diào)度快速響應(yīng)及資源動(dòng)態(tài)分配，從而充分利用調(diào)度資源、縮短調(diào)度時(shí)間窗口。

三是降低系統(tǒng)運(yùn)行風(fēng)險(xiǎn)，即通過(guò)集群調(diào)度機(jī)制，在保障系統(tǒng)高效率的同時(shí)，確保其具備高可用性；以及通過(guò)并發(fā)控制及故障自動(dòng)處理技術(shù)，減少人工操作，提升調(diào)度系統(tǒng)的容錯(cuò)能力，并同步降低運(yùn)營(yíng)風(fēng)險(xiǎn)。

四是完善企業(yè)IT架構(gòu)，即通過(guò)建設(shè)企業(yè)級(jí)統(tǒng)一調(diào)度平臺(tái)，實(shí)現(xiàn)企業(yè)調(diào)度任務(wù)的集中化、可視化管理，確保統(tǒng)一調(diào)度、統(tǒng)一監(jiān)控、統(tǒng)一運(yùn)維，最終讓各系統(tǒng)建設(shè)者可更專(zhuān)注于業(yè)務(wù)處理本身，促使企業(yè)IT架構(gòu)更為完善和規(guī)范。

隨著內(nèi)外部經(jīng)濟(jì)環(huán)境的不斷變化，我國(guó)銀行業(yè)面臨著深刻的變革和挑戰(zhàn)，從傳統(tǒng)的銀行1.0時(shí)代到如今以現(xiàn)代科技實(shí)現(xiàn)服務(wù)嵌入的銀行4.0時(shí)代，科技對(duì)金融的“破局”效應(yīng)不言而喻，而數(shù)字化建設(shè)無(wú)疑是助推金融業(yè)轉(zhuǎn)型的強(qiáng)大引擎。先進(jìn)數(shù)通作為國(guó)內(nèi)大數(shù)據(jù)領(lǐng)域知名的軟件產(chǎn)品及解決方案供應(yīng)商，二十余年來(lái)堅(jiān)持打造分布式統(tǒng)一調(diào)度平臺(tái)，并與業(yè)界多家金融機(jī)構(gòu)建立了長(zhǎng)期良好的合作關(guān)系。未來(lái)，先進(jìn)數(shù)通將基于長(zhǎng)期積累的豐富經(jīng)驗(yàn)，堅(jiān)持為處于變革期的金融企業(yè)持續(xù)賦能!