- 快捷搜索
- 全站搜索
" />
當(dāng)前,在科技金融快速發(fā)展的大趨勢下,銀行業(yè)掀起了一場科技引領(lǐng)的服務(wù)轉(zhuǎn)型升級(jí)浪潮。傳統(tǒng)銀行必須加快科技創(chuàng)新,對(duì)內(nèi)提升研發(fā)效能和數(shù)據(jù)驅(qū)動(dòng)能力,對(duì)外提升客戶體驗(yàn)、構(gòu)建生態(tài)圈,全方位轉(zhuǎn)向網(wǎng)絡(luò)化、數(shù)字化、智能化的科技金融服務(wù)。“萬丈高樓平地起”,科技金融銀行建設(shè)必須打好系統(tǒng)架構(gòu)地基,而傳統(tǒng)集中式的IOE架構(gòu)已無法適應(yīng)科技金融銀行的發(fā)展要求,新的科技體系將基于分布式架構(gòu),支撐起未來全面數(shù)字化的海量客戶請(qǐng)求和龐大數(shù)據(jù)運(yùn)算任務(wù),成為一個(gè)能夠處理超大規(guī)模、超多渠道、超高并發(fā)、超多金融業(yè)務(wù)融匯交叉的智能有機(jī)體。

中國民生銀行信息科技部總經(jīng)理 牛新莊
傳統(tǒng)銀行架構(gòu)的問題和分布式架構(gòu)的特點(diǎn)
隨著社會(huì)信息化的快速發(fā)展,金融服務(wù)呈現(xiàn)出海量用戶增加,個(gè)性產(chǎn)品定制、實(shí)時(shí)風(fēng)控決策、快速敏捷響應(yīng)等新特征,這對(duì)銀行信息系統(tǒng)架構(gòu)提出了更高的要求。而傳統(tǒng)的IOE技術(shù)架構(gòu),已無法滿足未來科技金融銀行發(fā)展的要求。一是以業(yè)務(wù)部門或業(yè)務(wù)系統(tǒng)為維度,導(dǎo)致系統(tǒng)數(shù)量多、分散、獨(dú)立,數(shù)據(jù)共享度低,應(yīng)用模式無法滿足整體IT戰(zhàn)略發(fā)展需要。二是缺乏靈活的水平伸縮能力,性能瓶頸明顯,且容易碰到硬件信息的天花板,進(jìn)而制約業(yè)務(wù)發(fā)展。三是不能快速應(yīng)對(duì)瞬時(shí)爆發(fā)的海量請(qǐng)求,特別是秒殺、促銷等爆發(fā)的瞬時(shí)海量交易。四是典型的重資產(chǎn)模式,采購成本高,維護(hù)成本高。五是缺乏自主掌控,高度依賴供應(yīng)商支持,加重了科技研發(fā)壓力,加大了生產(chǎn)運(yùn)行風(fēng)險(xiǎn),無法快速響應(yīng)市場變化,限制了業(yè)務(wù)模式創(chuàng)新。
與傳統(tǒng)IOE架構(gòu)形成鮮明對(duì)比的分布式架構(gòu)體系,自2004年以來由互聯(lián)網(wǎng)應(yīng)用需求推動(dòng),逐步發(fā)展成熟,并在互聯(lián)網(wǎng)大型應(yīng)用服務(wù)中獲得了充分驗(yàn)證。該架構(gòu)以分布式計(jì)算框架和分布式數(shù)據(jù)存儲(chǔ)為基礎(chǔ),支持大規(guī)模、突發(fā)性、高并發(fā)場景,能夠以低成本,快速應(yīng)對(duì)億級(jí)用戶數(shù)和PB級(jí)數(shù)據(jù)量的應(yīng)用場景。近些年銀行業(yè)對(duì)分布式技術(shù)的研究和技術(shù)積累,使得構(gòu)建基于分布式架構(gòu)的核心業(yè)務(wù)系統(tǒng)成為科技金融銀行發(fā)展的必然選擇。
民生銀行分布式架構(gòu)特點(diǎn)
2018年1月28日,民生銀行歷時(shí)近4年自主研發(fā)的分布式核心金融云平臺(tái)成功上線,完成了直銷銀行系統(tǒng)全部1200萬電子賬戶遷移,建立了分布式金融云雙活災(zāi)備體系,成為國內(nèi)首家成功上線分布式核心賬戶系統(tǒng)的銀行。民生分布式金融云上線3個(gè)多月來運(yùn)行平穩(wěn),日均交易量1100萬筆,響應(yīng)時(shí)間穩(wěn)定在50毫秒以內(nèi),業(yè)務(wù)處理效率較原核心系統(tǒng)提升3倍以上,達(dá)到了分布式核心項(xiàng)目的預(yù)期目標(biāo),為下一階段業(yè)務(wù)系統(tǒng)大規(guī)模接入做好充分準(zhǔn)備。
基于分布式金融云的有力支撐,民生銀行科技支撐能力進(jìn)一步提升,近3個(gè)月來,先后上線了基于分布式架構(gòu)的新一代零售信貸體系,基于大數(shù)據(jù)和人工智能的智能投顧1.0系統(tǒng),豐富移動(dòng)生活場景的手機(jī)銀行APP4.0,以及提升全行辦公效率的智能移動(dòng)辦公云平臺(tái)等重要系統(tǒng)。同時(shí)小微3.0、新供應(yīng)鏈金融、遠(yuǎn)程銀行等重點(diǎn)項(xiàng)目和數(shù)據(jù)治理等工作也在積極推進(jìn),全力建設(shè)民生科技金融銀行。
特點(diǎn)一:兼顧降本增效、海量接納。與傳統(tǒng)銀行系統(tǒng)架構(gòu)相比,民生銀行分布式架構(gòu)兼顧了“降本增效”和“海量接納”的特性,大幅提高業(yè)務(wù)效益,提升了銀行科技金融的核心競爭力,為客戶提供高可靠性、高穩(wěn)定性、高安全性的服務(wù)。主要表現(xiàn)在以下幾方面:第一,支持十億級(jí)客戶的規(guī)模,突破核心系統(tǒng)瓶頸;第二,核心業(yè)務(wù)單功能點(diǎn)降低為按周交付,能夠更快響應(yīng)業(yè)務(wù)需求,提高交付速度;第三,系統(tǒng)性能及穩(wěn)定性數(shù)量級(jí)提升,客戶體驗(yàn)及服務(wù)質(zhì)量極大提升;第四,單賬戶成本大幅降低,預(yù)計(jì)每年可節(jié)省運(yùn)營成本近億元。
分布式核心系統(tǒng)參考互聯(lián)網(wǎng)技術(shù)架構(gòu)優(yōu)點(diǎn),基于微服務(wù)架構(gòu)和云原生應(yīng)用的設(shè)計(jì)理念,采用分層架構(gòu)設(shè)計(jì),運(yùn)行在x86服務(wù)器上,同時(shí)支持虛擬化部署,擴(kuò)展性良好;采用讀寫分離和分庫分表等方式的數(shù)據(jù)分布式處理,結(jié)合使用分布式緩存和支撐異步處理的消息中心,有效提升系統(tǒng)響應(yīng)速度和吞吐量;通過采用分布式批處理框架,大幅提升批處理效率,支持海量賬戶的日終批量處理;應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器采用同城雙活模式確保系統(tǒng)的可靠性。
特點(diǎn)二:平臺(tái)與應(yīng)用有機(jī)整合。民生銀行分布式技術(shù)平臺(tái)以開源為基礎(chǔ)實(shí)現(xiàn)了一整套的分布式框架及中間件,以支持符合金融業(yè)務(wù)要求,滿足海量數(shù)據(jù)、高并發(fā)、高可用、高可靠和橫向彈性擴(kuò)展的銀行應(yīng)用功能。根據(jù)分布式的CAP理論,一致性、可用性、分區(qū)容錯(cuò)性不可兼得。為滿足銀行業(yè)務(wù)對(duì)交易處理的苛刻要求,民生銀行的分布式技術(shù)平臺(tái)首先保證了可用性和分區(qū)容錯(cuò)性,然后通過分布式事務(wù)、消息中心保證了基于可靠消息的最終一致性,通過消息中心、統(tǒng)一沖正與全局序列保證交易的冪等一致性。
圍繞銀行核心系統(tǒng)特點(diǎn),民生銀行分布式技術(shù)平臺(tái)具有九大功能:一是通過分庫分別和讀寫分離實(shí)現(xiàn)分布式數(shù)據(jù)訪問功能;二是基于可靠消息的最終一致性和基于沖正模型的反向處理實(shí)現(xiàn)分布式事務(wù)功能;三是通過RPC服務(wù)框架、服務(wù)訪問控制與限流、服務(wù)跟蹤實(shí)現(xiàn)分布式服務(wù)框架與服務(wù)治理功能;四是通過分布式的作業(yè)調(diào)度和多種容錯(cuò)策略保證分布式批量作業(yè)調(diào)度功能;五是通過集中配置管理支持一份代碼多份部署功能;六是通過消息中心實(shí)現(xiàn)可靠消息發(fā)送與接收和消息冪等性功能;七是通過分布式緩存提高性能、降低DB負(fù)載;八是通過統(tǒng)一沖正與全局序列實(shí)現(xiàn)交易冪等一致性功能;九是實(shí)現(xiàn)開發(fā)運(yùn)維一體化,基于Docker容器,支持彈性擴(kuò)容。
分布式中間件平臺(tái)是民生分布式架構(gòu)里的核心功能,如圖1所示,平臺(tái)分為服務(wù)接入層,應(yīng)用層和數(shù)據(jù)層。在服務(wù)接入層,外圍系統(tǒng)通過APIGateway實(shí)現(xiàn)服務(wù)的安全與訪問控制,包括交易冪等性、服務(wù)授權(quán)、服務(wù)限流等。在應(yīng)用層,一是高性能的服務(wù)框架支持微服務(wù)架構(gòu),實(shí)現(xiàn)應(yīng)用服務(wù)彈性伸縮;二是通過配置中心統(tǒng)一存儲(chǔ)配置,實(shí)現(xiàn)配置信息多版本、多環(huán)境管理,支持配置信息推送與動(dòng)態(tài)變更;三是通過消息中心解耦應(yīng)用,實(shí)現(xiàn)高可靠消息發(fā)送,提高系統(tǒng)吞吐量,應(yīng)對(duì)瞬間峰值;四是分布式批量框架提供分布式計(jì)算能力,支持批量作業(yè)的高效執(zhí)行。在數(shù)據(jù)層,首先通過分布式數(shù)據(jù)服務(wù)支持核心數(shù)據(jù)的讀寫分離、分庫分表,實(shí)現(xiàn)核心數(shù)據(jù)彈性伸縮;其次通過分布式緩存提升系統(tǒng)性能,降低數(shù)據(jù)庫訪問壓力。整個(gè)分布式架構(gòu)適用不同業(yè)務(wù)場景的多種分布式事務(wù)處理模型,同時(shí)構(gòu)建了基于大數(shù)據(jù)的分布式日志手機(jī)分析與統(tǒng)一的監(jiān)控預(yù)警平臺(tái)。基于Docker技術(shù)的DevOps平臺(tái),實(shí)現(xiàn)多發(fā)布環(huán)境隔離、應(yīng)用的滾動(dòng)升級(jí)與發(fā)布。

圖1 民生銀行分布式技術(shù)架構(gòu)
銀行核心系統(tǒng)是銀行交易和賬戶處理的中心,是銀行信息系統(tǒng)架構(gòu)的最關(guān)鍵的環(huán)節(jié),民生銀行基于分布式架構(gòu)的存款核心系統(tǒng)通過組件化分層保證了賬務(wù)數(shù)據(jù)強(qiáng)一致性。第一層為協(xié)議處理層,提供Dubbo服務(wù),WebService服務(wù)、服務(wù)治理、服務(wù)跟蹤、服務(wù)參數(shù)驗(yàn)證、服務(wù)冪等性。第二層為服務(wù)組裝層,實(shí)現(xiàn)單一服務(wù)透傳、服務(wù)編排、公共服務(wù)/API、異常機(jī)制和分布式事務(wù)控制。第三層為原子服務(wù)層,包括公共原子服務(wù)、業(yè)務(wù)原子服務(wù)、工具類/API、序列號(hào)和消息中心。第四層為持久化層,提供分布式數(shù)據(jù)訪問和分布式緩存機(jī)制(如圖2所示)。

圖2 民生銀行分布式核心應(yīng)用分層架構(gòu)
特點(diǎn)三:自動(dòng)化和智能化的運(yùn)維管理。分布式架構(gòu)使運(yùn)維面臨服務(wù)層次更復(fù)雜、調(diào)用關(guān)系更復(fù)雜、系統(tǒng)狀態(tài)更復(fù)雜的挑戰(zhàn)。針對(duì)分布式架構(gòu)設(shè)備多、應(yīng)用多、服務(wù)多、配置多的特點(diǎn),民生銀行研發(fā)了運(yùn)維支撐體系,建設(shè)了十大運(yùn)維自動(dòng)化工具,來保障運(yùn)維有條不紊的進(jìn)行。一是運(yùn)維管理集中化,包括分布式管控平臺(tái)進(jìn)行服務(wù)治理、運(yùn)維視點(diǎn)平臺(tái)進(jìn)行應(yīng)用查詢、集中監(jiān)控平臺(tái)集中管理硬件/OS/DB/網(wǎng)絡(luò);二是運(yùn)維操作自動(dòng)化,包括分布式DevOps平臺(tái)確保持續(xù)交付,災(zāi)備自動(dòng)化指揮平臺(tái)保障機(jī)房切換;三是應(yīng)用排錯(cuò)可視化,包括交易監(jiān)控平臺(tái)實(shí)現(xiàn)實(shí)時(shí)交易分析、OnPlat全景運(yùn)維平臺(tái)實(shí)現(xiàn)實(shí)時(shí)鏈路分析、云圖系統(tǒng)實(shí)現(xiàn)運(yùn)維架構(gòu)可視化;四是服務(wù)跟蹤智能化,包括一眼清平臺(tái)進(jìn)行日志分析、ZIPKIN平臺(tái)實(shí)現(xiàn)服務(wù)跟蹤。
發(fā)揮分布式架構(gòu)效能,加速科技金融銀行建設(shè)
1.契合科技金融戰(zhàn)略轉(zhuǎn)型,提升民生銀行品牌影響力。分布式核心金融云對(duì)實(shí)現(xiàn)向“科技金融”轉(zhuǎn)型的戰(zhàn)略目標(biāo)有重大現(xiàn)實(shí)意義,有助于在激烈競爭環(huán)境下保持領(lǐng)先優(yōu)勢,提升研發(fā)創(chuàng)新效能,改善客戶服務(wù)質(zhì)量,增強(qiáng)經(jīng)營管理能力,擴(kuò)大民生銀行“勇于創(chuàng)新、銳意進(jìn)取”的品牌形象和影響力。
2.降低科技成本支出,提升民生銀行利潤空間。在同等處理能力的情況下,分布式核心金融云大幅降低了軟硬件投入成本。硬件方面,從IOE架構(gòu)向X86服務(wù)器轉(zhuǎn)型,使投入的硬件成本僅為之前的15%;軟件方面,采用開源技術(shù)的分布式核心系統(tǒng)每年可節(jié)約90%的維護(hù)費(fèi)用。
3.積累業(yè)內(nèi)領(lǐng)先的技術(shù)成果,打造一流的科技人才團(tuán)隊(duì)。分布式核心金融云突破銀行賬務(wù)強(qiáng)一致性和系統(tǒng)高并發(fā)性、大數(shù)據(jù)量等方面的技術(shù)難題,完成了技術(shù)架構(gòu)的歷史性轉(zhuǎn)型。目前已通過復(fù)雜場景近7000TPS的性能測試,遠(yuǎn)遠(yuǎn)突破原核心系統(tǒng)的性能極限,并且仍可線性擴(kuò)展,處理能力處在行業(yè)內(nèi)領(lǐng)先地位。相關(guān)研究成果獲得了銀行業(yè)信息科技風(fēng)險(xiǎn)管理課題研究成果一類證書(2016年)、人民銀行頒發(fā)的銀行科技發(fā)展二等獎(jiǎng)(2017年)等重要獎(jiǎng)項(xiàng),同時(shí)累計(jì)申請(qǐng)了11項(xiàng)技術(shù)創(chuàng)新專利,為民生科技金融銀行建設(shè)奠定了關(guān)鍵的能力基礎(chǔ)。
4.自主掌控核心技術(shù),為科技金融戰(zhàn)略奠定及技術(shù)基礎(chǔ)。分布式核心金融云是民生科技運(yùn)用分布式技術(shù)的成功典范,為將來更大范圍推廣分布式技術(shù)積累了豐富的實(shí)踐經(jīng)驗(yàn)和技術(shù)標(biāo)準(zhǔn)。項(xiàng)目中關(guān)于分布式緩存、消息中間件等關(guān)鍵技術(shù)已經(jīng)形成了民生銀行軟件開發(fā)標(biāo)準(zhǔn),分布式平臺(tái)為行內(nèi)其他系統(tǒng)進(jìn)行分布式改造提供基礎(chǔ)環(huán)境,成為民生金融科技的重要基礎(chǔ)技術(shù)平臺(tái)。
持續(xù)推進(jìn)分布式架構(gòu)轉(zhuǎn)型建設(shè)
未來3年,圍繞全行科技金融銀行戰(zhàn)略規(guī)劃,分布式金融云平臺(tái)將為全行智能化金融產(chǎn)品和服務(wù)創(chuàng)新提供有力的科技保障。民生銀行將按照統(tǒng)一規(guī)劃、分步實(shí)施、持續(xù)改進(jìn)的原則,業(yè)務(wù)上先簡后繁,技術(shù)上先難后易,持續(xù)推進(jìn)分布式架構(gòu)轉(zhuǎn)型。一方面是全行重要系統(tǒng)的分布式改造。2018年計(jì)劃完成手機(jī)銀行、公司與零售場景、支付、大數(shù)據(jù)等核心平臺(tái)的分布式化改造;2019年計(jì)劃完成網(wǎng)銀等其他渠道體系、場景應(yīng)用體系、支付核心和核心數(shù)據(jù)應(yīng)用的分布式化改造;2020年將推進(jìn)分布式架構(gòu)全面化實(shí)施。另一方面,全行業(yè)務(wù)場景的分布式支持。重點(diǎn)在金融支付、小微金融、供應(yīng)鏈金融等業(yè)務(wù)領(lǐng)域,運(yùn)用分布式平臺(tái)的強(qiáng)大整合能力,快速滿足“客群分類分層經(jīng)營”的個(gè)性化生活場景,提升業(yè)務(wù)產(chǎn)品創(chuàng)新能力,增強(qiáng)市場競爭力。
(文章來源:金融電子化雜志)
掃碼即可手機(jī)
閱讀轉(zhuǎn)發(fā)此文
目前Hadoop/HBase廣泛應(yīng)用于各類具有大數(shù)據(jù)需求的企業(yè),尤其是互聯(lián)網(wǎng)企業(yè),
工商銀行啟動(dòng)業(yè)務(wù)集中處理改革,研發(fā)了具有自主知識(shí)產(chǎn)權(quán)的業(yè)務(wù)集中處理平臺(tái)