云計(jì)算創(chuàng)新實(shí)驗(yàn)室致力于發(fā)揮技術(shù)研究的價(jià)值，從2015年開(kāi)始持續(xù)加大創(chuàng)新投入，不斷在云計(jì)算技術(shù)、分布式技術(shù)、API開(kāi)放平臺(tái)等領(lǐng)域取得突破性研究成果。在開(kāi)源技術(shù)的基礎(chǔ)上，自主研發(fā)實(shí)現(xiàn)了分布式技術(shù)框架、企業(yè)級(jí)云平臺(tái)和API開(kāi)放平臺(tái)等一系列技術(shù)平臺(tái)，推動(dòng)工商銀行IT架構(gòu)從傳統(tǒng)單體式向分布式、服務(wù)化架構(gòu)轉(zhuǎn)型，使得應(yīng)用架構(gòu)布局更加合理、系統(tǒng)的彈性可擴(kuò)展能力、高可用性得到增強(qiáng)，提升應(yīng)用快速組合創(chuàng)新能力。這些成果已深入運(yùn)用到生產(chǎn)運(yùn)行和各類(lèi)業(yè)務(wù)場(chǎng)景中，順利支撐了多次紀(jì)念幣預(yù)約、春節(jié)紅包、“雙11”大促等互聯(lián)網(wǎng)高并發(fā)場(chǎng)景。工商銀行基礎(chǔ)設(shè)施云獲得第二屆中國(guó)優(yōu)秀云計(jì)算開(kāi)源案例評(píng)選特等獎(jiǎng)。依托API開(kāi)放平臺(tái)推進(jìn)生態(tài)圈建設(shè)，初步構(gòu)建分行、合作伙伴、商業(yè)公司、獨(dú)立開(kāi)發(fā)者API開(kāi)放平臺(tái)生態(tài)圈，并推出二維碼支付、繳費(fèi)、實(shí)名簽、微黃金、風(fēng)險(xiǎn)名單查詢(xún)、物聯(lián)網(wǎng)、ⅡⅢ類(lèi)賬戶(hù)等一系列有競(jìng)爭(zhēng)力的服務(wù)。

 

 

        從業(yè)界云計(jì)算發(fā)展的步驟來(lái)看，一般會(huì)經(jīng)歷從數(shù)據(jù)大集中到資源虛擬化再到云計(jì)算的“三部曲”路徑。工商銀行從1999年完成了全球數(shù)據(jù)大集中，2008年開(kāi)始全面部署服務(wù)器虛擬化，并在2014年緊隨業(yè)務(wù)發(fā)展趨勢(shì)全力啟動(dòng)云計(jì)算的研究工作。工商銀行從自身特點(diǎn)出發(fā)，自主研發(fā)建設(shè)了符合業(yè)務(wù)發(fā)展需要的云平臺(tái)，推進(jìn)IT資源向快速響應(yīng)、彈性伸縮、高可用、低成本的云計(jì)算環(huán)境轉(zhuǎn)型，為客戶(hù)及交易規(guī)模高速發(fā)展提供支撐，為突發(fā)性業(yè)務(wù)峰值提供資源保障。

 

        工商銀行基礎(chǔ)設(shè)施云IaaS基于開(kāi)放OpenStack、SDN之上自主研發(fā)云管平臺(tái)，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源的供應(yīng)，與應(yīng)用平臺(tái)云PaaS、流程管理等系統(tǒng)的聯(lián)動(dòng)以及資源的可視化管理。工商銀行應(yīng)用平臺(tái)云PaaS采用輕量級(jí)容器技術(shù)，引入業(yè)界主流的容器集群編排及調(diào)度技術(shù)Kubernetes，在容器、負(fù)載、日志、監(jiān)控等方面全方位實(shí)現(xiàn)應(yīng)用平臺(tái)云的架構(gòu)提升，提升了平臺(tái)集群容量，支持萬(wàn)級(jí)容器集群規(guī)模;實(shí)現(xiàn)了應(yīng)用節(jié)點(diǎn)編排，支持復(fù)雜架構(gòu)應(yīng)用上云;提供容器自愈，實(shí)現(xiàn)應(yīng)用故障自動(dòng)恢復(fù)能力;提供多集群能力，實(shí)現(xiàn)應(yīng)用按需隔離;建立了云上的日志管理及診斷體系，提升云上應(yīng)用的精細(xì)化管理水平;提供負(fù)載均衡服務(wù)，為應(yīng)用提供更為豐富的軟負(fù)載能力;同時(shí)，還實(shí)現(xiàn)了多維度、多層級(jí)監(jiān)控，保障平臺(tái)可用性。

 

        針對(duì)云環(huán)境的管理運(yùn)維，工商銀行還建立了一套云運(yùn)維體系，提升云上應(yīng)用的自動(dòng)化運(yùn)維水平。利用云平臺(tái)初步實(shí)踐了DevOps，從開(kāi)發(fā)到運(yùn)維整合一體化，打通開(kāi)發(fā)流程的邊界,使應(yīng)用的軟件構(gòu)建、測(cè)試、發(fā)布更加快捷，提供從開(kāi)發(fā)到生產(chǎn)快速交付的能力，為應(yīng)用快速迭代提供技術(shù)支撐。

 

        截至2017年12月，工商銀行基礎(chǔ)設(shè)施云IaaS實(shí)現(xiàn)了研發(fā)云、測(cè)試云和生產(chǎn)云的部署，完成個(gè)人網(wǎng)銀、企業(yè)網(wǎng)銀等11個(gè)重點(diǎn)應(yīng)用3800多個(gè)節(jié)點(diǎn)入云實(shí)施;應(yīng)用平臺(tái)云PaaS實(shí)現(xiàn)了云上超過(guò)2000套的部署規(guī)模，落地應(yīng)用超過(guò)40個(gè)，云上服務(wù)調(diào)用量日均超過(guò)5億筆，主要涉及互聯(lián)網(wǎng)金融、合作方、物聯(lián)網(wǎng)和主機(jī)業(yè)務(wù)下移等相關(guān)場(chǎng)景，有效地承擔(dān)了生產(chǎn)交易的負(fù)載。針對(duì)以互聯(lián)網(wǎng)金融為代表的業(yè)務(wù)突發(fā)高峰場(chǎng)景，借助云平臺(tái)的彈性擴(kuò)展和高可用能力，支撐了工商銀行2016～2017年的紀(jì)念幣預(yù)約、春節(jié)紅包、“雙11”大促等互聯(lián)網(wǎng)高并發(fā)場(chǎng)景，在生產(chǎn)經(jīng)歷了上萬(wàn)TPS的瞬時(shí)高峰考驗(yàn)。

 

        此外，通過(guò)云平臺(tái)，工商銀行基礎(chǔ)設(shè)施資源利用效率提升2～3倍，資源供應(yīng)效率供應(yīng)時(shí)間由2～3周縮短至分鐘級(jí);通過(guò)基礎(chǔ)設(shè)施云IaaS與應(yīng)用平臺(tái)云PaaS的聯(lián)動(dòng)，業(yè)務(wù)高峰擴(kuò)容可達(dá)秒級(jí)，管理流程提升超過(guò)60%的流程實(shí)現(xiàn)全自動(dòng)化。

 

工商銀行金融云特點(diǎn)如圖1所示。

 

 

        結(jié)合業(yè)界分布式技術(shù)發(fā)展路線(xiàn)和趨勢(shì)，兼顧行內(nèi)的管理、運(yùn)維和監(jiān)控的需要，工商銀行已建設(shè)完成符合自身業(yè)務(wù)發(fā)展需要的分布式技術(shù)體系，促進(jìn)應(yīng)用架構(gòu)向分布式、服務(wù)化演進(jìn)，降低應(yīng)用系統(tǒng)耦合度，實(shí)現(xiàn)業(yè)務(wù)需求的快速上線(xiàn)，增強(qiáng)產(chǎn)品創(chuàng)新的市場(chǎng)快速調(diào)整與響應(yīng)能力。

 

        工商銀行分布式技術(shù)體系采用開(kāi)源結(jié)合自研的技術(shù)演進(jìn)路線(xiàn)，通過(guò)引進(jìn)、消化、吸收、再創(chuàng)新，實(shí)現(xiàn)了分布式技術(shù)框架采用了高性能通信，支持多種協(xié)議接入，實(shí)現(xiàn)了服務(wù)的自動(dòng)發(fā)現(xiàn)及路由，具有更為靈活的軟負(fù)載及容錯(cuò)機(jī)制。此外，我們還特別增強(qiáng)了服務(wù)網(wǎng)關(guān)、服務(wù)全鏈路跟蹤、配置中心和開(kāi)發(fā)框架等，形成了涵蓋分布式服務(wù)從開(kāi)發(fā)到生產(chǎn)的全生命周期的技術(shù)體系。

 

        從開(kāi)放平臺(tái)技術(shù)架構(gòu)演進(jìn)的規(guī)律和實(shí)際效果來(lái)看，將容器技術(shù)與微服務(wù)相結(jié)合，逐漸成為業(yè)界主流。我們?cè)谌萜骷夹g(shù)與微服務(wù)的實(shí)際運(yùn)用過(guò)程中，總結(jié)出了兩者天然融合的實(shí)踐經(jīng)驗(yàn)，對(duì)工商銀行的應(yīng)用架構(gòu)轉(zhuǎn)型起到了指導(dǎo)性作用。

 

        目前，分布式技術(shù)框架已經(jīng)成為工商銀行IT架構(gòu)和應(yīng)用架構(gòu)轉(zhuǎn)型的標(biāo)準(zhǔn)，并作為開(kāi)放平臺(tái)應(yīng)用下一代技術(shù)體系的核心與基礎(chǔ)。借助分布式技術(shù)框架，可滿(mǎn)足應(yīng)用水平擴(kuò)展，推動(dòng)開(kāi)放平臺(tái)應(yīng)用架構(gòu)向服務(wù)化方向演進(jìn);支撐以個(gè)人網(wǎng)銀為代表的互聯(lián)網(wǎng)業(yè)務(wù)通過(guò)服務(wù)組合方式實(shí)現(xiàn)快速創(chuàng)新;支持工商銀行完整、多業(yè)務(wù)領(lǐng)域協(xié)同的服務(wù)化系統(tǒng)建設(shè)，突破應(yīng)用邊界，降低模塊耦合度，提高復(fù)用度，提升擴(kuò)展性。目前已成功支持互聯(lián)網(wǎng)金融、大零售等重點(diǎn)業(yè)務(wù)領(lǐng)域轉(zhuǎn)型實(shí)施工作。截至2017年12月，分布式技術(shù)框架管理超過(guò)100個(gè)集群、3000個(gè)服務(wù)，日均調(diào)用量超過(guò)7億，日常業(yè)務(wù)時(shí)間服務(wù)調(diào)用量超過(guò)1萬(wàn)筆/秒。

 

        工商銀行分布式技術(shù)的業(yè)務(wù)支撐能力如圖2所示。

 

 

 

        通過(guò)建設(shè)API開(kāi)放平臺(tái)，構(gòu)建工商銀行與合作方，總行和分行間合作共建的連接紐帶，通過(guò)行內(nèi)外、總分行的協(xié)同聯(lián)動(dòng)，向本行、他行及合作方客戶(hù)，通過(guò)本行、合作方渠道，提供一站式、個(gè)性化、場(chǎng)景化的金融+非金融服務(wù)，形成金融生態(tài)圈。

 

        工商銀行自2015年起啟動(dòng)API開(kāi)放平臺(tái)的建設(shè)至今，已完成API開(kāi)放平臺(tái)基礎(chǔ)環(huán)境的實(shí)施工作，涵蓋了運(yùn)行網(wǎng)關(guān)、開(kāi)發(fā)者門(mén)戶(hù)、管理子系統(tǒng)三部分，對(duì)外提供聯(lián)機(jī)接口、頁(yè)面服務(wù)和文件等多種形式的API服務(wù)，支持聯(lián)網(wǎng)、專(zhuān)線(xiàn)等訪問(wèn)方式。開(kāi)發(fā)者門(mén)戶(hù)可提供行業(yè)解決方案、接入指南、接口說(shuō)明等相關(guān)文檔，便于分行與合作方接入API平臺(tái)、消費(fèi)API服務(wù)。

 

        通過(guò)為客戶(hù)提供多場(chǎng)景融合的服務(wù)，初步構(gòu)建了分行、合作伙伴、商業(yè)公司、獨(dú)立開(kāi)發(fā)者的API開(kāi)放平臺(tái)生態(tài)圈。在開(kāi)放的服務(wù)內(nèi)容方面推出了二維碼支付、工銀e繳費(fèi)、工銀e生活、Ⅱ/Ⅲ類(lèi)賬戶(hù)等數(shù)十個(gè)面向行外合作方開(kāi)放的API服務(wù)，已實(shí)現(xiàn)與超過(guò)90家外部合作企業(yè)實(shí)現(xiàn)的對(duì)接，日均交易量超400萬(wàn)筆。針對(duì)合作方的快速對(duì)接需求，最快兩周即可完成對(duì)接上線(xiàn)。

 

        目前，面向行內(nèi)分支機(jī)構(gòu)的API推廣已全部完成，境內(nèi)36家分行特色應(yīng)用通過(guò)API開(kāi)放平臺(tái)調(diào)用總行應(yīng)用超過(guò)500接口，對(duì)內(nèi)共上線(xiàn)771個(gè)分行特色應(yīng)用，日均交易量超3000萬(wàn)筆，已實(shí)現(xiàn)服務(wù)調(diào)用的統(tǒng)一管理和規(guī)范控制。

 

API開(kāi)放平臺(tái)工作流程如圖3所示。

 

 

 

        下一步，云計(jì)算創(chuàng)新實(shí)驗(yàn)室將繼續(xù)圍繞云計(jì)算技術(shù)、分布式技術(shù)和API開(kāi)放平臺(tái)三方面，加強(qiáng)技術(shù)創(chuàng)新工作，不斷提升平臺(tái)企業(yè)級(jí)能力。建設(shè)面向分行、合作方的托管云，構(gòu)建共享、共贏的SaaS云生態(tài);建立云上AIOps智能運(yùn)維體系，加速云平臺(tái)推廣實(shí)施工作。完善分布式技術(shù)體系，健全分布式服務(wù)治理;研究建立服務(wù)穩(wěn)定性保障機(jī)制，加強(qiáng)熔斷、降級(jí)和QoS能力，提升平臺(tái)穩(wěn)定性;建立服務(wù)全息監(jiān)控平臺(tái)，提升分布式體系的監(jiān)控、跟蹤、預(yù)警和分析能力。完善API平臺(tái)建設(shè)，推進(jìn)互聯(lián)網(wǎng)金融場(chǎng)景化生態(tài)圈建設(shè)，不斷提升面向合作方、開(kāi)發(fā)者和分行的支持體系建設(shè)，建設(shè)共創(chuàng)共贏的金融生態(tài)。

 

（文章來(lái)源：《中國(guó)金融電腦》雜志）