SequoiaDB從「多模數(shù)據(jù)湖」、「實時數(shù)據(jù)湖」發(fā)展到「湖倉一體」架構(gòu)，為客戶提供「數(shù)據(jù)核心」所需的全量數(shù)據(jù)存儲，實時對客服務(wù)，及基于統(tǒng)一數(shù)據(jù)源的分析能力，充分激活客戶的離線數(shù)據(jù)。當(dāng)中，多模數(shù)據(jù)的融合管理，以及非結(jié)構(gòu)化數(shù)據(jù)的管理能力是個關(guān)鍵。

(資料圖片僅供參考)

IDC研究報告顯示，到2024年，全球數(shù)據(jù)總量將超過145ZB，且每年以22%的速度持續(xù)增長。其中，非結(jié)構(gòu)化數(shù)據(jù)的規(guī)模尤其明顯。在金融銀行業(yè)中，對非結(jié)構(gòu)化數(shù)據(jù)的利用，已經(jīng)成為提高業(yè)務(wù)效率和提升盈利能力的有效方法。

數(shù)據(jù)來自IDC

隨著移動互聯(lián)網(wǎng)的飛速發(fā)展和企業(yè)數(shù)字化轉(zhuǎn)型的深入，金融銀行業(yè)的應(yīng)用場景不斷豐富，非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)深入到日常業(yè)務(wù)辦理的各個環(huán)節(jié)中并發(fā)揮重要作用。

因此，企業(yè)內(nèi)容管理平臺，被賦予了新的使命：

首先，要服務(wù)于各業(yè)務(wù)系統(tǒng)，面向客戶提供即時在線、多樣化、高效率的數(shù)據(jù)服務(wù)，提升業(yè)務(wù)辦理效率；

其次，面對金融業(yè)日益嚴格的政策法規(guī)約束，要面向監(jiān)管，提供數(shù)據(jù)的長周期保存，為事后監(jiān)督、審計、司法查詢等提供數(shù)據(jù)基礎(chǔ)，確保業(yè)務(wù)安全合規(guī)；

再者，數(shù)字化轉(zhuǎn)型中，內(nèi)容數(shù)據(jù)不再是靜態(tài)的文件。對內(nèi)容數(shù)據(jù)進行有效的集中整合、分類治理、標(biāo)簽化管理，再結(jié)合OCR、機器學(xué)習(xí)算法對比分析后，內(nèi)容數(shù)據(jù)將具備更多元化的業(yè)務(wù)屬性，為集中風(fēng)控、經(jīng)營決策等提供豐富的信息輸入，從而盤活數(shù)據(jù)資產(chǎn)的潛在價值。

這就對內(nèi)容管理平臺底層的數(shù)據(jù)存儲架構(gòu)，提出了更高的要求：

統(tǒng)一標(biāo)準，集中存儲，全量在線：例如某省農(nóng)信社，有近百個系統(tǒng)產(chǎn)生非結(jié)構(gòu)化數(shù)據(jù)，如信用卡、信貸、渠道、柜面、國結(jié)等，一方面數(shù)據(jù)規(guī)格差異較大（KB~百MB），一方面，除了非結(jié)構(gòu)化文件本身，還需要實現(xiàn)元數(shù)據(jù)的存儲和管理（如標(biāo)簽、業(yè)務(wù)屬性等）。企業(yè)希望采用簡潔、易于維護、具備高可用及容災(zāi)能力的數(shù)據(jù)存儲架構(gòu)，提供統(tǒng)一訪問接口，保持全量數(shù)據(jù)即時在線，從而降低技術(shù)復(fù)雜度，提升開發(fā)效率。

高性能，全面對客：海量數(shù)據(jù)(603138)迅速積累的同時，用戶對于業(yè)務(wù)體驗的要求與日俱增。滿足高并發(fā)、低延時的業(yè)務(wù)訪問請求，對數(shù)據(jù)存儲架構(gòu)的性能指標(biāo)提出了嚴峻的考驗。例如銀行的無人營業(yè)網(wǎng)點，要求用戶實時上傳身份證、簽字頁等掃描件，并為用戶身份識別、信貸審核等環(huán)節(jié)提供高頻的實時調(diào)閱。

數(shù)據(jù)管理：非結(jié)構(gòu)化數(shù)據(jù)具有種類多、容量大的特點，是企業(yè)資源消耗的“大戶”，如何設(shè)計精細化的內(nèi)容數(shù)據(jù)管理策略，如生命周期管理、版本管理、數(shù)據(jù)分層治理、租戶管理等，來降低維護成本，提升數(shù)據(jù)質(zhì)量，也成為當(dāng)前非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用領(lǐng)域的熱點話題。

傳統(tǒng)數(shù)據(jù)存儲架構(gòu)的局限性

一直以來，企業(yè)內(nèi)容管理系統(tǒng)以國外ECM軟件為主流, 典型產(chǎn)品如IBM CM、Filenet及EMC Documentum等，其底層均采用集中式數(shù)據(jù)存儲架構(gòu)。該架構(gòu)無論從性能、擴展性，還是維護成本方面，遇到了嚴峻的挑戰(zhàn)，已經(jīng)無法適應(yīng)新時代內(nèi)容數(shù)據(jù)的管理需求。

架構(gòu)復(fù)雜 & 成本高昂傳統(tǒng)內(nèi)容管理解決方案的底層數(shù)據(jù)架構(gòu)，有兩套技術(shù)來支撐：一套文件存儲（NAS或集中式陣列）來管理非結(jié)構(gòu)化文件，一套關(guān)系型數(shù)據(jù)庫（如DB2/Oracle等）實現(xiàn)元數(shù)據(jù)管理、標(biāo)簽化管理。技術(shù)架構(gòu)的復(fù)雜性，導(dǎo)致管理難度和軟硬件維護成本居高不下。

并發(fā)性、擴展性局限集中式數(shù)據(jù)存儲架構(gòu)，其性能和容量均存在明顯瓶頸，更缺乏靈活的水平伸縮能力，無法滿足爆炸性增長的業(yè)務(wù)需求和數(shù)據(jù)管理需求。

高可用、容災(zāi)能力不足隨著非結(jié)構(gòu)化數(shù)據(jù)開始發(fā)揮更大的作用，內(nèi)容管理平臺的重要級別也不斷提升。在監(jiān)管要求下，其業(yè)務(wù)連續(xù)性、容災(zāi)能力要求越來越高。以往由兩套技術(shù)（數(shù)據(jù)庫+文件存儲）實現(xiàn)的容災(zāi)方案，切換時間長，也無法實現(xiàn)絕對的數(shù)據(jù)一致，必然達不到更高等級的RTO/RPO要求。

此外，也有國內(nèi)開發(fā)商采用『關(guān)系型數(shù)據(jù)庫+對象存儲』方案，來構(gòu)建內(nèi)容管理系統(tǒng)，例如『MySQL+Ceph及其衍生品』。相比于前一種方案，存儲容量和擴展性得以增強，成本有所降低。但同樣無法解決復(fù)雜的技術(shù)棧帶來的學(xué)習(xí)成本高、難于維護的問題。

巨杉數(shù)據(jù)庫-多模數(shù)據(jù)湖方案

巨杉數(shù)據(jù)庫深耕金融銀行業(yè)，聚焦于從數(shù)據(jù)湖到湖倉一體的技術(shù)架構(gòu)，針對業(yè)界對海量非結(jié)構(gòu)化數(shù)據(jù)存儲管理的需求，提出多模數(shù)據(jù)湖技術(shù)方案。多模數(shù)據(jù)湖是一種全量、即時使用、高性能的一站式數(shù)據(jù)存儲方案。它強調(diào)采用多模、高擴展的分布式數(shù)據(jù)庫，作為內(nèi)容管理平臺的存儲底座，實現(xiàn)各類數(shù)據(jù)的統(tǒng)一存儲（結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化）。通過豐富、靈活的訪問接口，提供多樣化的數(shù)據(jù)處理及服務(wù)能力，靈活應(yīng)對海量非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用場景。

巨杉「多模數(shù)據(jù)湖」技術(shù)架構(gòu)

基于100%自研的原生分布式架構(gòu)基于100%自研的巨杉分布式數(shù)據(jù)庫，采用獨特的多模架構(gòu)，集成了內(nèi)容服務(wù)的部分基礎(chǔ)模塊，以滿足企業(yè)新業(yè)務(wù)場景下內(nèi)容數(shù)據(jù)管理及服務(wù)的多樣化需求。

引擎級多模 & 豐富的開發(fā)接口提供引擎級多模能力，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一存儲。同時提供了豐富的開發(fā)接口，結(jié)構(gòu)化數(shù)據(jù)兼容SQL語法，非結(jié)構(gòu)化數(shù)據(jù)支持S3、原生API、RESTful協(xié)議等數(shù)據(jù)訪問接口，可幫助企業(yè)降低業(yè)務(wù)系統(tǒng)的開發(fā)難度，提升開發(fā)效率。

超大容量 & 在線彈性擴容支持百PB級存儲容量，支持在線水平擴展，輕松應(yīng)對數(shù)據(jù)爆發(fā)式增長，可靈活適用于不同規(guī)模、不同類型的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場景。

高性能、低成本保障企業(yè)內(nèi)容數(shù)據(jù)全量在線，支持多策略分區(qū)管理及分域緩存，采用資源池化的存儲引擎層，提升海量數(shù)據(jù)管理效率及處理性能，大幅降低硬件及運維成本，TCO只為傳統(tǒng)ECM方案的1/3。

高可用、容災(zāi)采用多副本技術(shù)，支持多種級別的容災(zāi)部署形態(tài)，如同城雙中心、同城三中心、兩地三中心及三地五中心等，根據(jù)實際業(yè)務(wù)及監(jiān)管要求，最大程度提升系統(tǒng)可用性和容災(zāi)能力，降低RTO/RPO。

數(shù)據(jù)管理數(shù)據(jù)庫層支持冷熱數(shù)據(jù)分層管理、多租戶分域管理，支持服務(wù)器差異化部署，實現(xiàn)成本與性能兼顧。服務(wù)管理層提供多項內(nèi)容管理特性，支持如數(shù)據(jù)生命周期管理、權(quán)限管理、對象版本控制、歷史版本回溯等，進一步提升數(shù)據(jù)安全性，幫助企業(yè)提升數(shù)據(jù)治理水平。

典型案例

目前，巨杉已經(jīng)和眾多合作伙伴一起，基于「多模數(shù)據(jù)湖」存儲底座，幫助超過100家金融客戶，構(gòu)建全類型內(nèi)容管理平臺， 支撐眾多的音視頻管理、雙錄系統(tǒng)、柜面無紙化等業(yè)務(wù)系統(tǒng)。

某股份制銀行，基于巨杉「多模數(shù)據(jù)湖」構(gòu)建的新一代內(nèi)容管理平臺，已完成超過數(shù)百個業(yè)務(wù)系統(tǒng)的接入，如零售信貸、征信、單證、無紙化、會計檔案、流程銀行等，持續(xù)穩(wěn)定運行超過6年。

某省農(nóng)信內(nèi)容管理平臺，已實現(xiàn)全社近60%的非結(jié)構(gòu)化數(shù)據(jù)的納管，接入信用卡、雙錄、集中作業(yè)、信貸、征信、無紙化、國結(jié)等多個業(yè)務(wù)系統(tǒng)，更多系統(tǒng)仍在規(guī)劃接入中。

典型業(yè)務(wù)系統(tǒng)如：

雙錄：為全行提供統(tǒng)一的錄音、錄像數(shù)據(jù)的存儲與管理，服務(wù)于理財、代銷等系統(tǒng)。

信貸：由內(nèi)容管理平臺提供貸前、貸中和貸后各環(huán)節(jié)的影像留存，實現(xiàn)業(yè)務(wù)審批全過程無紙化。

后督：各網(wǎng)點的紙質(zhì)業(yè)務(wù)憑證、報表、票據(jù)等非結(jié)構(gòu)化數(shù)據(jù)，進行掃描/拍照、上傳、識別、信息提取，供后督系統(tǒng)對比、查驗。

結(jié)語

巨杉數(shù)據(jù)庫「多模數(shù)據(jù)湖」方案，致力于為金融銀行業(yè)客戶解決海量非結(jié)構(gòu)化數(shù)據(jù)在存儲、管理時面臨痛點與挑戰(zhàn)，實現(xiàn)降低成本、提升效率、提升用戶體驗的同時，提高數(shù)據(jù)治理水平，進一步盤活數(shù)據(jù)資產(chǎn)價值，為業(yè)務(wù)提供高價值的信息輸入。未來，巨杉將與合作伙伴緊密攜手，為企業(yè)構(gòu)建新一代內(nèi)容管理平臺，提供優(yōu)質(zhì)的產(chǎn)品、技術(shù)服務(wù)及生態(tài)支持，在數(shù)字化轉(zhuǎn)型過程中，共同為客戶提升數(shù)據(jù)價值。

【廣告】

（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對本廣告內(nèi)容的真實性負責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負責(zé)，請自行核實相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）

關(guān)鍵詞： 結(jié)構(gòu)化數(shù)據(jù)