国精产品一区一区三区有限公司杨,国产激情久久久久影院老熟女,国产裸体裸拍在线观看,国产人妻熟女在线观看,国产美女视频国产视视频

首頁 > 互聯(lián)網 > > 正文

全球最新:巨杉湖倉一體技術解讀|多模數據的融合管理

2022-08-10 16:44:39    來源:大京網

SequoiaDB從「多模數據湖」、「實時數據湖」發(fā)展到「湖倉一體」架構,為客戶提供「數據核心」所需的全量數據存儲,實時對客服務,及基于統(tǒng)一數據源的分析能力,充分激活客戶的離線數據。當中,多模數據的融合管理,以及非結構化數據的管理能力是個關鍵。


(資料圖片僅供參考)

IDC研究報告顯示,到2024年,全球數據總量將超過145ZB,且每年以22%的速度持續(xù)增長。其中,非結構化數據的規(guī)模尤其明顯。在金融銀行業(yè)中,對非結構化數據的利用,已經成為提高業(yè)務效率和提升盈利能力的有效方法。

數據來自IDC

隨著移動互聯(lián)網的飛速發(fā)展和企業(yè)數字化轉型的深入,金融銀行業(yè)的應用場景不斷豐富,非結構化數據已經深入到日常業(yè)務辦理的各個環(huán)節(jié)中并發(fā)揮重要作用。

因此,企業(yè)內容管理平臺,被賦予了新的使命:

首先,要服務于各業(yè)務系統(tǒng),面向客戶提供即時在線、多樣化、高效率的數據服務,提升業(yè)務辦理效率;

其次,面對金融業(yè)日益嚴格的政策法規(guī)約束,要面向監(jiān)管,提供數據的長周期保存,為事后監(jiān)督、審計、司法查詢等提供數據基礎,確保業(yè)務安全合規(guī);

再者,數字化轉型中,內容數據不再是靜態(tài)的文件。對內容數據進行有效的集中整合、分類治理、標簽化管理,再結合OCR、機器學習算法對比分析后,內容數據將具備更多元化的業(yè)務屬性,為集中風控、經營決策等提供豐富的信息輸入,從而盤活數據資產的潛在價值。

這就對內容管理平臺底層的數據存儲架構,提出了更高的要求:

統(tǒng)一標準,集中存儲,全量在線:例如某省農信社,有近百個系統(tǒng)產生非結構化數據,如信用卡、信貸、渠道、柜面、國結等,一方面數據規(guī)格差異較大(KB~百MB),一方面,除了非結構化文件本身,還需要實現元數據的存儲和管理(如標簽、業(yè)務屬性等)。企業(yè)希望采用簡潔、易于維護、具備高可用及容災能力的數據存儲架構,提供統(tǒng)一訪問接口,保持全量數據即時在線,從而降低技術復雜度,提升開發(fā)效率。

高性能,全面對客:海量數據(603138)迅速積累的同時,用戶對于業(yè)務體驗的要求與日俱增。滿足高并發(fā)、低延時的業(yè)務訪問請求,對數據存儲架構的性能指標提出了嚴峻的考驗。例如銀行的無人營業(yè)網點,要求用戶實時上傳身份證、簽字頁等掃描件,并為用戶身份識別、信貸審核等環(huán)節(jié)提供高頻的實時調閱。

數據管理:非結構化數據具有種類多、容量大的特點,是企業(yè)資源消耗的“大戶”,如何設計精細化的內容數據管理策略,如生命周期管理、版本管理、數據分層治理、租戶管理等,來降低維護成本,提升數據質量,也成為當前非結構化數據應用領域的熱點話題。

傳統(tǒng)數據存儲架構的局限性

一直以來,企業(yè)內容管理系統(tǒng)以國外ECM軟件為主流, 典型產品如IBM CM、Filenet及EMC Documentum等,其底層均采用集中式數據存儲架構。該架構無論從性能、擴展性,還是維護成本方面,遇到了嚴峻的挑戰(zhàn),已經無法適應新時代內容數據的管理需求。

架構復雜 & 成本高昂傳統(tǒng)內容管理解決方案的底層數據架構,有兩套技術來支撐:一套文件存儲(NAS或集中式陣列)來管理非結構化文件,一套關系型數據庫(如DB2/Oracle等)實現元數據管理、標簽化管理。技術架構的復雜性,導致管理難度和軟硬件維護成本居高不下。

并發(fā)性、擴展性局限集中式數據存儲架構,其性能和容量均存在明顯瓶頸,更缺乏靈活的水平伸縮能力,無法滿足爆炸性增長的業(yè)務需求和數據管理需求。

高可用、容災能力不足隨著非結構化數據開始發(fā)揮更大的作用,內容管理平臺的重要級別也不斷提升。在監(jiān)管要求下,其業(yè)務連續(xù)性、容災能力要求越來越高。以往由兩套技術(數據庫+文件存儲)實現的容災方案,切換時間長,也無法實現絕對的數據一致,必然達不到更高等級的RTO/RPO要求。

此外,也有國內開發(fā)商采用『關系型數據庫+對象存儲』方案,來構建內容管理系統(tǒng),例如『MySQL+Ceph及其衍生品』。相比于前一種方案,存儲容量和擴展性得以增強,成本有所降低。但同樣無法解決復雜的技術棧帶來的學習成本高、難于維護的問題。

巨杉數據庫-多模數據湖方案

巨杉數據庫深耕金融銀行業(yè),聚焦于從數據湖到湖倉一體的技術架構,針對業(yè)界對海量非結構化數據存儲管理的需求,提出多模數據湖技術方案。多模數據湖是一種全量、即時使用、高性能的一站式數據存儲方案。它強調采用多模、高擴展的分布式數據庫,作為內容管理平臺的存儲底座,實現各類數據的統(tǒng)一存儲(結構化、非結構化、半結構化)。通過豐富、靈活的訪問接口,提供多樣化的數據處理及服務能力,靈活應對海量非結構化數據的應用場景。

巨杉「多模數據湖」技術架構

基于100%自研的原生分布式架構基于100%自研的巨杉分布式數據庫,采用獨特的多模架構,集成了內容服務的部分基礎模塊,以滿足企業(yè)新業(yè)務場景下內容數據管理及服務的多樣化需求。

引擎級多模 & 豐富的開發(fā)接口提供引擎級多模能力,支持結構化、非結構化、半結構化數據的統(tǒng)一存儲。同時提供了豐富的開發(fā)接口,結構化數據兼容SQL語法,非結構化數據支持S3、原生API、RESTful協(xié)議等數據訪問接口,可幫助企業(yè)降低業(yè)務系統(tǒng)的開發(fā)難度,提升開發(fā)效率。

超大容量 & 在線彈性擴容支持百PB級存儲容量,支持在線水平擴展,輕松應對數據爆發(fā)式增長,可靈活適用于不同規(guī)模、不同類型的非結構化數據應用場景。

高性能、低成本保障企業(yè)內容數據全量在線,支持多策略分區(qū)管理及分域緩存,采用資源池化的存儲引擎層,提升海量數據管理效率及處理性能,大幅降低硬件及運維成本,TCO只為傳統(tǒng)ECM方案的1/3。

高可用、容災采用多副本技術,支持多種級別的容災部署形態(tài),如同城雙中心、同城三中心、兩地三中心及三地五中心等,根據實際業(yè)務及監(jiān)管要求,最大程度提升系統(tǒng)可用性和容災能力,降低RTO/RPO。

數據管理數據庫層支持冷熱數據分層管理、多租戶分域管理,支持服務器差異化部署,實現成本與性能兼顧。服務管理層提供多項內容管理特性,支持如數據生命周期管理、權限管理、對象版本控制、歷史版本回溯等,進一步提升數據安全性,幫助企業(yè)提升數據治理水平。

典型案例

目前,巨杉已經和眾多合作伙伴一起,基于「多模數據湖」存儲底座,幫助超過100家金融客戶,構建全類型內容管理平臺, 支撐眾多的音視頻管理、雙錄系統(tǒng)、柜面無紙化等業(yè)務系統(tǒng)。

某股份制銀行,基于巨杉「多模數據湖」構建的新一代內容管理平臺,已完成超過數百個業(yè)務系統(tǒng)的接入,如零售信貸、征信、單證、無紙化、會計檔案、流程銀行等,持續(xù)穩(wěn)定運行超過6年。

某省農信內容管理平臺,已實現全社近60%的非結構化數據的納管,接入信用卡、雙錄、集中作業(yè)、信貸、征信、無紙化、國結等多個業(yè)務系統(tǒng),更多系統(tǒng)仍在規(guī)劃接入中。

典型業(yè)務系統(tǒng)如:

雙錄:為全行提供統(tǒng)一的錄音、錄像數據的存儲與管理,服務于理財、代銷等系統(tǒng)。

信貸:由內容管理平臺提供貸前、貸中和貸后各環(huán)節(jié)的影像留存,實現業(yè)務審批全過程無紙化。

后督:各網點的紙質業(yè)務憑證、報表、票據等非結構化數據,進行掃描/拍照、上傳、識別、信息提取,供后督系統(tǒng)對比、查驗。

結語

巨杉數據庫「多模數據湖」方案,致力于為金融銀行業(yè)客戶解決海量非結構化數據在存儲、管理時面臨痛點與挑戰(zhàn),實現降低成本、提升效率、提升用戶體驗的同時,提高數據治理水平,進一步盤活數據資產價值,為業(yè)務提供高價值的信息輸入。未來,巨杉將與合作伙伴緊密攜手,為企業(yè)構建新一代內容管理平臺,提供優(yōu)質的產品、技術服務及生態(tài)支持,在數字化轉型過程中,共同為客戶提升數據價值。

【廣告】

(免責聲明:此文內容為廣告,相關素材由廣告主提供,廣告主對本廣告內容的真實性負責。本網發(fā)布目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責,請自行核實相關內容。廣告內容僅供讀者參考。)

關鍵詞: 結構化數據

上一篇:
下一篇:

熱點話題

熱點推薦

頭條

?