當前位置:
首頁 > 知識 > 海量數據時代,金融行業資料庫實踐難題如何解決?

海量數據時代,金融行業資料庫實踐難題如何解決?

【IT168專訪】隨著數字經濟時代的到來,大數據、人工智慧技術得到了快速發展與應用,可以說,各行各業都已全情投入到這一波數字化轉型浪潮中,把握新的發展機遇,獲取數字紅利。其中,金融行業可以說是走在轉型之路最前沿的行業之一。

通過加強數字化基礎能力建設,不斷推動業務運營模式轉型、業務流程的再造升級,融合大數據分析、AI技術實現業務創新,以智能化方式提供更佳的客戶體驗——金融行業的數字化轉型成果已經相對成熟,而且效果顯著。

但當大數據應用細分到技術、架構、業務的每一個層面時,我們也可以看到,金融機構/企業的IT部門在整個項目流程中仍面臨著許多挑戰。作為數據的主要載體,資料庫常常被稱作整個IT系統的命脈。在大數據浪潮下,資料庫也遇到了新的難題。

在第十屆中國資料庫技術大會(DTCC2019)期間,星環科技資深架構師龐博進行了《分散式快閃記憶體資料庫與圖資料庫的金融行業應用實踐》主題演講,從金融行業對資料庫產品的應用訴求出發,對這兩類資料庫的應用進行了深入分享。之後,筆者有幸採訪到了龐博老師本人,針對金融行業資料庫應用話題展開了進一步探討。

龐博老師目前在星環負責大數據架構和解決方案的設計規劃工作,曾幫助多家大型金融機構構建大數據與人工智慧體系化建設。此前曾就職於 Oracle 研究開發中心,負責 RAC、ASM 等資料庫底層分散式技術的研究與開發工作。

海量數據時代,金融行業資料庫實踐難題如何解決?

打開今日頭條,查看更多圖片

星環科技資深架構師龐博

分散式快閃記憶體資料庫ArgoDB:高效快閃記憶體、一站式滿足各種訴求

分散式快閃記憶體資料庫ArgoDB是星環著眼於目前的硬體發展趨勢,全新推出的一款資料庫產品。龐博表示,隨著快閃記憶體以及固態硬碟的成本越來越低,預計在未來的三到五年,這種新的硬體會逐步替代目前的機械硬碟。而軟體的設計需要充分考慮硬體的特性,因此星環利用快閃記憶體的高吞吐特性,為金融行業打造了這款高性能的分散式快閃記憶體資料庫產品。

那麼,ArgoDB可以解決企業面臨的哪些問題呢?據龐博介紹,隨著金融企業業務量越來越多,以及線上產品增多,業務對數據獲取和分析的性能及時效性要求也越來越高。「這個時候,我們的科技人員往往會應接不暇,大量的工作都要花費在報表加工或者數據加工中。因此,星環希望通過這種分散式快閃記憶體資料庫,能夠給業務提供靈活、自助的數據探索與分析能力,徹底的去解放我們的科技人員。」龐博說道。

除此之外,我們可以看到,目前部分企業採用Hadoop+MPP架構混搭的形式,多種資料庫穿插使用,這種情況下開發、運維的成本都是非常高的。ArgoDB分散式快閃記憶體資料庫可以一站式滿足企業對大數據平台的各種訴求,包括離線批處理數據倉庫、實時數據分析平台、OLAP資料庫等等,以此降低金融客戶的使用成本,實現大數據平台的高效利用。

分散式快閃記憶體資料庫的主要應用場景有兩個:第一個是即席查詢,也就是根據業務需求靈活選擇查詢條件,通過編寫SQL進行數據探索,發現數據之間的規律,讓業務分析師能夠藉此尋找到新的價值,應用到業務中。第二個是自助分析,業務人員可以結合BI工具自助地獲取數據信息,進行表達多表關聯,從而獲取數據洞察。

分散式圖資料庫StellarDB:克服海量關聯圖數據存儲難題

圖資料庫與傳統的關係型資料庫有非常大的區別,在傳統的關係型資料庫中,對這種關聯關係的發現,通常需要對錶進行JOIN的操作。但現在大部分金融機構如銀行中,包括客戶表、交易表、以及賬戶表等等,數據量是非常大的,當要進行這種大表的關聯時,在傳統關係型資料庫下效率是非常非常低的。而圖資料庫則是針對這種關聯關係的探索場景而設計的,有非常好的查詢及分析性能。

「目前一些開源的圖資料庫產品對海量數據的支持度不是很好,在點和邊規模很大的情況下,一些圖演算法是無法計算出來。星環結合了自身擅長的分散式技術以及自研的演算法,打造了一款分散式的圖資料庫StellarDB,有非常好的擴展性和易用性,整體提升了圖分析性能,讓金融企業能夠運用在更多的場景下。」龐博介紹道。

如今,越來越多的金融應用場景會使用到圖資料庫。尤其是近年來熱度較高的知識圖譜,它通常需要一個強大的圖資料庫作為底層支撐。除此之外,在圖資料庫營銷層面上也有廣泛應用,如對營銷關係的相互關聯、發現更多營銷可能性、增加客群,以及反欺詐、反洗錢等等。

龐博表示:「星環是希望通過我們自身在分散式上面的研究提升圖資料庫對海量數據的支持;同時結合我們在反洗錢、反欺詐及營銷方面的業務經驗積累,自研的分散式的圖演算法讓我們的金融客戶可以直接運用到業務流程中實現業務價值,整體降低圖資料庫的使用成本。」

大數據時代下的資料庫:實時、靈活、智能

在技術的不斷更新與迭代之下,整個IT世界都處於快速變化的狀態。企業IT環境越來越複雜,業務運行不斷提出更高的需求,在這樣一種態勢下,準確把握資料庫技術的未來發展趨勢是非常重要的,對於IT系統的升級也有指導性意義。

對於大數據時代下資料庫行業的發展趨勢,龐博老師也給出了自己的分享,他說道:「隨著技術的發展,人們使用、操作金融產品的方式肯定會隨之改變。比如,我們預計未來大多數金融產品的操作可能都在移動設備上。而且隨著移動技術的發展,比如5G技術的引入,我們肯定會面臨非常龐大的數據量增長。應對這麼大的數據量,以及時效性和智能的需求,我覺得未來,資料庫肯定會朝著實時化、靈活化以及智能化的這個方向去發展,以便適應新時代的發展趨勢。」

最後,作為DTCC 2019的演講嘉賓,龐博分享了自己參加本屆大會的感受。通過參與多個主題的聆聽,龐博表示:「各位技術大拿分享的主題都是非常有料的,而且非常有趣。整體的組織方式也是以主題分享、培訓以及行業的應用分享三個方式去提高,我覺得這種方式讓我們在其中有非常好的感受,也了解到了非常豐富的、各個行業的知識。非常感激組委會的邀請,(我)有幸能參與這本次會議。」

海量數據時代,金融行業資料庫實踐難題如何解決?

了解DTCC 2019更多資訊,請關注第十屆中國資料庫技術大會專題報道 。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 IT168企業級 的精彩文章:

新華三智慧計算聯盟,集結!
這天,戴爾易安信收到了一位大學生的來信

TAG:IT168企業級 |