當前位置:
首頁 > 科技 > 基於合作夥伴產品,戴爾構建Data Lakehouse智能湖倉

基於合作夥伴產品,戴爾構建Data Lakehouse智能湖倉

戴爾使用第三方合作夥伴的軟體,配合自家伺服器、存儲和網路硬體/軟體,共同構建起一套數據湖/智能湖倉參考架構設計方案。

與Databricks、Dremio、SingleStore和Snowflake等同類廠商一樣,戴爾建立的也是統一的智能湖倉架構。其中的基本思路,就是提供一套統一的通用存儲,無需運行提取、轉換和載入(ETL)流程就能選擇原始數據,再以合適的形式存儲在數據倉庫內以方便使用。總體來看,這就像是在數據湖內又建立了一個虛擬數據倉庫。

戴爾ISG解決方案營銷總監Chhandomay Mandal還專門為此撰寫博文,表示「傳統數據管理系統,例如數據倉庫,幾十年來一直負責存儲結構化數據以供分析使用。但數據倉庫在設計上無法承載體量愈發龐大的數據集合。戴爾此次設計的參考架構使用第三方合作夥伴的軟體,配合自家伺服器、存儲和網路硬體/軟體,共同建立起數據湖/智能湖倉。這套方案能夠直接支持文本、圖像、視頻、物聯網等多種數據,還支持需要直接訪問數據的人工智慧與機器學習演算法。」

他提到,「如今,很多組織已經將數據湖與數據倉庫結合使用——將數據存儲在湖內,之後再複製到倉庫里以降低訪問難度。但這無疑增加了分析環境的複雜性和使用成本。」

最好能在單一平台上解決所有需求。而戴爾Data Lakehouse提供的分析驗證設計能夠直接支持商務智能(BI)、分析、實時數據應用、數據科學及機器學習。這套方案基於PowerEdge伺服器、PowerScale塊/文件統一存儲陣列、ECS對象存儲及PowerSwitch網路。該系統可以安裝在本地或託管設施當中。

塊/文件存儲示意圖

其中採用的軟體技術包括Robin Cloud Native Platform、Apache Spark(開源分析引擎)、Kafka(開源分散式事件流平台)以及Delta Lake技術。Databricks的開源Delta Lake軟體以Apache Spark為基礎,戴爾之前就一直在內部智能湖倉中使用。

戴爾最近還與樂天集團收購的Roin.IO及其開源Kubernetes平台開展合作。

戴爾最近宣布與Snowflake達成外部表訪問協議,並表示此次Data Lakehouse智能湖倉的設計概念也用到了這一協議。據推測,未來Snowflake外部表將可以直接引用戴爾智能湖倉中的數據。

戴爾還發布了上面這張演示文稿,看起來是相當複雜。該解決方案的具體信息參見下表:

很明顯,這不是那種能拿來即用的系統。在跟戴爾簽訂協議之前,客戶還認真研究自己到底要使用哪些組件和選型。

有趣的是,HPE也推出了頗為相似的產品Ezmeral Unified Analytics,其中同樣使用到Databrick的Delta Lake技術、Apache Spark和Kubernetes。HPE本周將舉辦Discover活動,預計屆時將發布更多消息。從這個角度看,戴爾好像是故意要搶先一步。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 至頂網 的精彩文章:

2022華為全球分析師大會:聚集當下和未來進行創新
Web3打開新世界的門