最新！SQL Server 2019將結合Spark創建統一數據平台！

根據其官網最新消息，微軟公布了SQL Server 2019預覽版。在該預覽中，SQL Server不僅通過統一圖形和關係數據來進行查詢，還通過R和Python模型將機器學習帶入資料庫。隨著數據量和種類的增加，用戶需要輕鬆地跨所有類型的數據集成和分析，SQL Server 2019的目的就在於此。

雖然很多資料庫已經集成了Spark，但這對微軟來說絕對是有史以來的第一次。SQL Server 2019創建了統一數據平台。其中，Apache Spark和Hadoop分散式文件系統（HDFS）與SQL Server一起打包為集成解決方案，通過增加大數據集群能力，SQL Server 2019提供了令人難以置信的資料庫管理功能擴展，進一步重新定義了SQL Server，完全超越了傳統的關係型資料庫。與其他版本一樣，SQL Server 2019通過智能查詢處理，數據合規性工具和對持久性內存的支持，繼續為工作負載突破安全性，可用性和性能界限。SQL Server 2019可以承擔任何數據項目，從傳統的SQL Server工作負載（如OLTP，數據倉庫和BI）到AI和高級數據分析。

SQL Server提供了一個真正的混合平台，具有從數據中心到公有雲的一致表示，使其易於在任何位置運行。由於SQL Server 2019大數據集群作為Kubernetes上的容器部署並具有內置管理服務，因此用戶可以在本地和雲上的各種支持平台獲得一致的管理和部署體驗：OpenShift或Kubernetes， Azure Kubernetes服務（AKS），Azure Stack（在AKS上）和Azure上的OpenShift。藉助Azure Hybrid Benefit許可證和可移植性，用戶可以選擇在本地或Azure中運行SQL Server工作負載，而成本只是其他雲提供商的一小部分。

SQL Server——對所有數據的洞察能力

SQL Server將繼續開源，從SQL Server 2017支持Linux和容器到SQL Server 2019擁抱Spark和HDFS進而帶來統一的數據平台體驗。使用SQL Server 2019，數據分析所需組件都將內置在託管集群中，託管集群易於部署且可根據業務需求擴展。HDFS，Spark，Knox，Ranger，Livy與SQL Server一起打包，快速輕鬆地部署為Kubernetes上的Linux容器。SQL Server通過消除結構化數據和非結構化數據之間存在的障礙，簡化對所有企業數據的管理。

以下是打破數據實現洞察力的障礙，在整個企業中提供的數據視圖：

• 簡化SQL Server用戶的大數據分析。SQL Server 2019使管理大數據環境變得更加容易，提供了創建數據湖所需的一切，包括HDFS和Spark，都與SQL Server深度集成，並得到微軟的全面支持。現在，用戶可以在結構化和非結構化數據上運行應用程序，分析和使用AI能力，用戶可使用熟悉的T-SQL查詢，熟悉Spark也可以使用Python、R、Scala或Java運行Spark作業以進行數據準備或分析，所有這些都集成在同一個集群中。
• 用戶可自選喜歡的工具，為數據分析師和工程師提供所有數據（結構化和非結構化）的單一來源。使用SQL Server 2019，數據科學家可以通過Spark作業輕鬆分析SQL Server和HDFS中的數據。分析師可以使用SQL Server機器學習服務對大數據運行高級分析：在Hadoop中訓練大型數據集並在SQL Server中操作。數據科學家可以在Azure Data Studio擴展中使用在Jupyter notebook引擎上運行的全新notebook體驗，以交互方式執行數據的高級分析，並輕鬆與他人共享分析。
• 利用數據虛擬化打破數據孤島並在所有數據中提供統一視圖。從SQL Server 2016開始，PolyBase能夠在SQL Server中運行T-SQL查詢，從數據湖中提取數據並以結構化格式返回，所有這些都無需移動或複製數據。現在，在SQL Server 2019中，我們正在將數據虛擬化的概念擴展到其他數據源，包括Oracle，Teradata，MongoDB，PostgreSQL等。使用新的PolyBase，我們可以使用虛擬化分解數據孤島並輕鬆組合多個來源的數據，從而避免數據移動和複製所產生的時間，精力，安全風險和重複數據。新的可彈性擴展的「數據池」和「計算池」通過緩存數據和跨SQL Server多實例分發查詢執行，可以快速查詢虛擬化數據。

「從一開始，Sloan Digital Sky Survey資料庫就在SQL Server上運行，而SQL Server也存儲了對象目錄。我們很高興SQL Server 2019實現了當初對大數據集群的承諾，這將使我們能夠增強該資料庫以包括所有大數據集。SQL Server 2019的分散式特性使我們能夠擴展新型模擬和下一代天文測量，數據集高達10PB或更多，遠遠超出我們當前資料庫解決方案的限制。「 - Gerard Lemson博士 ，約翰斯·霍普金斯大學Data Intensive Engineering and Science。

增強的性能，安全性和可用性

SQL Server 2019引擎將在關鍵任務性能，安全性，合規性，資料庫可用性，Linux上的SQL Server和容器，通用引擎方面提供新的增強功能。

性能提升 - 智能資料庫

• 智能查詢處理系列功能基於SQL Server 2017中的自適應查詢處理，包括行模式內存反饋，近似COUNT DISTINCT，行存儲上的批處理模式和表變數延遲編譯。
• 此版本中的持久化內存支持得到改進，新的I/O優化路徑可用於與持久性內存存儲交互。
• 現在，默認情況下啟用輕量級查詢分析基礎結構，以便隨時隨地為每個查詢運算符提供統計信息。

高級安全性 - 加密計算

• 使用安全區域進行加密擴展了SQL Server 2016中引入的客戶端加密技術。安全區域保護資料庫內硬體或軟體創建的安全區中的敏感數據，使其免受惡意軟體和特權用戶的攻擊，同時對加密數據啟用高級操作。
• SQL數據發現和分類內置於SQL Server引擎中，具有新的元數據和審計支持，可幫助滿足GDPR和其他合規性需求。
• 使用SQL Server配置管理器可以更輕鬆地進行認證管理。

關鍵任務可用性 - 高可用

• 在可用性方面增強，包括基於讀/寫意圖自動重定向到主伺服器的連接。
• 可以使用Kubernetes的Always On Availability Groups啟用在容器中運行的SQL Server高可用性配置。
• Resumable在線索引支持創建操作並包括資料庫作用域默認值。

開發

• SQLGraph的增強功能包括對T-SQL MERGE和邊緣約束的匹配支持。
• 新的UTF-8支持使用戶能夠減少SQL Server字元數據存儲空間。
• 新的Java語言擴展允許調用預編譯Java程序，並使用SQL Server在同一伺服器上安全執行Java代碼。通過使工作負載更接近數據實際所需空間，減少移動數據的需求並提高應用程序性能。
• MachineLearning Services具有多項增強功能，包括Windows故障轉移集群支持，分區模型以及Linux上對SQL Server的支持。

平台選擇

• Linux上的SQL Server附加功能包括分散式事務、複製、Polybase、機器學習服務、內存通知和OpenLDAP支持。
• 容器具有新的增強功能，包括使用支持RedHat Enterprise Linux映像的新Microsoft Container Registry和支持Kubernetes的Always On Availability Groups。

Azure Data Studio中的SQL Server 2019支持

SQL Server擴展了對更多數據工作負載的支持，由於微軟已經與其數據平台用戶合作，我們可以看到許多不同於以前的角色：資料庫管理員，數據科學家，數據開發人員，數據分析師和其他正在被定義的新角色。這些用戶越來越希望使用相同的工具，無縫跨內部部署和雲的使用結構和非結構化數據，使用OLTP、ETL分析和流式工作負載協同工作。

Azure Data Studio提供現代編輯器體驗，具有閃電般的智能感知，源代碼控制和終端集成。它以數據平台用戶為設計理念，內置查詢結果圖表，集成notebook和可自定義儀錶板。目前，Azure Data Studio內置對SQL Server內部部署和Azure SQL資料庫的支持，以及對Azure SQL託管實例和Azure SQL數據倉庫的預覽支持。

Azure Data Studio發布了一個新的SQL Server 2019預覽擴展，以添加對選定SQL Server 2019功能的支持。該擴展為SQL Server大數據集群提供連接和工具，包括預覽SQL Server工具的首個notebook體驗，以及新的PolyBase創建外部表嚮導，使遠程SQL Server和Oracle實例數據可輕鬆快速訪問。

如何獲取最新版？

通過訪問以下鏈接可立即開始：

• 預覽適用於Windows，Linux或Docker的SQL Server 2019。（https://www.microsoft.com/en-us/sql-server/sql-server-2019）
• 註冊以便從SQL Server中獲取對項目的建議和支持，或者嘗試使用SQL Server 2019大數據集群。（https://sqlservervnexteap.azurewebsites.net/）
• 下載Azure Data Studio以開始使用新的SQL Server大數據功能，如數據虛擬化。（https://docs.microsoft.com/zh-cn/sql/azure-data-studio/what-is?view=sql-server-2017）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！