開源擁躉的春天，你值得擁有的新版本

本期目錄

DB-Engines資料庫排行榜

一、RDBMS家族

MySQL發布正式版8.0.11（GA）

MariaDB發布10.3.8版本

SQL Server AlwaysOn 2017特性解讀

DB2發布11.1.3.3版本

PostgreSQL發布 11 beta1版本

Greenplum發布5.9版本

二、NoSQL家族

MongoDB 4.0發布第一個RC版本

Redis發布5.0 RC1版本

Neo4j發布3.4版本

三、NewSQL家族

TiDB發布2.1 Beta版本

CockroachDB發布2.0版本

本期新秀：Apache Trafodion最新R2.2版本

四、時間序列

InfluxDB更新1.5.3和1.5.4

OpenTSDB 2.3.1發布新功能

五、大數據生態圈

Hadoop發布三個發行版本

Apache Flink發布1.5.0版

Apache Ignite 2.5：千級節點伸縮性

Apache Beam發布2.3.0版

ElasticSearch發布 6.3.30版本

六、國產資料庫概覽

浪潮發布K-DB 11g FS06版本

本期新秀：易鯨捷發布EsgynDB V2.4版本

OceanBase發布1.4.71版本

SequoiaDB發布3.0版本

GBASE發布GBase AI

七、推出DBAplus Newsletter的想法

八、感謝名單

DB-Engines資料庫排行榜

以下取自2018年7月的數據，具體信息可以參考http://db-engines.com/en/ranking/，數據僅供參考。

DB-Engines排名的數據依據5個不同的因素：

Google以及Bing搜索引擎的關鍵字搜索數量

Google Trends的搜索數量

Indeed網站中的職位搜索量

LinkedIn中提到關鍵字的個人資料數

Stackoverflow上相關的問題和關注者數

RDBMS家族

MySQL發布正式版8.0.11（GA）

2018年4月19日，MySQL 發布正式版 8.0.11 。

（注意：從 MySQL 5.7 升級到 MySQL 8.0 僅支持通過使用 in-place 方式進行升級，並且不支持從 MySQL 8.0 降級到 MySQL 5.7，或從某個 MySQL 8.0 版本降級到任意一個更早的 MySQL 8.0 版本。唯一支持的替代方案是在升級之前對數據進行備份）

下面簡要介紹 MySQL 8 中值得關注的新特性和改進：

性能：MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。

MySQL 8.0 在讀/寫工作負載、IO 密集型工作負載、以及高競爭（"hot spot"熱點競爭問題）工作負載等方面帶來了更好的性能。

NoSQL：MySQL 從 5.7 版本開始提供 NoSQL 存儲功能，目前在 8.0 版本中這部分功能也得到了更大的改進。該項功能消除了對獨立的 NoSQL 文檔資料庫的需求，而 MySQL 文檔存儲也為 schema-less 模式的 JSON 文檔提供了多文檔事務支持和完整的 ACID 合規性。

窗口函數(Window Functions)：從 MySQL 8.0 開始，新增了一個叫窗口函數的概念，它可以用來實現若干新的查詢方式。窗口函數與 SUM()、COUNT() 這種集合函數類似，但它不會將多行查詢結果合併為一行，而是將結果放回多行當中。即窗口函數不需要 GROUP BY。

不可見索引：在 MySQL 8.0 中，索引可以分為「可見」和「不可見」狀態。當對索引為「不可見」狀態時，它不會被查詢優化器所使用。我們可以使用這個特性用於性能調試。如果資料庫性能有所下降，說明這個索引是有用的，然後將其置為「可見」狀態；如果資料庫性能看不出變化，說明這個索引是多餘的，可以考慮刪掉。

降序索引：MySQL 8.0 為索引提供按降序方式進行排序的支持，在這種索引中的值也會按降序的方式進行排序。

通用表表達式(Common Table Expressions CTE)：在複雜的查詢中使用嵌入式表時，使用 CTE 使得查詢語句更清晰。

UTF-8 編碼：從 MySQL 8 開始，使用 utf8mb4 作為 MySQL 的默認字符集。

JSON：MySQL 8 大幅改進了對 JSON 的支持，添加了基於路徑查詢參數從 JSON 欄位中抽取數據的 JSON_EXTRACT() 函數，以及用於將數據分別組合到 JSON 數組和對象中的 JSON_ARRAYAGG() 和 JSON_OBJECTAGG() 聚合函數。

可靠性：InnoDB 現在支持表 DDL 的原子性，也就是 InnoDB 表上的 DDL 也可以實現事務完整性，要麼失敗回滾，要麼成功提交，不至於出現 DDL 時部分成功的問題，此外還支持 crash-safe 特性，元數據存儲在單個事務數據字典中。

高可用性(High Availability)：InnoDB 集群為您的資料庫提供集成的原生 HA 解決方案。

安全性：對 OpenSSL 的改進、新的默認身份驗證、SQL 角色、密碼強度、授權。

MariaDB發布10.3.8版本

2018年7月2日，MariaDB發布10.3.8版本。

其中重要的新特性有：

1、System-versioned tables系統版本表，有效防止數據丟失，閃回功能升級。

http://dbaplus.cn/news-11-2057-1.html

系統版本表是SQL:2011標準中首次引入的功能。系統版本表存儲所有更改的歷史數據，而不僅僅是當前時刻有效的數據。舉個例子，同一行數據一秒內被更改了10次，那麼就會保存10份不同時間的版本數據。就像《源代碼》電影里的平行世界理論一樣，你可以退回任意時間裡。從而有效保障你的數據是安全的，DBA手抖或程序BUG引起的數據丟失，在MariaDB10.3里已成為過去。

2、Instant ADD COLUMN億級大表毫秒級加欄位

加欄位是痛苦的，需要對錶進行重建，尤其是對億級別的大表，雖然Online DDL可以避免鎖表，但如果在主庫上執行耗時30分鐘，再複製到從庫上執行，主從複製就出現延遲。使用instant ADD COLUMN特性，只需彈下煙灰的時間，欄位就加好了，享受MongoDB那樣的非結構化存儲的靈活方便。

3、Semi-sync plugin半同步複製插件已合併到主伺服器中，無需安裝。

4、InnoDB引擎版本捆綁甲骨文MySQL 5.7.22。

MariaDB 10.2版本里廢棄了Percona XtraDB，詳見下面的連接：

https://mariadb.com/kb/en/library/why-does-mariadb-102-use-innodb-instead-of-xtradb/

5、Spider引擎增補騰訊的補丁，目前GA版本為3.3.13。

騰訊遊戲DBA團隊解決了原Spider引擎許多性能和穩定性問題，以及增加了諸如連接池、全局自增ID、並行查詢、查詢條件下推等功能特性，將TenDB Cluster的連接池特性、force index下推等功能及幾個bug fixed合併到了Spider3.3，詳見下面的連接：

http://tencentdba.com/blog/%E7%A4%BE%E5%8C%BA%E5%88%9D%E9%B8%A3%EF%BC%8C%E6%A2%A6%E6%83%B3%E5%A7%8B%E5%85%B4-%E8%85%BE%E8%AE%AF%E6%B8%B8%E6%88%8Fdba%E6%90%BA%E6%89%8Bmariadb%E5%BC%80%E6%BA%90%E8%B5%B7%E8%88%AA/

SQL Server AlwaysOn 2017特性解讀

AlwaysOn可用性組作為SQL Server 2012的新特性被引入，它增強了資料庫鏡像和故障轉移集群技術，提供了高可用和災難恢復。雖然裡面的兩個版本是2016、2017年更新的，時間隔得比較久遠，但仍有很多人不太清楚這些特性，在這裡匯總說明一下2017版本的解讀。

AlwaysOn 2017一些新特性和增強：

1、可用性組參數配置：最小提交輔助副本數（REQUIRED_COPIES_TO_COMMIT）

CREATE AVAILABILITY GROUP [ag1] WITH (REQUIRED_COPIES_TO_COMMIT = 1)

讓用戶來配置在主副本上提交事務前，需要提交事務的最小副本數量。確保事務等待直到事務日誌在最小輔助副本上更新。默認值為0，最大值為副本數減去1（相關副本必需為同步提交模式）。通常，如果承載輔助同步副本的 SQL 伺服器停止響應，主副本將標記該輔助副本未同步，並且繼續。當無響應的資料庫重新聯機時它將處於「未同步」狀態，並且副本將被標記為不正常，直到主可以使其再次同步。如果最小副本數不可用則在主副本上的提交將失敗。ALTER AVAILABILITY GROUP支持REQUIRED_COPIES_TO_COMMIT。

2、讀取縮放可用性組（Read-scale availability groups）

在 SQL Server 2016 及更早版本中，所有可用性組都需要群集。 群集用於提供業務連續性，實現高可用性和災難恢復 (HADR)。 此外，配置次要副本以執行讀取操作。 如果目標不是高可用性，配置和運行群集消耗了相當大的運營開銷。 SQL Server 2017 引入了不需要群集的讀取縮放可用性組。

總體來說，該特性只有DR功能，不支持HA。該特性適用於只是為了在多個伺服器上部署多個只讀副本，分擔讀取壓力。

不同地理位置的解決方案可以使用分散式可用性組實現讀取縮放解決方案。 這可用於減輕主要副本、可讀次要副本以及靠近讀取工作負荷源的站點的讀取工作負荷。

3、Linux上的可用性組

在Linux上配置AG基於群集Pacemaker和仲裁Corosync。

4、Linux上的故障轉移群集實例

在Linux上配置FCI官方文檔還很簡陋，從共享存儲來看，目前支持iSCSI、NFS和SMB協議。

5、跨平台的可用性組

此配置不支持高可用性，因為沒有任何群集解決方案來管理跨平台配置。創建具有 Windows server 上的一個副本和 Linux 伺服器上的其他副本始終在可用性組 (AG) 的步驟。此配置是跨平台，因為副本均在不同操作系統上。遷移到另一個平台或災難恢復 (DR) 使用此配置。

總結：最新版的AlwaysOn可用性組提升了功能性、可擴展性、可管理性，並在高可用和災難恢復上更加健壯。

DB2發布11.1.3.3版本

5月11日，DB2更新Mod Pack 3 and Fix Pack 3。

包含以下新增特性：

資料庫管理方面：

新增支持在列組織表上創建索引（modification state index），在之前版本中，只支持通過主鍵或唯一約束隱式創建的索引，但在新版本中，可以通過create index命令為列組織表創建索引以提高查詢性能。

聯邦：

1、在聯邦中支持Kerberos認證方式，通過Kerberos認證方式，用戶可以不用輸入用戶名密碼直接連接資料庫。

2、在對MariaDB的數據類型映射及函數下推提供更好的支持。

3、聯邦伺服器現在可以通過REST服務介面連接MongoDB。

高可用性：

1、在所有操作系統環境中HADR主節點到備節點間的日誌傳輸支持SSL。

2、歸檔日誌可以通過TSM或者第三方程序配置超時時間，如果DB2到TSM或者第三方備份軟體間的日誌傳輸在超過指定的時間仍然失去應答，DB2會中斷嘗試轉而使用本地歸檔方式。

3、當讀取事務日誌時，通過自動調整的緩衝IO實現提高大事務的回滾性能，內部測試過程中，可以縮短3倍左右的回滾時間。

4、HADR只讀備份資料庫中，通過設置DB2_HADR_REPLAY_ONLY_WINDOW_DIAGLEVEL參數或者db2pd –transactions選項可以更方便地發現是什麼操作導致的HADR備庫進入REPLAY ONLY窗口。

5、HADR環境中，如果在網路傳輸過程中發生失敗，一旦網路修復後，在網路傳輸過程中的事務日誌數據會自動啟用無縫重傳，無需用戶干預。

6、db2haicu可以通過-o選項導出或者備份HA配置。

時鐘伺服器支持：

如果按照db2時已經配置了Chrony NTP，會自動進行設置。

PostgreSQL發布 11 beta1版本

PostgreSQL 11 beta1發布，包含重大特性：

1、分區表增強：

支持高效分區過濾。

https://github.com/digoal/blog/blob/master/201804/20180424_02.md

支持哈希分區，之前需要通過list分區實現哈希分區。

https://github.com/digoal/blog/blob/master/201802/20180205_02.md

支持跨分區更新。

支持外部分區表，用戶可以使用外部分區表實現資料庫Sharding。

https://www.postgresql.org/docs/devel/static/postgres-fdw.html

支持分區表按分區並行JOIN，類似MPP操作模式，性能大幅提升。

https://github.com/digoal/blog/blob/master/201802/20180202_02.md

支持分區表按分區並行聚合，類似MPP操作模式，性能大幅提升。

https://github.com/digoal/blog/blob/master/201803/20180322_07.md

2、並行計算增強：

支持並行排序。

支持並行創建索引。

https://github.com/digoal/blog/blob/master/201802/20180204_01.md

支持並行哈希JOIN與哈希聚合使用共享哈希表，大幅度提升性能。

支持UNION與APPEND語句使用並行。

https://github.com/digoal/blog/blob/master/201802/20180204_03.md

支持並行寫數據，包括根據QUERY建表，創建物化視圖，SELECT INTO等操作。

支持並行協處理，工作進程在工作時，協處理進程主動接收工作進程的結果，提高整體吞吐率。

3、HTAP特性增強：

支持JIT。

https://github.com/digoal/blog/blob/master/201803/20180323_01.md

大量同時COMMIT的並發能力增強。

Postgres_fdw的更新、刪除JOIN下推。使得Sharding的性能更高。

Greenplum發布5.9版本

2018年6月20日，Greenplum發布5.9版本。

Pivotal的Greenplum是基於MPP架構的資料庫產品，它可以滿足下一代大數據倉庫和大規模的分析任務的需求。通過自動對數據進行分區以及多節點並行執行查詢等方式，它使一個包含上百節點的資料庫集群運行起來就像單機版本的傳統資料庫一樣簡單可靠，同時提供了幾十倍甚至上百倍的性能提升。除了傳統的SQL，Greenplum還支持MapReduce、文本索引、存儲過程等很多分析工具，所支持的數據量可以從上百GB到幾百TB。

Greenplum 5.9.0可以從這裡下載：

Pivotal Network：https://network.pivotal.io/products

文檔在這裡：

Pivotal Greenplum Database Documentation：

https://gpdb.docs.pivotal.io/

主頁在這裡：

Greenplum Database project：http://greenplum.org/

源代碼在github：

https://github.com/greenplum-db/gpdb

新特性支持：

gpcopy：Greenplum集群間的高速數據遷移工具

5.9中包含了新的Greenplum數據遷移工具，可以用gpcopy完成以下任務：

通過--full進行全量備份，包括表，索引，視圖，用戶，資源隊列等。

複製指定的表或資料庫到目標資料庫。

通過--schema-only 只複製元數據。

gpcopy更多的信息可以參考它的文檔：

https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gpcopy.html

備份恢復功能的增強

Gprestore可以通過不同的參數恢復如下資料庫對象：

metadata-only：只從備份中恢復元數據，表和視圖不做恢復。

data-only：只從備份中恢複數據，表需要事先創建好；gprestore不再執行創建表的工作。

jobs：定義同時運行的任務的數目，增加這個參數的大小可以提高備份和恢復的速度。

通過gpbackup和gprestore的--include-table 和--include-table-file 參數，可以同時備份視圖和序列。

gpbackup和gprestore的文檔可以參考這裡：

gpbackup：

https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gpbackup.html

gprestore：

https://gpdb.docs.pivotal.io/590/utility_guide/admin_utilities/gprestore.html

Pl/Container資源管理功能增強

在5.9中，可以通過設置的方式，以用戶為單位進行CPU資源的控制。老版本中只能以模塊級別控制CPU使用。

為資源隊列預留CPU資源

Greenplum 5.9中可以通過資源隊列預留CPU資源，可以保證將CPU留給特定的查詢來保證其查詢速度。

NoSQL家族

MongoDB 4.0發布第一個RC版本

2018年5月，MongoDB發布4.0版本。其核心的一些新特性包含：

1、多文檔事務

結合MongoDB文檔模型內嵌數組、文檔的支持，目前的單文檔事務能滿足絕大部分開發者的需求。為了讓 MongoDB 能適應更多的應用場景，讓開發變得更簡單，MongoDB 4.0將支持複製集內部跨一或多個集合的多文檔事務，保證針對多個文檔的更新的原子性。而在未來的MongoDB 4.2版本，還會支持分片集群的分散式事務。

MongoDB的事務介面非常簡單，開發者只需要將「需要保證原子性的更新序列」放到一個session的開始事務與提交事務之間即可。

事務是MongoDB開發團隊經過3年多努力的結果，從3.0版本引入WiredTiger、到3.2版本支持ReadConcern、3.6支持Causal Consistency等，很多工作都是在為事務功能做準備，最終在4.0版本將整個事務的API提供給用戶，幫助用戶更好地構建應用。

2、聚合類型轉換

靈活的文檔模型是MongoDB相比傳統關係型資料庫的一大優勢，應用開發者無需為存儲的數據預先定義結構（或者模式），這使得開發者能快速的應對開發需求的迭代；在靈活的同時，MongoDB還提供了schema validation功能，使得開發者可以根據需要定義文檔數據的模型。

MongoDB 4.0引入了新的聚合操作符$convert， 允許用戶在aggregation pipeline里將文檔的欄位轉換成統一的類型輸出，使得數據消費端，比如MongoDB BI工具、Spark Connectors以及其他ETL工具能更簡單的處理MongoDB數據。

3、非阻塞的備節點讀

為了確保備節點上的讀與主節點保持相同的因果一致性語義，MongoDB備節點在批量應用oplog的時候會阻塞讀請求，這使得在高寫入負載下，備節點上讀的平均延時通常比主節點更高。

藉助事務功能中storage engine timestamps and snapshots的實現，引擎層可以很容易的實現「指定時間戳快照讀取的功能」，使得備節點上的讀請求無需阻塞等待就能讀到一致時間點的數據。這個特性將極大地提升MongoDB讀擴展的能力。

4、遷移速度提升40%

應用在不斷演進過程中，其負載特性也在不斷發生變化，這就要求資料庫具備擴展的能力，及時適應應用的負載變化。MongoDB分片集群支持實時的添加、移除shard節點，並能在各個shard之間自動遷移數據來均衡負載。

MongoDB 4.0支持在遷移數據的過程中，並發的讀取（源端）和寫入（目標端），使得遷移的性能提升了約40%，使得新添加的節點能更快地承載業務壓力，讓分片集群發揮最佳效果。

5、擴展修改訂閱

MongoDB 3.6推出了修改訂閱（Change Streams）的功能，使得用戶能實時的獲取數據的修改，同時通過Change Streams還能很方便的實現多數據中心跨複製集的數據同步。MongoDB 4.0進一步擴展Change Streams功能，可以實現分片集群維度的修改訂閱。

https://www.mongodb.com/download-center?_ga=2.40929313.2061101136.1526915320-227146665.1496867788#development

Redis發布5.0 RC1版本

2018年6月1日，Redis 發布5.0 RC1版本，

Redis 5是一個專註於幾個重要特性的發行版。不同於Redis 4非常專註於操作，Redis 5的變化大多是面向用戶的，在現有的基礎上增加新的數據類型和操作類型。

以下是此版本的主要特性：

新的Stream數據類型：

https://redis.io/topics/streams-intro

新的Redis模塊API：Timers and Cluster API。

RDB現在存儲LFU和LRU信息。

集群管理器從Ruby(redis-trib.rb)移植到C代碼——在redis-cli中。通過`redis-cli --cluster help`以了解更多信息。

新的sorted set命令：ZPOPMIN / MAX和阻塞變數。

主動碎片整理V2。

增強HyperLogLog實現。

更好的內存統計報告。

許多帶有子命令的命令現在都有一個HELP子命令。

客戶端經常連接和斷開連接時性能更好。

錯誤修復和改進。

Jemalloc升級到5.1版。

可以看到，Redis 5.0引入了新的流數據類型，並新增了Redis模塊APIs：Timers和Cluster API。

Redis 5.0引入的新流數據類型可參考：

https://redis.io/topics/streams-intro

從4.0版本遷移到5.0版本的注意事項：

Redis 4.0大多是5.0的嚴格子集，應用程序從4.0升級到5.0通常不會遇到問題。以下是5.0版本中引入的非向後兼容性更改：

redis-cli現在實現了集群管理工具。我們仍然在維護舊的redis-trib，但是新的修復只會在redis-cli中實現。

RDB格式已更改。Redis 5.0能夠讀取4.0（和所有的過去的版本）文件，反之則不能。

某些日誌格式和語句在Redis 5.0中不同。

Neo4j發布3.4版本

2018年5月，Neo4j發布3.4版本。

Neo4j是一個高性能的，NOSQL圖形資料庫，它將結構化數據存儲在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全的事務特性的Java持久化引擎，但是它將結構化數據存儲在網路(從數學角度叫做圖)上而不是表中。

Neo4j也可以被看作是一個高性能的圖引擎，該引擎具有成熟資料庫的所有特性。程序員工作在一個面向對象的、靈活的網路結構下，而不是嚴格、靜態的表中，但是他們可以享受到具備完全的事務特性、企業級的資料庫的所有好處。

Neo4j因其嵌入式、高性能、輕量級等優勢，越來越受到關注。

本季度Neo4j發布了其3.4最新版本，該版本包含的新特性有：

在擁有本地字元串索引的節點上，字元串索引的寫入速度現在可提高5倍。

新API內核簡化了內部指令。

支持日期/時間格式和三維地理空間數據的新數據類型，從而能夠優化Cypher中跨空間和時間的查詢。

三維地理空間數據可以搜索笛卡爾緯度和經度坐標，以及徑向距離和高度或深度。

得益於多方面效率的改進優化(包括本機索引)，事務消耗的內存更少。

內部測試表明，CYPHER運行時比Neo4j3.3(社區版)快20%。

3.4版本性能提升測試結果：

同時，企業版也進行了多方面的改進：

Multi-Clustering集群極大地拓展了Neo4j擴展可選方案，這樣每個租戶可以自己靈活擴展集群。通過Multi-Clustering，用戶可以對圖形進行邏輯分區，或者查看跨企業的圖形資料庫。

企業版中新的Cypher運行速度比Neo4j3.3快50-70%。

熱備的速度現在是之前的兩倍，並且可以停止也可以恢復。

在重啟或者恢復以後，「 active cache warming」可以自動載入之前操作緩存頁，恢復到之前的狀態，將伺服器恢復到最近一次在線的狀態。

新的診斷工具提升了技術支持協作的速度和精度。

滾動升級允許在其他成員穩定並且不重啟的情況下進行。

管理員可以對名字進行安全策略設置，並創建用戶黑名單。

NewSQL家族

TiDB發布2.1 Beta版本

2018年6月29日，TiDB發布2.1 Beta版。

TiDB是一款定位於在線事務處理/在線分析處理（HTAP：Hybrid Transactional Analytical Processing）的融合型資料庫產品，模型參考了Google最新的分散式資料庫F1/Spanner。除了底層的RocksDB存儲引擎之外，分散式SQL層、分散式KV存儲引擎（TiKV）完全自主設計和研發。

TiDB完全開源，兼容MySQL協議和語法，可以簡單理解為一個可以無限水平擴展的MySQL，並且提供分散式事務、跨節點JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性；對業務沒有任何侵入性，簡化開發，利於維護和平滑遷移。

TiDB 2.1 Beta Release

相比2.0版本，該版本對系統穩定性、優化器、統計信息以及執行引擎做了很多改進。

TiDB：

1、SQL優化器

優化Index Join選擇索引範圍，提升執行性能。

優化關聯子查詢，下推Filter和擴大索引選擇範圍，部分查詢的效率有數量級的提升。

在`UPDATE`, `DELETE`語句中支持Index Hint和Join Hint。

優化器Hint `TIDM_SMJ`在沒有索引可用的情況下可生效。

2、SQL執行引擎

實現並行Hash Aggregate運算元，部分場景下能提高Hash Aggregate計算性能200%。

實現並行Project運算元，部分場景下性能提升達74%。

並發的讀取Hash Join的Inner表和Outer表的數據，提升執行性能。

3、Server

添加HTTP API打散table的regions在TiKV集群中的分布。

添加`auto_analyze_ratio`系統變數控制自動analyze的閾值。

4、兼容性

支持更多MySQL語法。

BIT聚合函數支持ALL參數。

支持`SHOW PRIVILEGES`語句。

5、DML

減少`INSERT INTO SELECT`語句的內存佔用。

修復Plan Cache的性能問題。

添加`tidb_retry_limit`系統變數控制事務自動重試的次數。

添加`tidb_disable_txn_auto_retry`系統變數控制事務是否自動重試。

6、DDL

優化`Create Table`語句的執行速度。

優化`Add index`的速度，在某些場景下速度大幅提升。

修復`Alter table add column`增加列能超過表的列數限制的問題。

修復在某些異常情況下DDL任務重試導致TiKV壓力增加的問題。

修復在某些異常情況下TiDB不斷重載Schema信息的問題。

`Show Create Table`不再輸出外鍵相關的內容。

支持`select tidb_is_ddl_owner()`語句，方便判斷TiDB是否DDL Owner。

PD：

PD節點間開啟raft prevote，避免網路隔離後恢復時產生的重新選舉。

優化Balance Scheduler頻繁調度小Region的問題。

優化熱點調度器，在流量統計信息抖動時適應性更好。

TiKV：

1、功能

使用Rust nightly-2018-06-14版本。

開啟PreVote，避免網路隔離後恢復時產生的重新選舉。

提供ImportAPI，支持通過lightning快速導入數據。

2、性能

使用Static metric優化多label metric性能（YCSB raw get提升3%）。

去掉多個模塊的 Box，使用范型提升運行時性能（YCSB raw get提升3%）。

使用asynchronous log提升寫日誌性能。

3、穩定性

給Coprocessor decimal增加fuzz測試。

Fix了Coprocessor `do_mul`處理decimal的bug。

更詳細的文檔請閱讀：

https://github.com/pingcap/docs-cn

CockroachDB發布2.0版本

2018年4月4日，CockroachDB正式發布了2.0版本，在2.0新增了一些企業版特性和開源版特性。

1、企業版特性主要包括：

Table Partitioning：該特性可以幫助用戶控制單表數據的地理分布，冷熱存儲等。

Node Map：該特性是Geo-Partition的Admin UI顯示，在Admin UI上會詳細顯示集群節點全球部署的詳細信息。

Role-Based Access Control：該特性可以幫助業務給相應的用戶組設置相同許可權。

Point-in-time Backup/Restore：數據可以恢復到歷史備份中的任意時間點。

2、開源版新增特性：

支持JSON、INET、TIME數據類型。

支持SQL審計。

支持計算列。

支持IMPORT並行導入。

本期新秀：Apache Trafodion最新R2.2版本

作為2018年初新晉Apache社區頂級項目之一，Apache Trafodion是一款基於Hadoop的，可同時支持事務交易和數據分析（HTAP - Hybrid Transactional and Analytical Processing）的融合型資料庫產品。

Trafodion的主要功能包括：

對ANSI SQL的完整支持，使得開發人員完全可以基於現有的SQL技能進行開發。

分散式ACID事務強一致性。

非常成熟的基於成本的SQL優化器，更好地提高OLTP的性能。

並行處理優化器，支持大規模數據集。

集成Apache Spark，支持流式分析。

與Apache Hadoop生態圈中各種工具和方案都可互通，比如Hive、Ambari、Flume、Kafka、Oozie等。

不綁定專門的Hadoop發行版和Linux操作系統，多版本可選。

Trafodion將存儲引擎搬到HBase上，更好地集成了Hadoop和HDFS，也獲益於很多Hadoop的特性，比如非常好的擴展性。同時，Trafodion也可以無縫地集成原生的HBase、Hive數據。比如用戶可以直接在Trafodion中進行HBase、Hive和Trafodion的多表join操作。或者利用Trafodion的SQL介面直接訪問存放在Hive和HBase的原生數據，而無需做數據移動和轉換。

而Trafodion的與眾不同在於，它很好地結合了流行度極高的Hadoop和SQL，並具有HTAP的能力。

Trafodion 2.2 Release：

Trafodion的最新版本為R2.2，可在官網下載。

該版本在上一版本基礎上加入了以下新功能和新改進：

加強了Trafodion的伸縮性。

在JDBC中支持LOB數據類型。

提高了更新統計信息（UPDATE STATISTICS）對於varchar列的性能。

RMS（Runtime Metrics System）增強。

改進Trafodion中的log4j和log4cxx框架。

將EsgynDB中有關分散式事務管理器的改動放入Trafodion中。

更進一步了解詳情，可訪問：

時間序列

InfluxDB更新1.5.3和1.5.4

本季度InfluxDB 進行了1.5.3和1.5.4兩次小版本更新。

InfluxDB是一個使用Go語言編寫的開源分散式時序、事件和指標資料庫，用於涉及大量時間戳數據的用例的數據存儲，包括DevOps監視、應用度量、物聯網感測器數據和實時分析。可通過配置InFluxDB來保障計算機上的可用空間，使數據可以保存一定時間，可以設置數據自動過期以便從系統中刪除任何不需要的數據。InFluxDB還提供了一種類似SQL的查詢語言，用於與數據交互。

我們將這兩個更新的小版本合起來，它們功能更新和Bug更新信息匯總後內容如下：

1、功能方面：

添加 debug-pprof-enabled 啟動配置項。對於性能問題debug很有用。

添加 influx_inspect 命令，可以用來批量刪除TSM裸文件中的度量數據。

2、Bug修復：

修正了多次嵌套調用DISTINCT調用中的驗證問題。

返回TOP和BOTTOM的正確輔助值。

修正了readTombstoneV4中的異常。

Buildtsi：保持度量名稱不轉換。

OpenTSDB 2.3.1發布新功能

2018年5月21日， OpenTSDB 發布2.3.1版本。其中包括以下新的功能：

表達式更新：使用時間序列數據查詢時間計算，例如將一個指標除以另一個指標。

Graphite樣式函數更新：使用Graphite樣式函數在查詢時對數據進行額外過濾和變異。

基於日曆的下採樣：提供對公共日曆下採樣數據的能力。

Bigtable的支持：在使用Google託管的Bigtable雲服務中運行TSDB。

Cassandra支持：支持在傳統Cassandra集群上運行OpenTSDB。

寫過濾器：根據插件或白名單來阻止或允許時間序列或UID分配。

新的聚合器：無返回原始數據。First和Last在下採樣期間返回第一個或最後一個數據點。

元數據緩存插件：用於緩存元數據以提高查詢性能的新API。

啟動插件：用於幫助TSD啟動時發現服務的API。

添加JAVA API使用示例。

大數據生態圈

Hadoop發布三個發行版本

2018年5月，Apache基金會分別公布了三個新的發行版本，分別是3.0.3，2.9.1以及2.8.4。需要特別關注的，這次的版本是由來自騰訊雲產品部大數據及人工智慧產品中心的專家研究員堵俊平主導發布的，這也是第一次由中國的技術團隊主導大數據版本的發布。

1、3.0.3版本

總共修復並改進了自3.0.2版本以來的總共249個Bug與功能：

http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-common/release/3.0.3/CHANGES.3.0.3.html

主要變更如下：

HDFS-13099

修改默認的state store的存儲方式，從本地文件更改為Zookeeper，定義次參數需要配置zookeeper的連接地址。

2、2.9.1版本

總共修復並改進了自2.9.0版本以來的總共208個Bug與功能。

主要內容如下：

HADOOP-12756，HADOOP-14964，HADOOP-15027

這三個JIRA主要針對的是阿里雲OSS的適配及一些優化，阿里雲OSS在中國擁有大量的雲計算的用戶，通過對OSS的適配，進一步增強了Hadoop文件系統的兼容性。

HDFS-12883，HDFS-13083

修復了文檔的一些錯誤標註。

HDFS-12895

掛載表支持ACL，普通用戶不能修改他們自身的映射條目，超級用戶可以修改所有的映射的條目。

3、2.8.4版本

總共修復並改進了自2.8.3版本以來的總共77個Bug與功能：

http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-common/release/2.8.4/CHANGES.2.8.4.html

Apache Flink發布1.5.0版

2018年5月25日Apache Flink 正式發布1.5.0 版本。

新版本主要包含以下幾項重大特性更新：

重新設計並實現了 Flink 的大部分處理模型。

對廣播狀態的支持（即在某個函數的所有並行實例中複製狀態）是一直廣受開發者期待的特性。

改進網路棧帶來吞吐量提升和低延遲。

任務本地狀態恢復。

擴展對 SQL 和表API Join 的支持。

SQL CLI 客戶端提供了對數據流的進行探索性查詢。

詳細發布文檔見：

http://flink.apache.org/news/2018/05/25/release-1.5.0.html

完整changelog:

Apache Ignite 2.5：千級節點伸縮性

隨著Ignite的增長，社區對Ignite的發現機制進行重新審視，看它對擴展性有多大的影響，目標很明確，Ignite要擴展至上千個節點，就像目前上百個節點的時候一樣。

這項工作花費了幾個月的時間，很高興地告訴大家，Ignite的2.5版本可以輕易地縮放到上千個節點，同時還具有強大的功能，下面看幾個關鍵點：

Apache Ignite 和 ZooKeeper結合。

機器學習：基於分區的數據集。

遺傳演算法。

持續地自愈和一致性檢查。

SQL：安全性和更快的數據載入。

Spark DataFrame查詢直接執行。

DEB 和 RPM 包支持。

詳細發布文檔見：

https://blogs.apache.org/ignite/entry/apache-ignite-2-5-scaling

Apache Beam發布2.3.0版

Apache Beam 2.3.0發布，這個版本包括多處修復與新功能，新特性與改進如下：

Beam遷移至Java8。

Spark Runner現已基於Spark2.x。

支持AWS雲計算服務的S3文件系統。

通用的寫文件的API。

在python SDK上支持可拆分的DoFn。

可移植性。

詳細發布文檔見：

發布Blog：

https://beam.apache.org/blog/2018/02/19/beam-2.3.0.html

ElasticSearch發布 6.3.30版本

2018年6月13日，ElasticSearch 6.3.30正式發布，該版本包含以下重要改進：

x-pack包含在默認安裝包中，這很平淡是不是，驚喜在於x-pack中已經包含了對SQL的支持，無須任何第三方插件，可以直接寫SQL查詢ElasticSearch中的數據了；

除了貼心的SQL， 6.3中支持rollup，通過預先定義的rollup函數，可以近實時返回統計結果，如過去5分鐘中的均值，最大值，最小值等等；

開始支持Java 10。

英文release notes：

https://www.elastic.co/blog/Elasticsearch-6-3-0-released

國產資料庫概覽

浪潮發布K-DB 11g FS06版本

浪潮K-DB 11g提供基於共享存儲的雙活/多活動態集群技術，集群內所有資料庫節點都可以進行數據讀寫處理，並且採用緩衝融合、全局鎖管理等機制，真正實現了Oracle RAC集群功能。經過國內多家大型客戶實際使用驗證，一致評價K-DB 11g資料庫是除Oracle之外唯一能實現RAC集群的企業級資料庫管理系統。

K-RAC（K-DB Active Cluster）技術作為穩定性和高可用性的解決方案，能確保系統在發生各種故障時提供不中斷的服務，同時水平添加資料庫節點時能夠準線性的提升集群處理性能。

推出類似於Oracle ASM的存儲虛擬化功能KAS（K-DB Active Storage）。

KAS存儲虛擬化，支持多副本鏡像、條帶化、再均衡分布等多個特性。

支持Online DDL功能。

在線修改DDL時，DML操作不受限制。

支持DD Wlock Free。

執行查詢時，即使未捕獲到對DD（Data Dictionary）的ObjectLock，整合性也不會發生問題，並且改善了執行Query時的性能。

支持Listener Multi-port。

支持動態指定多個訪問K-DB資料庫的監聽埠。

本期新秀：易鯨捷發布EsgynDB V2.4版本

EsgynDB，即易鯨捷資料庫，是由易鯨捷信息技術有限公司研發，具有自主知識產權，基於開源的Apache Trafodion的企業級資料庫，核心研發人員同時也是Trafodion的主要貢獻者。

該產品與Trafodion一樣，是SQL-on-Hadoop且可同時兼顧事務和分析的HTAP資料庫。不僅能針對大數據應用場景提供大規模並行SQL處理能力，同時其先進的分散式事務還能解決傳統資料庫在事務處理方面擴展性弱的問題。

作為一款通用的國產資料庫技術，EsgynDB兼容標準的ANSI SQL語法，讓客戶原有基於傳統資料庫開發的應用系統無縫遷移到EsgynDB，降低企業對系統移植的轉化成本，同時讓客戶的現有的資料庫開發人員通過SQL就可以使用Hadoop的技術能力，加速Hadoop應用項目的落地。

作為一款企業級資料庫，和開源的Trafodion區別在於以下企業級功能、支持和服務：

可在雲平台上使用的多租戶功能。

強大的資料庫管理監控工具DB Manager。

開源版支持ODBC、JDBC同時，增加了對於ADO.NET驅動的支持。

企業級資料庫遷移工具，可以方便地將傳統關係型資料庫如Oracle、SQL Server、MySQL等遷移到EsgynDB。

多數據中心的支持。

基於時間點的數據恢復。

對ORC格式的支持。

通過UDF對Hadoop生態圈各種工具的集成。

更多數據安全方便的特性。

更多擴展的SQL分析函數等。

在最新發布的V2.4版本中，EsgynDB在基礎架構、高可用、易用性、安全性方面加入了以下新功能和新改進：

支持Apache Parquet列式存儲。

支持通過Cloudera Manager安裝EsgynDB。

支持Linux keepalived，提升資料庫連接的高可用性。

Windows ODBC驅動支持在ODBC DSN中存儲用戶ID和密碼。

支持對Trafodion表進行增量備份和恢復。

EsgynDB支持查看Hive對象。

支持Region事務。

支持PL/SQL。

支持多城活動目錄/LDAP。

易用的資料庫開發工具DB Designer發布。

OceanBase發布1.4.71版本

2018年5月10日，OceanBase 1.4.71版本新增功能，可在官網直接下載OceanBase V.1.4安裝包。

官網：https://oceanbase.alipay.com

新增功能包括：

支持實例規格擴容和縮容。

ObProxy管理模塊發布。

支持租戶級別性能監控展示。

支持sys租戶性能監控展示。

許可權控制模塊發布。

Docker管理模塊發布。

移動端告警屏蔽功能發布。

資源池管理模塊發布。

增加磁碟使用率到70%後進行報警。

支持單實例多租戶的實例創建。

支持在指定位置新增列（add column before/after）功能。

支持基本的外鍵（Foreign key）功能。

支持基本的大對象（Lob）功能。

SequoiaDB發布3.0版本

SequoiaDB巨杉資料庫3.0在產品GA發布後，經過近半年在金融級場景的測試、上線和穩定運行之後，於近期正式發布。

1、SequoiaDB 3.0產品定位

SequoiaDB巨杉資料庫是一款金融級分散式資料庫，包括了分散式NewSQL、分散式文件系統與對象存儲、與高性能NoSQL三種存儲模式，分別對應分散式在線交易、非結構化數據和內容管理以及海量數據管理和高性能訪問場景。

根據Gartner的資料庫報告，Multi-model多模是未來10年，下一代分散式資料庫發展的最主要方向。從1.0的高性能分散式 NoSQL資料庫，到2.0加入的分散式對象存儲，再到3.0完整協議級兼容MySQL，SequoiaDB經過6年的不斷迭代創新，全面支持企業級結構化、半結構化以及非結構化數據存儲。

SequoiaDB 3.0產品維度

2、MySQL完整協議級兼容

SequoiaDB 3.0實現了100%的MySQL協議級兼容：

全面兼容：全面支持MySQL協議與語法，用戶可以直接使用MySQL客戶端或任何管理、開發與監控工具對資料庫進行操作。

MySQL語法：由於使用了MySQL原生的解析器，SequoiaDB 3.0 能夠實現100%的MySQL語法兼容，支持語法包括基礎CRUD操作、多表關聯、跨節點事務操作、創建視圖、存儲過程、索引和訪問計劃等。

無縫切換：對於任何已有應用程序，SequoiaDB 3.0提供全面的MySQL兼容，幾乎無需應用程序代碼調整，即可無縫切換。

分散式彈性擴展：通過SequoiaDB存儲引擎原生分散式架構，資料庫在兼容MySQL同時，無需「分庫分表」，分散式存儲引擎直接提供彈性容量擴展能力，可以上百倍提升應用程序的存儲空間與訪問性能。

表多維分區：通過存儲-SQL分離架構，用戶訪問MySQL也可以實現表的多維分區，提升應用的靈活性。

SequoiaDB 3.0 MySQL 兼容架構

SequoiaDB 3.0採用了「存儲-SQL 分離」的架構，類似架構也出現在AWS的Aurora資料庫等眾多新一代分散式資料庫上。

SequoiaDB 3.0使用了MySQL資料庫原生的SQL解析器，天然支持MySQL協議並可以做到100%語法兼容。在該架構中，MySQL協議解析層作為SQL解析和分發的角色，直接面對應用程序，每一個MySQL服務的接入節點都是一個獨立支持讀寫操作的MySQL進程。

而數據存儲和管理層，則完全由巨杉資料庫的分散式資料庫引擎實現。簡單來說，SequoiaDB 3.0作為MySQL的InnoDB替換引擎，在天然支持MySQL的全部語法和功能的同時，提供了資料庫存儲層彈性擴張的能力。

GBASE發布GBase AI

2018年，GBASE發布GBase AI，這是一款基於大數據平台的可視化的人工智慧和深度學習工具。通過高效的in-database大數據分析技術，實現海量數據分散式並行計算的高性能AI分析。GBase AI人工智慧平台定義了場景化人工智慧模型，並基於全數據挖掘，最大化激發企業數據價值。

主要特點：

定義場景化人工智慧模型：內置了多個可直接使用的行業主流場景的人工智慧模型，如財務異常分析模型、用戶畫像模型等，大大降低用戶通過AI技術進行大數據分析的使用門檻，減少工作量。

操作簡單，拖拽定義演算法：提供圖形化的工作方式。通過拖拽方式就可以在畫布上設計機器學習模型，並圖形化顯示模型和挖掘結果。對於用戶來說，應用非常簡單，可以將更多的精力投入業務中。

複雜演算法實現支撐前台應用：支持全面的人工智慧演算法，包括機器學習、深度學習、圖分析以及數據準備和結果評估等演算法。同時支持用多種語言自定義演算法來擴充AI演算法能力。

全數據挖掘激發數據價值：人工智慧平台能夠激發數據價值的關鍵在於與全數據平台GBase UP的無縫對接，用強大的挖掘演算法在全數據中進行挖掘。

平台架構圖：

推出DBAplus Newsletter的想法

DBAplus Newsletter旨在向廣大技術愛好者提供資料庫行業的最新技術發展趨勢，為社區的技術發展提供一個統一的發聲平台。為此，我們策划了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產資料庫等幾個版塊。從下期開始，我們還會考慮添加雲資料庫的章節，希望能夠給大家帶來新的視角。

我們不以商業宣傳為目的，不接受任何商業廣告宣傳，嚴格審查信息源的可信度和準確性，力爭為大家提供一個純凈的技術學習環境，歡迎大家監督指正。

感謝名單

最後要感謝那些提供寶貴信息和建議的專家朋友，排名不分先後。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！