資料庫分庫分表中間件 Sharding-JDBC 源碼分析 —— SQL 解析(四)之插入SQL
??????關注微信公眾號:【芋艿的後端小屋】有福利:
- RocketMQ / MyCAT / Sharding-JDBC
所有
源碼分析文章列表- RocketMQ / MyCAT / Sharding-JDBC
中文注釋源碼 GitHub 地址
- 您對於源碼的疑問每條留言
都
將得到認真
回復。甚至不知道如何讀源碼也可以請教噢
。新的
源碼解析文章
實時
收到通知。每周更新一篇左右
。認真的
源碼交流微信群。
本文主要基於 Sharding-JDBC 1.5.0 正式版
- 1. 概述
- 2. InsertStatement
- 3. #parse
- 3.1 #parseInfo
- 3.2 #parseColumns
- 3.3 #parseValues
- 3.4 #parseCustomizedInsert
- 3.5 #appendGenerateKey
- 666. 彩蛋
1. 概述
本文前置閱讀:
- 《SQL 解析(一)之詞法解析》
- 《SQL 解析(二)之SQL解析》
本文分享插入SQL解析的源碼實現。
不考慮 INSERT SELECT 情況下,插入SQL解析比查詢SQL解析複雜度低的多的多。不同資料庫在插入SQL語法上也統一的多。本文分享 MySQL 插入SQL解析器 MySQLInsertParser。
MySQL INSERT 語法一共有 3 種 :
- 第一種:
INSERT {VALUES | VALUES}
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
{VALUES | VALUE} ({expr | DEFAULT},...),(...),...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
- 第二種:
INSERT SET
INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
SET col_name={expr | DEFAULT}, ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
- 第三種:
INSERT SELECT
INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE]
[INTO] tbl_name
[PARTITION (partition_name,...)]
[(col_name,...)]
SELECT ...
[ ON DUPLICATE KEY UPDATE
col_name=expr
[, col_name=expr] ... ]
Sharding-JDBC 目前支持:
- 第一種:
INSERT {VALUES | VALUES}
單條記錄
- 第二種:
INSERT SET
Sharding-JDBC 插入SQL解析主流程如下:
// AbstractInsertParser.java
public final InsertStatement parse {
sqlParser.getLexer.nextToken; // 跳過 INSERT 關鍵字
parseInto; // 解析INTO
parseColumns; // 解析表
if (sqlParser.equalAny(DefaultKeyword.SELECT, Symbol.LEFT_PAREN)) {
throw new UnsupportedOperationException("Cannot support subquery");
}
if (getValuesKeywords.contains(sqlParser.getLexer.getCurrentToken.getType)) { // 第一種插入SQL情況
parseValues;
} else if (getCustomizedInsertKeywords.contains(sqlParser.getLexer.getCurrentToken.getType)) { // 第二種插入SQL情況
parseCustomizedInsert;
}
appendGenerateKey; // 自增主鍵
return insertStatement;
}
Sharding-JDBC 正在收集使用公司名單:傳送門。
?? 你的登記,會讓更多人參與和使用 Sharding-JDBC。傳送門
Sharding-JDBC 也會因此,能夠覆蓋更多的業務場景。傳送門
登記吧,騷年!傳送門
2. InsertStatement
插入SQL 解析結果。
public final class InsertStatement extends AbstractSQLStatement {
/**
* 插入欄位
*/
private final Collection<Column> columns = new LinkedList<>;
/**
*
*/
private GeneratedKey generatedKey;
/**
* 插入欄位 下一個Token 開始位置
*/
private int columnsListLastPosition;
/**
* 值欄位 下一個Token 開始位置
*/
private int valuesListLastPosition;
}
我們來看下 INSERT INTO t_order (uid, nickname) VALUES (?, ?)
的解析結果:
3. #parse
3.1 #parseInto
解析表。
// AbstractInsertParser.java
/**
* 解析表
*/
private void parseInto {
// 例如,Oracle,INSERT FIRST/ALL 目前不支持
if (getUnsupportedKeywords.contains(sqlParser.getLexer.getCurrentToken.getType)) {
throw new SQLParsingUnsupportedException(sqlParser.getLexer.getCurrentToken.getType);
}
sqlParser.skipUntil(DefaultKeyword.INTO);
sqlParser.getLexer.nextToken;
// 解析表
sqlParser.parseSingleTable(insertStatement);
skipBetweenTableAndValues;
}
/**
* 跳過 表 和 插入欄位 中間的 Token
* 例如 MySQL :[PARTITION (partition_name,...)]
*/
private void skipBetweenTableAndValues {
while (getSkippedKeywordsBetweenTableAndValues.contains(sqlParser.getLexer.getCurrentToken.getType)) {
sqlParser.getLexer.nextToken;
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
sqlParser.skipParentheses;
}
}
}
其中 #parseSingleTable
請看《SQL 解析(二)之SQL解析》的 #parseSingleTable
小節。
解析插入欄位。
// AbstractInsertParser.java
private void parseColumns {
Collection<Column> result = new LinkedList<>;
if (sqlParser.equalAny(Symbol.LEFT_PAREN)) {
String tableName = insertStatement.getTables.getSingleTableName;
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName); // 自動生成鍵信息
int count = 0;
do {
// Column 插入欄位
sqlParser.getLexer.nextToken;
String columnName = SQLUtil.getExactlyValue(sqlParser.getLexer.getCurrentToken.getLiterals);
result.add(new Column(columnName, tableName));
sqlParser.getLexer.nextToken;
// 自動生成鍵
if (generateKeyColumn.isPresent && generateKeyColumn.get.equalsIgnoreCase(columnName)) {
generateKeyColumnIndex = count;
}
count++;
} while (!sqlParser.equalAny(Symbol.RIGHT_PAREN) && !sqlParser.equalAny(Assist.END));
//
insertStatement.setColumnsListLastPosition(sqlParser.getLexer.getCurrentToken.getEndPosition - sqlParser.getLexer.getCurrentToken.getLiterals.length);
//
sqlParser.getLexer.nextToken;
}
insertStatement.getColumns.addAll(result);
}
3.3 #parseValues
解析值欄位
/**
* 解析值欄位
*/
private void parseValues {
boolean parsed = false;
do {
if (parsed) { // 只允許INSERT INTO 一條
throw new UnsupportedOperationException("Cannot support multiple insert");
}
sqlParser.getLexer.nextToken;
sqlParser.accept(Symbol.LEFT_PAREN);
// 解析表達式
List<SQLExpression> sqlExpressions = new LinkedList<>;
do {
sqlExpressions.add(sqlParser.parseExpression);
} while (sqlParser.skipIfEqual(Symbol.COMMA));
//
insertStatement.setValuesListLastPosition(sqlParser.getLexer.getCurrentToken.getEndPosition - sqlParser.getLexer.getCurrentToken.getLiterals.length);
// 解析值欄位
int count = 0;
for (Column each : insertStatement.getColumns) {
SQLExpression sqlExpression = sqlExpressions.get(count);
insertStatement.getConditions.add(new Condition(each, sqlExpression), shardingRule);
if (generateKeyColumnIndex == count) { // 自動生成鍵
insertStatement.setGeneratedKey(createGeneratedKey(each, sqlExpression));
}
count++;
}
sqlParser.accept(Symbol.RIGHT_PAREN);
parsed = true;
}
while (sqlParser.equalAny(Symbol.COMMA)); // 欄位以 "," 分隔
}
/**
* 創建 自動生成鍵
*
* @param column 欄位
* @param sqlExpression 表達式
* @return 自動生成鍵
*/
private GeneratedKey createGeneratedKey(final Column column, final SQLExpression sqlExpression) {
GeneratedKey result;
if (sqlExpression instanceof SQLPlaceholderExpression) { // 佔位符
result = new GeneratedKey(column.getName, ((SQLPlaceholderExpression) sqlExpression).getIndex, null);
} else if (sqlExpression instanceof SQLNumberExpression) { // 數字
result = new GeneratedKey(column.getName, -1, ((SQLNumberExpression) sqlExpression).getNumber);
} else {
throw new ShardingJdbcException("Generated key only support number.");
}
return result;
}
3.4.1 GeneratedKey
自動生成鍵,屬於分片上下文信息。
public final class GeneratedKey {
/**
* 欄位
*/
private final String column;
/**
* 第幾個佔位符
*/
private final int index;
/**
* 值
*/
private final Number value;
}
3.4.2 Condition
條件對象,屬於分片上下文信息。在插入SQL解析里存儲影響分片的值欄位。後續《SQL 路由》會專門分享這塊。
public final class Condition {
/**
* 欄位
*/
@Getter
private final Column column;
// ... 省略其它屬性
}
public final class Column {
/**
* 列名
*/
private final String name;
/**
* 表名
*/
private final String tableName;
}
3.4 #parseCustomizedInsert
解析第二種插入SQL:INSERT SET
。例如:
INSERT INTO test SET id = 4 ON DUPLICATE KEY UPDATE name = "doubi", name = "hehe";
INSERT INTO test SET id = 4, name = "hehe";
private void parseInsertSet {
do {
getSqlParser.getLexer.nextToken;
// 插入欄位
Column column = new Column(SQLUtil.getExactlyValue(getSqlParser.getLexer.getCurrentToken.getLiterals), getInsertStatement.getTables.getSingleTableName);
getSqlParser.getLexer.nextToken;
// 等號
getSqlParser.accept(Symbol.EQ);
// 【值】表達式
SQLExpression sqlExpression;
if (getSqlParser.equalAny(Literals.INT)) {
sqlExpression = new SQLNumberExpression(Integer.parseInt(getSqlParser.getLexer.getCurrentToken.getLiterals));
} else if (getSqlParser.equalAny(Literals.FLOAT)) {
sqlExpression = new SQLNumberExpression(Double.parseDouble(getSqlParser.getLexer.getCurrentToken.getLiterals));
} else if (getSqlParser.equalAny(Literals.CHARS)) {
sqlExpression = new SQLTextExpression(getSqlParser.getLexer.getCurrentToken.getLiterals);
} else if (getSqlParser.equalAny(DefaultKeyword.NULL)) {
sqlExpression = new SQLIgnoreExpression;
} else if (getSqlParser.equalAny(Symbol.QUESTION)) {
sqlExpression = new SQLPlaceholderExpression(getSqlParser.getParametersIndex);
getSqlParser.increaseParametersIndex;
} else {
throw new UnsupportedOperationException("");
}
getSqlParser.getLexer.nextToken;
// Condition
if (getSqlParser.equalAny(Symbol.COMMA, DefaultKeyword.ON, Assist.END)) {
getInsertStatement.getConditions.add(new Condition(column, sqlExpression), getShardingRule);
} else {
getSqlParser.skipUntil(Symbol.COMMA, DefaultKeyword.ON);
}
} while (getSqlParser.equalAny(Symbol.COMMA)); // 欄位以 "," 分隔
}
3.5 #appendGenerateKey
當表設置自動生成鍵,並且插入SQL沒寫自增欄位,增加該欄位。例如:
// 主鍵為user_id
INSERT INTO t_user(nickname, age) VALUES (?, ?)
後續 SQL 改寫會生成該自增編號,並改寫該 SQL。後續《SQL 改寫》會專門分享這塊。
private void appendGenerateKey {
// 當表設置自動生成鍵,並且插入SQL沒寫自增欄位
String tableName = insertStatement.getTables.getSingleTableName;
Optional<String> generateKeyColumn = shardingRule.getGenerateKeyColumn(tableName);
if (!generateKeyColumn.isPresent || null != insertStatement.getGeneratedKey) {
return;
}
// ItemsToken
ItemsToken columnsToken = new ItemsToken(insertStatement.getColumnsListLastPosition);
columnsToken.getItems.add(generateKeyColumn.get);
insertStatement.getSqlTokens.add(columnsToken);
// GeneratedKeyToken
insertStatement.getSqlTokens.add(new GeneratedKeyToken(insertStatement.getValuesListLastPosition));
}
3.5.1 GeneratedKeyToken
自增主鍵標記對象。
public final class GeneratedKeyToken implements SQLToken {
/**
* 開始位置
*/
private final int beginPosition;
}
666. 彩蛋
道友,可否分享一波【本文】到朋友圈。
繼續加油更新!
※如何通過binlog獲取我們想要的MySql語句?
※js數組去重方法分析與總結
※JS獲取子、父、兄節點方法總結
※vue學習筆記(1)——組件化實現todoList
TAG:科技優家 |
※分散式資料庫TencentDBforTDSQL
※SQLite 分離資料庫
※HTML5 Web SQL 資料庫
※雲資料庫TencentDBforMySQL
※Spring SpringMVC配置Druid數據源(資料庫連接池)
※EF Core:一統SQL和NoSQL資料庫
※PowerBI從SCCM資料庫中分析數據和KPI展現
※開源資料庫 PostgreSQL、MariaDB 和 SQLite 的對比
※雲資料庫TencentDBforCTSDB
※VMware擴展VMware Cloud on AWS服務 引入RDS資料庫
※資料庫的選擇——SQL And NoSQL
※2019年NoSQL 資料庫 TOP 15:MongoDB、微軟、Couchbase、AWS、谷歌、Redis Labs
※Django資料庫類庫MySQLdb使用詳解
※SQL_Server2000示例資料庫NorthWind的分析(轉)
※蘋果開源NoSQL 資料庫FoundationDB
※JMeter 測試 MySQL 資料庫
※AWS開源可跨關係型與NoSQL資料庫查詢語言PartiQL
※Intel官網泄露兩款8核Coffee Lake-S SKU資料
※將MySQL 資料庫遷移到 Amazon Aurora 資料庫
※微軟雲計算PostgreSQL資料庫支持GraphQL