自增主键的持久化详解,新特色之自增主键的漫长化

自增主键没有持久化是个比较早的bug,这点从其在官方bug网站的id号也可看出()。由Peter
Zaitsev(现Percona CEO)于2003年提出。历史悠久且臭名昭著。 

前言

首先,直观的重现下。

自增主键没有持久化是个比较早的bug,这点从其在官方bug网站的id号也可看出()。由Peter
Zaitsev(现Percona CEO)于2003年提出。历史悠久且臭名昭著。

mysql> create table t1(id int auto_increment primary key);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into t1 values(null),(null),(null);
Query OK, 3 rows affected (0.01 sec)
Records: 3  Duplicates: 0  Warnings: 0

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
+----+
3 rows in set (0.00 sec)

mysql> delete from t1 where id=3;
Query OK, 1 row affected (0.36 sec)

mysql> insert into t1 values(null);
Query OK, 1 row affected (0.35 sec)

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  4 |
+----+
3 rows in set (0.01 sec)

首先,直观的重现下。

 

mysql> create table t1(id int auto_increment primary key);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into t1 values(null),(null),(null);
Query OK, 3 rows affected (0.01 sec)
Records: 3 Duplicates: 0 Warnings: 0

mysql> select * from t1;
+----+
| id |
+----+
| 1 |
| 2 |
| 3 |
+----+
rows in set (0.00 sec)

mysql> delete from t1 where id=3;
Query OK, 1 row affected (0.36 sec)

mysql> insert into t1 values(null);
Query OK, 1 row affected (0.35 sec)

mysql> select * from t1;
+----+
| id |
+----+
| 1 |
| 2 |
| 4 |
+----+
rows in set (0.01 sec)

虽然id为3的记录删除了,但再次插入null值时,并没有重用被删除的3,而是分配了4。

虽然id为3的记录删除了,但再次插入null值时,并没有重用被删除的3,而是分配了4。

 

删除id为4的记录,重启数据库,重新插入一个null值。

删除id为4的记录,重启数据库,重新插入一个null值。

mysql> delete from t1 where id=4;
# service mysqld restart
mysql> insert into t1 values(null);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t1;
+----+
| id |
+----+
| 1 |
| 2 |
| 3 |
+----+
rows in set (0.00 sec)

 

冠亚体育手机网站,可以看到,新插入的null值分配的是3,按照重启前的操作逻辑,此处应该分配5啊。

mysql> delete from t1 where id=4;
# service mysqld restart
mysql> insert into t1 values(null);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t1;
+----+
| id |
+----+
|  1 |
|  2 |
|  3 |
+----+
3 rows in set (0.00 sec)

这就是自增主键没有持久化的bug。究其原因,在于自增主键的分配,是由InnoDB数据字典内部一个计数器来决定的,而该计数器只在内存中维护,并不会持久化到磁盘中。当数据库重启时,该计数器会通过下面这种方式初始化。

 

SELECT MAX(ai_col) FROM table_name FOR UPDATE; 

可以看到,新插入的null值分配的是3,按照重启前的操作逻辑,此处应该分配5啊。

MySQL 8.0的解决思路

 

将自增主键的计数器持久化到redo
log中。每次计数器发生改变,都会将其写入到redo
log中。如果数据库发生重启,InnoDB会根据redo
log中的计数器信息来初始化其内存值。为了尽量减小对系统性能的影响,计数器写入到redo
log中,并不会马上刷新。具体可参考:

这就是自增主键没有持久化的bug。究其原因,在于自增主键的分配,是由InnoDB数据字典内部一个计数器来决定的,而该计数器只在内存中维护,并不会持久化到磁盘中。当数据库重启时,该计数器会通过下面这种方式初始化。

因自增主键没有持久化而出现问题的常见场景:

SELECT MAX(ai_col) FROM table_name FOR UPDATE;
  1. 业务将自增主键作为业务主键,同时,业务上又要求主键不能重复。

  2. 数据会被归档。在归档的过程中有可能会产生主键冲突。

 

所以,强烈建议不要使用自增主键作为业务主键。刨除这两个场景,其实,自增主键没有持久化的问题并不是很大,远没有想象中的”臭名昭著“。

MySQL
8.0的解决思路

最后,给出一个归档场景下的解决方案,

 

创建一个存储过程,根据table2(归档表)自增主键的最大值来初始化table1(在线表)。这个存储过程可放到init_file参数指定的文件中,该文件中的SQL会在数据库启动时执行。

将自增主键的计数器持久化到redo
log中。每次计数器发生改变,都会将其写入到redo
log中。如果数据库发生重启,InnoDB会根据redo
log中的计数器信息来初始化其内存值。为了尽量减小对系统性能的影响,计数器写入到redo
log中,并不会马上刷新。具体可参考:

DELIMITER ;;
CREATE PROCEDURE `auto_increment_fromtable2`(IN table1 VARCHAR(255), IN table2 VARCHAR(255))
BEGIN
set @qry = concat('SELECT @max1 := (`id` + 1) FROM `',table1,'` ORDER BY `id` DESC LIMIT 1;');
 prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
 set @qry = concat('SELECT @max2 := (`id` + 1) FROM `',table2,'` ORDER BY `id` DESC LIMIT 1;');
 prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
IF @max1 < @max2 THEN
 set @qry = concat('alter table `',table1,'` auto_increment=',@max2);prepare stmt from @qry;execute stmt;deallocate prepare stmt;
SELECT 'updated' as `status`;
else
SELECT 'no update needed' as `status`;
END IF;
END ;;
DELIMITER ;

 

总结

 

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对脚本之家的支持。

因自增主键没有持久化而出现问题的常见场景:

您可能感兴趣的文章:

  • MySQL
    8.0的关系数据库新特性详解
  • Mysql 8 新特性 window functions
    的作用
  • MySQL 8 新特性之Invisible
    Indexes
  • MySQL8新特性:持久化全局变量的修改方法
  • MySQL8新特性:降序索引详解
  1. 业务将自增主键作为业务主键,同时,业务上又要求主键不能重复。

  2. 数据会被归档。在归档的过程中有可能会产生主键冲突。

 

所以,强烈建议不要使用自增主键作为业务主键。刨除这两个场景,其实,自增主键没有持久化的问题并不是很大,远没有想象中的”臭名昭著“。

 

最后,给出一个归档场景下的解决方案,

 

创建一个存储过程,根据table2(归档表)自增主键的最大值来初始化table1(在线表)。这个存储过程可放到init_file参数指定的文件中,该文件中的SQL会在数据库启动时执行。

DELIMITER ;;
CREATE PROCEDURE `auto_increment_fromtable2`(IN table1 VARCHAR(255), IN table2 VARCHAR(255))
BEGIN
set @qry = concat('SELECT @max1 := (`id` + 1) FROM `',table1,'` ORDER BY `id` DESC LIMIT 1;');
    prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
    set @qry = concat('SELECT @max2 := (`id` + 1) FROM `',table2,'` ORDER BY `id` DESC LIMIT 1;');
    prepare stmt from @qry;
execute stmt;
deallocate prepare stmt;
IF @max1 < @max2 THEN
    set @qry = concat('alter table `',table1,'` auto_increment=',@max2);prepare stmt from @qry;execute stmt;deallocate prepare stmt;
SELECT 'updated' as `status`;
else
SELECT 'no update needed' as `status`;
END IF;
END ;;
DELIMITER ;

 

Post Author: admin

发表评论

电子邮件地址不会被公开。 必填项已用*标注