数据库 on 冯威的博客

自研 MySQL 数据迁移工具：比 pt-archiver 快 10 倍的秘密

Fri, 16 Jan 2026 14:00:00 +0800

在上一篇文章《[[使用 pt-archiver 迁移 mysql 数据]]》中，我介绍了使用 Percona Toolkit 工具集中的 pt-archiver 进行历史数据归档的方法。

pt-archiver 功能强大且成熟，但在某些特定场景下，它的性能表现并不尽如人意。

例如，当我尝试将 200 万行历史数据迁移到一个已经包含 500 万行数据的归档表中时，pt-archiver 的速度非常慢。最根本的原因有两个：

1、是因为它在插入数据时，目标表的索引在持续更新，随着表越来越大，索引维护的开销也呈指数级增长。

2、pt-archiver 在批量执行时拼接的 SQL 并非是多值 SQL，而是多条 Insert 语句的拼接。而多值 SQL 的执行效率要远超多条 Insert 语句的拼接。

为了解决这个问题，我借助 AI 的能力编写了一个 Python 工具（data_migrate），通过先删索引-批量插入-重建索引的策略，实现了性能的飞跃。

核心思路

1、迁移前：把原表和目标表上除主键和查询字段相关之外的索引先保存到 json 文件中，然后删除。

2、迁移中：使用 INSERT INTO ... VALUES (...), (...), ... 这种多值 SQL 的方式进行批量写入。因为没有索引的负担，目标表写入速度和原表的删除速度都非常快。

3、迁移后：一次性重建所有索引。MySQL 重建索引是经过优化的（排序后批量构建），比逐行维护快得多。

此外，针对复杂的筛选条件（例如 WHERE id IN (SELECT ...)），引入了快照表机制，避免在循环分页中反复执行昂贵的子查询。

快照表逻辑很简单，就是先将需要过滤的 id 查询出来存到一个临时表中，再通过临时表中的 id 进行过滤。

工具实现

这个工具使用 Python 编写，基于 PyMySQL 驱动。主要包含以下几个模块：

migrator.py: 核心迁移控制器。
index_manager.py: 负责智能地删除和恢复索引。
db_manager.py: 数据库连接池管理。

1、智能索引优化

这是性能提升的关键。在 IndexManager 类中，实现了 drop_indexes 和 restore_indexes 方法。

值得注意的是，我们不能无脑删除所有索引。如果迁移的 WHERE 条件依赖某个索引（例如按 create_time 过滤），删掉它会导致源表查询变慢。因此，我加入了一个简单的逻辑：解析 WHERE 子句，保留查询所需的索引。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49


# data_migrate/tools/data_migrate/index_manager.py 部分代码
def drop_indexes(self, table_name, indexes, keep_columns=None):
 """删除索引并持久化到文件
 :param keep_columns: 需要保留的列名列表（字符串列表），如果索引包含这些列，则不删除
 """
 if not indexes:
 return

 # 持久化索引信息到文件，防止程序中断丢失
 backup_file = f"{table_name}_indexes_backup.json"
 try:
 with open(backup_file, 'w', encoding='utf-8') as f:
 json.dump(indexes, f, ensure_ascii=False, indent=2)
 logger.info(f"索引备份已保存至: {backup_file}")
 except Exception as e:
 logger.error(f"保存索引备份失败: {e}，将跳过索引删除操作以保证安全。")
 return

 # 过滤需要删除的索引
 indexes_to_drop = []
 for idx in indexes:
 should_drop = True
 if keep_columns:
 # 检查索引列是否包含在保留列表中
 # idx['columns'] 是 ["`col1`", "`col2`"] 格式
 for col in idx['columns']:
 clean_col = col.strip('`')
 if clean_col in keep_columns:
 logger.info(f" -> 保留表 {table_name} 的索引 {idx['name']}，因为涉及查询列 {clean_col}")
 should_drop = False
 break
 if should_drop:
 indexes_to_drop.append(idx)

 if not indexes_to_drop:
 logger.info(f"表 {table_name} 没有需要删除的索引（所有索引均被保留或无索引）。")
 return

 logger.info(f"正在删除表 {table_name} 的 {len(indexes_to_drop)} 个索引以加速写入...")
 conn = self.db_manager.get_connection()
 for idx in indexes_to_drop:
 try:
 sql = f"ALTER TABLE `{table_name}` DROP INDEX `{idx['name']}`"
 logger.info(f" -> 删除索引: {idx['name']}")
 with conn.cursor() as cursor:
 cursor.execute(sql)
 conn.commit()
 except Exception as e:
 logger.error(f"删除索引 {idx['name']} 失败: {e}")

2、批量读写与事务控制

为了减少网络交互和事务开销，我使用了 executemany 进行批量插入。

使用 pt-archiver 迁移 mysql 数据

Tue, 13 Jan 2026 16:43:00 +0800

在软件系统中，随着业务增长，有些表数据量会越来越大，为了提升性能，会将表进行拆分。这就需要定时将数据从源表迁移到目标表。

通常使用一个 sql 语句就能实现数据的迁移：

1
2
3
4


insert into t_business_finished 
select * from t_business where state=4;

delete from t_business where state=4;

但这种操作在数据量很大时速度很慢，资源消耗也比较大。

后来发现 pt-archiver 这个工具可以做这个事情。pt-archiver 有下面几个优点：

支持分批（chunk）读取和写入，避免一次性加载大量数据导致内存溢出或锁表。
可以通过 --limit 控制每次处理的行数，配合 --txn-size 控制事务大小。
支持 --sleep ，避免对生产库造成过大的压力。
可以通过 --progress 来查看进度。

下面就简单说下 pt-archiver 是怎么使用的，因为我测试的环境 mysql 是使用 docker 构建的，下面示例中 pt-archiver 也是使用 docker 的方式运行。

1、拉取镜像

1

docker pull percona/percona-toolkit:latest

2、如果是企业内网，不能拉取镜像，就将镜像保存为 tar 文件，赋值到内网服务器 load 即可

1
2
3
4
5


# 外网服务器进行保存
docker save -o percona-toolkit.tar percona/percona-toolkit:latest

# 拷贝到内网后load
docker load -i percona-toolkit.tar

3、执行下面命令就可以进行数据的迁移：

1

docker run -it --rm --network test_net percona/percona-toolkit:latest pt-archiver --source h=172.66.5.7,P=3306,u=root,p=123456,D=test,t=t_user --dest h=172.66.5.7,P=3306,u=root,p=123456,D=test,t=t_user_bak --where "1=1" --limit 10 --progress 10 --txn-size 10 --sleep 1 --no-delete --statistics --why-quit --header

–network：设置和数据库的容器在一个网络中
–source 源表相关配置
- h：数据库的容器 IP
- P：数据库的容器内部端口
- u：数据库用户名
- p：数据库密码
- D：数据库名称
- t：表名
–dest：目标表相关配置
–where：从源表获取数据的 where 条件
–limit：每次获取数据的条数
–progress 10：每处理 10 行就向终端输出一条进度信息
–txn-size 10：每 10 行组成一个事务，提交一次
–sleep 1：每批提交后暂停 1 秒，降低负载。
–no-delete：只复制，不删除源表数据
–statistics：结束后打印总计行数、耗时、吞吐量等汇总
–why-quit：如果提前退出，告知原因
–header：进度信息前打印表头

执行效果如下：

CentOS 7 安装 Greenplum6 （附 dotNET Core 示例）

Mon, 12 Apr 2021 08:05:00 +0800

Mysql 在面对大数据量的时候，还是表现有些吃力，所以产品中需要扩展能支持海量数据的数据库，这里选择的数据库为 Greenplum6 ，Greenplum 底层使用的是开源数据库 PostgreSQL 。本文会介绍怎样在 CentOS 7 中安装 Greenplum6，并使用 dotNET Core 程序进行连接访问。

Asp.Net 连接Access数据库

Sat, 10 Jan 2009 00:00:00 +0800

自学程序以来，一直使用的都是sqlserver数据库，最近帮一朋友做一个access的demo，发现在数据库的连接方面就存在很大差异，在web.config中配置好连接字符串，然后在后台取，在此我的做法是存两个值，将Provider和assess数据库文件的路径分开存，如下：