自研 MySQL 数据迁移工具：比 pt-archiver 快 10 倍的秘密

Fri, 16 Jan 2026 14:00:00 +0800

在上一篇文章《[[使用 pt-archiver 迁移 mysql 数据]]》中，我介绍了使用 Percona Toolkit 工具集中的 pt-archiver 进行历史数据归档的方法。

pt-archiver 功能强大且成熟，但在某些特定场景下，它的性能表现并不尽如人意。

例如，当我尝试将 200 万行历史数据迁移到一个已经包含 500 万行数据的归档表中时，pt-archiver 的速度非常慢。最根本的原因有两个：

1、是因为它在插入数据时，目标表的索引在持续更新，随着表越来越大，索引维护的开销也呈指数级增长。

2、pt-archiver 在批量执行时拼接的 SQL 并非是多值 SQL，而是多条 Insert 语句的拼接。而多值 SQL 的执行效率要远超多条 Insert 语句的拼接。

为了解决这个问题，我借助 AI 的能力编写了一个 Python 工具（data_migrate），通过先删索引-批量插入-重建索引的策略，实现了性能的飞跃。

核心思路

1、迁移前：把原表和目标表上除主键和查询字段相关之外的索引先保存到 json 文件中，然后删除。

2、迁移中：使用 INSERT INTO ... VALUES (...), (...), ... 这种多值 SQL 的方式进行批量写入。因为没有索引的负担，目标表写入速度和原表的删除速度都非常快。

3、迁移后：一次性重建所有索引。MySQL 重建索引是经过优化的（排序后批量构建），比逐行维护快得多。

此外，针对复杂的筛选条件（例如 WHERE id IN (SELECT ...)），引入了快照表机制，避免在循环分页中反复执行昂贵的子查询。

快照表逻辑很简单，就是先将需要过滤的 id 查询出来存到一个临时表中，再通过临时表中的 id 进行过滤。

工具实现

这个工具使用 Python 编写，基于 PyMySQL 驱动。主要包含以下几个模块：

migrator.py: 核心迁移控制器。
index_manager.py: 负责智能地删除和恢复索引。
db_manager.py: 数据库连接池管理。

1、智能索引优化

这是性能提升的关键。在 IndexManager 类中，实现了 drop_indexes 和 restore_indexes 方法。

值得注意的是，我们不能无脑删除所有索引。如果迁移的 WHERE 条件依赖某个索引（例如按 create_time 过滤），删掉它会导致源表查询变慢。因此，我加入了一个简单的逻辑：解析 WHERE 子句，保留查询所需的索引。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49


# data_migrate/tools/data_migrate/index_manager.py 部分代码
def drop_indexes(self, table_name, indexes, keep_columns=None):
 """删除索引并持久化到文件
 :param keep_columns: 需要保留的列名列表（字符串列表），如果索引包含这些列，则不删除
 """
 if not indexes:
 return

 # 持久化索引信息到文件，防止程序中断丢失
 backup_file = f"{table_name}_indexes_backup.json"
 try:
 with open(backup_file, 'w', encoding='utf-8') as f:
 json.dump(indexes, f, ensure_ascii=False, indent=2)
 logger.info(f"索引备份已保存至: {backup_file}")
 except Exception as e:
 logger.error(f"保存索引备份失败: {e}，将跳过索引删除操作以保证安全。")
 return

 # 过滤需要删除的索引
 indexes_to_drop = []
 for idx in indexes:
 should_drop = True
 if keep_columns:
 # 检查索引列是否包含在保留列表中
 # idx['columns'] 是 ["`col1`", "`col2`"] 格式
 for col in idx['columns']:
 clean_col = col.strip('`')
 if clean_col in keep_columns:
 logger.info(f" -> 保留表 {table_name} 的索引 {idx['name']}，因为涉及查询列 {clean_col}")
 should_drop = False
 break
 if should_drop:
 indexes_to_drop.append(idx)

 if not indexes_to_drop:
 logger.info(f"表 {table_name} 没有需要删除的索引（所有索引均被保留或无索引）。")
 return

 logger.info(f"正在删除表 {table_name} 的 {len(indexes_to_drop)} 个索引以加速写入...")
 conn = self.db_manager.get_connection()
 for idx in indexes_to_drop:
 try:
 sql = f"ALTER TABLE `{table_name}` DROP INDEX `{idx['name']}`"
 logger.info(f" -> 删除索引: {idx['name']}")
 with conn.cursor() as cursor:
 cursor.execute(sql)
 conn.commit()
 except Exception as e:
 logger.error(f"删除索引 {idx['name']} 失败: {e}")

2、批量读写与事务控制

为了减少网络交互和事务开销，我使用了 executemany 进行批量插入。

性能优化 on 冯威的博客

自研 MySQL 数据迁移工具：比 pt-archiver 快 10 倍的秘密

核心思路

工具实现

1、智能索引优化

2、批量读写与事务控制