相关子查询是子查询引用外部查询列、需为外层每行重复执行的查询,易因内层无索引触发全表扫描;改写为JOIN+GROUP BY或窗口函数可避免线性性能恶化。
什么是相关子查询,为什么它容易触发全表扫描
相关子查询是指子查询中引用了外部查询的列,导致子查询无法独立执行,必须为外部查询的每一行重新计算。比如 SELECT name FROM users u WHERE age > (SELECT AVG(age) FROM users u2 WHERE u2.department = u.department) —— 这里子查询依赖 u.department,数据库无法提前物化结果,只能对每条 u 记录都执行一次内层扫描。
常见错误现象包括:执行计划中出现大量 DEPENDENT SUBQUERY(MySQL)或 Correlated Subquery(PostgreSQL),且外层行数越多,性能越线性恶化;即使外层只查 10 行,也可能引发 10 次全表扫描(尤其当内层没走索引时)。
- 子查询中若用到外部表的非索引列(如
u.department无索引),内层几乎必然全表扫描 - MySQL 5.7 及更早版本对相关子查询优化能力较弱,8.0 起引入了部分物化优化,但仍有局限
- PostgreSQL 的
LATERAL虽语义等价,但执行器更倾向使用嵌套循环+索引扫描,实际未必更慢
用 JOIN + GROUP BY 替代是最直接有效的改写方式
绝大多数相关子查询本质是“按某维度聚合后关联回原表”,完全可以用显式 JOIN 实现,且能利用索引和哈希聚合加速。
比如把上面的例子改写为:
SELECT u.name FROM users u INNER JOIN ( SELECT department, AVG(age) AS avg_dept_age FROM users GROUP BY department ) dept_avg ON u.department = dept_avg.department WHERE u.age > dept_avg.avg_dept_age;
关键点: