本文介绍在 jax 中避免全阶导数计算、直接获取特定混合偏导数(如三阶导 ∂³f/∂x₀∂x₂∂x₄)的两种高效方法:基于 jvp 的链式方向导数法和解构参数的 argnums 分离法,显著提升高维向量函数高阶微分的计算效率。
在科学计算与可微编程中,常需对向量输入函数(如 f(x) = ∏ᵢ xᵢ)计算特定索引组合的高阶偏导数,例如三阶导数 ∂³f/∂x₀∂x₂∂x₄。若直接使用 jax.jacobian(jax.jacobian(jax.grad(f))),JAX 会完整构建维度为 (n, n, n) 的三阶张量(n=len(x)),造成大量冗余计算与内存开销——尤其当 n=5 时仍需生成 125 个元素,而目标仅是其中 1 个切片。
幸运的是,JAX 提供了更轻量、更精准的替代方案。核心思想是:将“对某坐标求偏导”转化为“沿对应单位向量的方向导数(JVP)”,从而跳过无关维度的梯度传播。
✅ 方法一:链式 JVP(推荐 —— 保持单参数签名)
利用 jax.jvp(Jacobian-vector product)逐层施加方向向量,每次仅激活一个坐标轴: