本文详解在 u-net 等分割任务中,如何使用 torchvision.transforms 对图像和对应掩码同步施加随机旋转、翻转等增强操作,避免因独立调用导致的几何错位问题。核心方案是通道拼接后统一变换再切分。
在医学图像分割(如乳腺肿块分割)中,数据增强对模型泛化能力至关重要。但一个常见且隐蔽的陷阱是:对图像和掩码分别调用同一 transforms.Compose 实例,并不能保证二者经历完全相同的随机变换参数——例如 RandomRotation 每次调用都会重新采样旋转角度,导致图像被旋转 23.7° 而掩码被旋转 −15.2°,最终造成严重配准错误(如你截图中所示)。
根本原因在于:torchvision.transforms.v2(以及 v1)中的随机变换类(如 RandomRotation, RandomHorizontalFlip)在每次 __call__ 时独立生成随机种子或参数。即使传入相同输入张量,两次调用也无法复现同一变换行为。
✅ 正确解法:将图像与掩码沿通道维度拼接为单个张量,一次性通过变换流水线,再按通道切分恢复。这确保了所有空间变换操作(旋转、缩放、翻转等)使用完全相同的随机参数。
以下是修正后的 INBreastDataset2012.__getitem__ 关键代码(适配 torchvision.transforms.v2):