在医学图像分割(如 u-net 训练)中,图像与对应掩码必须接受**严格一致的随机几何变换**(如旋转、翻转),否则标签错位将导致模型学习失败;本文提供基于 `torchvision.transforms.v2` 的可靠解决方案。
在使用 PyTorch 进行语义分割或实例分割任务(例如训练 U-Net 模型)时,一个常见却极易被忽视的关键点是:图像(image)和其对应的分割掩码(mask)必须共享完全相同的随机变换参数。例如,若某次迭代中图像被随机旋转了 23.7° 并水平翻转,掩码也必须执行完全相同的操作——而非各自独立采样新参数。而你当前代码中的问题正在于此:
if self.transform is not None:
image = self.transform(image) # ← 独立采样一次 RandomRotation 参数
mass_mask = self.transform(mass_mask) # ← 再次独立采样!参数很可能不同
torchvision.transforms.v2(推荐用于新项目)中,每个 Transform 实例在每次调用时都会重新生成随机参数(如 RandomRotation.degrees 是从 [-35, 35] 中独立采样),因此两次调用 self.transform(…) 本质是两次不相关的随机过程,导致图像与掩码形变失配。
✅ 正确解法:将图像与掩码沿通道维度拼接后统一变换,再切分还原。这保证了二者经历的是同一组随机参数。
✅ 推荐实现(适配 torchvision.transforms.v2)
修改你的 __getitem__ 方法如下: