SOP: design random seed strate…

# PyTorch 实验可复现性：固定随机种子完整方案

一、为什么需要固定多个种子

可复现性涉及三层随机性来源，必须全部覆盖：

• Python 内置 random：影响某些数据增强、数据划分逻辑
• NumPy：常用于自定义数据采样、数据划分（如 train/val split）
• PyTorch：模型权重初始化、DataLoader shuffle、Dropout 等

只固定其中一个，实验仍不可复现。

二、核心方案代码

```python

import random

import numpy as np

import torch

def set_seed(seed: int = 42):

random.seed(seed)

np.random.seed(seed)

torch.manual_seed(seed) # CPU 随机性

torch.cuda.manual_seed(seed) # 当前 GPU

torch.cuda.manual_seed_all(seed) # 多卡场景

# 性能换确定性（可选，训练会变慢）

torch.backends.cudnn.deterministic = True

torch.backends.cudnn.benchmark = False

```

在训练脚本入口（main 开头、任何随机操作之前）调用一次。

三、关键细节

• DataLoader 随机性：多 worker 时，shuffle 用的种子需配合 generator：

```python

g = torch.Generator()

g.manual_seed(seed)

loader = DataLoader(dataset, shuffle=True, generator=g)

```

• worker 种子：DataLoader 中传 worker_init_fn=lambda wid: np.random.seed(seed + wid)，保证增强随机性一致
• 数据划分：不要用随机切分后不保存，建议用固定种子的 train_test_split(random_state=seed)，或将划分结果存盘，彻底锁定
• 权重复现验证：训练前保存 model.state_dict() 的克隆，第二次跑时对比确认一致

四、注意事项

• 速度权衡：deterministic=True 会禁用部分 CUDA 算子优化，训练速度可能下降（幅度视模型而定），调试阶段建议开启，大规模跑分时可关闭
• 某些算子天然不确定（如 scatter_add、部分上采样），即使全设置也难完全复现，可用 torch.use_deterministic_algorithms(True) 强制检查并暴露问题算子
• 多实验对比：不同超参实验用不同 seed（如 seed=42, 43, 44），并记录在配置文件中

五、落地清单

1. 入口调用 set_seed(seed) ✓

2. DataLoader 设置 generator + worker_init_fn ✓

3. 数据划分结果落盘 ✓

4. 记录 seed、torch/numpy 版本到日志 ✓