本文共 1194 字，大约阅读时间需要 3 分钟。

PyTorch中的自定义权重初始化

在PyTorch中自定义权重初始化是一个非常有用的操作，尤其是在训练过程中需要解决模型方差过大或欠拟合等问题时。以下是详细的实现步骤：

import torch
from torch import nn

2. 定义权重初始化函数 创建一个自定义的初始化函数，该函数可以根据需求选择使用正态分布或均匀分布进行初始化。

def custom_init(tensor):
    # 使用正态分布初始化
    nn.init.normal_(tensor, mean=0, std=0.01)
    
    # 或者使用均匀分布初始化
    # nn.init.uniform_(tensor, a=-bound, b=bound)
    
    # 偏置项初始化为零
    if tensor.dim() > 1:
        nn.init.zeros_(tensor[:,0])

3. 应用权重初始化 在定义神经网络时，将自定义的初始化函数应用于模型的各层权重。

class MyNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Linear(input_size, output_size)
        
    def forward(self, x):
        return self.fc(x)

my_net = MyNet()
for param in my_net.parameters():
    if len(param.shape) > 1:
        custom_init(param)

4. 测试用例 在定义好网络和权重初始化后，可以创建输入数据并执行前向传播。

input = torch.randn(10, input_size)
output = my_net(input)
print("Output shape:", output.shape)

5. 应用场景和示例 在分布式训练中，主节点可以使用自定义初始化函数初始化权重，而工作节点则同步这些初始化的权重。

if rank == 0:
    for param in MyNet.parameters():
        custom_init(param)
else:
    for param in MyNet.parameters():
        nn.init.zeros_(param)
        
distributed_model = DistributedDataParallel(MyNet, device_ids=[rank])

转载地址：http://bqxfk.baihongyu.com/