Optimizer

class Optimizer(params, defaults)

所有优化器的基类。

参数:

• params (Union[Iterable[Parameter], dict]) – 指定应该优化哪些张量。

• defaults (dict) – 一个含有优化器默认参数的dict，如含有学习率(learning rate)和动量(momentum)。

add_param_group(param_group)

向 Optimizer 的 param_groups 中添加一组参数。

该方法可以在微调(fine-tuning)预训练网络时发挥作用，在训练过程中，冻结层通过此方法加入到 Optimizer 中变为可训练层。

参数:

param_group (dict) – 指定了应与参数组一起进行优化的张量。

clear_grad()

把所有参数的梯度属性设置为 None。

load_state_dict(state)

加载优化器状态。

参数:

state (dict) – 优化器状态。应为调用 state_dict 返回的对象。

state_dict(keep_var=False)

导出优化器状态。

返回类型:

Dict

返回:

优化器状态。可通过 load_state_dict 来加载。

step()

执行单一优化步骤。

zero_grad()

1.0 版后已移除: 用 clear_grad 替代