Optimizer

class Optimizer(params, defaults)[源代码]

所有优化器的基类。

参数
  • params (Union[Iterable[Parameter], dict]) – 指定应该优化哪些张量。

  • defaults (dict) – 一个含有优化器默认参数的dict,如含有学习率(learning rate)和动量(momentum)。

add_param_group(param_group)[源代码]

Optimizerparam_groups 中添加一组参数。

该方法可以在微调(fine-tuning)预训练网络时发挥作用,在训练过程中,冻结层通过此方法加入到 Optimizer 中变为可训练层。

参数

param_group (dict) – 指定了应与参数组一起进行优化的张量。

clear_grad()[源代码]

把所有参数的梯度属性设置为 None。

load_state_dict(state)[源代码]

加载优化器状态。

参数

state (dict) – 优化器状态。应为调用 state_dict 返回的对象。

state_dict(keep_var=False)[源代码]

导出优化器状态。

返回类型

Dict

返回

优化器状态。可通过 load_state_dict 来加载。

step()[源代码]

执行单一优化步骤。

zero_grad()[源代码]

1.0 版后已移除: 用 clear_grad 替代