megengine.optimizer.Adam

class Adam(params, lr, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0)

实现 “Adam: A Method for Stochastic Optimization” 中提出的Adam算法。

参数

• params (Union[Iterable[Parameter], dict]) – 可迭代对象，可以是一组待优化的参数，或定义几组参数的dict类型。

• lr (float) – learning rate. betas: coefficients used for computing running averages of gradient and its square. Default: (0.9, 0.999)

• eps (float) – term added to the denominator to improve numerical stability. Default: 1e-8

• weight_decay (float) – 权重衰减(L2惩罚)。默认：0

方法

add_param_group(param_group)	向 Optimizer 的 param_groups 中添加一组参数。
backward(loss)
bcast_param()
clear_grad()	把所有参数的梯度属性设置为 None。
load_state_dict(state)	加载优化器状态。
state_dict([keep_var])	导出优化器状态。
step()	执行单一优化步骤。
zero_grad()	1.0 版后已移除.

上一页

megengine.optimizer.AdamW.zero_grad

下一页

megengine.optimizer.Adam.add_param_group