Adam¶

class Adam(params, lr, betas=(0.9, 0.999), eps=1e-08, weight_decay=0.0)[源代码]¶

实现 “Adam: A Method for Stochastic Optimization” 中提出的Adam算法。

参数

params (Union[Iterable[Parameter], dict]) – 可迭代对象，可以是一组待优化的参数，或定义几组参数的dict类型。
lr (float) – 学习率 betas: 用于计算梯度及其平方运行均值的参数。默认值：(0.9, 0.999)
eps (float) – 添加到分母以提高数值稳定性的参数项。默认值：1e-8
weight_decay (float) – 权重衰减(L2惩罚)。默认：0

上一页

AdamW

下一页

Adagrad