Adagrad¶

class Adagrad(params, lr=0.01, lr_decay=0.0, eps=1e-10, weight_decay=0.0)[源代码]¶

实现Adagrad算法。

这已经在 “Adaptive Subgradient Methods for Online Learning and Stochastic Optimization” <http://jmlr.org/papers/v12/duchi11a.html> _ 中被提出。

参数

params (Union[Iterable[Parameter], dict]) – 可迭代对象，可以是一组待优化的参数，或定义几组参数的dict类型。
lr (float) – 在将delta应用于参数之前缩放比例系数。默认: 1e-2
lr_decay (float) – 学习率衰减的乘数因子。默认: 0
eps (float) – 加到分母上以提高数值稳定性的值。默认: 1e-10
weight_decay (float) – 权重衰减(L2惩罚)。默认：0

上一页

Adam

下一页

Adadelta