megengine.optimizer¶
>>> import megengine.optimizer as optim
所有优化器的基类。 |
常见优化器¶
实现随机梯度下降。 |
|
实现`"Decoupled Weight Decay Regularization" <https://arxiv.org/abs/1711.05101>`_中提出的AdamW算法 |
|
实现 "Adam: A Method for Stochastic Optimization" 中提出的Adam算法。 |
|
实现Adagrad算法。 |
|
实现Adadelta算法。 |
学习率调整¶
所有学习率调度器的基类。 |
|
以gamma为倍率阶梯式衰减各参数组的学习率 |
梯度处理¶
使用norm方式裁剪梯度 |
|
通过给定的上下界裁剪梯度 |