megengine.optimizer.clip_grad_norm

clip_grad_norm(tensors, max_norm, ord=2.0)

通过限制范数最大值裁剪梯度。该范数将在所有梯度上一起计算，就好像梯度被拼接成一个向量。梯度修改将原地进行。

参数

• tensors (Union[Tensor, Iterable[Tensor]]) – 可迭代的 Tensor 对象或一个 Tensor

• max_norm (float) – 梯度的最大范数。

• ord (float) – 范数值， 可以用 'inf' 表示无穷范数。

返回

所有梯度范数（使用单向量形式）。

上一页

MultiStepLR

下一页

megengine.optimizer.clip_grad_value