megengine.functional.nn.sync_batch_norm

sync_batch_norm(inp, running_mean, running_var, weight=None, bias=None, training=False, momentum=0.9, eps=1e-05, eps_mode='additive', group=WORLD)[源代码]

对输入进同步批标准化。

更多信息参见 BatchNorm2d 和 BatchNorm1d 。

参数

  • inp (Tensor) – 输入张量。

  • running_mean (Tensor) – 存储运行中的均值的张量。

  • running_var (Tensor) – 存储运行中的方差的张量。

  • weight (Optional[Tensor]) – 可学习仿射参数中的放缩张量。可参阅 BatchNorm2d 中的 \(\gamma\)

  • bias (Optional[Tensor]) – 可学习仿射参数中的偏置张量。可参阅 BatchNorm2d 中的 \(eta\)

  • training (bool) – 一个布尔值，它表示是否执行训练模式下的批归一化，即对当前批数据进行统计并更新统计量。 默认： False

  • momentum (Union[float, Tensor]) – 用于计算 running_mean 和 running_var 的值。 默认： 0.9

  • eps (float) – 添加到分母的单个值，增加数值稳定性。默认：1e-5

  • eps_mode – eps 计算模式，目前支持 max 或者 additive。默认值: “additive”

  • group – 用于配置均值和方差的计算方式， 默认配置: WORLD

返回类型

Tensor

上一页

megengine.functional.nn.batch_norm

下一页

megengine.functional.nn.layer_norm