megengine.functional.nn.sync_batch_norm

sync_batch_norm(inp, running_mean, running_var, weight=None, bias=None, training=False, momentum=0.9, eps=1e-05, eps_mode='additive', group=WORLD)[源代码]

对输入进同步批标准化。

更多信息参见 BatchNorm2dBatchNorm1d

参数
  • inp (Tensor) – 输入张量。

  • running_mean (Tensor) – 存储运行中的均值的张量。

  • running_var (Tensor) – 存储运行中的方差的张量。

  • weight (Optional[Tensor]) – 可学习仿射参数中的放缩张量。可参阅 BatchNorm2d 中的 \(\gamma\)

  • bias (Optional[Tensor]) – 可学习仿射参数中的偏置张量。可参阅 BatchNorm2d 中的 \(eta\)

  • training (bool) – 一个布尔值,它表示是否执行训练模式下的批归一化,即对当前批数据进行统计并更新统计量。 默认: False

  • momentum (Union[float, Tensor]) – 用于计算 running_meanrunning_var 的值。 默认: 0.9

  • eps (float) – 添加到分母的单个值,增加数值稳定性。默认:1e-5

  • eps_mode – mode of calculation for eps, “max” or “additive”. Default: “additive”

  • group – communication group, caculate mean and variance between this group. Default: WORLD

返回类型

Tensor