megengine.module.init.msra_normal_#

msra_normal_(tensor, a=0, mode='fan_in', nonlinearity='leaky_relu')[源代码]#

从正态分布 \(\mathcal{N}(0, \text{std}^2)\) 中采样随机值填充给指定张量,其中:

\[\text{std} = \sqrt{\frac{2}{(1 + a^2) \times \text{fan_in}}}\]

参考 “Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification” 获取详细说明

参数:
  • tensor (Tensor) – 待初始化的张量

  • a (float) – 用于计算 leaky_relu 增益的可选参数。请参阅: calculate_gain 了解详情。

  • mode (str) – “fan_in” 或 “fan_out” 用于计算 \(gain\), \(gain\) 的缩放系数。详情参考 calculate_fan_in_and_fan_out.

  • nonlinearity (str) – 用于计算 \(gain\) 的非线性函数的名称。请参阅 calculate_gain 了解详情。

返回类型:

None