megengine.module.init.calculate_gain¶

calculate_gain(nonlinearity, param=None)[源代码]¶

对于给定的非线性函数返回一个推荐的增益值（见下表）。

非线性	增益
Linear / Identity	\(1\)
Conv{1,2,3}D	\(1\)
Sigmoid	\(1\)
Tanh	\(\frac{5}{3}\)
ReLU	\(\sqrt{2}\)
Leaky Relu	\(\sqrt{\frac{2}{1 + {\text{negative}_\text{slope}}^2}}\)

参数

nonlinearity (str) – 非线性函数名
param (Union[int, float, None]) – leaky_relu 的可选参数，仅当 nonlinearity 为 “leaky_relu” 时生效。

返回类型

float

megengine.module.init.normal_

megengine.module.init.calculate_fan_in_and_fan_out