megengine.core.tensor.megbrain_graph.optimize_for_inference¶
- optimize_for_inference(dest_vars, **kwargs)[源代码]¶
Applies optimize_for_inference pass for computing graph.
- 参数
dest_vars – list of output vars in the computing graph
- 关键字参数
-- (* enable_nchw64) – 是否使用float16作为算子间I/O的数据精度，同时float32作为内部计算的数据精度。注意输出变量的类型也随之更改为float16。
-- – 是否使用float16同时作为算子间I/O和内部计算的数据精度。
-- – 是否使用NHWCD4数据格式。在某些OpenCL设备上，会提高计算速度。
-- – 是否使用NCHW88数据格式。当前用于X86 AVX后端。
-- – 是否使用NCHW44数据格式。当前用于arm后端。
-- – 是否使用NCHW4_dot数据格式。当前用于armv8.2+dotprod后端。
-- – 是否使用NCHW4数据格式。当前用于nvidia后端（基于cudnn）。
-- – 是否使用NCHW32数据格式。当前与tensorcore用于nvidia后端（基于cudnn）。
-- – 是否使用CHWN4数据格式。当前与tensorcore用于nvidia后端。
-- – whether to use NCHW64 data layout, used for fast int4 support on Nvidia GPU.
enable_fuse_conv_bias_nonlinearity (*) – whether to fuse conv+bias+nonlinearty into one opr.
enable_fuse_conv_bias_with_z (*) – whether to fuse conv_bias with z input for inference on nvidia backend(this optimization pass will result in mismatch of the precision of output of training and inference)