Load and run Python 接口¶
Python 版 Load and Run 的主要功能和用法与 C++ 版本 基本一致。
命令行中输入以下命令可以看到全部参数的列表与介绍:
python -m megengine.tools.load_network_and_run --help
参数列表及简介如下:
net
必需参数 ,指定 mge graph 文件路径
--output-name [OUTPUT_NAME [OUTPUT_NAME ...]]
指定用于测速的网络输出数据节点的名字,可用空格分隔指定多个,不指定则为网络编译 dump 时的输出
--load-input-data LOAD_INPUT_DATA
指定用作输入的 inputs data 文件路径,内容应该为 pickle 化的 numpy array 或者含 np array 的 dict,key 为 inputs 节点名
--input-desc INPUT_DESC
对于未指定 –load-input-data 的情况,会根据的 INPUT_DESC 指定的 shape 来随机生成数据,如果不指定,则会根据图中节点的 shape 来生成
--batchsize BATCHSIZE
类似 –input-desc,但是只指定 batchsize
--seed SEED
指定生成随机 inputs 数据的随机数种子
--rng RNG
指定生成随机数的配置,包括范围、大小等,也可用 python function 指定,指定大小时应确保与 inputs shape 一致
--profile PROFILE
开启后使用 GraphProfiler 记录 profile 信息,并将结果的 json 内容写到 PROFILE 文件路径中,可后续用于 profile_analyze.py 分析
--focused-nvprof
会在最后额外跑一个用 pycuda.driver profiler 包起来的 iter,用于外部 nvprof 进行测速
--warm-up
在开始测速前,先跑一个迭代,减少设备缓存等因素带来的性能影响
--iter ITER
正式运行测速的迭代数
--calc-output-rms
在运行日志中附带 outputs RMS(root meam square) 值的结果,用于快速比较两次输出结果是否一致
--device
(目前无效)指定 mge graph 加载时使用的 device,等同于 MGE_DEFAULT_DEVICE 环境变量
--fast-run
设置网络中 conv、matmul 等支持修改 execution strategy 选项的算子的执行算法,开启后会对当前平台的多个算法进行运行测速,选出最快的算法
--reproducible
影响 –fast-run 选项中的算法选择,开启后只选择带”reproducible”标签的算法进行比较
--optimize-for-inference 以及配套的 --enable-xxx 参数
对 mge graph 进行优化,会导致图节点被替换、修改,可参考 推理优化选项表 。
--embed-input
是否将 inputs data 作为 SharedDeviceTensor 嵌入网络中替换 Host2Device 节点,以兼容 C++ 版 load-and-run, 不开启时 h2d 会被替换为 InputCallback 节点以支持 set_value
--dump-cpp-model DUMP_CPP_MODEL
在依次做完fast-run修改、optimize、embed-inputs等操作后,添加output callback前,将网络进行 dump
--verbose, -v
设置 log level 为 DEBUG,输出更多信息(包括 fast-run 测速过程等)
--log LOG
指定 log 输出的保存路径,不指定则不保存