使用 Load and run debug 模型推理¶
使用 MegEnigne 进行模型推理时，可能会因为各种原因导致推理时出现 bug。 Load and run 提供了一些选项用于推理时的 bug 排查。
获取模型输入输出 tensor 的简要信息¶
有些情况下，不正确的模型输入会导致推理出现问题。
另外，还有可能出现部分模型的输入输出信息暂时未知。
这些情况下，可以使用 Load and run 提供的 --model-info 来查看模型输入输出信息。
具体使用方法如下：
load_and_run <model_path> --model-info
模型的输入输出信息会以表格的形式输出到终端：
+Runtime Model Info---------------+---------+
| type | name | shape | dtype |
+--------+--------+---------------+---------+
| INPUT | data | {1,3,224,224} | float32 |
+--------+--------+---------------+---------+
| OUTPUT | fc.ADD | {1,1000} | float32 |
+--------+--------+---------------+---------+
主要包括输入输出的名称，shape 以及数据类型。
获取模型运行时 debug 信息¶
部分模型在推理运行过程中会出现中断，报错等问题，为了更加方便的定位问题所在，
Load and run 提供了设置 Megengine 内部 log 等级的选项 --verbose ,这一选项可以展示更多的运行时信息，辅助用户 debug。
load_and_run <model_path> --verbose
相关信息会输出到对应终端。大概信息如下：
[14 11:23:44 @:718][DEBUG] model feature: aligned=0 has_dtype_map=1 has_opr_priority=0 has_output_dtype=0
[14 11:23:44 @:159][DEBUG] create CompNode cpu0:0 from logical xpux:0
load model: 5.730ms
[14 11:23:44 @:816][DEBUG] opr seq of length 4: var_static=4 var_dynamic_shape=0 var_dynamic_storage=0 no_sys_alloc=0
[14 11:23:44 @:121][WARN] run testcase: 0
=== prepare: 0.109ms; going to warmup
[14 11:23:44 @:60][DEBUG] static memory allocation:
comp_node alloc lower_bound upper_bound
CompNode("cpu0:0" from "xpux:0") 0.00MiB( 64bytes) 0.00MiB(100.00%) 0.00MiB( 37.50%)
[14 11:23:44 @:73][DEBUG] static storage on CompNode("cpu0:0" from "xpux:0"): size=0.00MiB addr_range=[0x56088d820e00, 0x56088d820e40).
[14 11:23:44 @:385][DEBUG] static memory allocation: nr_opr=4 nr_var=4 realtime=0.10msec (plan0.08 alloc0.02)
使用时会输出存储分配，算法选择，推理优化等一些推理时的重要信息。
获取模型结构以及运行时显存相关信息¶
直观的查看模型结构以及模型中各个算子运行时占用显存的大小，对于模型优化参考价值很大。Megengine 提供了模型以及静态显存可视化的工具，用于前述操作。
使用方法：
load_and_run <model_path> --get-static-mem-info <staticMemInfoDir>
# view the graph with given url (usally: http://localhost:6006/)
mkdir <staticMemInfoDirLogs> && python3 imperative/python/megengine/tools/graph_info_analyze.py -i <staticMemInfoDir> -o <staticMemInfoDirLogs>
# pip3 install tensorboard
tensorboard --logdir <staticMemInfoDirLogs>