模型开发接口
推理部署接口
API 相关说明
获取或设置驱逐阈值(以字节为单位)。 也可以设置为字符串,其格式支持以字节(B)、千字节(KB)、兆字节(MB)和千兆字节(GB)为单位。
注解
当 GPU 显存使用量超过此值时,DTR 将启发式地选择并驱逐常驻 Tensor,直到使用的显存量低于此阈值。
实际案例
import megengine as mge mge.dtr.eviction_threshold = "2GB"
上一页
megengine.dtr
下一页
megengine.dtr.evictee_minimum_size