megenginelite.global_setting

class LiteGlobal[源代码]

Megenginelite 全局配置

static clear_memory_pair(vir_ptr, phy_ptr, device, backend=LiteBackend.LITE_DEFAULT)[源代码]

清理MegEngine中虚拟地址与物理地址映射对

参数
  • vir_ptr – MegEngine需要设置的虚拟地址指针

  • phy_ptr – MegEngine需要设置的虚物理地址指针

  • device – 设置内存映射的设备

  • backend – 设置内存映射的后端

返回

清理操作是否完成

static dump_persistent_cache(path)[源代码]

保存PersistentCache policy cache到指定文件中,模型推理时设置了profile, 算法策略的缓存会被保存到文件中

参数

path – 保存的cache 文件路径

static dump_tensorrt_cache()[源代码]

调用:py:func:~.set_tensorrt_cache 接口保存TensorRT cache到文件中

static get_device_count(device_type)[源代码]

获取当前上下文指定设备类型上的设备数量

参数

device_type – 需要计量的设备类型

返回

设备数量

static lookup_physic_ptr(vir_ptr, device, backend=LiteBackend.LITE_DEFAULT)[源代码]

通过MegEngine 虚拟地址获取物理地址

参数
  • vir_ptr – MegEngine需要设置的虚拟地址指针

  • device – 设置内存映射的设备

  • backend – 设置内存映射的后端

返回

待查询的物理地址

static register_decryption_and_key(decryption_name, decryption_func, key)[源代码]

在Megenginelite中注册解密方案以及解密密钥

参数
  • decryption_name – 解密方案名称,作为查询解密方法的哈希键值

  • decryption_func – 解密方法,用于使用注册密钥对模型进行解密并返回解密后的模型,参考:py:func:~.decryption_func 查看更多细节

  • key – 解密方法的密钥

static register_memory_pair(vir_ptr, phy_ptr, length, device, backend=LiteBackend.LITE_DEFAULT)[源代码]

注册虚拟地址物理地址映射对到MegEngine 中,部分设备需要虚拟地址到物理地址的映射表

参数
  • vir_ptr – MegEngine需要设置的虚拟地址指针

  • phy_ptr – MegEngine需要设置的虚物理地址指针

  • length – 内存地址对设置的字节数

  • device – 设置内存映射的设备

  • backend – 内存地址对设置的后端

返回

注册操作是否成功

static set_loader_lib_path(path)[源代码]

设置lite中用到的loader 路径

参数

path – loader 库所在路径

static set_persistent_cache(path, always_sync=False)[源代码]

设置 CPU/CUDA的算法缓存文件路径,该文件通过MegEngine的fast-run机制生成

参数
  • path – persistent 缓存文件路径

  • always_sync – 是否在模型运行后更新persistent缓存

static set_tensorrt_cache(path)[源代码]

设置用于序列化预构建ICudaEngine的TensorRT 缓存文件路径

参数

path – 待设置的TensorRT 缓存文件路径

static try_coalesce_all_free_memory()[源代码]

收集MegEngine 所有已释放的内存,调用时,MegEnine Lite会尝试释放所有不再使用的内存以降低运行时内存消耗

static update_decryption_key(decryption_name, key)[源代码]

更新当前解密方法的解密密钥

参数
  • decrypt_name – 解密方案名称,作为查询解密方法的哈希键值

  • key – 解密方法的解密密钥,当密钥长度为0时,密钥不会进行更新