DTRConfig

class DTRConfig(eviction_threshold=0, evictee_minimum_size=1 << 20, recomp_memory_factor=1, recomp_time_factor=1)[源代码]

DTR 内存优化的配置。

参数

  • eviction_threshold (int) – 驱逐阈值（以字节为单位）。 当 GPU 显存使用量超过此值时，DTR 将启发式地选择并驱逐常驻Tensor，直到使用的显存量低于此阈值。

  • evictee_minimum_size (int) – tensor 的内存阈值（以字节为单位）。 只有大小超过此阈值的 tensor 才会被添加到候选集中。 未添加到候选集中的 tensor 在其生命周期内永远不会被驱逐。 默认：1048576

  • recomp_memory_factor (float) – 重新计算 Tensor 估计内存的超参数。该值越大，在启发式策略中被驱逐的 Tensor 内存消耗量就越少。此值大于或等于 0。默认：1

  • recomp_time_factor (float) – 重新计算 Tensor 的估计时间的超参数。 该值越大，启发式策略中驱逐的 Tensor 耗时越少。 此值大于或等于 0。默认：1

上一页

SublinearMemoryConfig

下一页

GraphOptimizationConfig