megengine.distributed.launcher

class launcher(*args, **kwargs)[源代码]

在单机多卡环境下启动多个进程进行训练的装饰器。

参数
  • func – 你想要在分布式模式下启动的函数。

  • n_gpus – 每个节点多少个设备。

  • world_size – 总共多少个设备。

  • rank_start – 机器上 rank 开始的数字。

  • master_ip – 主节点的IP地址(即 rank 0 所在的机器)。

  • port – 分布式客户端的端口。

  • backend – set default collective communication backend.

方法