launcher

class launcher(*args, **kwargs)

在单机多卡环境下启动多个进程进行训练的装饰器。

参数

• func – 你想要在分布式模式下启动的函数。

• n_gpus – 每个节点多少个设备。

• world_size – 总共多少个设备。

• rank_start – 机器上 rank 开始的数字。

• master_ip – 主节点的IP地址（即 rank 0 所在的机器）。

• port – 分布式客户端的端口。

• backend – set default collective communication backend.

上一页

megengine.distributed.group_barrier

下一页

Client