megengine.distributed.init_process_group

init_process_group(master_ip, port, world_size, rank, device, backend='auto', device_type='xpu')[源代码]

初始化分布式进程组，并且指定在当前进程中使用的设备。

参数

  • master_ip (str) – 主节点的IP地址。

  • port (int) – 所有进程之间进行通信的可用端口。

  • world_size (int) – 参与任务的进程总数。

  • rank (int) – 当前进程的进程号。

  • device (int) – 待与该进程绑定的GPU设备号。

  • backend (Optional[str]) – communicator backend, currently support ‘nccl’ and ‘shm’.

返回类型

None

上一页

megengine.distributed.Group.reset

下一页

megengine.distributed.new_group