MegEngine for PyTorch users¶
Note
在这个页面，会给出 MegEngine 与 PyTorch 设计和实现上的一些区别。 如果你在使用过程中发现有其它需要关注的差异点，欢迎在这里补充。
Tensor 数据结构相关¶
关于 Inplace 修改的做法
MegEngine 中没有 Tensor.data = new_data 这样的操作，请使用 Tensor[...] = new_data 代替。
MegEngine Tensor 默认不需要 .to(device) 操作
MegEngine 在设备处理上兼容性良好，默认会将 Tensor 放在算力最高的 设备 上。
MegEngine Tensor 类中没有实现所有操作方法
Pytorch 的 Tensor 类中提供了许多操作/计算方法，而在 MegEngine 中这些方法被统一实现在 functional 模块中，
意味着类似 functional.add() 等操作并不一定存在着对应的 Tensor.add() 实现，这是设计上的历史决定。
当你要对一个 Tensor 进行各种操作时，应当想到使用 functional 模块中的接口。
MegEngine Tensor 默认不计算梯度
Pytorch 中默认所有 Tensor 都需要被求导，因此提供了 torch.no_grad 来禁用梯度计算。
而在 MegEngine 中 Tensor 默认不需要被求导，需要通过 megengine.autodiff.GradManager.attach 来进行绑定，
被绑定后的 Tensor 可以通过 megengine.Tensor.detach 来解除绑定。
Data & DataLoader 相关¶
DataLoader 中的数据在供给之前，通常不用转 Tensor
MegEngine 中的
data模块默认对 NumPy ndarray 格式的数据进行处理，可视作是独立的模块；推荐的数据处理流程是：原始数据格式 -> ndarray （ DataLoader ） -> 在每个 Batch 数据中将 DataLoader 供给的 ndarray 数据转 Tensor 格式 -> 后续 Tensor 计算；
如果你选择在 DataLoader 中就将数据处理成 Tensor 格式，在多 GPU + 多
worker进程读取的情况下可能会导致 CUDA fork 的初始化错误，更详细的解释请参考 Use Data to build the input pipeline 。
Sampler 默认支持分布式情景，不需要像 Torch 一样使用 DDP
更多说明，请参考 Distributed Training 中的相关介绍。