如何在 Imperative Runtime 中添加算子¶

我们以添加 add 算子为例进行说明。

注册 Op Trait¶

在 imperative/src/impl/ops/ 目录下对应的文件中（例如 misc.cpp ）：

定义好 apply_on_var_node 方法；
调用宏 OP_TRAIT_REG.

namespace { namespace add {
auto apply_on_var_node(const OpDef& def, const VarNodeArray& inputs) {
  auto&& op = static_cast<const Add&>(def);
  mgb_assert(inputs.size() == 2);
  return opr::Add::make(inputs[0], inputs[1], op.param());
}

OP_TRAIT_REG(Add, Add)
          .apply_on_var_node(apply_on_var_node)
          .fallback();
}}  // add

Note

可以参考 dnn/src/common 中的文件组织，确定对应的文件。

在 src/core/include/megbrain/ir/ops.td 中添加你新写的算子。
```
def Add: MgbHashableOp<"Add", [AddParam]>;
```

添加算子¶

Warning

下面的流程中使用 add_example.py 文件作为举例，然而在实际开发时，新增算子（以及测试）最好按照对应的分类放在指定文件（如 elemwise.py ）中。可以参考已有的分类逻辑进行判断，如果依旧不清楚如何分类，可以向核心开发人员进行询问。

Note

文档字符串写法请参考 Python 文档字符串风格指南。

Functional 实现¶

向 imperative/python/megengine/functional 目录添加文件 add_example.py:

from typing import Sequence

from ..core._imperative_rt.core2 import apply
from ..core.ops import builtin
from ..tensor import Tensor


def add_example(a: Tensor, b: Tensor, m: int=0) -> Tensor:
    """
    add example
    """
    op = builtin.Add(m)
    return apply(op, a, b)

在 imperative/python/megengine/functional/__init__.py 文件中进行导入：
```
from .add_example import add_example
```

在 imperative/python/test/unit/functional/ 对应文件中添加测试：

def test_add_example():
   a = np.random.randn(2, 2, 2).astype(np.float32)
   b = np.random.randn(2, 2, 2).astype(np.float32)
   res = a + b + 3
   c = F.add_example(tensor(a), tensor(b), m=3)[0]
   np.testing.assert_allclose(c.numpy(), res, atol=1e-5)

Note

如果有需要，还应该提供对应的 Module 实现。

Module 实现¶

向 imperative/python/megengine/module 目录添加文件 add_example.py:

from abc import abstractmethod
from typing import Tuple, Union

from ..functional import (
    add_example,
)
from .module import Module

class AddExample(Module):
    def __init__(
        self, m: int,
    ):
        super().__init__()
        self.m = m

    def forward(self, a, b):
        return add_example(a, b, self.m)

在 imperative/python/megengine/module/__init__.py 文件中进行导入：
```
from .add_example import AddExample
```
在 imperative/python/test/unit/module/ 对应文件中添加测试。

编译和测试¶

假设我们需要对 imperative/python/test/unit/functional/test_functional.py 中的 test_add_example 进行测试。

确保执行了 make develop 命令：

mkdir -p build
cd build
cmake .. -DMGE_WITH_CUDA=OFF -DMGE_WITH_TEST=ON -DMGE_BUILD_IMPERATIVE_RT=ON
make -j$(nproc)
make develop

Note

设置 DMGE_WITH_CUDA=ON 将开启 CUDA 来进行测试。

设置 PYTHONPATH:

export PYTHONPATH="$(git rev-parse --show-toplevel)/imperative/python"

使用 pytest 进行测试：

pytest unit/functional/test_functional.py -k "test_add_example"

Note

需要按照 imperative/python 下的各个 requires 文件中的要求安装所需要的对应版本软件；
编辑完 .py 文件之后请使用 imperative/python/scripts/format.sh 进行格式化;
想要执行 CUDA 测试，请确保你已经配置好了 CUDA 环境。

如何在 Graph Runtime 中添加算子

调试工具