megengine是否能使用multihead算子

#1

在源代码里有发现实现了MultiheadAttention算子，似乎在~.module.MultiHeadAttn，但在实际使用过程中并没有这个算子，想问一下具体的情况

#2

MultiheadAttention算子是有的，请问您用的是哪个版本的megengine，以及是在哪个平台上使用的呢

#3

multi head attention 算子是有的：https://git-core.megvii-inc.com/brain-sdk/MegBrain/-/blob/dev/imperative/python/megengine/functional/nn.py#L2329

#4

是在MegStudio里，版本是MegEngine 1.12、Python 3.7

#5

看了下MultiheadAttention算子是从 v1.12.3 版本开始有的，请升级megengine版本再试试

#6

请问具体的API接口是什么呢？我没在用户文档里看见

#7

抱歉用户文档还没更新，api示例可以参考这里 https://github.com/MegEngine/MegEngine/blob/master/imperative/python/megengine/module/multiheadattn.py#L62