请问有朋友实现GPT2-ML预训练模型的吗？

#1

为使您的问题得到快速解决，建议选择对应标签。

想利用DTR实现对GPT2-ML的微调（模型大小为5.3GB），参考MegEngine/Model下nlp分类的Bert，自己无法实现，查阅有关资料发现GPT2、GPT2-ML和Bert结构均不同。

查阅DTR教程，我还以为是只需要安装megengine后将两行代码添上即可，惭愧。

#2

后续跟进在这里 https://github.com/MegEngine/Models/issues/100

#3

这个issue也是我提的，下午一直在看教程，我继续去尝试自己解决，也希望各位大神有好的方法能分享一下。

#4

Hi NLPIG0 你好，我理解开启 dtr 是一个全局的配置，和具体的网络结构无关，所以你可以按文档中所说开启，然后遇到了报错或者显存使用不符合预期，我们再来就具体情况进行分析 :slight_smile: