Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]

sanyue科研 lv.1

发布时间：2023-08-21 00:06:14 262

报错截图

Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]_人工智能

其实并没有解决，不过我的错误出现在Transformer模块的Decoder中，原本的query 为256喂，而我修改为512维后一直报这个错无法解决，因此我决定不解决该错误，还原回256即可。

没想到啊没想到，它又来了，再我修改了一些代码后，又出现了这个问题：

Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]_解决方法_02

给transformer的输出加了个detach()就行了。

Pytorch——报错解决：Function MmBackward returned an invalid gradient at index 0 - got [50, 256]_报错解决_03

参考文章：
感觉应该是我的问题所在，但是我没找出具体的错误位置：报错解决：RuntimeError: Function AddmmBackward returned an invalid gradient at index 1 - got [20, 512] but exp
Function AddmmBackward returned an invalid gradient at index 1报错解决

文章来源： https://blog.51cto.com/u_15906550/5921315

特别声明：以上内容（图片及文字）均为互联网收集或者用户上传发布，本站仅提供信息存储服务！如有侵权或有涉及法律问题请联系我们。