Qwen2.5-7B-Instruct 微调 loss 和 梯度问题

[ZY-LUCK]

训练过程中，loss 为 0，梯度为 nan

{'loss': 418.7236, 'grad_norm': nan, 'learning_rate': 9.856938483547926e-05, 'epoch': 0.04}
{'loss': 0.0, 'grad_norm': nan, 'learning_rate': 9.713876967095852e-05, 'epoch': 0.09}
...

[KMnO4-zx]

可能是peft或transformers包版本的问题，可以尝试使用教程中提供的镜像再次进行训练~

[ZY-LUCK]

可能是peft或transformers包版本的问题，可以尝试使用教程中提供的镜像再次进行训练~

使用镜像估计没问题, 我自己搭建的环境, 也是用的教程中提供的版本