关于输入

[YanZiBuGuiCHunShiWan]

我有一点疑惑，请问为什么没有mask将instruction+input 的损失mask掉。看代码的意思是输入为instruction+input+output,然后预测目标也是instruction+input+output。

[YanZiBuGuiCHunShiWan]

不过训练出来效果也挺好的，好像没啥影响

[shell-nlp]

我也才意识到没有做这一步，但是效果真的好吗？

[YanZiBuGuiCHunShiWan]

感谢你的回复。我在 baichuan 基座模型上训练了 Safety prompts 的三万条数据后效果还可以，但是很难量化什么是“还可以”。另外我注意到 Moss 官方的微调脚本里，其实也没有 mask 掉 input 的那一部分，可能也没啥关系，或许得做实验比较一下吧。

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2023年7月30日(周日) 中午12:12 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [EvilPsyCHo/train_custom_LLM] 关于输入 (Issue #13) 我也才意识到没有做这一步，但是效果真的好吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>