attention_attr.py在自己的数据集上循环到第二条数据爆显存，请问有什么方法能在循环中计算完每条数据的显著性得分后释放一下缓存呀

[zhiyunjiang]

如题，谢谢

[leanwang326]

哎请问你的数据多长啊？我在加了
for p in model.parameters():
p.requires_grad = False
以后在1024长度上中间结果显存占用相比模型自己的参数占的不多？
计算完每条数据确实释放了啊

[zhiyunjiang]

我的数据集中最长的数据只有700多，不知道为什么显存占用涨的厉害。我没有用您加载数据的方法而是我自定义的方法。

[leanwang326]

呃batch_size是多少？我是按1跑的，多了可能确实会有问题？

[leanwang326]

以及显存占了多少？哪个模型

[zhiyunjiang]

batch_size是1，llama-2-7b-chat，第一条数据显存直接涨到24、25左右了，循环到第二条的时候显存还在涨，然后就直接挂掉了。

[leanwang326]

llama 设置model.half()了吗

[leanwang326]

我代码里没写这个，可能得你手动加一下

[zhiyunjiang]

我用的LoadClass.from_pretrained(folder_path,torch_dtype=torch.bfloat16,low_cpu_mem_usage=True)，应该和model.half()应该是一样的效果吧

[leanwang326]

我自己试试看，稍等一下下

[leanwang326]

好像是有点多，之前我拿gpt-j测倒没这么多，我想想

[leanwang326]

我这边看的话要27GB

[zhiyunjiang]

看来暂时只能把数据缩短了

[leanwang326]

嗯我有空了再想想，这边按理说也可以用重计算什么的省内存，不过我现在不大会实现，过阵子要是我会了我写一下，不好意思了

[zhiyunjiang]

没事没事，感谢