[Question]: S1训练的问题

[Disembark1]

Question

你好，我现在在训练S1,也就是从头训练的，为啥训练的时候loss基本不下降呢，是我的训练时间不够吗？下面是我训练使用的参数和使用的数据：

-------------------------------------------------------------------参数--------------------------------------------------------------------------------------

但是这个loss就是降不下去。

[wzcai99]

你好，请问你是8卡训练然后batchsize=16吗

[Disembark1]

我就是一张卡练的，是因为的训练量不够吗？但是我这边使用5090，训练了两天，但是loss还是降不下来：

[wzcai99]

一张卡确实会有点少，我们训练模型batchsize基本维持在2048。48G的卡差不多可以设置成单张batchsize=32然后进行尝试。

[Disembark1]

你好，我这边，重新使用了3张5090训练的，训练了1000个epochs, batch_size给了48，还是用v0.1-mini数据集训练的，训练结束了，它的loss还是这样，我想知道，使我们训练的epochs不够，还是样本不够？

[wzcai99]

看起来没有太大的问题，我们这边收敛到最后critic loss也是1.0左右，你可以测试下这个checkpoint看下性能

[Gxt2002]

一张卡确实会有点少，我们训练模型batchsize基本维持在2048。48G的卡差不多可以设置成单张batchsize=32然后进行尝试。

你好，这
真的是很好的一篇工作。我最近也想尝试一下这个复现，我想请问大概你们是用了多少张卡还有训练时间吗，特别是快系统的训练！

[kew6688]

一张卡确实会有点少，我们训练模型batchsize基本维持在2048。48G的卡差不多可以设置成单张batchsize=32然后进行尝试。

你好，这 真的是很好的一篇工作。我最近也想尝试一下这个复现，我想请问大概你们是用了多少张卡还有训练时间吗，特别是快系统的训练！

#153 和这个问题比较类似，可能会有帮助~

[Gxt2002]

一张卡确实会有点少，我们训练模型batchsize基本维持在2048。48G的卡差不多可以设置成单张batchsize=32然后进行尝试。

你好，这 真的是很好的一篇工作。我最近也想尝试一下这个复现，我想请问大概你们是用了多少张卡还有训练时间吗，特别是快系统的训练！

#153

感谢！我注意到这个是针对慢系统以及联合微调的实验设置，我想我应该没有条件进行这件事情，如果我只针对system1进行训练需要什么设置呢？