本课程全面介绍了大语言模型中Scaling Law相关的研究,包括预训练和继续预训练阶段中的大模型学习动态。通过Scaling Law的发展脉络,让大家可以快速了解大模型训练的规律以及目前的发展趋势。
课程目录:
1. 预训练Sclaing Law;
2. 继续预训练Scaling Law。
附件下载:
本课程全面介绍了大语言模型中Scaling Law相关的研究,包括预训练和继续预训练阶段中的大模型学习动态。通过Scaling Law的发展脉络,让大家可以快速了解大模型训练的规律以及目前的发展趋势。
课程目录:
1. 预训练Sclaing Law;
2. 继续预训练Scaling Law。
附件下载: