头像

搞笑优选

帅气的我简直无法用语言描述!

如何在普通显卡上训练一个“万亿大模型”?

1. 背景近几年,随着“大模型”概念的提出,深度学习模型越来越大,如何训练这些大模型成为一个亟待解决的工程问题。最初的视觉模型只有几百兆的参数量,而目前的语言模型中,动则百亿,千亿的参数量,甚至万亿的...
头像1个月前
900