palm|前沿科技-GoogleAI发布超级语言模型(PaLM)扩展到5400亿参数!( 三 )


结论和未来工作PaLM通过使用Transformer模型有效地训练了5400亿参数模型 , 展示了Pathways系统的扩展能力 。 PaLM进一步突破了模型规模的极限 , 可以在各种自然语言处理、推理和代码任务中实现突破性性能 。

PaLM通过将扩展能力与新颖的架构选择和训练方案相结合的方式 , 为更强大的模型铺平了道路 , 并且更加接近Pathways的愿景:



相关经验推荐