大模型分布式训练框架Microsoft DeepSpeed,调整ZeRO-3 配置文件,使其支持 T5-3B 甚至 T5-11B 模型训练

任务介绍 调整 ZeRO-3 配置文件,使其支持 T5-3B 甚至 T5-11B 模型训练。 作业提交方式: 提交运行起来后 NVIDIA-smi 和 htop 的输出截图即可,跟视频里给老师大家展示…

close
arrow_upward