DeepSpeed实践笔记

简介

• DeepSpeed是微软开源的深度学习训练库，用于提高大规模模型训练的效率和速度。
• DeepSpeedExamples提供了DeepSpeed的各种代码示例，包括训练、推理、压缩、基准测试和应用程序等。

本次使用的是DeepSpeed-Chat，可以帮助我们在预训练模型基础上快速训练一个高质量的聊天模型。

TODO...

• Deepspeed
• WeClone