LLM分布式训练框架python源码

源码资源网

LLM分布式训练框架python源码

MindSpeed-LLM作为昇腾大模型训练框架，旨在为华为 昇腾芯片 提供端到端的大语言模型训练方案, 包含分布式预训练、分布式指令微调、分布式偏好对齐以及对应的开发工具链。

---

MindSpeed-LLM 大模型训练框架功能特性概览训练方案

• 分布式预训练：预训练方案/并行策略/加速算法/融合算子
• 分布式指令微调：指令微调方案/Prompt模板/动态padding/长序列方案
• 分布式偏好对齐：偏好对齐方案/DPO/奖励模型
• 开发工具链：权重转换/数据处理/分布式推理/分布式评估
• 昇腾工具链：Profiling采集/确定性计算/高可用
  

预置模型

• MindSpeed-LLM 100+ 预置大模型及其权重下载地址
• MindSpeed-LLM 使用指南
• 基于 Megatron-LM + MindSpeed-LLM 训练自定义大模型
  

分布式预训练

【预训练实测集群性能与线性度】

[td]

模型系列	实验模型	硬件信息	集群规模	MFU
LLAMA2	LLAMA2-7B	Atlas 900 A2 PODc	1x8	61.7%
	LLAMA2-13B	Atlas 900 A2 PODc	1x8	54.5%
	LLAMA2-70B	Atlas 900 A2 PODc	4x8	53.9%

基于 GPT3-175B 稠密大模型，从128颗 NPU 扩展到 7968颗 NPU 进行 MFU 与线性度实验，

游客，本帖隐藏的内容需要积分高于 2 才可浏览，您当前积分为 0

提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:13 Bytes  售价:39金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员5折；永久VIP免费】

安全检测，请放心下载