「大模型」2小时完全从0训练26M的小参数GPT的python源码

源码资源网

「大模型」2小时完全从0训练26M的小参数GPT的python源码

• 此项目旨在完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型。
• 极其轻量，最小版本体积是 GPT-3 的 17000，力求做到最普通的个人GPU也可快速训练。
• 项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调， 直接偏好强化学习(DPO)算法、模型蒸馏算法等全过程代码。
• 同时拓展了视觉多模态的VLM: MiniMind-V。
• 项目所有核心算法代码均从0使用PyTorch原生重构！不依赖第三方库提供的抽象接口。
• 这不仅是大语言模型的全阶段开源复现，也是一个入门LLM的教程。
  

大语言模型（Large Language Model, LLM）的出现引发了全世界对AI的空前关注。 无论是ChatGPT、DeepSeek还是Qwen，都以其惊艳的效果令人叹为观止。 然而，动辄数百亿参数的庞大规模，使得它们对个人设备而言不仅难以训练，甚至连部署都显得遥不可及。 打开大模型的“黑盒子”，探索其内部运作机制，多么令人心潮澎湃！ 遗憾的是，99%的探索只能止步于使用LoRA等技术对现有大模型进行少量微调，学习一些新指令或任务。 这就好比教牛顿如何使用21世纪的智能手机——虽然有趣，却完全偏离了理解物理本质的初衷。 与此同时，第三方的大模型框架和工具库，如transformers+trl，几乎只暴露了高度抽象的接口。 通过短短10行代码，就能完成“加载模型+加载数据集+推理+强化学习”的全流程训练。 这种高效的封装固然便利，但也像一架高速飞船，将我们与底层实现隔离开来，阻碍了深入探究LLM核心代码的机会。 然而，“用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！”。 更糟糕的是，互联网上充斥着大量付费课程和营销号，以漏洞百出、一知半解的内容推销AI教程。 正因如此，本项目初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始， 从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！ 最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。 一起感受创造的乐趣吧！

项目包含

• MiniMind-LLM结构的全部代码（Dense+MoE模型）。
• 包含Tokenizer分词器详细训练代码。
• 包含Pretrain、SFT、LoRA、RLHF-DPO、模型蒸馏的全过程训练代码。
• 收集、蒸馏、整理并清洗去重所有阶段的高质量数据集，且全部开源。
• 从0实现预训练、指令微调、LoRA、DPO强化学习，白盒模型蒸馏。关键算法几乎不依赖第三方封装的框架，且全部开源。
• 同时兼容transformers、trl、peft等第三方主流框架。
• 训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练，支持wandb可视化训练流程。支持动态启停训练。
• 在第三方测评榜（C-Eval、C-MMLU、OpenBookQA等）进行模型测试。
• 实现Openai-Api协议的极简服务端，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。
• 基于streamlit实现最简聊天WebUI前端。
• 复现(蒸馏/RL)大型推理模型DeepSeek-R1的MiniMind-Reason模型，数据+模型全部开源！
  

「大模型」2小时完全从0训练26M的小参数GPT的python源码

「大模型」2小时完全从0训练26M的小参数GPT的python源码

「大模型」2小时完全从0训练26M的小参数GPT的python源码

链接：https://pan.quark.cn/s/eee525eb50f3
提取码下载：

文件名称:提取码下载.txt 
下载次数:0  文件大小:16 Bytes  售价:29金钱 [记录]
下载权限: 不限 [购买VIP]   [充值]   [在线充值]   【VIP会员6折；永久VIP4折】

安全检测，请放心下载