# 从零开始自己训练一个最小的大模型

**URL:** <http://forum.beginner.center/t/topic/2511>\
**Category:** 🛠工具与编程\
**Created:** [2025 年12 月 17 日 05:50 UTC](http://forum.beginner.center/t/topic/2511 "2025-12-17T05:50:21Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![doggie](http://forum.beginner.center/user_avatar/forum.beginner.center/doggie/32/550_2.png) [@doggie](http://forum.beginner.center/u/doggie)\
**Post date:** [2025 年12 月 17 日 05:50 UTC](http://forum.beginner.center/t/topic/2511/1 "2025-12-17T05:50:21Z")

</div>

- 此开源项目旨在完全从0开始，仅用3块钱成本 + 2小时！即可训练出仅为25.8M的超小语言模型 **MiniMind** 。
- **MiniMind** 系列极其轻量，最小版本体积是 GPT-3 的 1/7000，力求做到最普通的个人GPU也可快速训练。
- 项目同时开源了大模型的极简结构-包含拓展共享混合专家(MoE)、数据集清洗、预训练(Pretrain)、监督微调(SFT)、LoRA微调、直接偏好优化(DPO)、强化学习训练(RLAIF: PPO/GRPO等)、模型蒸馏等全过程代码。
- **MiniMind** 同时拓展了视觉多模态的VLM: [MiniMind-V](https://github.com/jingyaogong/minimind-v)。
- 项目所有核心算法代码均从0使用PyTorch原生重构！不依赖第三方库提供的抽象接口。
- 这不仅是大语言模型的全阶段开源复现，也是一个入门LLM的教程。
- 希望此项目能为所有人提供一个抛砖引玉的示例，一起感受创造的乐趣！推动更广泛AI社区的进步！

> 为防止误解，“2小时” 基于NVIDIA 3090硬件设备（单卡）测试，“3块钱”指GPU服务器租用成本，具体规格详情见下文。

> **[GitHub - jingyaogong/minimind: 🧠「大模型」2小时完全从0训练64M的小参数LLM！Train a 64M-parameter...](https://github.com/jingyaogong/minimind)**
>
> 🧠「大模型」2小时完全从0训练64M的小参数LLM！Train a 64M-parameter LLM from scratch in just 2h!