|
|
@@ -1,22 +1,8 @@
|
|
|
-<div align="center">
|
|
|
-
|
|
|
-
|
|
|
-
|
|
|
-</div>
|
|
|
-
|
|
|
-<div align="center">
|
|
|
-
|
|
|
-
|
|
|
-[](https://github.com/wingAGI/clean-llm/stargazers)
|
|
|
-[](LICENSE)
|
|
|
-
|
|
|
-</div>
|
|
|
+# 从零实现整个大模型训练流程
|
|
|
|
|
|
<div align="center">
|
|
|
|
|
|
-中文 | [English](./README_en.md)
|
|
|
|
|
|
-</div>
|
|
|
|
|
|
这是一个受 [nanoGPT](https://github.com/karpathy/nanoGPT) 和 [Stanford CS336](https://github.com/stanford-cs336) 启发的 LLM 学习项目。致力于从零实现整个大模型训练流程,包括Tokenizer的训练、数据清洗、模型预训练、SFT、GRPO 等。
|
|
|
|
|
|
@@ -76,4 +62,4 @@
|
|
|
|
|
|
# 许可证
|
|
|
|
|
|
-本仓库采用 [Apache-2.0 License](LICENSE) 许可证.
|
|
|
+本仓库采用 [Apache-2.0 License](LICENSE) 许可证.
|