7名博士生3个月从零训出7B大模型，代码数据全公开

北京中关村学院7名博士生用一个暑假从零训练出7B大模型ZGCM-1，并开放各阶段训练数据、配方、模型权重、训练代码、中间checkpoint和日志，供研究者追溯复现。在多项通用评测中，ZGCM-1与Qwen3-8B等同规模模型表现相近，部分数学推理和搜索评测中可与Qwen3-235B-A22B、GLM-5.1等更大模型比较。

七人背景分别为人工智能、网络、化学、生物和网安。他们因兴趣凑到一起，平时多在现成模型上微调，但看技术报告仍有诸多困惑：数据怎么选、训练出问题怎么查、报告里的方法经过多少次失败才留下。一顿火锅后，他们决定自己从头训练一次，甚至想用7B模型挑战Sonnet，让模型学会搜索、使用工具。老师半信半疑，先给了一些算力。团队快速复现已有项目、跑通小模型流程，获得更多资源后开始真正训练7B模型，才发现许多概念到改代码、解释实验现象时仍会卡住，于是让Agent从基本原理调研讲解，再回到代码和实验验证。

七人忙不过来，便组建几百个Agent的团队，分出数据、实验、评测等子团队，搭建类似论坛的任务发布与汇报系统。研究者提出目标、设定约束和做关键判断，Agent推进具体工作。数据处理上，Agent能依据质量要求编写清洗脚本、检查分布并自动调整规则阈值；实验环节能提交任务、监控日志、定位故障、调整配置，甚至发现存储与传输瓶颈，优化训练框架I/O。团队还通过自研ZGent平台，把会议讨论、研发决策和计划积累成共享上下文，将验证过的脚本、工作流和debug经验沉淀为可复用Skill。

团队将研发过程拆成11类任务，按L1到L5自主性框架评级：实验监控和部署到L4，人给定目标与约束后Agent可独立规划、执行并调整；模型架构和学习算法设计仍在L2，更多是帮助实现已有方案、运行预设实验；研究什么、关键设计怎么选仍需人主导。

训练中曾出现loss下降但模型能力明显退步的情况，最终追到数据分片和shuffle环节，实际送进训练的数据比例发生波动。此后团队更密集保存中间checkpoint，追踪知识、数学、代码和推理等能力变化，建立ACE原子能力评测体系，把能力拆成18类、183项，用2503个探针检查，内部分布式评测系统一轮诊断约两三分钟。

效率方面，团队采用局部注意力与全局注意力结合架构，训练中把上下文从16K逐步扩展到64K、256K。256K上下文下，相较全注意力方案带来约3.94倍吞吐提升，KV Cache占用降至约六分之一。结合Muon和FP8改善训练效率，用延迟缩放与TWEO抑制极端激活值，改善低精度训练稳定性。整套方案在16K预训练中达到相同loss的效率，相比标准BF16/AdamW基线提高约4.2倍。

SFT阶段，更严格质量筛选让样本减少约44.9%，整体评测表现反而提升，但并非每项能力都同步受益；长思维链数据比例过高会损害指令遵循；Agent数据不能脱离通用能力单独训练。

ZGCM-1在14项推理评测的同规模模型比较中处于领先地位，部分搜索和工具调用任务展现较小模型潜力。团队已开始尝试400B、500B规模模型，准备继续在实验中找答案并记录分享。