资讯动态

  1. 首页
  2. Our Projects
  3. 七位博士生用三个夏季月完成7B大模型训练,数据全公开

七位博士生用三个夏季月完成7B大模型训练,数据全公开

在北京中关村学院,七名博士生利用一个暑假,成功从零开始训练出了一款名为ZGCM-1的7B参数的大型模型。随后,他们将各个阶段的训练数据、方法、模型权重、训练代码以及日志全部公开,方便有兴趣的研究者进行认证和重现过程。ZGCM-1在多项通用评测中与同规模的Qwen3-8B表现相近,在部分数学推理和搜索测试中,甚至与更大规模的Qwen3-235B-A22B及GLM-5.1模型可比较。

值得关注的不仅是最终结果,更在于这套数据、训练、集群和评测的完整工程。通常这种规模的项目需要几百人的团队协作,而七人是如何做到的呢?他们通过构建一支几百个Agent的团队,分工明确地处理数据、实验、日志和评测,实践了“AI4AI”的研发模式。模型训练完成后,他们还对Agent在模型研发过程中的表现进行了评估,旨在为现有的研究提供真实的工程结论。

这一切的开始,源于一次火锅聚餐。七位成员在技术报告中发现了诸多困惑,从数据选择到训练问题都难以理解,决定自己动手尝试。他们希望通过自己的实践,为那些同样好奇的研究者提供参考。初期,他们的老师给予了一些算力支持,随后,团队逐步复现已有项目,并在过程中获得更多资源,正式启动7B模型的训练。 球友会

在真正的训练阶段,他们意识到对许多概念的理解仍然不够深入。面对复杂的编程和实验现象,团队决定从基本原理入手,借助Agent进行研究与讲解,以便将理论与实际实现结合起来。

七名成员面临的工作量远超过他们的承载能力。于是,他们组建了一个Agent团队,以提升各项工作的效率,团队设立了专门负责数据处理、实验和评测的子团队,同时创建了任务发布与跟踪系统。这使得研究者可以专注于目标设定与决策,而Agent团队则持续推进具体工作。

在数据处理上,Agent可以根据设定的质量标准编写清理脚本,自动检查并调整规则,形成闭环。在实验阶段,Agent具备完整的能力从实验提交到监控日志,甚至能主动发现并优化训练效率。为了提升Agent间的协调与沟通,团队开发了ZGent平台,汇集会议讨论、决策及任务积累,为后续的Agent提供了经验可供参考。 球友会

通过这一过程中,团队逐渐意识到,他们的做法正符合当今流行的“AI4AI”理念。为了评估Agent的自主性,团队将研发过程进行拆分,共分为11类任务,并通过评级系统明确Agent在各任务中的自主水平。差异显而易见,监控和部署已达到了L4级,Agent可以独立规划与执行,而模型架构与学习算法设计仍依赖人工参与。