硅谷初创公司Mirendil近日在官网发布研究文章称，其仅凭1名研究员、3个半月时间和不到1000万美元的成本，完成了1000亿至5000亿参数区间的编码专用基座模型Mirendil-Base的预训练。这一投入规模显著低于行业惯例——此前训练同等量级的大模型通常需要数十人乃至数百人的团队，以及数千万至上亿美元的成本。
根据官方披露，Mirendil-Base的训练过程中超过99％的代码由AI Agent编写，人类研究员主要负责确定研究方向、做出判断并在关键节点进行干预，写代码、跑实验、排查错误等具体工作均由Agent完成。为验证单人训练的可行性，Mirendil设置了较为严格的条件：不使用现成的预训练框架，不继承既有代码，训练基础设施、模型架构、训练算法和数据管道均从零搭建，仅参考PyTorch、JAX等通用库及部分热门开源项目。数据方面全部采用GitHub开源代码、公开网页和公开数据集，公司称训练过程中未采购数据、未做蒸馏，也未使用合成数据。
在性能测试中，Mirendil选取Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base、Inkling五款MoE架构大参数模型进行对比。在新代码仓库的交叉熵测试中，Kimi K3以0.193分位列第一，Mirendil-Base以0.222分排名第二，其后依次为GLM-5.3、DeepSeek-V4和Nemotron。需要指出的是，基座模型在交叉熵测试中通常优于后训练模型，Mirendil-Base作为基座模型分数仍低于已后训练的Kimi K3，意味着双方实际差距可能大于表面分差。
Mirendil-Base为Mirendil系列的首发产品，定位编码专用基座模型，目标用户为前沿AI实验室的研究员和工程师。该系列向上还有Large（5000亿至2万亿参数）和XL（2万亿至10万亿参数）两档，目前Large训练进度为80％，XL为19％，后者分数已接近Large当前水平。公司表示已开始对Mirendil-Base进行后训练。
Mirendil由两位Anthropic前员工Behnam Neyshabur和Harsh Mehta创立。Neyshabur曾在谷歌DeepMind工作5年，2024年底加入Anthropic并领导Discovery团队。公司认为，预训练有竞争力模型的瓶颈正从专家团队规模转向算力、数据以及指挥Agent的研究者判断力，基座模型有望从少数大厂专属走向更广泛的团队与个人。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
