StartLux决策模型登顶Hugging Face榜单,十天内两度刷新SOTA

短短十余天内两度刷新行业最佳成绩,StartLux完成了从单点性能突破到全系列领先的跃升,也让中国团队率先站上全球决策模型赛道的技术制高点。

Hugging Face开源社区Decision Index 0.3.2榜单近日更新,中国AI创业公司StartLux(原点星辉)推出的StartLux-Decision-v1.1-27B Instant以69.1分位列全球第一,在173项公开复现模型中排名榜首,领先第二名近3分,也是榜单中唯一突破69分的模型。此时距离该公司9月底发布首代决策模型仅过去十余天。

此次Hugging Face榜单纳入173项公开复现模型,通过37项公开基准及多项私有测试进行综合评估。在另一项基于Decision Index 0.3的测试中,StartLux-Decision-27B-AutoThink综合得分达到73.37,较美国AI公司TypeSafe推出的Jev(hosted)的57.96领先约27%。从Instant登顶第三方榜单到AutoThink展现复杂决策能力,StartLux已形成覆盖快速判断与深度推理的产品矩阵。

这并非StartLux首次登顶。9月30日,该公司发布第一代开源决策模型StartLux-Decision,其27B版本在Decision Index 0.2.1中取得63.88分,超过Jev 1.13的57.91分,38项基准中有31项领先。此次升级后,27B AutoThink在Decision Index 0.3中的得分进一步提升至73.37。十余天内两度刷新行业最佳成绩,StartLux完成了从单点性能突破到全系列领先的跃升。

决策模型在AI系统中承担判断中枢的角色,负责请求路由、工具调用权限判定、检索结果可用性评估等环节。新一代StartLux-Decision提供Instant与AutoThink两种模式:Instant为极速判断版本,覆盖0.8B至27B五种规模,不生成推理过程,直接输出答案和信心分数,适用于请求路由、内容分类等高频任务;AutoThink为按需思考版本,覆盖4B、9B、27B,默认配置下信心达到0.9即直接回答,信心不足时才核对规则、计算数字并排查例外情况。

在训练方法层面,StartLux原创提出RLCD²强化学习训练方法(Reinforcement Learning for Calibrated Deliberative Decisions),对真正改善判断的推理给予奖励,对冗长、超出预算的思考施加惩罚。据披露,经过RLCD²训练,9B模型自行结束推理的比例从45.9%提升至93.9%,平均推理长度从2494个token降至868个,减少约65%,决策准确率基本保持不变。此次StartLux还系统公开了RLCD²的奖励设计、推理预算和实验结果。

评测体系方面,StartLux推出DecisionPivot基准,将条件相近、结论不同的题目组成一组,整组全部答对才计分。在7800道核心题中,StartLux-Decision-27B-AutoThink以86.9%的成对准确率位列第一,在筛选、状态核验、排班冲突等需要计算和逐项检查的任务上表现突出。此外,团队提出策略感知校准方法,结合候选数量、平均分和筛选方式修正最终概率,在184组设置中,置信度与准确率的差距范围由-11.7至+20.5个百分点收窄至-2.7至+2.1个百分点,使系统能够更准确地判断结果应自动执行还是交由人工复核。

在DI 0.3公开部分的评测中,4B AutoThink获得68.21分,超过多款规模更大或以托管方式提供的模型,表明决策能力并非单纯依赖参数规模,针对性的训练与推理机制同样能够释放性能。该系列已公开全部权重和推理代码,支持本地部署,开发者可根据业务成本、响应速度和数据隐私要求选择模型规模与运行方式。截至北京时间10月17日下午,StartLux决策模型累计下载量近12万。

决策模型作为AI系统的判断层,其性能直接影响智能体与自动化流程的可靠性。StartLux在短期内连续刷新公开榜单成绩并开源权重,为决策模型赛道提供了可复现的评测与训练参考,也使得该细分领域的竞争从单一指标比拼转向训练方法、评测体系与部署灵活性的综合较量。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
全国建成超70家具身智能训练场,地方政府成机器人数据采集主要买单方
上一篇 5小时前
Anthropic联合创始人预测2030年AI或推动美国GDP增长近50%
下一篇 2小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部