​Goodfire完成5000万美元A轮融资,推动 AI 模型可解释性工具发展

Goodfire AI完成5000万美元A轮融资,其Ember平台旨在解决大语言模型“黑盒”问题,帮助开发者可视化模型内部机制,并进行模型定制与高效开发。

人工智能可解释性初创公司 Goodfire AI 于美东时间 4 月 17 日宣布完成 5000 万美元 A 轮融资,由 Menlo Ventures 领投,Anthropic、光速创投(Lightspeed Venture Partners)等参投。这距离公司在六个月前完成的 700 万美元种子轮融资仅过去不久,而 Goodfire 成立至今还不到一年。

聚焦大语言模型的“透明化”

总部位于旧金山的Goodfire致力于解决大语言模型“黑盒”问题。当前的大模型由数以亿计的“人工神经元”组成,每个神经元只负责整体任务的一小部分,使得开发者很难理解模型在处理具体提示时到底是如何运作的。

为此,Goodfire推出了一款名为 Ember 的平台,旨在帮助开发者可视化模型内部机制。用户可以将提示输入模型,并观察到哪些神经元被激活,了解它们之间如何交互。

这种能力在调试、优化和定制模型时极具价值。例如,当模型对某个提示给出错误回答时,开发者可以借助Ember追踪到具体出错的组件并进行调整;在面对“提示注入”攻击(通过恶意输入诱导模型生成不良输出)时,也可以锁定易受攻击的模块并加以控制。

Goodfire联合创始人兼CEO Eric Ho 表示:“没有人真正了解AI模型出错的机制,因此也无从修复。我们的愿景是打造一整套工具,让神经网络从里到外都可以被理解、设计和修复。”

模型定制与高效开发的新范式

除了可解释性,模型定制也是Goodfire的另一大主攻方向。Ember允许开发者快速识别并剔除某些模型中与特定业务无关的部分,以打造更小、更高效的定制化模型。例如,一个客户服务机器人开发团队可基于开源大模型进行瘦身,留下最相关的模块,从而降低计算成本。

更进一步,Ember支持自然语言指令对模型进行修改。例如,工程师可以简单地输入“让模型在所有回复中加入双关语”,平台便会自动定位并更新模型中需修改的部分,大幅提升开发效率。

支持RAG与模型能力分析

Ember还提供多个增强功能。例如,名为“条件(Conditions)”的功能帮助开发者更容易实现 检索增强生成(RAG),即将外部知识库的数据融入大模型的生成逻辑中。此外,平台还支持对模型能力的系统性梳理,为调优与测试提供结构化支持。

稀疏自动编码器:为模型“解剖”提供底层工具

除了Ember,Goodfire还推出并开源了一系列 稀疏自动编码器(SAE),这是一种专用于分析神经网络内部机制的AI模型。

去年,公司曾为Meta的Llama 3.3 70B模型开发稀疏自动编码器。本月初,Goodfire又开源了两个适用于 DeepSeek R1推理模型 的SAE,揭示了该模型如何减少错误输出的机制。

融资用途与未来发展方向

此次融资将主要用于进一步完善Ember平台功能,并探索适用于推理模型与图像模型的可解释性工具。Goodfire还计划与AI模型提供商开展合作,推动这些研究成果的落地应用。

在大模型逐渐进入企业实际应用场景的当下,Goodfire试图从底层“照亮”模型运行逻辑,为AI系统的安全性、透明度和可控性提供新基础。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
上一篇 2025年4月16日 下午9:13
下一篇 2025年4月21日 上午9:39

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部