Spotify开源新架构：数据湖上直接跑低延迟点查，不再需要复制数据
Spotify搞了个新东西，叫外部索引架构，专门给Apache Parquet数据湖用的。核心就一句话：不用把数据复制到操作型数据库里，直接在数据湖上就能实现低延迟点查询。就问你喜不喜欢吧？
这事的逻辑很简单。以前要做点查询，要么把数据搬进专门的数据库，要么忍受数据湖那慢吞吞的扫描速度。Spotify的方案是给Parquet文件建一个外部索引，把查找键映射到具体的Parquet文件和行位置，这样就能直接从云对象存储里精准读取目标数据，不用全表扫描。往好听了说，这是”一份数据，多种用途”；往坏了说，那些靠数据复制吃饭的中间件厂商该紧张了。
这套架构最狠的地方在于，同一份数据集既能跑分析、机器学习、AI应用，又能支撑在线服务。数据团队不用再为不同场景维护多份拷贝，存储成本和管理复杂度直接降维打击。对SaaS和ToB玩家来说，这意味着数据架构的底层逻辑可能要变天——以前数据湖和数据仓库之间的那堵墙，正在被一点点拆掉。
Spotify这次没有停留在概念层面，而是把架构细节公开了。这对整个数据基础设施生态是个信号：数据湖不再是只适合批处理的”冷宫”，通过外部索引这种轻量级手段，它也能承担实时性要求更高的场景。那些还在纠结”湖”和”仓”怎么选的企业，现在有了第三条路。
当然，这套方案也不是银弹。外部索引本身需要维护，索引和数据的同步、一致性、故障恢复都是新问题。但方向已经摆在那了：数据架构的演进，从来不是非此即彼的选择题，而是怎么让同一份数据发挥最大价值的应用题。Spotify给出了一个值得抄的作业。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
![免费安卓助手Dicio：专治Gemini不爽，还保你数据隐私 [企业追踪]](https://qifukexue.com/wp-content/uploads/2026/08/fallback-23114-480x300.png?imageMogr2/format/webp)
