Spotify近日推出了一种面向Apache Parquet数据湖的外部索引架构，能够在无需将数据集复制到操作数据库的情况下，实现低延迟的点查询。这一方案将查询键映射到Parquet文件和行位置，允许从云对象存储进行定向读取，同时支持分析、机器学习、AI应用和在线服务使用相同的数据集。
在传统数据湖架构中，点查询通常需要扫描大量数据或依赖二级存储系统，这既增加了基础设施成本，也带来了数据一致性的挑战。Spotify的工程团队通过构建外部索引层，将查找键与底层Parquet文件的物理位置建立映射关系，使得查询可以直接定位到目标行，从而显著降低查询延迟，同时避免数据集在不同系统间的冗余复制。
这一设计的关键在于其对外服务能力。Spotify的数据湖不仅服务于内部的数据分析和机器学习工作负载，还支撑着其面向用户的在线功能。通过外部索引架构，同一份数据可以同时满足批处理分析、实时AI推理和在线服务等多种场景的需求，减少了数据管道中ETL环节的复杂度和运维负担。
从行业角度看，Spotify的这一实践反映了当前数据基础设施领域的一个普遍趋势：企业在拥有海量数据资产后，越来越希望打破数据湖与在线服务之间的壁垒。传统上，数据湖侧重高吞吐的批处理分析，而在线业务则需要低延迟的查询能力，两者通常需要分离部署。Spotify的架构尝试在这一矛盾中寻找平衡点，为其他拥有大规模数据湖的企业提供了可参考的技术路径。
值得注意的是，该方案的实现涉及对Parquet文件格式的深入理解以及对云对象存储性能的精细调优。Spotify的工程团队在技术博客中详细阐述了索引构建、更新和查询路由的实现细节，这些经验对于同样采用Parquet数据湖架构的团队具有直接的借鉴意义。随着数据驱动型企业在AI和在线服务领域的融合不断加深，类似Spotify这样的外部索引方案有望在更广泛的行业中得到应用。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
