在QCon旧金山大会上,Apache Iceberg联合创始人、Databricks技术团队成员Daniel Weeks发表演讲,介绍了Apache Iceberg开放表格式规范第四版(V4)的设计思路。该版本的核心变化在于对表元数据进行重新设计,目标是提升系统的可扩展性,并支持更高频率的写入操作。
Apache Iceberg最初由Netflix开发并开源,后捐赠给Apache软件基金会,目前已成为数据湖场景中广泛采用的开放表格式之一,被多家云厂商和数据平台纳入其数据架构。随着企业数据规模持续增长,原有元数据管理方式在高并发写入和大规模表场景下面临压力,这也是V4版本着力解决的问题。
根据Weeks的介绍,V4在元数据重构之外,还引入了数据管理与模式演进方面的新能力。模式演进是Iceberg长期以来的重要特性,允许用户在不重写数据文件的情况下调整表结构;V4的相关改进预计将进一步扩展这一能力在复杂数据环境中的适用范围。
从行业角度看,开放表格式已成为数据湖与数据仓库融合过程中的关键基础设施层。Iceberg、Delta Lake与Hudi之间的竞争持续推动格式规范在元数据处理、写入性能和生态兼容性上的演进。Iceberg V4若按计划推进,将影响依赖该格式构建数据平台的企业在写入频率、表规模上限以及模式变更流程上的技术选型。
目前V4仍处于规范设计阶段,具体落地时间表与各引擎的适配进度尚未公布。对于已经基于Iceberg构建数据架构的企业而言,后续需要关注规范定稿节奏以及主流计算引擎对V4特性的支持情况。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。