过去十年，数据湖在解决海量数据存储的同时，也留下了格式私有、引擎绑定、迁移困难的隐患。当湖仓一体从概念走向规模化落地，底层表格式的开放程度成为决定数据架构灵活性的关键变量。近一年来，以Apache Iceberg、Delta Lake、Apache Hudi为代表的开放表格式加速竞合，数据湖正从格式割据走向互操作。

开放表格式为何重要

开放表格式是在Parquet、ORC等文件格式之上，增加事务、模式演进、时间旅行和分区管理等能力的一层规范。它让数据湖具备数据仓库级的ACID特性，同时保留对象存储的低成本与弹性。与早期Hive表相比，开放表格式把元数据从中心化Metastore中解耦，使多引擎可以并发读写同一份数据。

对企业而言，这意味着不再被单一计算引擎锁定。Spark、Flink、Trino、Snowflake、Databricks等引擎都能基于同一份Iceberg或Delta表工作，数据团队可以按场景选择工具，而不必为格式迁移付出高昂成本。

三大格式走向竞合

  • Apache Iceberg：凭借开放的社区治理和广泛的引擎支持，成为事实上的跨平台标准，REST Catalog规范进一步统一了目录访问接口。
  • Delta Lake：与Spark生态深度绑定，在Databricks推动下捐赠给Linux基金会，并加快与Iceberg的互操作。
  • Apache Hudi：以流式写入和增量处理见长，在近实时数据湖场景中保持独特优势。

近期，AWS推出面向Iceberg的S3 Tables托管服务，微软OneLake、谷歌云BigLake也相继增强对开放表格式的支持。云厂商的入场，标志着开放表格式从开源项目竞争上升为数据基础设施的标准之争。

企业选型逻辑生变

过去企业选型往往先定引擎，再定存储格式；如今越来越多团队反过来，以开放表格式为锚点，构建可替换的计算层。这种以格式为中心的架构，配合数据虚拟化和联邦查询，能够显著降低数据孤岛和重复搬迁。

与此同时，元数据治理成为新焦点。开放表格式虽然解耦了存储与计算，却把目录服务、权限控制、血缘追踪的复杂度推高。谁能统一管理跨引擎的元数据，谁就能在开放生态中掌握主动权。

挑战与展望

开放表格式仍面临小文件过多、元数据膨胀、跨格式读写性能差异等问题。不同格式之间的双向转换也并非零成本。未来，随着REST Catalog等接口标准成熟，目录层有望进一步统一，开放表格式将成为数据湖的默认底座。这场围绕格式的开放运动，本质上是数据基础设施从封闭走向协作的缩影。