Apache Iceberg
一种开源数据格式,能让海量数据像整理好的表格一样被安全管理
简单来说
Apache Iceberg 是一种开源技术,能让人们把海量数据当作整理有序的表格来处理。就像仓库里原材料如果只是随意堆放,很难知道什么东西是什么时候入库的一样,大规模数据如果只是以文件形式堆积存放,之后想要改变其结构或回退到之前的状态都会非常麻烦。Iceberg 在这堆文件之上加了一层管理层,就像一本精确的库存账本。
具体来说,它能让人安全地修改表格的列结构,让多个程序同时读写同一份数据也不会发生混乱,还能准确回溯查看过去某个时间点的数据状态。可以说,它为原本只是存放数据的仓库,赋予了如银行账本般的可靠性。
该项目最初由 Netflix 开发,后捐赠给 Apache 软件基金会,如今起到了一种通用标准的作用,让不同的数据处理工具能够以相同格式读写同一份数据。像 Databricks 这类处理海量数据的平台公司,也都支持与该格式的兼容。