Delta Lake
由 Databricks 打造的开源存储技术,为数据湖增添了可靠性和结构。
简单来说
Delta Lake 是一种存储技术,能把堆满文件的仓库变成整理有序的文件柜。原本的数据湖就像一个仓库,照片、日志、表格数据不分格式统统扔进去,一旦有人同时修改同一个文件,内容很容易损坏或变得混乱。Delta Lake 在这个仓库之上加装了目录和锁,让多人同时写入数据时,一旦操作中途失败就完全不会被应用,同时还会记录下是谁、在何时、修改了什么。
有了它,企业不必再在“存放未加工原始数据的仓库”和“只处理整理好的表格数据的仓库”之间二选一。Delta Lake 的作用就是让同一个存储系统里既能保存原始数据,又能维护一份可信、最新的表格。Databricks 将这一概念开源发布,让其他公司的系统也能用同样的方式管理数据。
在报道中是这样出现的
新闻中经常出现“数据湖”一词,指的是文件堆积存放的存储系统本身,不要把它和 Delta Lake 混淆——后者是防止这个存储系统变得混乱的技术。Databricks 把自家平台称为“湖仓”(lakehouse),正是因为像 Delta Lake 这样的技术为仓库(湖)增添了文件柜(屋)那样井然有序的结构。