Unity Catalog
Databricks 内置于其湖仓一体平台中的数据管理功能,将数据查找与访问权限管理集中在一处处理。
简单来说
Unity Catalog 是 Databricks 打造的企业级数据管理功能,就像一个数字资料室,让人们能在一个地方查找并保护分散的数据和 AI 模型。
公司规模越大,数据往往越分散在仓储系统、独立存储空间以及各部门自用的程序中。如果没人清楚哪里有什么数据、谁能查看,员工每周都要花大量时间四处找资料,而敏感信息也很容易处于任何人都能打开的状态。Unity Catalog 就像图书馆管理员一样解决这个问题:为所有数据打上标签,使其可被检索和整理;记录数据的来源与使用流程;并在同一处集中管理谁可以查看哪些数据的权限规则。
与另外接入其他工具的做法不同,Unity Catalog 从一开始就内置于数据实际存储的 Databricks 系统之中。因此,同样的权限规则和使用记录追踪不仅适用于表格和文件,也同样适用于公司使用的 AI 模型以及自动运行的程序(智能体)所处理的数据。
在报道中是这样出现的
一篇指南文章在按类型划分数据治理工具时说明,"Databricks 的 Unity Catalog 被列为湖仓一体中这一类型的代表案例。"这里的湖仓一体指的是 Databricks 自家用于存储和处理数据的平台。容易被搞混的是,这个 Unity Catalog 与游戏开发中使用的 Unity 引擎毫无关系,只是名字相同,实际是完全不同的数据管理产品。