이미지: 트웰브랩스
只剩手写笔记本的广播档案库
在广播公司仓库的某个角落,堆满了DigiBeta、DVCam、VHS、胶片卷、LTO磁带和3/4英寸磁带。这些磁带里到底装了什么内容,只记录在货架上的手写笔记本里,而能弄清楚具体内容的人,也只有当初亲手写下这些笔记的负责人。即便完成数字化转换,问题依然存在。瓶颈并不在于文件格式,而在于元数据——也就是系统是否不仅知道文件存放在哪里,还理解文件内部实际发生了什么。
Mimir是一套无服务器媒体制作与协作平台,承担着内容存储、整理以及流转于制作流程中的记录系统角色。TwelveLabs则是理解该内容内部信息的智能层,能够对每一个场景、话语、物体和动作进行索引并使其可被搜索。两个平台的结合,让档案库从单纯的存储空间,转变为可以被查找、理解和再利用的空间。
无需标签也能实现的语义搜索
现有的Mimir搜索是从片段标题、转录文本和人脸识别结果中提取结果的。搜索"马克龙"后,再叠加"系领带""说出'垄断'一词"等条件,就可以将范围缩小到某个特定瞬间。这种方式很强大,但前提是必须有人事先打好标签。
由TwelveLabs多模态媒体嵌入模型Marengo驱动的语义搜索则不同。输入"楼梯""奔跑的人们""投票""正在吃饭的人们""直升机"这类词语,即便没有任何人工标签,也能得到结果。相比关键词,Marengo更侧重读取用户的意图,将查询路由到视觉、转录文本或音频信号中最合适的一种。像"从左向右射门得分、身穿白色球衣的球员、对阵黄色球队、在雨中"这类复合条件,也可以通过单次查询处理。两种方式还可以结合使用:在大型档案库中,可以先用Mimir过滤器缩小范围,再执行语义搜索,从而缩短处理时间。
以场景为单位自动记录合规日志
英国Ofcom等监管机构对播出有害内容的行为处罚十分严厉,但要靠人工从头到尾观看不断增加的档案内容来进行筛查,现实中根本不可能做到。TwelveLabs的视频语言模型Pegasus会将内容拆解为以场景为单位的片段,并按照预先定义的合规类别,自动标记暴力、血腥、犯罪行为、毒品及酒精相关的场景。每个标记都会附带时间戳、严重程度等级以及标记原因,方便审核人员直接跳转到相应画面。
同样的场景分割功能并不局限于合规用途。它也可用于查找节目开头的"前情提要"或结尾的片尾字幕,分割处理还可以叠加多层使用。
档案库规模下的元数据生成
Pegasus在处理单个片段时,能在一次处理中同时提取资产级摘要以及按场景划分的详细信息(人物、物体、与分类体系对齐的元数据)。单次可处理的最大视频长度为2小时。生成的元数据会立即存入Mimir,无需额外转换为语义搜索格式,普通关键词搜索也能直接查到。
从处理速度来看,平均处理1小时内容的索引及元数据生成需要3至4分钟,前提是代理文件已在Mimir中处于在线状态。实际渲染完成所需时间会因源文件格式而异:采用简单重新封装(rewrap)处理的格式,要比需要完整转码的格式更快。生成的元数据归客户所有,存储在Mimir自身的数据库中,TwelveLabs不会保留所生成的数据。
在实时新闻工作流中,甚至无需等待录制结束。由于Mimir在采集的同时就会生成代理片段,编辑人员在录制开始后数秒内即可开始查看视频并制作片段。
从自然语言查询到剪辑时间线
搜索"足球进球"会返回整个档案库中按相关度排序的结果。若要缩小到某个特定球员,只需上传一张该球员的照片即可。TwelveLabs会将该球员登记为可识别实体,并在整个档案库中进行匹配,不依赖姓名或标签。若请求该球员出现的庆祝进球片段,返回的结果会在每个片段的时间线上直接高亮显示相关片段。
挑选出的片段可以用自然语言生成摘要作为片段说明,也可以直接发送到Mimir Cutter。抵达Cutter的片段不是零散文件的集合,而是已经组装好的时间线。对于新闻编辑室来说,经常需要在比赛结束广播之前就完成集锦剪辑,因此按姓名或图片请求庆祝进球片段,并立即获得可供剪辑的时间线,能够带来实质性的差异。
整合架构与目前的局限
两个平台通过编排层相连。新内容到达Mimir时会触发事件,由EventBridge、Step Functions、Lambda等工具构建的编排层指示TwelveLabs进行索引,处理结果再返回给Mimir。索引处理的对象是代理文件而非全分辨率文件,并且不区分存储类型。无论文件位于Amazon S3、GCP、本地部署还是本地NAS,Mimir都会就地渲染媒体文件,TwelveLabs获取轻量级代理文件生成嵌入后,再丢弃该代理文件。
索引处理也可以设置为仅按需执行,而非自动采集。在人物识别方面,TwelveLabs维护着一个包含人物、物体、品牌和标志的实体库,目前正在推进将其与客户自有的人脸识别数据(Mimir基于AWS的人脸识别)直接对接的工作。至于价格、计费方式、支持的国家等具体商业条款,消息来源并未公开。若企业考虑引入该方案,消息来源建议需与TwelveLabs销售团队进行单独洽谈。
