Semantic Search
无需人工预先打标签,仅靠理解句子含义就能找到想要的画面或内容的搜索方式
简单来说
语义搜索是一种搜索方式:即使视频或文档没有人工预先添加的标签或标题,只要用一句话描述想找的内容,系统就能理解其含义并找出结果。
传统搜索就像图书馆管理员只看索引卡上写的标题和关键词来找书。如果卡片上没写"楼梯"这个词,那么出现楼梯画面的内容永远找不到。而语义搜索就相当于管理员亲自看过、听过那段视频。即便用句子描述——楼梯、奔跑的人们、雨中从左向右射门得分——系统也会综合画面内容、人物对话乃至背景声音,找出含义相符的那个瞬间。
关键在于它不是逐字逐句地literal匹配,而是先把握问题的意图,再自主判断内容中哪里存在符合该意图的线索。因此,即便是海量从未被人工打标签的资料,仅凭一句话也能锁定想要的画面;若与既有的标签搜索结合使用,还能先缩小范围,从而更快更准确地找到目标。
在报道中是这样出现的
文章示例:由Twelve Labs的多模态嵌入模型Marengo驱动的语义搜索,即便档案中没有任何人工标签,也能仅凭"楼梯""奔跑的人们""投票"等句子搜索,在广播档案中找出对应画面。纠正误解:与传统关键词搜索不同的是,它并不要求资料中写有与搜索词完全相同的字词,即便表达方式不同,只要含义相通也能被找到。
亲手试一试
把复杂的条件融入一句话进行搜索,就能感受到它的效果。示例提示词:"身穿白色球衣的球员在雨中对阵黄色球队,从左向右射门得分。"像这样把人物、背景、动作、情境混合写进一句话里,再对比即使没有标签也能出结果的情况,就能看出它与传统关键词搜索的差异。