语义片段提取

语义片段提取指的是,在处理搜索结果时不把整张网页原样交给AI模型,而是从中剪取出真正与问题相关的部分再传递过去。这就好比图书馆不把整本书借给你,而是只复印你需要的那几页交给你。

这里的关键在于'语义上'相关。它不是只寻找包含问题中原样词汇的句子,而是找出意思相通的段落。这样一来,广告、菜单、重复的说明文字等冗余内容就会被过滤掉,AI能在有限的可读篇幅里,只装入真正需要的信息。

这种方式之所以重要,是因为AI模型在回答训练时并不知晓的最新信息——比如昨天刚修改的法律,或今天早上的新闻——时,需要给出依据。如果把整页内容一股脑扔给模型,模型抓不住重点、编造内容的情况会增多;而精准挑选出相关段落,则能让答案更牢固地贴合实际来源。

AWS表示,新加入Amazon Bedrock的网络搜索功能'会执行语义片段提取,抽取与查询相关的段落,并以针对模型上下文窗口优化的形式返回'。容易被误解的一点是,这并不只是'搜索后给出链接'的意思。实际上,它是指从网页原文中截取出必要的句子,让AI能够毫无浪费地阅读。