Embedding
把词语的「含义」转换成数字坐标的技术。含义相近,坐标就相近——这是AI搜索的基础。
简单来说
Embedding(嵌入)是把词语的「含义」转换成数字坐标的技术。就像给每句话在地图上标一个坐标,含义越相近的句子,坐标就越靠近。「推荐狗零食」和「宠物营养补充剂」几乎没有重复的词汇,但在嵌入坐标上,它们是邻居。
这为什么重要?因为计算机终于能够「按含义而不是按词语」来比较内容了。以前的搜索需要出现相同的词才能找到,但基于嵌入的搜索(语义搜索)即使表达方式不同,只要含义相通也能找出来。
这是AI产品幕后使用最广泛的组件。搜索、推荐(「与本文相似的文章」),以及RAG中「查找相关资料」这一步,全都依靠嵌入运转。文章里出现「向量数据库」「语义搜索」,说的就是嵌入。
在报道中是这样出现的
「用新的嵌入模型提升了搜索准确度」——意思是把用于按含义搜索的「含义坐标」做得更精确了。
亲手试一试
- 试着向聊天机器人发送:「把下面五句话按含义相近程度分组:①推荐一下狗零食 ②股市暴跌了 ③狗的营养补充剂选哪种好? ④KOSPI大幅下跌 ⑤明天会下雨吗?」
- ①③会被分为一组,②④会被分为一组——尽管几乎没有重复的词汇。这是按「含义距离」而不是按词语分组的,而衡量这种距离的坐标就是嵌入。
- METAL文章底部的「相关文章」也是靠同样的原理筛选出来的——即使表达方式不同,嵌入也能找到内容相通的文章。
