原生多模态模型
Native Multimodal Model
一种从一开始就在单个模型中同时学习理解文字、图像、声音和视频的AI模型。
简单来说
原生多模态模型是一种从一开始就在同一个模型里,把文字、图片、声音、视频放在一起学习和理解的AI。这里的“模态”指的是信息进入的形式(是文字、图像还是声音),“多模态”就是指同时处理这几种不同形式的信息。
以前的做法有点像接力翻译:一个擅长识图的模型先生成一段描述,比如“这张照片里有一只狗”,然后把这段文字再交给语言模型去生成最终答案。在这个传递过程中,照片里细微的表情、声音里的语气等细节很容易在中途丢失。
原生多模态模型更像是从小就同时学会多种语言和感官的人。它不需要把图片、文字、声音分别经过不同环节处理,而是在同一个模型内部直接把它们连接起来理解,因此信息损失更少,面对跨越多种形式的问题时也能给出更自然的回答。
亲手试一试
试着给AI聊天机器人同时上传一张照片和一段语音备忘录(或一小段视频),让它把两者结合起来回答。示例提示词:“确认这张照片里的物品和刚才上传的语音描述说的是不是同一个东西,如果有不同之处请指出来。”如果模型不需要经过多个模型的中转,就能流畅地把两种信息放在一起解释,那它很可能采用了原生多模态方式。