mental-world/mentis
不只看场景发生了什么,还猜人物心里在想什么,从而预测下一步行动的AI系统
Mentis 是论文提出的 Mental World Modeling(心智世界建模)框架的参考实现,它在追踪物理场景的同时,还追踪角色的信念、欲望、情绪和社会判断等隐藏心理状态,以此预测角色接下来会做什么。它无需额外训练,直接在现成的大语言模型之上运行,把预测过程拆分成可检查的多个步骤:解析场景、还原目标角色实际能看到和知道的信息、分解候选动作、模拟结果并打分。配套的 Menti-Bench 评测集包含文本、图像、视频三种形式共448个场景,用来衡量当前大语言模型在这类心理推理上的表现。
它做什么
- 传统世界模型只追踪物理事实(什么东西在哪里),因此在隐藏心理状态起决定作用的场景中会预测出错,比如一个人仍在寻找已被悄悄挪走的物品。
- Mentis 运行一个六阶段流程:把场景解析为物理加心理的联合状态,只筛选出目标角色实际能看到/听到/知道的信息作为其观察,将每个候选动作拆分为物理行为和心理/社会效果,模拟每个选项导致的后续状态,再用心理一致性、物理合理性、社会适当性三项标准加安全否决进行打分,最后由LLM之外的确定性规则做出选择。
- 每一步的中间结果都会被记录下来,因此预测出错时可以定位到具体是哪一环节出了问题,而不是把整个过程当作黑箱。
- 配套的 Menti-Bench 评测集包含320个文本场景、100个图像序列场景和28个带声音的视频场景,其中错误选项都被特意设计为违反场景中至少一条可推断的线索(信念、物品状态、约定、规范或时间线等)。
- 该系统无需微调,直接通过标准的 OpenAI 兼容对话接口运行;一个有4个选项的样本需要调用大语言模型12次,而简单的直接作答基线只需调用1次。
为什么重要
对于需要构建能推理他人意图、错误信念或社会规范的AI智能体或助手的开发者来说,这是一个直接可用的参考。同时也为研究者提供了一个透明的分步工具,能精确诊断大语言模型在推理他人心理时到底在哪个环节出错。
本仓库术语
- 世界模型(World model) · AI用来预测场景或情境随时间如何演变的内部表示
- 大语言模型(LLM) · 如GPT一类基于海量文本训练出的大型语言模型
- 宏平均F1(Macro-F1) · 对各答案类别性能取等权重平均得到的准确度指标,适用于类别数量不均衡的情况
- 无需训练(Training-free) · 直接使用现成模型,无需额外训练或微调
- 安全否决(Safety veto) · 即使其他得分很高,只要未通过安全检查该动作就不会被选中的规则
仓库简介（英文）
A Baseline Implementation of Mental World Model
在 GitHub 打开相关报道
热门仓库
- Alishahryar1/free-claude-code一个本地代理,把编程AI助手接到49家免费或低价模型服务商,不再只能用一家付费服务
- freestylefly/awesome-gpt-image-2把532个GPT-Image2案例拆解成可复用模板的提示词工程库
- block/buzz一个让人类和AI智能体在同一空间里聊天、写代码、做审查的开源协作平台
- NousResearch/hermes-agentNous Research推出的Hermes是一款越用越聪明的AI智能体
- virgiliojr94/book-to-skill把技术类书籍PDF变成AI编程助手随时可查阅的技能包
- VoltAgent/awesome-agent-skills把上千份让AI编程助手秒变专家的操作手册集中放在一个地方
- anthropics/claude-plugins-community一个把大家做的Claude插件集中起来供安装的仓库
- Comfy-Org/ComfyUI不用写代码,靠拖拽连线就能搭建图像、视频、音频AI流程的工具