Caveman
一款开源工具,通过压缩与AI编程智能体往来的数据来降低token费用
简单来说
Caveman是一款开源工具,它让AI编程智能体像原始人一样说话简短,从而省钱。开发者每次使用编程智能体时,都会按对话量计费,而Caveman会把智能体的说明像把长邮件压缩成电报一样精简。像代码或命令这类必须保持精确的部分会原样保留,只精简那些展开叙述的说明。
早期版本只精简智能体“说的话”,后来推出的代理(proxy)则连智能体“读的资料”也一并处理。工具列表、日志、之前的对话记录这类每次都原样往返的大段文本,会被整体转换成一张图片发送。由于文本和图片的计费方式不同,把密密麻麻的文字块变成图片,正好利用了这个能实际降低成本的空隙。
不过正如开发者自己所说,这种节省效果因情况而异。只精简回答本身的方式,并不能解决每一轮往返中其他数据的费用问题;而转换成图片的方式,对本来就很短的代码行反而可能得不偿失。因此该代码仓库的说明中特别写道:“我们不会为了省钱而把智能体变蠢”。
在报道中是这样出现的
文章中会给出具体的节省比例,例如“‘Caveman 2’与新的本地代理……据提供商报告显示可将输入token减少33.2%”。但不应把这个数字误解为Anthropic官方公布的性能提升。Caveman并非Anthropic开发的功能,而是开发者Julius Brussee制作并公开的一款独立开源工具,只是叠加在Claude Code等工具之上使用的附加装置。
亲手试一试
- 按照Caveman代码仓库中的安装说明,将其以技能或代理的形式装到你的编程智能体环境中。
- 用和安装前完全相同的问题或任务指令,再向智能体提一次。
- 比较回答长度和token使用量(可通过提供商的账单或日志查看)发生了怎样的变化。
- 在短代码较多的任务中token反而可能增加,因此分成多种不同类型的任务分别测试会更准确。
