OpenAI发布管理控制台分析工具使用指南

图片：METAL

摘要

ChatGPT管理控制台的分析工具将ChatGPT Work和Codex的使用量、任务分类以及Codex的贡献绩效汇总在一处。
任务分类器,配合模型、推理和速度设置的占比数据,以及插件排行榜,可以帮助管理员找出需要培训的团队和设置。
指南中附有一个假设性的销售团队计算案例,以及1Password、ATV Big Air Tour和Playco的案例研究,并明确说明所有数字均为假设性数据。

OpenAI于9月16日发布了一份使用指南,向企业管理员说明如何将AI使用量与业务价值联系起来。据官方公告介绍,ChatGPT管理控制台的分析工具把ChatGPT Work和Codex的使用量与支出数据、任务洞察和绩效指标汇总在一处,让管理员借此追踪采用情况、支持团队并评估业务价值。该公司写道,使用量和支出只是故事的一部分,管理员还需要看到人们究竟用AI做了什么、取得了什么成果。

第一个界面是使用量。据公告介绍,使用量视图同时展示ChatGPT Work和Codex的活跃用户数、积分和令牌用量,按团队或用户筛选后可以看出采用率偏低的地方,从而为管理员与团队负责人讨论入门工作流和培训需求提供依据。OpenAI表示,界面上显示的数字均为演示用的虚拟数据。

第二个是任务分类器。洞察界面中的分类器会将抽样消息归类为使用场景和任务,展示AI究竟在帮什么忙。软件工程类别包括功能开发和代码维护,销售与营收类别包括账户调研和规划。概览标签页一览任务构成,使用场景标签页则以表格形式展示各任务的积分、消息数和活跃用户数。在公告举例的销售团队中,账户调研和规划是积分消耗最大的类别。

第三个方面是需要培训的地方。任务详情界面中的模型、推理和速度字段显示每种设置的积分占比,方便管理员检查设置是否适合工作内容,并有针对性地开展模型选择培训。公告建议,如果是日常简报类工作,不妨试试更快或更便宜的设置,再比较质量与审核时间的差异。插件排行榜和技能界面显示哪些工具在支撑工作,相关插件使用率低可能意味着权限或培训问题,而该公司表示,常用的技能需要有专人负责并定期更新。

Datadog AI产品经理Bharadwaj Thanikella在公告中表示:"OpenAI的分析让我们的团队理解自己是如何使用AI的,这也成为我们制定后续指导方针和政策的基础。"他还补充说,Datadog的AI代理监控产品Agent Console已经在使用OpenAI的任务分类功能,而直接从OpenAI获取这些数据,是随着客户AI使用量增长"更可靠地传递这些洞察的方式"。

编码方面由绩效界面负责。据公告介绍,绩效视图展示Codex在已合并提交和代码行数中所占的比例,并与代码审查活动并列显示,还可按团队、用户和代码仓库筛选,以决定在哪里扩大访问权限、帮助哪个团队。该公司解释说,如果Codex在已合并代码中的占比在上升,工程负责人就可以将这一趋势与审查时间、缺陷和返工情况对比,判断团队是否在更高效地交付软件。

还有两个工具可以把数据变成报告。ChatGPT Work的管理员插件会比较采用情况、支出和任务,生成用于预算和部署决策的报告,甚至能生成包含图表、关键发现和下一步建议的高管演示材料。管理员API则可以让团队在自己的仪表盘中自动生成报告,并与业务系统数据合并——比如把积分使用量和工单解决时间并排放在支持仪表盘上。

OpenAI明确表示,分析数据本身并不能证明价值。使用量和任务数据只是管理员与业务负责人一起核算价值的起点,工作流中究竟发生了什么变化、结果是否改善、改善又值多少钱,都需要业务负责人补充背景信息。公告提出了五个问题:想要改进什么、目前的流程是怎样的、AI带来了什么变化、这对团队意味着什么可能性,以及这份收益是否值得这笔投入。公告还提醒,比较时要把审查和修改AI产出所花的时间也计算在内。

公告还附上了一个假设性的计算示例。假设20名销售代表每周各撰写2份账户简报,每份节省3小时,46周下来就能节省5,520小时;若按其中一半用于生产性工作计算,再代入人力成本单价和首年采用成本,得出的投资回报率为245%。OpenAI明确说明,这些数字均为假设,且不包括成交率提升或交易规模扩大等销售业绩因素。

公告还附上了三个客户案例。据介绍,1Password通过用Codex构建、审查和测试软件,估算投资回报率达到553%;ATV Big Air Tour用ChatGPT Work把活动列表核对时间从每周8小时压缩到1小时,库存工作从2至3天缩短到2至3小时。游戏公司Playco报告称,通过OpenAI API使用GPT-6 Astra,在同一基础上制作出三个主题各异的原型,与此前的模型相比人工修改减少了50%。METAL此前曾报道过ATV Big Air Tour把三天的库存整理工作压缩到三小时的案例。

这份指南延续了OpenAI近期一系列面向企业的产品动作。METAL此前曾报道OpenAI在ChatGPT Work中加入了查询公司数据的代理,也报道过其面向金融公司推出专属ChatGPT一事。可以说,OpenAI这次是亲自替企业写好了产品卖出之后、如何证明这笔支出合理的下一步。

METAL查阅的完整公告附有一段8分29秒的语音版本,署名为OpenAI。建议的入门步骤很简单:打开管理控制台的洞察功能,选一项支撑业务优先事项的常见任务,与业务负责人就基线和要衡量的绩效达成一致,再定一个复盘进度的日期。公告结尾处写明,默认情况下公司不会用组织的业务数据来训练模型。AI采用的下一个问题不是花了多少钱,而是这笔支出究竟在哪里产生了回报,而OpenAI选择让管理员自己去算出这个答案。