摘要
- AWS机器学习博客介绍了一套架构，可将在Amazon Bedrock上运行的Codex的OpenTelemetry指标路由至CloudWatch
- 开发者工作站上的本地采集器会为指标附加组织信息，经AWS SigV4签名后发送至CloudWatch OTLP端点
- 无需中央代理或额外基础设施，即可按用户、团队、部门、成本中心等维度查看采用情况及成本相关信号
AWS公开了一种方法，可将在Amazon Bedrock上使用编码代理Codex时产生的OpenTelemetry指标接入Amazon CloudWatch。当开发者通过IAM Identity Center登录，并以Bedrock作为模型提供方运行Codex时，架构会在本地127.0.0.1端口上监听的采集器接收指标，为其附加组织上下文信息后，使用临时凭证进行SigV4签名，再发送至CloudWatch OTLP端点。
该方式的特点在于不会在模型请求路径中增加中央代理。参考部署方案不需要ECS服务、负载均衡器、VPC或公开采集端点，仅会生成CloudWatch仪表盘。
可以查看哪些内容
默认提供的CodexOnBedrock仪表盘会显示活跃用户数、对话轮次、API请求数和token使用量的24小时滚动汇总。此外还提供按模型、token类型、用户、部门、团队、成本中心、组织、会话来源划分的视图，可用于把握采用扩散情况及消费集中点。
AWS强调，token计数并非计费账本。实际成本可能因价格变动、折扣、信用额度等因素而有所不同，若要掌握真实支出，应使用提供基于IAM主体的成本分摊功能的AWS Cost and Usage Reports（CUR）2.0，或Bedrock成本管理报告。
评论