이미지: OpenAI
"Siri"、"Hey Google"——只要跟语音助手说过话的人，都懂那种烦躁感。话还没说完就被打断，或者话说完了却陷入长久的尴尬沉默。OpenAI于8月3日（当地时间）公开的工程博客，正是讲述了这种烦躁感从何而来，以及过去六个月里他们如何推翻重建系统来消除它。
从对讲机到电话
到目前为止的语音AI打个比方，就像是对讲机。对讲机需要一方说完"完毕"，另一方才能开口。语音AI也是同理——一个叫"话轮检测器"的小模型先要猜测用户是否说完了话，只有这个判断完成后，主模型才开始生成回答。问题在于，这种猜测本质上很难做到准确。判断太快会打断用户的话，判断太慢又会让回应显得迟钝。人与人之间以零点几秒为单位自然进行的对话节奏，机器始终跟不上。
OpenAI的第三代语音系统GPT-Live把这台"对讲机"换成了电话。核心是"全双工（full-duplex）"——一种可以边听边说的语音模型。就像打电话时我们一边"嗯，对"地附和对方，对话也不会因此中断一样，GPT-Live直接从音频通路中去掉了话轮检测器这一中间判断环节。即使话语重叠、被打断，对话依然能continue流动。
把"说话的大脑"和"思考的大脑"分开
然而，快速反应和深度思考是两种相互拉扯的力量。为即时应答优化的模型，在面对难题时容易变得肤浅。OpenAI的解决方案，与呼叫中心的分工颇为相似。接电话的客服（语音模型）持续与客户保持对话，遇到难题时，就把纸条递给坐在后面的专家（GPT-5.5这样的前沿模型）。专家在查找资料整理答案的同时，客服依然可以说"好的，我帮您确认一下"，不让对话中断。
技术上这被称为"异步委托"。音频只在客户端与语音模型之间的专用高速通道中流动，而检索、工具调用、深度推理则在独立通道中处理。缓慢的检索或许会拖慢自身结果的返回，但无法让声音的流动本身停下来。原文中还附有实际语音演示（音频）——展示GPT-5.5在后台检索的同时，GPT-Live如何自然地继续对话——可在原文中直接收听。
边开车边换轮胎的方法
长时间通话还有另一个问题。对话越长，模型需要记住的上下文就越多，最终会超出限制。压缩上下文可以解决容量问题，但压缩过程中不能让对话停下来。
OpenAI的解决方案是在车行驶的同时更换轮胎，而不用停车。原有的模型实例继续对话的同时，后台预先"预热"好一个装载了压缩上下文的替换实例。两个实例短暂并行运行，等新实例完全就绪的瞬间，便悄无声息地切换过去。通话中的人对此毫无察觉。
性能方面也进行了重写。媒体处理代码从Python重写为Go语言，据OpenAI介绍，新系统中最慢的一档（p95）达到了旧系统中位数（p50）的水平。简单来说，过去的"普通水平"变成了现在的"最差水平"。
把六次酒店入住手续变成一次刷脸通行
响应速度从按下通话按钮的那一刻就已经开始计算。作为语音连接标准技术的WebRTC虽然稳定，但启动一个会话需要与服务器往返6次。这类似于每次入住酒店都要重复核验护照、签名、登记信用卡。
OpenAI拆解了这一流程，将6次往返减少为1次，打造出名为WARP（WebRTC Abridged Roundtrip Protocol）的协议。相当于用提前登记好的"刷脸通行证"直接开门。再加上预先协商连接信息的"即时连接（Instant Connect）"功能，客户端仅用一个UDP数据包就能启动通话。值得注意的是，OpenAI并未将WARP作为自家的秘密武器藏起来，而是将其设计为公开规格，正在推进IETF标准化。开源实现libwebrtc和Pion中也已加入了对该协议的支持。
观众不知情的彩排
新系统在上线前经过了一种特殊方式的验证。他们将部分真实ChatGPT语音用户的通话同时分流给旧系统和新系统处理，但用户实际听到的只是旧系统生成的声音。相当于在正式演出前，用真实观众的声音在后台进行了一次彩排。
这种"影子测试"揭示了纸面计算与现实之间的差距。容量瓶颈并非预想中的GPU，而是首先出现在CPU端的流处理和网络路径上；用户与服务器之间的物理距离也被确认为延迟的首要变量。只有在长时间通话中才会出现的内存压力、重连时的状态恢复问题等——这些短时压力测试根本无法捕捉到的缺陷，也在这一过程中被筛查了出来。
编者视角——三年亲身使用见证的变化
这次发布为何重要，与其罗列数字，不如用亲身经历的时间来说明或许更快。编者从2023年秋天ChatGPT首次加入语音模式起，为了YouTube内容制作和AI课程演示，一直持续使用着历代语音模式。
第一代（2023年）老实说算不上对话。 提问之后，要经过3~5秒的沉默才开始回答。据OpenAI自己披露，当时的平均延迟在GPT-3.5下为2.8秒，GPT-4下为5.4秒。了解结构后就知道这个数字理所当然——因为要依次经过三道工序：把我的话记录下来（语音识别）、用文本写出答案（LLM）、再把它读出来（语音合成）。在课程演示中，沉默持续期间我不得不替它找借口说"它现在正在思考"，这种情况不止一两次。那与其说是对话，不如说更接近用语音进行的搜索。
第二代高级语音模式（2024年，GPT-4o）中，我第一次感受到"像对话"的感觉。 模型不再把语音转成文本，而是开始直接听懂声音，响应时间降到了0.3秒左右，声音里也带上了情感和语调。但用得越多，越会留下一种别扭感。哪怕我只是对对方的话附和一句"啊，是这样啊"，AI也会误以为这是打断，猛地把话截断。反过来，如果我为了斟酌措辞而稍作停顿，它又会以为我说完了，急着开始作答。拍摄时让嘉宾和我三人一起对话，这个问题就更加突出——两个人之间自然而然的对话节奏，机器一个人根本跟不上。读完这次发布，我才明白其原因就在于"话轮检测器"这一结构本身。不是模型迟钝，而是在对讲机式的结构下，再好的模型也只能变成那样。
而第三代GPT-Live，则彻底抛弃了这套结构。 即使话语重叠也能保持对话流畅，并不是因为模型变得更"会察言观色"了，而是因为从一开始就换上了根本不会中断的"管道"。把三年的变化浓缩成一句话就是——第一代解决的是智能问题，第二代解决的是速度问题，直到第三代才终于解决了"对话的结构"问题。
从这段经历中还得出了一个实务性的教训：演示视频的流畅与实际使用体验之间的落差，大多不是源于模型的智能，而是源于本文所讲的"管道"——延迟、中断、尴尬的沉默。经常能看到国内企业在考察语音界面时，只纠结于用哪个模型，却把传输层的问题推给通信运营商去解决，这次发布说明这个顺序恰恰搞反了。这也是为什么像OpenAI这样级别的公司，不是在炫耀模型，而是把六个月的"管道施工"失败史娓娓道来的原因。
最后谈谈方向。这套架构已经成为ChatGPT语音功能从单纯对话扩展到电脑控制和代理协调的基础，同样架构的GPT-Live API也已被预告。这描绘出一幅图景：语音不再是AI的辅助输入方式，而将成为驱动智能体的基础界面。像打电话一样自然的对话，正是这一切的前提条件。正因如此，我认为这次发布开启了一个不需要键盘、仅凭语言指挥工作的时代的大门。
