状态空间模型
State Space Model
一种AI模型架构,只需持续更新一个压缩了此前所有信息的'状态',因此即便输入变长,计算量也不会大幅增加。
简单来说
状态空间模型会从头到尾逐字逐句地读取句子或声音,过程中始终只维护并更新一个压缩了迄今为止所有内容的'状态'。这有点像读书时每翻一页就用一句话概括到目前为止的剧情,再翻到下一页。不需要重新翻看之前读过的所有内容,只要带着刚刚更新的这份摘要往前走就行,所以即便输入变得再长,处理负担也不会大幅增加。
相比之下,目前广泛使用的架构在处理每个词时都要重新扫描之前出现过的所有词,句子越长,计算量就会像滚雪球一样迅速膨胀。状态空间模型省去了这个负担,但代价是必须按顺序逐个处理,因此特别适合语音合成实时输出、流媒体服务等数据持续不断涌入的场景。
在报道中是这样出现的
据介绍,Cartesia的语音合成模型Sonic-3.6没有采用目前广泛使用的架构,而是基于状态空间模型(SSM)架构运行。文章说明,得益于这一架构,生成首个音频所需的时间不到90毫秒,同时指出这一数字是该公司自行测得的,可能与实际服务中用户感受到的往返延迟有所不同。