LLMOps
将大型语言模型部署到实际服务中并持续运营、管理所需的一整套实务体系。
简单来说
LLMOps 是把大型语言模型从实验室搬到实际服务中,让它每天稳定运行所需的管理体系。用汽车来比喻的话,训练模型就像组装汽车,而 LLMOps 更像是把车开上路之后,负责保养、加油,发生事故时进行处理。模型并不是做完一次就结束的东西,而是需要持续维护的对象。
具体来说,这包括在修改提示词(prompt)时与旧版本比较性能,在更换新模型时确认回答质量是否下降,以及在调用量激增时监控成本是否突然飙升等工作。过去有一个词专指把预测模型上线运营的做法,而随着语言模型的出现,提示词和模型版本管理成了新的课题,这个词也因此单独确立了自己的位置。
最近,随着语言模型进化到能够自主选择工具、分步骤执行任务的形态,业界开始讨论管理这类自主执行单元的下一阶段规范,被视为 LLMOps 之后的下一步。
在报道中是这样出现的
文章解释道:"过去把预测模型部署上线的做法被称为 MLOps,而随着 ChatGPT 等语言模型的出现,增加了提示词和模型版本管理的 LLMOps 随之而来。"这里的 LLMOps 指的是稳定运营那个负责生成回答的语言模型本身的阶段,与管理能够自主选择工具并分步骤执行任务的智能体的下一阶段(AgentOps)有所区分。