이미지: r/LocalLLaMA 화면 갈무리
摘要
- 开发者superm1向llama.cpp仓库提交了一个添加ROCm 7.14 CI目标的拉取请求
- 该变更从构建版本b10356开始生效,据悉ROCm 7.14是首个采用TheRock构建系统的正式版本
- 现已可通过wheels、debs、rpms、tarballs、runfiles等多架构分发包进行安装
- 저장소
- ggml-org/llama.cpp
- 작성자
- superm1
- 적용 시점
- 빌드 b10356 이후
- ROCm 7.14 특징
- TheRock 빌드 시스템 기반 첫 정식 릴리스
- 지원 플랫폼
- Linux, Windows CI 타깃 추가
新增了什么
据悉是AMD开发者的superm1,向开源LLM推理引擎llama.cpp仓库提交了一个为ROCm 7.14添加CI(持续集成)目标的拉取请求。该变更从构建版本b10356开始生效,Linux和Windows两边都新增了对应目标。据介绍,ROCm 7.14是首个采用名为"TheRock"的新构建系统的正式版本,可以wheel、deb、rpm、tarball、runfile等多种打包形式分发到不同架构上。帖子中还附上了作者本人的疑问:"想知道ROCm 7.14是否带来了实际可感知的性能提升",但目前尚未看到实际用户的反馈。
这是什么意思
ROCm是AMD打造的开放计算平台,是与NVIDIA的CUDA相对应的GPU计算生态系统。深度学习领域长期以CUDA为主导运转,而ROCm由于驱动兼容性和构建复杂度等问题,在本地LLM社区中相对处于次要地位。llama.cpp是一款推理引擎,通过名为GGUF的轻量化量化格式让大语言模型能在个人电脑上运行,已成为本地LLM生态中事实上的标准工具。新增CI目标意味着开发团队开始自动验证该硬件与软件组合下构建是否正常。也就是说,此次变更与新增功能关系不大,更像是一个信号:表明在AMD GPU上使用llama.cpp的环境将获得更稳定的维护。此前在去年8月,本地LLM社区曾分享过将RTX 4090与Tesla P40组合运行DeepSeek v4 Flash的案例,这类混合配置实验的增多,归根结底也与llama.cpp持续扩展多样硬件支持的趋势相呼应。
那么会有什么变化
对拥有AMD GPU的用户来说,这带来了实际好处:在最新版ROCm上运行llama.cpp时遭遇构建错误的可能性会降低。在NVIDIA GPU占据绝对优势的本地LLM硬件市场中,ROCm支持能够持续更新,意味着又多了一个更可靠的选择。不过,实际推理速度或性能提升幅度在这次PR本身中并未得到确认,还需要观察用户社区后续的测试结果。
