AMD Lemonade:让 GPU 和 NPU 一起跑本地模型

AMD 开源的 Lemonade 项目想把本地推理的门槛打下来:统一调度 GPU 和 NPU,让消费级 AMD 硬件跑大模型不再靠玄学配置。

项目解决的痛点

本地跑模型这件事,英伟达用户有成熟生态,AMD 用户的体验长期一言难尽:驱动、运行时、量化格式,每一步都可能劝退。Lemonade 是 AMD 的补课动作:提供开箱即用的本地推理方案,自动把负载分配到 GPU 和 NPU 上,兼容主流的开源模型格式。对手里有 AMD 核显或 AI PC 的用户,这是「硬件里沉睡的算力终于能用上」的实际改善。

本地推理的卡位战

值得注意的是各家芯片厂的动作齐刷刷指向同一处:英伟达、AMD、英特尔、高通都在猛推本地推理工具链。逻辑不难理解,端侧 AI 是下一波换机周期的卖点,而软件生态决定芯片卖不卖得动,CUDA 的护城河就是前车之鉴。对用户和开发者,这场竞争是净收益:工具链越卷越好用,开源模型的硬件适配面越来越宽。本地与云端的成本天平,每一个这样的项目都在往本地那边加砝码。

via: Hacker News