AMD

使用AMD Ryzen NPU在本地运行大语言模型

我使用的是一台Copilot+ PC，使用了AMD的Ryzen处理器，并包含了NPU。此前尝试过使用Lemonade Server运行LLM，但是它不支持使用纯NPU，仅能够混合使用，仍然需要用到核显进行计算。