帖子

有没有佬使用过llama.cpp在内存大显存小的机子上部署上了较大参数的模型？

323

nakanojinharuka2026-08-04
43450
如题，实际测试测下来之后我们有一台4090（24G）和128G内存的机子能够部署deepseek v4 flash的Q4量化，然后像Qwen等这些都能本地部署（也是Q4量化甚至是Q8），就是可能要分配下显存。
我这里做研究够用了，但还需要问下佬友，怎么尽可能吃完这些资源？
主楼
3 32
W1nge2026-08-04
4840
llama.cpp有一个number of layers for which to force moe whights onto cpu的参数，调整这个可以让内存密集的moe层加载在cpu上，而计算密集的attention跑在显卡，佬可以试试这个。
#1
nakanojinharuka2026-08-04
43450
--n-cpu-moe这个参数我看了下几篇文章，看起来是要做实验确定最佳配置？
#2
cocodina2026-08-04
22602
我们有一个3080 10G和128G内存的服务器llama.cpp部署了qwen3-coder,输出挺快，但是智商堪忧，上下文也不太行
#3

登录后回复