帖子

Lekou · 2026-10-15T09:53:00+08:00

手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。主要用途：1.本地 agent 调用2.部分编码工作3.rag 问答

H100*2 本地部署大模型求助

13410

Lekou2026-10-15
26068
手里有两块 H100 96G 版，用的 AMD 平台，128G DDR5 内存。
目前使用 vLLM 部署的 qwen3.8 27B 感觉有点大材小用，求推荐更合适的模型。
主要用途：
1.本地 agent 调用
2.部分编码工作
3.rag 问答
主楼
10 134
hutoer2026-10-15
44975
试试 Qwen3.8-Flash-Next ?
#1
lovelyxiaod2026-10-15
3215
qwen3.8 27B 都是大材了吗, 我们自己部署的 qwen3.8 flash next 版本好蠢啊.
后来改用 deepseek-v4.1-flash 了.
这个模型真的能胜任编码工作吗?
#2
zhuanggu2026-10-15
44976
@lovelyxiaod 他指的硬件大才小用
#3
Lekou2026-10-15
26068
@hutoer 跑不起来吧，有推荐的部署方案嘛
#4
hutoer2026-10-15
44975
@Lekou 用 Strata 部署
#5
hutoer2026-10-15
44975
@lovelyxiaod strata unsloth iq4_xs ，我简单玩了下，编程还行的。
#6
Lekou2026-10-15
26068
@hutoer Strata iq4_xs 这种适合折腾不太适合生产吧，之前考虑过 Qwen3.8-Flash-Next-FP8
#7
hutoer2026-10-15
44975
@Lekou 没有深度用过，我本来就是玩玩的。
#8
Gnnbb2026-10-15
44835
我们 4 块 pro 6000D 的卡跑的 qwen3.8 27B 。。。
#9
TSNEZHJ2026-10-15
44977
推荐个网站，之前找过，不确定适不适合你的生产环境
https://llmconfigurator.com/zh/best-models
#10

登录后回复