帖子

佬们，单位部门预算10w想本地部署Qwen3.8-27B模型，大概也就十几个人用，有比较好的方案推荐吗

929

清皮同学2026-09-14
18268
目前的是我们部门跟单位抢卡，信息部那边部署的，用了一块A800，然后ld嫌有点慢，我看了下速度大概20tok/s，ld就想预算10w搞一个我们部门自己用的。
看了一些方案，感觉很难比A800快，虽然可能比20tok/s快应该可以，佬们有什么思路吗。
目前考虑的是双路5090，单卡pro6000（可能超了），双路dgx spark（琢磨这个到时候应该换个部署dsf）
主楼
9 92
Grogu2026-09-14
9197
RTX Pro 6000 WKS，10W 都花了，不差再加一点点 ^-^
#1
寂寞的欧尼酱2026-09-14
18232
10w 的预算，十几个人用 Qwen3.8-27B，预算还是不够用。
#2
Doro20772026-09-14
7635
^-^dgx station性能好点，我们公司都是买的station，不过得加钱
#3
Lyra_Celeste2026-09-14
38367
我们是两台 128G 的mac studio 运行…… 也是十几个人但是我们没什么特别的并发情况。
#4
ddoocc2026-09-14
5850
station多少钱了？120够用吗
#5
wzyfromhust2026-09-14
36389
同时服务 10+请求根本扛不住(即使是 pro6000) 无论 ttft 还是 tpot 预计速度都非常可怜还有概率发生 kv 驱逐
#6
害你的猪2026-09-14
10525
不够，如果10个人同时并发，根本顶不住。除非限制上下文每人64k？
我现在单卡5880ada单并发自己使用上下文512k，也只够勉强处理任务。如果开2并发，那就只有256k上下文。
#7
Rita012026-09-14
17705
整就整好点，上点好配置，以后肯定还有需求的，这点钱估计10个人都够呛
#8
sunliang2026-09-14
8265
RTX PRO 5000 72GB 工作站，跑官方 FP8 版本
#9

发表回复

登录后回复