帖子

YAOHUO · 2026-10-23T19:54:00+08:00

96G显存的NVIDIA RTX PRO 6000 部署GLM-5.3-Flash-IQ4_X 跑个鹈鹕跟个龟速一样,花了30分钟其他模型也试了,Ornith-1.5-122B-Q5 ,Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16,基本跑出来的鹈鹕轮子是飞掉的佬们还有其他小模型推荐吗

奉劝买macmini 理由是为了自己部署模型的人早点放弃

14410

YAOHUO2026-10-23
6774
96G显存的NVIDIA RTX PRO 6000 部署GLM-5.3-Flash-IQ4_X 跑个鹈鹕跟个龟速一样,花了30分钟
其他模型也试了,Ornith-1.5-122B-Q5 ,Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16,基本跑出来的鹈鹕轮子是飞掉的
佬们还有其他小模型推荐吗
主楼
10 144
Stone2026-10-23
8079
自己部署模型，我感觉没有什么意义，如果是企业的话，小企业的话，他可以买几个mini合并起来，自己做一个属于自己的知识库，这个是可以的然后，他想搞那种大模型的话，我感觉是不现实的
#1
Pokeman2026-10-23
6481
自己部署的话估计是混元这种翻译了
#2
Kassdin2026-10-23
5769
Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16
这两模型不应该鹈鹕都画不好吧？是不是部署出了问题
#3
Dowad2026-10-23
9344
要接受有人万元耳机只为听个响，真就图一乐
#4
bittenbydog2026-10-23
9345
没有离线/敏感/私有化需求的话，还是别折腾了，感觉没什么太大必要。
#5
YAOHUO2026-10-23
6774
我感觉也就翻译和OCR实用点其他的差点意思
#6
Pokeman2026-10-23
6481
差不多，要么就布置那种中小参数的，比如9B这种甚至更低，一般参数越小越快，像那种20+B的跑起来也吐字慢
#7
毛毛虫2026-10-23
6275
不应该是用来部署nsfw的画图模型吗^-^
#8
时牧2026-10-23
4321
一般用来玩图片生成这种吧，为了无审查
#9
YAOHUO2026-10-23
6774
哈哈哈我是要成为 X漫榜首的男人
#10

发表回复

登录后回复