这个模型 16G显存 可以部署么

一直在期待3.8的27B和35B两个模型

之前用我的6800xt 16g的跑过3.5 27b，可慢了，哈哈哈

确实 我印象中27B的模型 Q4量化 都塞不进16G的显存

我还在用3.6量化，我也是16g显存，勉强能

有点像

跑的流畅么。这个尺寸 是不是砍了多模态的

q4都得20G vram吧，kaggle的 2XT4 可以跑起来，几十tps差不多

对国模不感冒就是源自于千问，发布捅破天，实际使用一坨

应该没有吧,mmproj是有的，也可以识别图片

3.8MAX开源版感觉很鸡肋，阉割了视觉和非思考模式都不知道有啥用途，希望27b给力点

35A3B有消息吗？我m3m 64g 还是想试下moe，dense有点难顶

等不及了。192G内存狠狠的搞起来。等待一手Uncensored版本。

我倒是挺期待能同步出个草稿模型的 不然稠密模型还是慢了点 ^-^

希望长任务能好一点，现在api太贵，玩龙虾都玩不起了

稠密模型有点慢，平时更多用35b

27b跑10 t/s

35b跑30 t/s

我有个24G显存的4090D，勉强能跑起来

用mac的佬可以试试github上的mtplx这个项目，我m5可以从mlx后端的20tks变成60tks