帖子

Ninfer和Strata 这两个真的是让老硬件起飞了 3090+64g 本地120bmoe模型1M上下文

966

darkstarrd2026-10-01
17678
Strata之前用了一阵子Ninfer，速度快最爽的是可以高并发，也就算了，毕竟也就是27B dense
Strata一出来各种离谱的结果，8g+32gram的笔记本都能跑120b的moe模型了
稍微好点的老爷机本地开1M上下文，另一个号称自己优化后4090上跑到220tps的
这个框架还欠缺的就是并发能力和视频推理能力了，这两个还是得用Ninfer
这么搞下去，硬件还有可能降价吗
主楼
6 96
sg80112026-10-01
11705
我已经用strata来作为本地的主力模型来做一些小任务了，以前都不敢想我一个破16G 的4060ti，能跑这种模型
#1
darkstarrd2026-10-01
17678
这个已经不是小任务的范畴了，3.8 flash next比老版的ds4f都强
最重要的是马上qwen4.0又要出来了，更强的27b和flash，现成的推理框架
还有传说中的ds mini本地模型
日子真是好了
#2
lkainan2026-10-05
16410
搞得我都想屯点硬件了哈哈
自己最近也想搞1个
#3
darkstarrd2026-10-05
17678
主要这玩意一下子把一堆老古董硬件都给拉起来了
不管是十几年前的老xeon还是ddr2内存，v100那种没啥用的卡，全都可以用上
而且项目更新也很勤快，从我刚开始用到现在，速度几乎已经提升了一倍了
这个是测试搓的中国象棋
darkstarrddev.us.ci
棋室 · 中国象棋 3D
#4
卧靠2026-10-12
17679
为什么我的相哪也不能去了。
#5
seq0012026-10-21
17680
我手里好多老服务器，全是xeon+DDR3的内存，是不是配几个老显卡，也能搞一下。能安装cuda最新版本吗
#6

发表回复

登录后回复