Unsloth团队 把 Kimi K3 压到了594GB, 直接放在 Mac Studio + 128g 本地跑,^-^
省流:1bit量化,80%不到的水平。
能有80%也不错啊,稳超ds和glm了
剪枝的大神们什么时候开始剪枝,能剪枝专家后到0.8t或者0.4t就好了