485b 510GB 文件，感觉量化了也很难在 2 台 dgx spark 上运行。
好事是每 token 的 kv 缓存只有原来的 1/5 ，稍微量化下，留个 15g kv ，4 台 spark 跑起来应该很舒服
太快了
看样子 4 张 H20 还跑不动 FP8 了😂
官方发布的已经是 FP4 的版本了，在量化就只能 2bit ，1bit 。也缩不了多少了。