想跑 64K：RTX 3090 24G 是性价比首选（~37 tok/s Decode）。
想跑 192K：RTX 5090 32G 完胜 V100 32G（Decode 52 vs 30 tok/s，1.73×）。
想跑 192K：V100 32G 相比真是白菜价值得拥有（Decode 30 tok/s，）。
全为真机实测，给各们佬参考。
V100是真划算。就是慢点
dflash2不是可以加速吗，你这个测试用了吗
这个得换卡试，V100 架构太老只能用OLLAMA ，只支持MTP
搞起来试试，看能提高多少
听佬们的建议加了DFLASH和MTP，质的飞跃，从192K 从58飞到120
测试完了质的飞跃，但32G只能跑32K上下文，不过用原生MTP速度也翻了一倍。 ^-^
多少量化的呀这是，速度和量化关系也挺大的
