这些事情，你找AI不是更方便？让AI给你出文档不是更好学？

基础太差了，ai给出的建议是再搞个更小的模型来先做，叫什么投机解码（Speculative Decoding，不是很懂，所以想来请教请教

Qwen3.8-27B有MTP可以开一下看看，另外也可以试试换成Qwen 3.8 Flash Next模型，激活量少

应该快不少

上面说qwen 3.8 flash next的认真的吗？ngram开offload后权重都放不下，sm_89的卡走PCIE直接考虑Qwen/Qwen3.8-27B-FP8，根据Model_Card可以算出256K大概单卡分摊4GB，所以最高试下同时处理8并发，再随机解码应该效果还可以，参数参照vllm recipes如下：```
export VLLM_USE_RUST_FRONTEND=1

vllm serve Qwen/Qwen3.8-27B-FP8 \
--tensor-parallel-size 2 \
--max-model-len 262144 \
--kv-cache-dtype fp8 \
--gpu-memory-utilization 0.95 \
--max-num-seqs 8 \
--max-num-batched-tokens 8192 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml
``后续再根据vllm_bench`调优吧