英伟达（NVIDIA）的RTX 3090拥有936.2GB/s的内存带宽，在提示词处理和词元生成速度方面相当能打，唯一的问题是24GB的VRAM让情况略显受限。一位开发者在RTX 3090上运行Qwen3.8-27B时，速度原本只有82 tok/s，但通过发布并使用一套自定义推理引擎，这一速度提升到了382 tok/s，词元生成速度提升了近5倍，这完全得益于各项优化。不过整个过程中也遇到了一些小波折，具体细节见下文。
当Qwen3.8-27B已经在重复它已有的文本时，词元生成速度会成倍提升。
要理解AI文本生成为什么慢，有必要先搞清楚这些大语言模型是如何工作的。模型一次只写一个词元，而每个词元都依赖前一个词元。RTX 3090必须为每个词元把模型存储的庞大知识集——也就是它的权重——从内存中读取出来。真正的瓶颈在于这个读取过程，而非实际计算，因此显卡的算力大部分时间都处于闲置状态。
意识到这一瓶颈后，Reddit用户“u/iamMess”用推测解码来应对。一个快速的“起草器”会猜出接下来的若干个词元，主模型则在单次前向计算中全部校验，保留正确的、丢弃其余的。简而言之，就是不再逐词校验，而是整句校验。此外，由于主模型始终拥有最终决定权，输出结果与它原本会写出的内容完全一致，这位开发者报告称，在数学基准测试上的准确率稳定保持在96.5%。
词元生成速度最终分阶段攀升。调校Qwen3.8-27B内置的多词元预测（MTP）——该功能让它能自行猜测接下来的几个词元——将单用户速度提升到了约114 tok/s。随后，这位开发者又加入了一种名为“DFlash2”的第二套起草方法，一次可提出7个词元，外加一个“查找”起草器，它会扫描对话中已有的文本来匹配刚刚写出的内容，并据此猜测后面会出现相同的词。
据报道，Qwen3.8-27B在单块24GB VRAM的RTX 3090上从82 tok/s提升到了381 tok/s。这是在未升级GPU、未更换模型的情况下实现的4.6倍提升。这一进步来自对推理栈的优化。以下是所报告速度的演进过程：基线为82……——FHILY👑（@Oluwaphilemon1），2026年10月18日
“查找”起草器帮助将词元生成速度提升到了138 tok/s。这位开发者原本以为校验步骤的规模必须与DFlash2的7词元猜测保持一致，但事实并非如此。查找起草器可以免费填补多出来的槽位，因此引擎现在每一步校验16个词元。当Qwen3.8-27B引用文档时，这16个猜测中约有15个会被接受，这使得在25,000词元的文档任务上，速度从260提升到了382 tok/s。在普通聊天中，同样的改动带来了约133 tok/s的速度。
此外，这位开发者还利用这一方法，通过以更紧凑的格式存储模型的工作记忆，将上下文窗口提升到了138,696个词元。显然，这一切算不上什么重大突破，并且还伴随着一些缺点。更长的校验步骤会占用一半的请求槽位和8,000个词元的上下文，因此它是可选项。至于紧凑的内存格式，它会使一开始读入文档所需的时间翻倍，因此它适合那种加载一次文档、然后多次提问的场景。
在文本重复类任务之外，这一模式的运行速度约为普通MTP的一半。对于日常聊天，你可以预期大约133 tok/s的速度，这相比此前获得的82 tok/s仍是实打实的提升。不过，由于我们尚未独立核实这一信息，目前最好还是姑且听之。
