英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
英伟达通过 vLLM 上游优化与 Megakernel 融合，使 2.8 万亿参数 Kimi K3 模型在 GB300 NVL72 上推理速度达 423 tok/s/user，性能提升 1.68 倍。
核心要点速览
- 事件要点：英伟达通过 vLLM 上游优化与 Megakernel 融合，使 2.8 万亿参数 Kimi K3 模型在 GB300 NVL72 上推理速度达 423 tok/s/user，性能提升 1.68 倍。
- 技术突破：围绕 推理, Kimi, K3 等关键领域展开，推动了当前 AI 技术与工程落地的进一步深化。
- 产业观察：信息源自 IT之家，为 AI 开发者、研究人员及产业决策者提供了高价值的技术演进信号与参考。
英伟达 CentML 工程师 Benjamin 完成了一项针对 Kimi K3 模型的推理优化，核心手段是通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核，包含约 1.2 万行代码。该优化在 GB300 NVL72 硬件上使 2.8 万亿参数的 Kimi K3 模型达到 423 tok/s/user 的推理速度，相比此前性能提升 1.68 倍。
这一成果的意义在于，超大参数模型的推理效率一直是制约其实际部署的关键瓶颈。Kimi K3 作为 2.8 万亿参数的模型，其推理成本极高，而英伟达通过内核层面的深度优化，在不更换硬件的前提下实现了近 1.7 倍的速度提升，为超大规模模型的落地提供了新的技术路径。
Megakernel 融合与 Cute DSL 的组合值得关注。Megakernel 将多个计算操作融合为单一内核执行，减少了内核启动开销和内存访问延迟；Cute DSL 则是英伟达面向新硬件架构推出的领域特定语言，专为高效编写解码内核而设计。这种软硬协同的优化方式，体现了英伟达在 AI 基础设施领域从硬件到软件栈的全栈布局。
从行业影响来看，推理速度的提升直接降低了大模型服务的单位成本，使超大规模模型在更多场景下的部署成为可能。同时，1.2 万行代码的 Megakernel 也暗示了 AI 辅助生成高级计算内核的潜力，未来编译器与自动优化工具可能进一步降低内核开发门槛。
本站展示内容为基于公开信息的资讯解读与整理，不代表原文转载。如需核实细节或获取完整报道，请通过下方链接访问原始来源。
深度背景与行业观察
随着人工智能技术的快速演化，围绕 推理、Kimi、K3、Megakernel 的技术探索正从单纯的算法突破转向系统化、场景化的实际落地。
在开源生态与商业化闭源模型的双重驱动下，算力调度、数据飞轮与智能体（Agent）工作流的结合愈发紧密。本条动态不仅反映了当前领域内的研发热点，也为下一阶段的工具化、工程化实践提供了重要风向标。