InfLLM-V2是一种可高效处理长文本的稀疏注意力模型，仅需少量长文本数据即可训练，且性能接近传统稠密模型。通过动态切换短长文本处理模式，显著提升长上下文任务的效率与质量。从短到长低成本「无缝切换」，预填充与解码双阶段加速，释放长上下文的真正生产力。
长序列高效处理已成为大模型应用的关键。
传统稠密注意力在序列变长时计算开销极速增长，直接限制了产品可用性与成本可控性。
为解决这一痛点，清华 、OpenBMB 和哈工大提出 InfLLM-V2：一种零额外参数、训练高效的原生稀疏注意力框架。
InfLLM在短文本场景保持原生高效率，在长文本场景则切换为稀疏模式，带来端到端的显著加速。
该方法仅用5B的长文本词元，即可完成稀疏注意力的训练（而DeepSeek-V3.2-Exp训练了近 1T 词元的数据，才完成稀疏注意力的训练）。
具体而言，InfLLM-V2相比于稠密注意力机制可以实现4倍的速度提升，在长文本理解任务上保持98.1%的稠密模型性能，在深思考任务上保持99.7%的稠密模型性能。
InfLLM有三个核心优势
1. 低成本训练：仅需5B长文本数据即可完成稀疏注意力能力的训练，训练成本低，适配周期短。
2. 短到长无缝切换、效率双优：零新增参数，短序列用稠密、长序列切换为稀疏，完全对齐「短序列预训练-长序列后训练」的主流范式，训练稳定、收敛快。
3. 高效算子实现：针对稀疏注意力「相关上下文选择」（块选择）的时间瓶颈进行系统优化，提出面向硬件的高效实现，显著降低HBM I/O与计算开销，释放稀疏注意力的全部潜能。
论文链接：https://www.arxiv.org/pdf/2509.24663
模型链接：https://huggingface.co/openbmb/MiniCPM4.1-8B
InfLLM-V2如何做到既「强」又「快」
在标准 Transformer 的自注意力中，每个查询词元 (Q[t]) 需与全部历史词元 (K[:t]) 计算相似度并参与注意力计算。
在长上下文（动辄数十万词元）时造成难以承受的时延与成本。经验上，长序列中绝大多数远距离注意力计算并非同等重要，注意力矩阵呈现显著的「稀疏性」（多数注意力得分接近零）。
如果能仅对「少量相关上下文」进行计算，就能显著降低模型注意力计算开销。
稀疏注意力将「每个查询词元都与所有键值交互」的稠密范式，替换为「每个查询词元只与一个选定子集交互」的稀疏范式。
核心包括两个步骤：
块选择，将上下文拆分为键值块，并为每个查询确定需要参与注意力计算的键值子集；
稀疏注意力计算，仅在被选中的子集上进行注意力计算。
可训练的稀疏注意力在模型训练过程中即引入稀疏机制，能够系统性地提升模型在长文本场景下的效率与质量。
然而，现有代表性方法主要为 DeepSeek提出的NSA架构。
NSA虽然采用了成熟的块稀疏结构并配套专用CUDA内核，但其架构与主流的「短序列预训练—长序列微调」范式存在明显错配：引入三套独立的 KV 缓存与三种注意力分支，在「长序列微调」中将使得模型收敛不稳，并且对短序列场景增加了大量的额外开销。
针对上述痛点，InfLLM-V2 提出「零额外参数、长短无缝切换」 的可训练稀疏路径，在不改变原有注意力参数的前提下，完成从稠密到稀疏的平滑切换。
无缝短长切换：仅用一套共享键值缓存（零额外参数），把 NSA 多分支并为单一分支；与稠密注意力在参数与计算方式上完全对齐，按序列长度动态切换稠密/稀疏，训练更稳。
长短序列效率双优：短文本直接使用稠密注意力机制，零额外开销与性能回退；长文本用统一的稀疏范式，prefill 与 decode 全链路提速。
硬件友好的块选择：基于 MLP 的块压缩操作修改为无参数池化操作；压缩注意力（图中Compressed Attetntion）修改为仅生成选择分数，计算 Top-K；配合 GQA 组内共享 Top-K，实现了更优的计算 Kernel 融合，避免块选择代替稀疏注意力成为效率瓶颈。
在以上技术的支持下，InfLLM-V2仅需使用5B词元即可实现稀疏注意力模型的训练！
与DeepSeek Sparse Attention对比
值得注意的是，在9月29日，DeepSeek-V3.2-Exp中提出了NSA的升级版 —— DeepSeek Sparse Attention（DSA）。
DSA抛弃了NSA中三套独立KV缓存与三种注意力分支的设计，并在后训练阶段引入稀疏注意力算法。
实验结论
研究人员基于MiniCPM4的基座模型，在长文本理解与深思考任务上对比了不同稀疏注意力算法的效果。
长文本理解任务
在长文本理解任务RULER、LongBench与LongPPL评测中，InfLLM-V2实现了与稠密注意力模型完全可比的性能，展现了InfLLM-V2的优越性。其他稀疏注意力方法一定程度上都会导致模型性能下降。
NSA方法新增了大量参数，在少量的长文本训练后，无法让模型捕捉到长上下文中的前后语义关联。
深思考任务
在数学、代码深思考任务中，InfLLM-V2能够实现与稠密注意力可比的性能，而 NSA 方法却对模型效果有着较大的损害。
随着愈来愈多的任务要求模型进行更深入的推理与分析，「如何高效加速模型的思考过程」已成为当下的重要研究方向。InfLLM-V2充分展现了稀疏注意力在深思考场景下的潜力。
效率评测
研究人员在A100与4090两款芯片上对InfLLM-V2进行了推理效率评测。
结果表明，InfLLM‑V2相对稠密注意力可获得显著加速，在128K长文本中，InfLLM-V2 可实现4-9倍算子加速比。
分解分析与消融实验表明，高效块选择设计是关键加速来源。
端到端评测中，InfLLM‑V2在prefill与decode分别实现约2.1×与2.3×加速。
算子速度测评
端到端速度测评
首个开源原生稀疏注意力模型MiniCPM4/MiniCPM4.1
在今年6月，OpenBMB联合清华提出了InfLLM-V2架构，并基于该架构共同发布了首个开源的原生稀疏注意力模型MiniCPM4，并在9月初开源了混合思考版本MiniCPM4.1
MiniCPM4.1在众多深思考任务上取得综合平均分同尺寸模型第一。
MiniCPM4.1充分利用稀疏注意力、投机采样等高效算法，在LiveCodeBench、AIME等代码、数学推理的测试中，推理速度比Qwen3-8B等同尺寸开源模型快3倍以上。
研究人员表示，将持续优化InfLLM-V2的训练算子与推理算子，将InfLLM-V2集成至SGLang等主流推理框架中。
同时，为了促进稀疏注意力机制的研究，也将陆续开源论文中使用到的基座模型（Base模型）与长文本训练数据。
参考资料：
https://www.arxiv.org/pdf/2509.24663
本文来自微信公众号“新智元”，作者：LRST，36氪经授权发布。
