这项由中国科学院自动化究诘所、中国科学院大学与腾讯微信合伙完成的究诘，于2026年5月发布在arXiv预印本平台，编号为arXiv:2605.06221。关于总共使用过AI助手处理长篇文档、进行多轮对话或调用智能客服的东说念主来说，这项究诘触及了一个每天都在发生却鲜少被关爱的着力瓶颈。

每当你向一个AI助手粘贴一篇几万字的协议条目它摘记，或者条目它阅读一份长达百页的讲述后酬金问题，AI在给出第一个字之前时时需要恭候相等长的时刻。这段恭候时刻在本领上称为"首字延迟"（Time-To-First-Token，简称TTFT），它取决于AI处理你输入的全部内容需要多久。输入越长，恭候越久，这简直是铁律。究诘团队将这个问题比作藏书楼里一位勤奋的管束员：无论你问什么问题，他都要把藏书楼里每一瞥书架、每一册书、每一页纸都认珍视真地翻阅一遍，才肯启齿酬金。昭着，淌若管束员能灵巧地判断哪些书架根底与你的问题无关，跳过那些不要紧的部分，他给出谜底的速率就会大幅擢升。

UniPrefill恰是基于这一直观假想的框架。究诘团队在实验中解说，这套设施能让AI处理长文本的速率最高擢升2.1倍，何况不会对酬金质地变成彰着吃亏。更辗转的是，当同期有好多用户在使用吞并台AI管事器时，这个加快着力会变得愈加权臣——恰好对应了真实全国中AI管事最弥留的使用场景。

一、为什么"读完再说"会成为大问题

要融会这套设施的价值，需要先分解当代AI助手在处理长文本时究竟濒临若何的贪图挑战。刻下最主流的大型谈话模子，其中枢贪图机制叫作念"自审视力"（Softmax Self-Attention）。这个机制的责任方式，不错用一场相等特地的圆桌会议来类比：假定输入的每一个词都是一位与会者，而"自审视力"条目每位与会者在发言之前，必须与会议室里总共其他东说念主都持一次手，充分了解相互的关系，才能决定我方说什么。这意味着与会者越多，持手总次数就会以夙昔倍数暴增。输入1000个词时需要100万次持手，输入10000个词时则需要1亿次持手——贪图量呈爆炸式增长，恭候时刻天然也随之急剧拉长。

面对这个问题，AI规模的究诘者们比年来开荒出一批"羼杂架构"模子，试图责怪这种贪图职守。一类作念法是将部分"全体持手"层替换成着力更高的"线性轮回"层，让复杂度从夙昔级降回线性级；另一类作念法是让大多数层只与近邻的邻居持手，仅保留少数几个"全体持手"的全局层来捕捉长距离信息。前者的代表是Qwen3-Next-80B-A3B这么的模子，后者的代表则是Gemma-3-12B。这些羼杂假想大幅责怪了表面贪图量，并已被多家主流厂商用于坐褥级模子。

然则，现存的加快设施却有一个根人性的局限：它们简直清一色地聚焦于优化"全体持手"这一步，关于其他类型的贪图层置之不理。以MInference、FlexPrefill、XAttention等代表性责任为例，它们通过识别审视力矩阵中稀少的、不错跳过的部分来提速，在纯全审视力模子上照实能完毕惊东说念主的加快着力。但当这些设施被移植到羼杂架构上时，问题就暴显现来了：在一个四层轮回中唯唯一层是"全体持手"层的模子里，即便把那一层的持手加快到极致，其余三层的贪图时刻照旧纹丝未动。就像一回包含飞机、火车和公路三段的远程旅程，你只优化了飞机这一段，对全体耗时的改善天然相等有限。实验数据也印证了这少许：在处理128K长度文本时，MInference在Gemma-3-12B上的加快倍数仅为1.03倍，简直莫得任何匡助。

与此同期，这些稀少审视力设施还有另一个硬伤：它们与工业级推理引擎的中枢休养机制不兼容。当代AI管事器使用一种叫作念"贯穿批处理"（continuous batching）的战略来同期管事多个用户——不同用户的央求被打包在一起处理，就像一辆公交车一起凹凸乘客，而非每次只送一位乘客。FlexPrefill之类的设施假定每次只处理一个固定的央求，无法适合这种乘客随时凹凸车的动态场景，因此遥远停留在究诘原型阶段，从未的确参加坐褥环境。

二、藏书楼管束员的灵巧剪枝法

UniPrefill的中枢想路不错用前边那位藏书楼管束员的比方来延长融会。这位管束员当今学灵巧了：在开动珍视阅读之前，他先用一分钟快速扫一眼总共书架，判断哪些区域根底和你的问题不要紧，然后顺利跳过那些区域，只珍视阅读的确要紧的部分。更妙的是，一朝他决定跳过某个书架，这个决定对整栋藏书楼剩余的每一层楼都获胜——他不仅在刻下楼层跳过，后续总共楼层也相通跳过阿谁书架。这么一来，省下的时刻就不仅仅一层楼的扫描时刻，而是总共楼层重复起来的简约。

本领层面，UniPrefill的运作方式分为三个紧密相接的花样。

第一步叫作念"要紧性揣度"。每当处理到一个包含"全体持手"的层时，系统不会坐窝让总共词之间都相互贪图，而是先只取输入序列末尾的一小部分词（默许取终末128个词）动作"发问者"，让这些发问者与序列中的总共词作念一次快速持手，得到一份初步的"要紧性分数"——即每个词关于生成下一个字来说大略有多要紧。这个操作的贪图量远小于圆善的全体持手，因为发问者只占总词数的一小部分。

这里有一个值得绝顶诠释的细节：UniPrefill的要紧性揣度与另一个广为东说念主知的设施SnapKV有名义上的相似之处，但两者的执行认识皆备不同。SnapKV在处理完通盘输入之后，才用这个评分来压缩后续生成阶段需要存储的缓存，并不减少处理输入时的贪图量；而UniPrefill是在处理输入的过程中就愚弄这个评分来决定跳过哪些词，简约的是当下正在进行的大批贪图，两者根底不在吞并个时刻点施展作用。

第二步叫作念"Top-p词块筛选"。系统将通盘输入序列按照固定大小（默许64个词一组）分红若干"词块"，并把刚才算出的要紧性分数在每个词块内取平均，得到每个词块的玄虚要紧性。然后，系统按照要紧性从高到低摆列这些词块，保留要紧性之和刚好达到总要紧性99%的最小词块麇集，其余词块一律丢弃。

之是以遴荐"Top-p"而不是顺利保留固定数目的词块（即"Top-k"），有其真切的统计原因。审视力的散布因文本内容而异：未必高度皆集在少数几个辗转词上，未必则均匀分散在大批词语中。淌若固定保留50个词块，在前一种情况下会保留大批无关内容，在后一种情况下则可能丢掉要紧信息。而Top-p会自动适合：审视力皆集时保留少，审视力分散时保留多，遥远保证丢弃部分的审视力质地占比不进步1%，形成一个严格的信息吃亏上界。

此外，有两类词块无论评分凹凸都会被强制保留：序列最开端的128个词（这些词在审视力机制中饰演特地的"锚点"脚色，AI究诘者将其称为"审视力千里淀"）和序列末尾的128个词（即刚才参与揣度的"发问者"本人）。

第三步叫作念"稀少性跨层传播"。这是UniPrefill与总共前代设施最执行的折柳场所。被判定为不要紧而丢弃的词块，不仅在刻下这个"全体持手"层被跳过，何况在刻下层之后的总共层——无论是线性轮回层、滑动窗口层，照旧前馈神经网罗层——都被遥远性跳过，直到下一个"全体持手"层重新作念一次评估为止。跳过的词的讳饰气象被冻结在丢弃时刻的数值，不再参与任何贪图，但会被保留住来传递给后续层，以便在需要时"回生"。

这个假想的贪图收益是重复的：假定某次丢弃操作保留了60%的词，那么后续每一个贪图层都只需要处理60%的词，简约的贪图量与后续层数成正比。在一个有几十层的深度模子中，这意味着早一层作念出丢弃决定，就能省下更多的贪图资源。究诘团队的表面分析也解说，在序列极长的情况下，UniPrefill能简约的贪图量与稀少审视力设施能简约的贪图量之比，跟着序列长度的增长趋向无尽大——也等于说，文本越长，UniPrefill联系于稀少审视力设施的上风越悬殊。

三、把这套逻辑塞进工业级管事器

算法假想再精妙，淌若无法在真实的坐褥环境中运行，真钱牛牛官方网站也仅仅一纸空文。究诘团队在系统工程层面相通付出了大批尽力，将UniPrefill深度集成进了面前工业界使用最无为的推理引擎vLLM。

率先，整套要紧性揣度和词块筛选的经过被完毕为四个紧密会通的GPU贪图核（kernel），皆备在显卡上引申，不需要在GPU和CPU之间往返传输数据。具体经过是：先贪图末尾128个词与总共词的审视力得分矩阵，然后用在线softmax算法对其归一化，接着在每个词块内作念空间团聚得到词块级别的分数向量，终末用一个排序加阈值的操作笃定保留哪些词块，生成一个二值掩码。

在处理多GPU并行贪图时，不同的GPU各自只负责部分审视力头，因此每个GPU看到的要紧性分数仅仅一个局部视角。究诘团队的处分决策是在作念筛选决定之前，先把总共GPU的局部分数加总，得到全局分数，再作念融合的筛选。这么能确保总共GPU关于哪些词块该留、哪些词块该丢，达成皆备一致的决定，幸免出现"张三留着第5号词块、李四却丢掉了第5号词块"这种繁杂场面。

更复杂的问题在于若何与vLLM的贯穿批处理休养器协同责任。vLLM会同期处理多个用户央求，不同央求被打包成一个批次，用一套融合的数据结构管束总共词的位置信息、KV缓存（即AI存储已处理词的"驰念"）的物理地址、每个央求的序列长度等等。当UniPrefill丢弃了某些词之后，这套数据结构中的每一项都需要相应更新，不然后续贪图就会出错。

究诘团队为此假想了率性的气象保重机制。每次发生丢弃操作时，系统会记载下丢弃发生的层编号和丢弃后保留的词数，形成一份"丢弃历史账单"。在随后的生成阶段，AI需要回头查阅我方在处理输入时写下的"驰念"（KV缓存），此时系统会把柄这份账单，告诉每一层它在处理输入时执行写入了若干条驰念——因为不同的层写入的驰念条数可能不同，全局审视力层和滑动窗口审视力层管束的缓存致使相互寂然。这通盘过程不需要修改模子权重，也不需要转换vLLM底层的内存分拨器，不错像一个透明的加快插件一样无缝镶嵌。

四、在真实测试中的进展究竟若何

究诘团队选用了一个名为RULER的长文才略路基准测试来评估UniPrefill的质地，同期在vLLM框架内测量了执行的处理速率。RULER隐敝了检索、多跳推理、信息团聚、问答等多种任务类型，凹凸文长度从4K推广到128K，被合计是面前评估长文本AI才气最全面的测试之一。

在三个模子上，UniPrefill的进展都彰着优于其他加快设施所能达到的最好精度-速率衡量点。以纯全审视力架构的LLaMA-3.1-8B为例，在128K凹凸文长度下，UniPrefill的RULER分数为79.87，与未加快的基准版块76.89比较致使略有擢升（这是因为保留了最要紧的词之后，审视力反而愈加聚焦），同期完毕了2.26倍的首字延迟裁汰。比较之下，LazyLLM在相通长度下分数跌至49.71，精度吃亏惨烈；MInference固然保住了78.21的分数，但加快倍数仅为1.34倍。

在羼杂架构模子上，UniPrefill的上风愈加隆起。关于Qwen3-Next-80B-A3B（线性与全审视力以3:1羼杂），MInference在128K上的加快倍数唯独1.05倍，而UniPrefill达到了1.68倍。关于Gemma-3-12B（滑动窗口与全审视力以5:1羼杂），MInference的加快倍数仅1.03倍，UniPrefill则达到1.49倍。这印证了究诘团队的中枢判断：当全审视力层在模子中的占比越来越小时，只优化审视力层的设施效益越来越差，而UniPrefill的跨层稀少传播机制让它在这些场景下仍然灵验。

在vLLM内的蒙胧量测试则展示了另一个维度的加快效益。单用户使用128K文本时，LLaMA-3.1-8B的处理蒙胧量从21013个词每秒擢升到43672个词每秒，擢升幅度达107%。当同期有16个用户时，擢升幅度进一步扩大到109%。Qwen3-Next-80B-A3B在128K单用户场景下擢升48%，16用户场景下擢升68%。Gemma-3-12B的擢升幅度相对较小，128K单用户42%，这与它的架构中全审视力层占比最低（仅六分之一）顺利接洽。

一个略显反直观的风景是，在极短的文本（4K）和极小的批次（单用户）下，Qwen3-Next-80B-A3B的蒙胧量反而着落了3%到5%。究诘团队对此的解释是：在极漫笔本中，简直莫得什么词块能被的确丢弃，要紧性揣度本人的贪图支拨反而成为了非常职守。这诠释UniPrefill的上风区间主要在长文本和多用户并发场景下——而这恰好是坐褥环境中最常见、最遑急的情形。

五、微调参数时的礼貌与选定

究诘团队还系统地测试了两个辗转超参数对性能的影响，提供了遴荐它们时的直不雅依据。

词块大小G限定了丢弃操作的粒度，不错融会为藏书楼管束员每次跳过的最小单元是"一层书架"照旧"一瞥书架"。G=64（默许值）是精度与速率之间的均衡点。G=32（更率性）能让管束员跳过更小的单元，在长文本下丢掉更多不要紧的内容，但判断本人的贪图支拨也更大；G=128（更粗粒度）相宜漫笔本，判断快但活泼性低。实验数据骄贵，G=32在LLaMA-3.1-8B的128K场景下能达到121%的蒙胧量擢升，代价是4K场景下精度从96.53略降至93.42。

末尾查询数目n决定了要紧性揣度时"发问者"的数目。n过少时（n=32），用于揣度的样本太少，揣度闭幕方差大，容易误判要紧性，RULER对等分从90.45下滑至87.77。n过多时（n=512），揣度精度擢升但贪图支拨也随之增多。n=128在精度与支拨之间达到最优，成为默许成就。

说到底，UniPrefill作念的事情并不复杂：它让AI在珍视处理输入之前，先作念一次快速的"要紧性预扫描"，然后在接下来的每一层贪图中，都只处理那些真赶巧得关爱的部分。这个想路的好意思妙之处在于，它绕开了"只可加快审视力层"的局限，把一次判断的收益扩散到了通盘模子的总共层，在羼杂架构模子上照旧奏效。而通过与vLLM的深度集成，这套设施得以在真实的多用户管事场景中执走运行，而非停留在实验室阶段。

关于普通用户而言，这意味着异日使用AI处理长篇文档时，恭候第一个字出现的时刻有望裁汰一半致使更多，尤其是在管事器资料、同期有好多东说念主在使用的时候。关于AI管事提供商而言，相通的硬件资源不错管事更多用户，或者在不增多管事器的前提下撑持更长的输入文本。

天然，这项究诘也坦承我方的范围：UniPrefill面前专注于"读入阶段"的加快，关于AI生成每一个字的"输出阶段"，以及模子检修本人的着力，面前尚未触及，究诘团队将其列为异日的探索认识。有深嗜深入了解本领细节的读者，不错通过arXiv编号2605.06221查阅圆善论文，代码已在GitHub开源。

Q&A

Q1：UniPrefill是若何决定哪些词不错被跳过的？

A：UniPrefill在每个全审视力层处，先用序列末尾的128个词快速扫描通盘输入，为每个词块打出一个要紧性分数，然后保留要紧性之和达到99%的最小词块麇集，其余全部跳过。序列开端的128个词和末尾的128个词无论分数凹凸都会被强制保留。

Q2：UniPrefill加快长文本处答理不会让AI的酬金质地变差？

A：在RULER长文本基准测试中，UniPrefill与不加快的基准版块比较，精度吃亏极小，部分情况下致使略有擢升。比较之下，LazyLLM和SlimInfer等其他加快设施在同等加快比下会出现彰着的精度着落。

Q3：UniPrefill对羼杂架构模子（比如Qwen3或Gemma-3）灵验吗？

A：灵验，何况这恰是UniPrefill的中枢上风场所。由于UniPrefill会将丢弃决定传播到全审视力层之后的总共层（包括线性层、滑动窗口层和前馈层）真钱牛牛官方网站，它在羼杂架构上照旧能得到可不雅的加快，而纯稀少审视力设施在这类模子上加快着力时常不及1.1倍。

B体育官方网站首页入口