没思到，文小言接入推理模子的大更新背后，百度还藏了一手"质变"级时期大招？？？

Talk is cheap，凯旋来看 Demo：

士别三日，文小言不仅能讲重庆话了，照旧成了哄娃的一把好手，被名目打断照样牙白口清：

实测下来，Demo 不虚。这个全新语音对话功能，如实更有东说念主味儿了，照旧能紧贴当下实事的那种——

只是让 Ta 保举周末消弱行止，Ta 我方就能主动筹商面前 4、5 月份的履行时候，给出愈加合理的建议。

划重心，这是免费的。面前你也同样不错开放手机里的文小言，凯旋体验这一全新升级的及时语音对话功能。

但！是！

若是单说语音体验，那还真不是这个"大招"的重心。要津是，这回百度还显露了更多时期细节。

我们仔细一看，还果然有意思意思了。

率先，上来等于一个行业首创：以上及时语音对话效用，由百度全新推出的端到端语音讲话大模子收场，这是行业首个基于 Cross-Attention 的跨模态语音讲话大模子。

有何不同？站在用户体验的角度来说，等于语音合成延长更低，对话更真实有热枕。

而更遑急的小数是，这样个新模上线，文小言在语音书答场景中的调用资本，最高能镌汰 90%！凯旋打掉了工业级落地的门槛。

（再也不怕模子厂流量大到挂我处事 .jpg）

我们正经到，百度语音首席架构师贾磊，其实用到了"质变"这个词：

百度端到端语音讲话大模子是有质变的，不是单纯把文本大模子用到语音领域。

语音场景有其专有之处。此前，寰球莫得充分挖掘这个应用场景的不同，照旧按照把文本大模子用到语音场景的阶梯，把速率加速一下，工程优化一下。

我们的改换架构，让大模子在语音场景中的应用收场了极低资本，更有益于大模子普及。

等于说，这一次语音时期的更新，不单是是工程上的妙技，百度正在通过期期改换，买通大模子落地语音场景的工业级应用新范式。

行业首个基于 Cross-Attention 的端到端语音讲话模子

话说到这了，我们就来一齐仔细扒一扒背后时期决策，望望究竟是若何一趟事。

先给寰球划个重心：

纯属大模子的小伙伴都知说念，KV cache 不详加速自总结推理，但其在存储和考查上的支出，也会跟着序列长度和模子范围增大而爆炸式增长。

因此在保证模子性能的前提下，镌汰 KV cache，关于大模子应用来说，是普及推理效用、镌汰资本的一大致津。

百度这次推出的基于 Cross-Attention 的端到端语音讲话模子，重心就在于此。

具体来说，百度作念了以下改换：

业内首创的基于 Cross-Attention 的跨模态语音讲话大模子

Encoder 和语音识别经过和会，镌汰 KV 操办

Decoder 和语音合成模子和会

改换建议基于 Cross-Attention 的高效全查询正经力时期（EALLQA），镌汰 KV cache

我们一项一项张开来看。

基于 Cross-Attention 的跨模态语音讲话大模子

举座上，这个端到端语音讲话大模子是基于 Self-Attention 的文心预进修大模子，禁受自蒸馏的神色进行后进修得到。进修数据为文本和语音合成数据的羼杂。通盘这个词模子禁受 MoE 结构。

要津点在于，在端到端语音识别中，声学模子亦然讲话模子，因此在整合语音识别和大讲话模子的经过中，不详通过将大讲话模子中的 Encoder 和语音识别的经过和会分享，达到镌汰语音交互硬延长的目的。

而在语音领域，Cross-Attention 自然具有跨模态上风：Decoder 会显式地将 Encoder 输出纳入正经力操办，使得 Decoder 在每一个解码门径都能动态考查最联系的输入向量，从而充分地对皆和行使跨模态信息。

基于 Cross-Attention 的高效全查询正经力时期（EALLQA）

不外，Cross-Attention 的引入带来了另一个问题：MLA 的位置编码时期，在 Cross-Attention 中容易出现不踏实的振奋。

为此，百度语音团队建议了高效全查询正经力时期（EALLQA）：

禁受改换的隐式 RNN 两级位置编码，进修时是在 128 空间上的 MHA，推理时是在模子各层分享的 512 空间上的 MQA（AllQA）。既充分行使了有限的进修资源，也极地面镌汰了推理资本。

从具体效用上来说，EALLQA 时期能使 KV cache 降至原来的几十分之一，并将 Cross-Attention 的最近上一个问题的 KV 操办降至原来的十分之一，极大镌汰了语音交互时用户的恭候时候和模子推理资本。

镌汰资本的另一个要津，则是 Encoder 和语音识别系统的和会：对 Query 和会的模子较小，能极大减少 KV 操办。

流式逐字的 LLM 驱动的多热枕语音合成

进修、推理资本的镌汰除外，端到端语音讲话大模子还通过语音模子和讲话模子的和会，收场了文学妥当、热枕契合、当然运动的合成音频的生成。

一方面，研发团队通过大范围文本 - 语音数据自监督预进修，构建语义 + 韵律的落魄化特征空间，通过双层 GPT-like Transformer，收场了韵律、音色双 Prompt 收尾机制。

另一方面，在此基础之上，研发团队推出了语音讲话大模子与合成一体化流式逐字合成。

有别于传统语音合成的整句输出，流式逐字异常于一个字一个字地合成。在这个经过中，讲话大模子不详指引语音模子去生成热枕、停顿，识别多音字等等，收场更为拟东说念主、当然的语音合奏效用。

需要正经的是，东说念主耳给与信息本色上是一个字一个字地给与，但关于 AI 而言，若是 1 个 token 接 1 个 token 的输出，就需要惩办并发的问题，以使 MoE 架构最猛进程发达作用。

流式逐字合成要惩办的中枢问题，等于在适配东说念主听力的基础上，收场高并发。

通过引入流式逐字合成，百度端到端语音讲话大模子有用普及了语音交互的反映速率，同期镌汰了语音交互领域使用大模子资本。与大模子和会的 TTS 文学魄调心理收尾，还不错把柄文本输出自适配的情况，热枕阴私达到 17 种。

通俗总结一下，百度的端到端语音讲话大模子，一方面是重心惩办了大模子应用于语音交互场景资本高、速率慢的问题。

另一方面，大讲话模子带来的语义和会等才能，也惩办了传统语音交互中，同音字识别、打断、真实热枕等痛点。

贾磊显露，面前，通盘这个词端到端语音讲话大模子在 L20 卡上即可部署，在餍足语音交互硬延长条件的情况下，双 L20 卡并发不错作念到数百以上。

极低资本是要津

说了这样多，最主要的要津词其实等于：低资本。

在与贾磊的进一步疏浚中，他向我们强调了镌汰资本的遑急性：

极低资本就意味着大范围工业化变得相等容易。

2025 年，大模子的中枢并不在于展示什么新功能，而是能以多快速率真实应用到民生国计中去。

在不推敲操办资源的情况下，及时语音交互有其他旅途不错收场，但"我们今天是第一个作念到跨模态端到端极低资本惩办语音书题的"。

贾磊还暗示，但愿语音领域的这一冲破改换能被行业更多地关切到。

我们思要把中枢时期分享出去，告诉寰球我们是若何作念的，以此推动通盘这个词领域的爆发。

事实上，不仅是百度，在包含语音的大模子才能对外输出上，国表里厂商都将价钱视作冲破口。

OpenAI 就有意从性价比启航，推出了 GPT-4o mini audio，但愿以更便宜的价钱打入语音应用市集。

2025 年，基础模子方面，模子厂商在推理模子上争相竞逐，而其带来的最凯旋的影响之一，是东说念主们关于大模子应用加速爆发预期的合手续升温。在这个经过中，我们不错看到，站在模子厂商的角度，更多的模子在被开源，更多的处事在免费开放，用户默契、关切的争夺之中，资本自己正在变得愈加敏锐。

更无须提资本即是大范围应用的要津：不仅是在模子厂商们的 APP 上，还要进一步走进手机、汽车……

正如 DeepSeek 在基础模子领域搅拌池水，面前，百度也在语音领域迈出要津一步。

资本，正在成为面前阶段模子厂商获取主动权的遑急冲破口。

One More Thing

从文小言的语音交互架构图中还不错看到，它像是个语音版百度搜索。

正如著述开篇我们体验到的，文小言能筹商面前的季节对用户问题给出更合理的恢复。本色上，在语音功能中，文小言照旧因循多垂类助手才能，包括天气、日期查询、单元换算、股价股票等信息查询内容，总共 38 个垂类。

还因循 DeepQA RAG 问答，包含百度查询等时效性问答内容，能筹商检索舍弃，作念到更精确的教唆奴隶；因循 DeepQA 非 RAG 问答，包含学问问答等非时效性问答内容。

"有问题，问小言"的这个"问"字，如实是越来越接近东说念主类蓝本的交互习气了。

这本色亦然产业趋势的一种映射——

之前都是大模子时期探索，需要收敛适配才能落地居品、酿成应用，终末被用户感知。

面前这是大模子时期和居品应用，险些在同期对皆，时期激动的时候就对准了应用场景，应用场景也能催生更相宜的时期，不是锤子找钉子，而是锤子钉子同期对皆。

大模子依然是 AI 寰宇的中枢，但天地却正在变成应用为王的天地。

百度，或者说中国 AI 玩家，初始找到我方的节拍了。

一键三连「点赞」「转发」「预防心」

宽待在驳斥区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见世博体育app下载