为了进一步加速 Attention，清华大学陈键飞团队进一步提出了无需训练可直接使用的稀疏 Attention（SpargeAttn）可用来加速任意模型。实现了4-7 倍相比于 FlashAttention ...

在当今各类大语言模型以及视频模型中，长序列场景越来越普遍，而 Attention 的计算复杂度随着序列长度呈平方增长，成为长序列任务下的主要计算瓶颈。此前，清华大学陈键飞团队提出的即插即用量化的 SageAttention 系列工作已实现 3 ...

语音识别的一大难点莫过于方言识别。方言的发音特点丰富多样，同一方言在不同地区可能存在发音差异，甚至同一个字在不同语境下发音也有所不同。这使得语音识别系统难以准确捕捉和解析所有的发音变体，增加了识别的难度。当下的文小言，已经可以应对重庆、广西、河南、广 ...

懂方言、能带情感对话的文小言来了，可免费体验。

IT之家 3 月 31 日消息，在今日的百度 AI DAY 上，百度发布首个基于全新互相关注意力（Cross-Attention）的端到端语音语言大模型，宣布实现超低时延与超低成本，在电话语音频道的语音问答场景中，调用成本较行业均值下降约 ...