LSA 如何缓解长上下文 AI 的注意力搜索瓶颈

Prefrontal AI 与 ETH Zurich 研究人员提出潜在稀疏注意力 LSA，通过聚类键值并采用分层搜索，降低长上下文预填充阶段的索引开销。在 10 million tokens 任务中，D-LSA 将 GLM 和 Qwen 的注意力层预填充分别加速 22.7 倍和 72.4 倍，但不同模型的检索精度表现存在差异。

来源：TechTalks · 阅读原文 · 前沿热点