Zyphra AI 推出 Zyphra 分层注意 (ZHA)：通往真正亚二次注意的道路

Zyphra 分层注意 (ZHA) 是一种树索引稀疏注意方法，通过将蒸馏的 4B 令牌注入冻结的 LLMs，匹配密集注意在推理和 256K 检索基准上的表现。