Understand the two technical improvements made by Kimi k3. Kimi Delta Attention a hybrid linear-attention mechanism the company says delivers over 6x faster decoding at long context, and Attention ...
大模型架构下的注意力（attention）机制本质上是一套记忆系统：每个词把自己写进上下文，后面的词再从中读取。过去十年，几乎所有的改进都在讨论“读”：该从哪里读、按什么权重读；却很少有人追问“写”：一个词写进记忆时，应该原样存进去，还是只存下它相对于过去的增量？ 对于写入端的改进，马学喆和他的合作团队给出了自己的答案：SoftDelta。团队让模型在写入记忆时只存储相对于已有信息的增量，且绕开了 ...
作者 | waterloo_intern 翻译 | 田橙 策划 | 褚杏娟 摘要：从 GPT-2 到 Kimi K3，大模型技术演进路线展示了 AI 架构如何从“记住一切”，走向“选择性记忆”。KV Cache 解决生成效率问题，Linear Attention ...
最近，月之暗面 kimi 正式开源 Kimi K3 完整模型权重，Kimi K3 是一款总参数量达 2.8 万亿、上下文窗口达 100 万 token 的 MoE 大模型，更是全球首个落地的近 3 万亿参数级开源大模型，引起业界热议。
但对于 KDA，这样并不直接可行，因为其状态转移函数具有前面提到的记忆遗忘机制，在数学上导致一些额外的困难。KCP 的做法是，把状态转移中可以独立计算的部分尽可能拆解出来，再分到不同的 GPU 进程中去独立、并行计算，细节比较复杂，这里就不再展开了。
If you've spent any time running local LLMs, you've probably hit the same wall I have. You find the perfect model quantized to 4-bits, just small enough to fit in your GPU's context window. You then ...
这项由ETH苏黎世计算机科学系与ETH AI中心联合开展的研究，于2026年7月发表，论文编号为arXiv:2607.07953。有兴趣深入了解的读者可以通过该编号在arXiv平台上查阅完整论文。 **每一次阅读，都是一场记忆的挑战** ...
Kimi K3 公布技术报告，介绍 Infra 层面细节。其训练采用经典并行方法，通过 KDA、AttnRes、MoonEP 等优化，提升训练效率，减少资源浪费。 Kimi K3 近期终于公布了技术报告，不仅是模型架构，连重要 ...
Running a 1M-token context at "realistic speed and memory." Realizing this phrase at face value is actually harder than simply making a model larger. As the context grows, the cost of the attention ...
🌟 What is Kimi Delta Attention? Kimi Delta Attention (KDA) is a novel linear attention mechanism that refines the Gated DeltaNet architecture with fine-grained diagonal gating. Unlike traditional ...
Some results have been hidden because they may be inaccessible to you
Show inaccessible results