Published:
近日因工作需要去学习了一下大名鼎鼎的 DeepSeek Multi-head Latent Attention. MLA 的计算流程比标准的 GQA 要复杂不少，主要是处理低秩压缩和 RoPE. 搜了一些网上的资料，没有看到非常满意的计算流程图，因此自己动手画了两个。下面两张图都是针对推理的，不考虑反向传播计算梯度。第一张图是不使用矩阵吸收时的计算流程（常用于 prefill），第二张图是使用矩阵吸收时的计算流程（常用于 decode）。图中各个张量的大小都做了标注，维度名字大部分遵循 DeepSeek V3 官方参数名. 部分张量的 head_dim 和 seq_len 的位置可能会交换，不影响理解；矩阵乘法的内积维度未显式标出。
Published:
去美国东北部的老革命根据地进行了一次深度学习，大有收获。下面是一些印象深刻的时刻，与诸君共享。
Published:
本文仅代表作者本人观点，与作者所属的任何团体皆无关系。本文内容不构成任何明示或默示之建议。
Published:
来湾区小半年，附近的山头爬得七七八八了。做个小盘点，供诸君参考。
Published:
近日收到了博士学位证书，我的学生生涯如无意外的话就此结束了。借此机会，谈一点近来的思考。
Published:
Published:
虽然今年没有中论文，但是机缘巧合，又可以去 SC23 公款旅游了。此时此刻，恰如四年前的彼时彼刻，同样是没有论文，同样是去丹佛。好在今年丹佛天气很好，白天大都是晴天，有十多度接近二十度，也没有下雨下雪什么的。坏在今年丹佛天气真的像天气预报那么好，而我对天气预报的心存疑虑导致我多带了不少衣服。四年过去以后，我感觉丹佛最大的变化就是流浪汉变多了。无论是从机场进市区的铁道途径的地方，还是市区街道转角的小花园，如今都多了不少流浪汉。考虑到我在贝洛伯格也翻了不少垃圾桶，推己及人或许我应该称他们『开拓者』。
Published:
Published:
以前的博文我懒得逐个重新手打 markdown 了，以网页打印 PDF 的方式提供部分博文的存档，以时间倒序排列：
Published: