Biao's Blog
关于 LLM 系统、训练基础设施和底层机制的技术笔记。
最新博客
从 BFC Allocator、预分配和碎片整理入手,解释 JAX 的 GPU 内存管理为什么和 PyTorch 不一样。
中文技术写作与系统实现笔记。
解析 slime 中训练侧与推理侧权重同步的瓶颈、通信路径和优化思路。