推理（inference）已经成为一门独立的学科：注意力内核、KV 缓存、内存布局、量化、调度和部署拓扑共同决定成本与体验（首 token 延迟、每 token 延迟、吞吐、利用率）。
- 长上下文
- 稀疏注意力与局部注意力
- 注意力加速内核
- KV缓存压缩与注意力变体
- PagedAttention与KV缓存管理
- 投机解码
- 量化
- 剪枝与低秩分解
- 结构化生成
- 推理并行与服务调度
- 预填充与解码分离
- 内存卸载
返回自然语言处理。
推理（inference）已经成为一门独立的学科：注意力内核、KV 缓存、内存布局、量化、调度和部署拓扑共同决定成本与体验（首 token 延迟、每 token 延迟、吞吐、利用率）。
返回自然语言处理。
12 items under this folder.