Awesome System Papers Wiki

OSDI-2026

25分钟阅读

OSDI 2026：AI 基础设施论文

从会议的 136 篇正式论文中筛出 49 篇，其主要问题直接涉及 AI 模型的训练、推理、检索或这些工作负载所需的硬件与集群系统。

筛选口径

纳入条件是：论文的核心问题、设计机制或主要评测围绕 AI/ML 工作负载，且贡献位于系统层，包括运行时、调度、编译器、存储与内存路径、网络、故障恢复或可观测性。判断依据是论文正文的问题定义与主实验，而不是标题里有没有“AI”“LLM”“GPU”。因此 Strata-OSDI26、Helmsman-OSDI26、Umap-OSDI26 和 MoonBright-OSDI26 都在本页：它们分别处理长上下文 KV 缓存、向量检索、文件后备矩阵访问和 GPU 内存管理。Umap 的评测横跨 AI、金融与科学计算，属于本次纳入的边界案例。

被排除的边界案例也有明确原因：ECO、SMARTTalk、Neuro-Symbolic Proof 与 S4-FIFO 主要用 AI 改进通用系统；OBASE、SPADE、POEGA 主要研究通用内存、数据处理或图分析，AI 不是其核心工作负载。本页只统计上述 49 篇，paper_count 不代表 OSDI 2026 全会论文数。

概览

这批论文有两条清晰主线。第一条是把模型执行切成更细的可调度阶段：BatchGen-OSDI26 在序列协程边界重组批次，EcoServe-OSDI26 在实例之间错开预填充与解码，Tessera-OSDI26 联合选择流水线分区和重叠计划，RollArt-OSDI26 把智能体强化学习的生成、环境交互和奖励处理拆到适合的资源上。它们都利用阶段差异，但各自增加了状态搬运、预测或调度成本。

第二条是把模型状态当作跨设备、跨时段存在的数据对象。Strata-OSDI26、ECHO-OSDI26 与 DirectKV-OSDI26 改造 KV 缓存的搬运和预取；Prism-OSDI26 让模型权重与 KV 缓存弹性占用显存；MoonBright-OSDI26 处理 GPU 动态分配与虚拟内存管理。相同“缓存命中率”可能对应完全不同的 I/O 完成时间和请求尾延迟，因此需要同时看数据位置、传输带宽和调度时机。

生产证据在可靠性和集群论文中尤其重要。AEGIS-OSDI26 基于 3,500 万 GPU-hours 的部署观察，Alibaba-ASI-OSDI26 使用 15.5 万 GPU 的生产集群轨迹，StriaTrace-OSDI26 面向在线推理的大规模追踪，SDCHunter-OSDI26 分析真实故障 GPU。这类数据能证明问题确实在生产环境发生，但不同组织的模型、硬件和故障分布并不自动相同。

论文分类

推理服务、端侧执行与请求调度（13 篇）

  • BatchGen：coroutine、跨序列重组、尾部迁移。
  • DCP：动态 chunked prefill、delay scheduling。
  • EcoServe：完整副本分时、实例间错峰。
  • KAIROX：前瞻预测、成组传输、反馈动量。
  • LMetric：新 prefill token × batch size。
  • Murakkab：画像驱动的联合搜索与路由。
  • Nixie：kernel admission、整 App 驻留、全双工迁移。
  • OpenTela：用户态 endpoint、CRDT、约束放置。
  • Prism：权重/KV 内存气球、压力放置、slack 调度。
  • SANI：cluster-specific kernel、LCM block、反馈调度。
  • SPEX：分支预测、跨 query 并行、prefix 复用。
  • Sereno：draft 让出点、自探测、batch 与 sleep 控制。
  • Wang-LocalMoEInference：CPU DRAM 驻留、P/D 分工、SmallEP。

长上下文与 KV 缓存层级（3 篇）

  • DirectKV：CPU-aware tiling、warp pipeline、P-A fusion。
  • ECHO：host 全量 KV、GPU selected cache、graphable 管理。
  • Strata：GPU 搬运/转置、delay-hit、I/O 填充。

训练、强化学习与资源编排（14 篇）

  • Alibaba-ASI：IPC、ASW 放置、SpotGPU。
  • Chen-LLMDataPipelines：预测复制、hot-file hint、storage-side transform。
  • Cocoon：GPU/CPU/CXL-NMP 分片与近数据计算。
  • DynaRL：hypergraph、三种迁移、late-turn 优先。
  • Hetu-v2：HSPMD annotation、设备专图、在线切换。
  • Kareus：局部分区搜索与 Pareto 组合。
  • Quota-Marketplace：weight、credit、bid、分钟级清算。
  • RLinf：M2Flow temporal/spatial/hybrid 搜索。
  • RobustRL：角色检测、局部恢复、每步 checkpoint、UCX。
  • RollArt：异构映射、trajectory async、FaaS reward、staleness。
  • Seer：chunk 迁移、组长估计、共享 suffix context。
  • Tessera：候选实测、联合 PP partition、运行时填泡。
  • TrainMover：shadow iteration、两阶段 CCL、通用 standby。
  • Weave：固定协同组、热启动、长尾迁移、分层同步。

GPU 编译、内存、I/O 与通信（11 篇）

  • ADAngel：DPR 与三类 kernel、离线 oracle 表。
  • CoPilotIO：GPU SQ、CPU CQ、barrier、GPUAgent。
  • GraCE：代码变换、参数间接寻址、逐图 profile。
  • MPK：tGraph、in-kernel scheduler、图压缩。
  • MoonBright：device PTE、Always-Fresh VA。
  • Syncopate：chunk IR、tile 重排、多 backend 搜索。
  • TileLoom：df 描述、仿射分析、cost model。
  • Twill：ILP+SMT 联合求解。
  • UCCL-Tran：NIC 搬 payload、host 控制、多 QP、32 KB coalescing。
  • UEP：GPU command、CPU proxy、GPUDirect、乱序修补。
  • VTC：指针+映射、VTOG profile 搜索。

生产可靠性与可观测性（4 篇）

  • AEGIS：采样 cSensor、离线 cVerifier。
  • OpGuard：算子边界 fingerprint、容错 trace mapping。
  • SDCHunter：确定性 replay、分层 hash/signature。
  • StriaTrace：关键 span、GPU event、P99 roofline、异常保留。

检索与数据路径（4 篇）

  • Drs-NAS：七维 zero-cost proxy、可微架构搜索。
  • FlowANN：LPA、fused GPU search、xCopier、deferred discovery。
  • Helmsman：12 NVMe/SPDK、LLSP、GPU/CPU 构建。
  • Umap：userfaultfd、PIAO、shadow copy、lock-free cache。

研究趋势

更小的执行边界带来更大的调度空间，也带来额外状态成本。 BatchGen-OSDI26 的序列协程允许在注意力与 MoE 之间重新组批；MPK-OSDI26 则把多算子任务装进持久化 kernel，并在 SM 级调度；Syncopate-OSDI26 通过分块重叠计算与通信。三者优化粒度不同，分别承担协程状态、编译计划或分块同步开销，不能只比较最高加速比。

长上下文服务的关键在“命中何时可用”。 Strata-OSDI26 发现慢层命中的碎片 KV 仍可能卡在搬运和布局转换；ECHO-OSDI26 针对原生稀疏注意力规划无损预取；DirectKV-OSDI26 减少卸载路径中的额外缓冲和复制。比较时需要固定模型注意力形式、缓存容量、命中距离与主机链路，否则“更高命中率”不能推出更低 TTFT。

RL 训练系统从静态角色分配走向细粒度编排。 DynaRL-OSDI26、RLinf-OSDI26、RollArt-OSDI26、Weave-OSDI26 和 Seer-OSDI26 都针对 rollout、训练及同步之间的空转，但采用不同的调度边界与异步程度。RobustRL-OSDI26 提醒我们：阶段拆开后，故障恢复边界也必须重新定义。横向比较应同时记录训练完成时间、模型质量、轨迹陈旧度和故障后的恢复损失。

可靠性从发现异常走向定位首次错误。 AEGIS-OSDI26 用训练期在线传感器捕捉可疑计算，SDCHunter-OSDI26 以真实训练数据诊断故障 GPU，OpGuard-OSDI26 对齐重复执行中的算子边界，StriaTrace-OSDI26 追踪在线推理的性能问题。它们处理的故障语义不同；检测率、定位粒度、运行开销和故障覆盖区应分开报告。

设计空间矩阵

下表的“最强结论”是论文评测中的特定结果；紧邻的“证据边界”说明其适用范围。矩阵中的数据来自所列论文页，不能把不同行的倍数直接排序。

论文主题核心问题关键机制主要评测最强结论证据边界
BatchGen-OSDI26离线 MoE 批处理expert batch 太小、输出长尾拖批coroutine、跨序列重组、尾部迁移8–128 H20/H200；10K 请求BCT 最多改善 2.3 倍离线 workload；部分基线重实现；无 dense/VLM
DCP-OSDI26PCIe 多卡流水P/D 混跑让 pipeline 起泡动态 chunked prefill、delay scheduling4×A100 PCIe；Qwen 14B/32BP90 TPOT/E2E 最多降 42%/36%缩放 trace；decode-heavy 的 P99 可退化 15%
EcoServe-OSDI26P/D 时域错峰共置互扰，拆分搬 KV 太贵完整副本分时、实例间错峰32×L20 Ethernet对四基线 goodput 提高 1.96–2.51 倍需多个全副本；高速互联收益变小
KAIROX-OSDI26神经元 offload静态热度随语义漂移前瞻预测、成组传输、反馈动量两台消费级 GPU 主机；batch 1对 llama.cpp 几何平均快 4.45/5.00 倍近似计算；固定 profile/trace；质量非始终等价
LMetric-OSDI26Prefix-aware 路由KV 局部性与负载冲突新 prefill token × batch size16×H20 回放；数百 GPU canary回放 mean TTFT 最多降 92%同构实例；生产未报 P99 和成本
Murakkab-OSDI26LLM workflow 优化跨层决策互相耦合画像驱动的联合搜索与路由构造的 24 小时双 workflow 回放成本 211.7K 降至 47.2K 美元很多收益来自放宽质量/SLO；非线上 A/B
Nixie-OSDI26本地多 App 共享UVM page thrashingkernel admission、整 App 驻留、全双工迁移RTX 5090 交互与后台混跑代码补全快 3.1–3.8 倍高频交互牺牲 23.5% 后台吞吐；同用户假设
OpenTela-OSDI26跨集群共享闲置 allocation 难发现和组合用户态 endpoint、CRDT、约束放置Swiss AI 22 个月生产部署1,300 万请求、150 亿 tokenbest effort；主要是同一超算的三个子集群
Prism-OSDI26多模型弹性服务冷模型常驻、KV 压力漂移权重/KV 内存气球、压力放置、slack 调度58 模型、16/32×H10016 H100 达接近 99% TTFT SLOtrace 缩放；依赖 host DRAM/NVLink；全热无余量
SANI-OSDI26异构移动 kernel同一 kernel 不适配 big/LITTLEcluster-specific kernel、LCM block、反馈调度5 SoC、6 模型、动态压力相对 native latency 降 15.7%–29.5%FP32/NEON 为主；能耗仅一设备；无 GPU/NPU
SPEX-OSDI26ToT 推测执行reward 依赖制造 GPU 空档分支预测、跨 query 并行、prefix 复用SGLang ToT；DFS/BFSDFS throughput 提高 1.8–3 倍early termination 改语义；部分准确率下降
Sereno-OSDI26移动端内存争用高优先级 NPU 伤害前台流畅度draft 让出点、自探测、batch 与 sleep 控制OnePlus 13；30 Appjank 低 58.5%，LLM 吞吐高 26.4%单前台 App；平台策略专用；能效略降
Wang-LocalMoEInference-OSDI26本地超大 MoE约 1 TB 权重放不进消费卡CPU DRAM 驻留、P/D 分工、SmallEP双 EPYC、1–2×RTX 5090671B decode 21.5 token/s1.15 TB 主存；单流、节点内、长 prompt
DirectKV-OSDI26CPU–GPU KV 直读zero-copy 重复拉取 KVCPU-aware tiling、warp pipeline、P-A fusionGH200 长上下文HBM 47 GB，平均少 43%1.2 倍基线口径不固定；依赖 NVLink-C2C
ECHO-OSDI26稀疏 attention KV offload完整 KV 撑爆 HBMhost 全量 KV、GPU selected cache、graphable 管理8×H20；1.8M-token host pool吞吐最高为 SGLang 2.15 倍收益主要来自并发；“无损”只约束 exact top-k
Strata-OSDI26分层 KV cache命中数据到得太晚、布局不合GPU 搬运/转置、delay-hit、I/O 填充8×H200；DRAM/SSD 变体同平均 TTFT 下吞吐最多高 5 倍长上下文、高命中；主要报平均值；硬件资源很强
Alibaba-ASI-OSDI26AI 集群碎片型号、节点、CPU、拓扑与预留叠加IPC、ASW 放置、SpotGPU六个月 15.5 万 GPU traceallocation 68% 提至 93%allocation 非 SM 利用；IPC 收益为 replay
Chen-LLMDataPipelines-OSDI26训练数据管线WAN 小读、恢复热点、CPU 转换长尾预测复制、hot-file hint、storage-side transform30 天生产 trace；2,048 GPU；MM-Lmerge/load/stall 分别降 76.1%/40.8%/63.2%三个独立证据集；成本、误预测和正确性不全
Cocoon-OSDI26隐私训练相关噪声历史超 HBM、GEMV 很重GPU/CPU/CXL-NMP 分片与近数据计算DLRM、最大 1.3B LLMDLRM 快 2.33–10.82 倍NMP 含缩放模型；攻击者假设与 workload 有限
DynaRL-OSDI26RL 动态资源rollout 长尾和多轮 cache 失衡hypergraph、三种迁移、late-turn 优先64/128×H100math 吞吐提高 1.27–1.98 倍同构小规模；迁移秒级；正确性证据弱
Hetu-v2-OSDI26异构训练SPMD 对称性浪费混合 GPUHSPMD annotation、设备专图、在线切换16 H800+32 H20；Llama-32Bstep 6.05 秒，对 HexiScale 8.06 秒仅两类 GPU/48 卡；依赖外部 planner
Kareus-OSDI26通信与能耗共调时机、SM、频率相互耦合局部分区搜索与 Pareto 组合16×A100 实测；70B 模拟同时间最多省 28.3% 能耗峰值来自不同配置；搜索贵；只算 GPU 能耗
Quota-Marketplace-OSDI26组织级配额静态 quota 不反映即时价值weight、credit、bid、分钟级清算数十万 accelerator 生产部署QM pool occupancy 93% 对 75%汇总观察；理论忽略 gang/topology 和策略行为
RLinf-OSDI26RL workflow 编排固定共置/拆分不能通吃M2Flow temporal/spatial/hybrid 搜索最大 256×H100，四类 workload整体提高 1.07–2.43 倍收益混合实现优化；重规划与故障未测
RobustRL-OSDI26RL 容错整任务重启丢长 rollout角色检测、局部恢复、每步 checkpoint、UCX64–256 GPU 注错高频故障下 ETTR 超过 80%非真实故障 trace；detector 无准确率；控制面未测
RollArt-OSDI26Agentic RL 解耦阶段硬件偏好和环境长尾异构映射、trajectory async、FaaS reward、stalenessQwen3 8B–32B；3,000 多 GPU案例32B time-to-score 最多快 2.05 倍人工映射；staleness 有质量税；成本/故障不全
Seer-OSDI26严格同步 GRPO rollout同组长尾形成 barrierchunk 迁移、组长估计、共享 suffix context32–256×H800，最大 1 TB 模型throughput 高 44%–104%极强 RDMA/DRAM；5 iterations；单一质量曲线
Tessera-OSDI26异构 MoE 流水layer pair overlap 差异导致失衡候选实测、联合 PP partition、运行时填泡4,096–12,288 Hopper 生产任务MFU 相对提高 20.0%–32.8%内部基线与 trace；固定模板；profile 和显存成本
TrainMover-OSDI26训练迁移与恢复warm-up/CCL 都在停机路径shadow iteration、两阶段 CCL、通用 standby最大 1,024 GPU 实测计划/意外停机 16.6/21.1 秒64K 的 55% 为外推；未含检测/重调度和相关故障
Weave-OSDI26跨作业 RL 复用rollout/training 两池交替空闲固定协同组、热启动、长尾迁移、分层同步两周 200-job trace replay成本改善 1.84/1.38 倍SLO 人工采样；单 tenant；固定组难应对漂移
ADAngel-OSDI26混合精度 kernel最佳 W4A8 实现随阶段和 shape 改变DPR 与三类 kernel、离线 oracle 表Orin/A100；Llama-3-8BOrin decode 最多快 5.10 倍格式不完全等价；profile 和多布局存储昂贵；无质量结果
CoPilotIO-OSDI26GPU storage I/OGPU 轮询浪费 SM，CPU-only 又可能落后GPU SQ、CPU CQ、barrier、GPUAgentA100/H800、4 SSD、FlashMoE、DLRM约 24 SM 达 25 GB/s；应用快 1.44–1.85 倍单 GPU/NVIDIA；需 spare CPU；无多 GPU 与故障
GraCE-OSDI26CUDA Graph 编译capture 阻塞、replay copy、负优化代码变换、参数间接寻址、逐图 profile25 个固定 H100 workload对 PyTorch2-CG 平均快 29%CG-sensitive 集合；编译 2.21 倍；动态性未测
MPK-OSDI26Persistent mega-kerneloperator barrier 阻断细粒度流水tGraph、in-kernel scheduler、图压缩A100/H100/B200 offline inference对最佳 vLLM/SGLang 为 1.0–1.7 倍固定长离线 batch；无 P99、编译与共存结果
MoonBright-OSDI26GPU 虚拟内存页表构造与 TLB flush 很慢device PTE、Always-Fresh VAA100/H100/MI210 primitive；单卡 LLM2 GB mapping 36 ms 降至 14 µsprimitive 口径；trusted runtime；多租户和 churn 未测
Syncopate-OSDI26通信—计算融合operator 粒度 overlap 太粗chunk IR、tile 重排、多 backend 搜索4/8×H100 operator benchmark对 compiler 平均 1.3 倍、最高 4.7 倍对强手写主要是追平；无跨节点/完整模型
TileLoom-OSDI26空间数据流映射软件必须显式安排核、NoC 与复用df 描述、仿射分析、cost modelTenstorrent Wormhole/BlackholeFA 达 TTNN 1.94/1.98 倍同厂商两代；dense affine；Mamba 对照不等价
Twill-OSDI26GPU schedule synthesisSWP 与 warp 约束分开会不可实现ILP+SMT 联合求解H100/B200 attention forward/backwardforward 距 FA3/FA4 1%/2% 内单算法族；手工 CUDA lowering；模型内最优
UCCL-Tran-OSDI26GPU 软件 transport固定 RNIC policy 跟不上 ML 流量NIC 搬 payload、host 控制、多 QP、32 KB coalescing4 个小型真实 testbed、训练、serving emulation、模拟all-to-all 最多 4.54 倍，真实训练最多提高 7.5%最多 6 台物理 server；额外 CPU；大消息假设
UEP-OSDI26可移植 MoE P2PGPU-initiated 通信绑定厂商 NICGPU command、CPU proxy、GPUDirect、乱序修补EFA/ConnectX/Broadcom、NVIDIA/AMD、训练与 SGLangSGLang 最多提高 40%，AMD 口径最高 45%平台口径冲突；CPU 成本；无 proxy 故障与 800G
VTC-OSDI26虚拟 tensor纯搬运中间结果浪费带宽指针+映射、VTOG profile 搜索5 组件、A100/H100、batch 1/16最多 1.93 倍，平均 1.28 倍vLLM 层仅 1.011 倍；H100 强制版退化 8%
AEGIS-OSDI26在线 SDC 检测全量高精度检查太贵采样 cSensor、离线 cVerifier3,500 万 GPU-hours 生产部署0.86% 平均开销发现 18 起 SDC稀有事件、无完整 ground truth；采样有漏检窗口
OpGuard-OSDI26训练故障定位异构执行轨迹难直接对齐算子边界 fingerprint、容错 trace mapping20 个 ByteDance 生产故障20/20 到 faulty op 或首 consumer需 reference；trusted 模式慢 25%–45%；时间为估算
SDCHunter-OSDI26SDC 诊断workload-specific SDC 难复现定位确定性 replay、分层 hash/signature40 张生产缺陷卡；128/512 GPU在线开销低于 4%，诊断一小时内事件触发而非 always-on；注入不代表全部实错
StriaTrace-OSDI26LLM serving 诊断full profiler 开销与数据量过高关键 span、GPU event、P99 roofline、异常保留6 个月、1,700 多实例高并发 TPOT/TTFT 开销 0.6%/0.8%低并发高于 1%；detector precision/慢漂移未知
Drs-NAS-OSDI26推荐模型 NAS超网和候选训练太慢、模型太大七维 zero-cost proxy、可微架构搜索Criteo/Avazu/KDD；CPU 搜索、A6000 验证搜索 1.56 CPU-minutes跨硬件基线；proxy 无组件消融；embedding 不计成本
FlowANN-OSDI26混合 CPU/GPU ANN十亿图放不进 GPU，跨设备同步太多LPA、fused GPU search、xCopier、deferred discoveryH20、160 核、2 TB、十亿数据平均吞吐提高 4.08–45.7 倍静态低维图；基线重实现；无更新与多租户
Helmsman-OSDI26SSD large top-k ANN随机 I/O 与固定 nprobe 限制吞吐12 NVMe/SPDK、LLSP、GPU/CPU 构建SIFT、10B 数据、生产部署吞吐提高 2–16 倍，P99.9 低于 20 ms平均 90% recall；成本未含大构建池；无 SSD 故障
Umap-OSDI26DFS mmap应用手工缓存与同步复杂userfaultfd、PIAO、shadow copy、lock-free cacheGPFS、AI/finance/science 应用、18 个月运行finance 最高快 6.7 倍；OpenBLAS JCT 缩短 13%–28%headline 同时更换 runtime 与 storage backend；单线程小读退化；无跨节点 coherence；生产无对照

共同观察

  • 硬件并行性常被软件粒度限制。 CoPilotIO-OSDI26 看到 GPU I/O 轮询占用 SM，FlowANN-OSDI26 看到图搜索的逐轮依赖限制访存重叠，Helmsman-OSDI26 看到图式近邻检索的串行 SSD 读取链。三篇的解决机制不同；共同点是先改变可并行工作的组织方式，再追求设备峰值。该观察仅覆盖其测试的 I/O 与检索负载。
  • 模型与系统的状态生命周期逐渐成为主要调度对象。 Prism-OSDI26 管理多模型权重与 KV 缓存，Strata-OSDI26 管理分层 KV 及正在生成的前缀，TrainMover-OSDI26 管理训练迁移时的运行时状态。状态迁移在短任务或低复用场景中未必划算，需测量字节数、停顿时间和恢复成本。
  • 生产轨迹强化了问题定义，却不能替代公开可复现实验。 Alibaba-ASI-OSDI26、AEGIS-OSDI26、StriaTrace-OSDI26 给出大规模工作负载或故障分布；OpenTela-OSDI26 报告长期部署。对外部环境的适用性还取决于模型组合、网络拓扑和运维策略。

互相冲突的假设

  • 按时间错峰还是按空间分离推理阶段？ EcoServe-OSDI26 在普通网络上保持完整模型副本并错开阶段，DCP-OSDI26 在 PCIe 多卡中调整流水线 chunk，Prism-OSDI26 在显存中弹性共享多个模型。它们对网络带宽、显存余量和请求混合的要求不同。需要在相同硬件和到达轨迹上比较总成本、TTFT/TPOT 尾部指标及模型切换开销。
  • 扩大批量还是保护单请求延迟？ BatchGen-OSDI26 以离线批完成时间为目标，LMetric-OSDI26 优化在线请求路由，Sereno-OSDI26 还要保护手机前台应用。三者的最优调度不能共用一个吞吐指标；应把每类服务的 SLO 与公平性放进同一负载记录。
  • 容忍异步陈旧度还是保持同步训练？ RollArt-OSDI26 通过有界陈旧的异步权重同步重叠阶段，Seer-OSDI26 则关注同步 RL 的上下文学习，Weave-OSDI26 在分离资源上协同调度。是否值得允许陈旧轨迹，应由训练质量曲线、总 GPU-hours 和故障后的数据重用共同裁决。

值得关注的方向

  • 小集群上的跨层瓶颈测量。 以 2–8 张 GPU 复现 Strata-OSDI26、CoPilotIO-OSDI26 与 MoonBright-OSDI26 的关键测量：KV 到达延迟、SM 被 I/O 占用的比例和显存分配停顿。先建立同一负载下的瓶颈分解，再决定是否组合机制；无需复现论文的大规模生产部署。
  • RL 调度的统一实验口径。 选一个公开可运行的后训练框架，用固定模型、奖励、失败注入和 GPU 预算比较 DynaRL-OSDI26、Weave-OSDI26、RLinf-OSDI26 与 RobustRL-OSDI26 提出的调度/恢复边界。重点记录训练质量达到阈值所需的时间，而不只看 rollout 吞吐。
  • 缓存命中与尾时延的联合控制。 在相同前缀重用轨迹上组合 LMetric-OSDI26 的路由信号与 Strata-OSDI26 的缓存到达时间，测试延迟命中、热点迁移和多租户突发时的 P95/P99。关键问题是路由器能否准确知道“命中的 KV 何时真正可用”。

关系图谱

反向链接