Forwarded from 动察Beating AI News
Pi开始给Prompt缓存自动续命,长任务少烧重复Token

Pi Agent Harness 发布 0.86.0,新增 Prompt Cache Warming。Agent 跑长时间工具任务时,Pi 会在缓存快过期前重发上一次请求,只生成 1 个 Token,把已经缓存的长上下文继续保留下来。

很多模型服务会在一段时间没有请求后清掉 Prompt Cache。之后继续任务,同一大段上下文就可能重新按完整输入计费。Pi 现在会主动避免这种 Cache Miss,但不会无脑保活。

它会先算账。只有预计避免的 Cache Miss 成本减去刷新成本后,还能至少省 0.05 美元,才会发起刷新。每次刷新本身仍要支付整段缓存读取和 1 个输出 Token 的费用。

信源

动察 Beating 频道 · 动察 Beating 交流群