为大小缓存对象分别设置准入预算
两次缓存扩容可以增加相同的值字节数,却带来截然不同的索引压力。通过一个假设案例,了解如何按对象大小为 Lavik 设计保留与准入策略。
不断增长的渲染缓存,可能同时保存数千万个小型查询结果和体积更大的渲染片段。如果两类对象采用相同的保留策略,单一字节预算就会掩盖一个重要决定:哪些条目值得占用内存索引?Lavik 0.1.0 为重新考虑这项策略提供了具体理由。它将紧凑的键索引保留在 DRAM 中,将值存放在 NVMe 上,因此可以让有用的大对象继续留在缓存中,而不必让全部值都装进机器内存。
本文提出的应用设计,为两类对象分别设置准入预算:保留经常被重复请求的大型片段,同时限制小型、低复用查询结果的数量。Lavik 提供支持这种分离的存储架构;对象分类与准入策略由应用实现。这些是建议的设计选择,并非 Lavik 内置的缓存策略。
新增字节相同,新增键数可以相差 32 倍
假设一个缓存包含 2,000 万个查询结果,平均每个 256 字节,以及 200 万个渲染片段,平均每个 8 KiB。查询结果贡献 5.12 GB 逻辑值,片段贡献 16.384 GB,合计 2,200 万个键、21.504 GB 逻辑值。这里的 GB 使用十进制单位,由应用载荷计算得出,不包含键、记录头、索引、预留存储空间和副本。
现在,应用希望将片段保留量提高到 600 万个,同时保持查询结果数量不变。逻辑值增至 54.272 GB,键数达到 2,600 万:值载荷约为原来的 2.52 倍,键数却只增加 18.2%。新增的 32.768 GB 来自 400 万个片段。如果同样的新增字节来自每个 256 字节的查询结果,就会增加 1.28 亿个键,使总数达到 1.5 亿。相同的值增长量,第二种扩容需要新增的顶层索引条目是第一种的 32 倍。
这组算术说明,仅设置缓存字节上限并不够,但它不能预测两种部署的实际内存需求。Lavik 需要保留键标识、逻辑版本和物理位置;键长度、过期状态和索引表容量都会影响内存占用。更大的分组对象还需要路由与物理索引元数据。案例中的平均值大小,无法推导出一个通用的“每键内存字节数”。
把容量模型变成准入决策
对于这个缓存,可以为查询结果设置准入键数上限,为渲染片段单独设置保留值字节预算。在插入新的查询结果前,应用可以要求已有重复访问证据;只访问一次的结果仍然正常返回,但不写入缓存。对于经常复用的片段,如果避免重新生成所节省的工作值得投入容量,就可以给予更长的保留时间。应用用于记录重复访问的状态,也需要独立且有上限的内存预算。这些策略将索引容量分配给复用价值,而无需改变 RESP 接口。
分别跟踪两类对象的存活键数、值大小分布、插入速率和过期前复用情况。应用准入上限应低于实际测得的服务器内存边界:Lavik 将保留内存准入额度固定分配给各个 worker,一个 worker 无法借用另一个 worker 的闲置额度。过期条目不会立即变成可用索引与设备容量。删除、墓碑清除和物理回收具有不同的生命周期,因此一批对象到期,并不代表系统立刻有空间承接下一轮突发写入。在插入前拒绝缓存某个对象,可以避免新增占用,但不会回收已有条目。
两类对象共同承担服务器成本
某类对象占值字节数的比例,并不等于它应占服务器账单的比例。小对象同样消耗索引条目和请求处理资源;大对象消耗响应带宽与存储 I/O,刷新频率则改变写入和回收需求。两类对象共享 worker、连接、I/O 缓冲区和维护能力。每个 worker 都有普通追加流和事务追加流,因此暂存容量也取决于 worker 配置,而不只随逻辑值字节数增长。
采用 Lavik 的机会在于:把更多有用的片段字节保留在 NVMe 上,无需为每个值字节购买相应的 DRAM,同时单独控制查询结果键数的增长。这是否降低总成本,取决于完整部署的 CPU、网络、存储余量、副本和运维要求。本文案例描述的是逻辑容量,没有给出价格,也没有测量 TCO。仅凭值容量比例,不能推导共享服务器账单的降幅,也不能证明 SLA 等价。
10 月 13 日的容量报告提供了范围更明确的实测依据:Lavik 0.1.0 在标称 2 vCPU、16 GiB 内存的 Azure L2aos_v5 上,通过 SPDK 和专用本地 NVMe 命名空间,保存了 1 亿个键,每个值 1 KiB,合计 95.37 GiB 逻辑值。各测量点结束后的进程 RSS 为 5,697.3–5,733.6 MiB,此外还有单独预留的 2,048 MiB 大页。工作负载为均匀随机 GET 或覆盖 SET,无 TTL,每个点仅运行一次、持续 30 秒。它证明了该配置下超出内存容量的数据承载能力,并未测量本文提出的准入策略、命中率或成本。
先找出值得保留更久的对象
从具有代表性的请求轨迹开始,估算每类对象中有多少会在过期前再次被请求。然后,将现有策略与一种新策略比较:减少只访问一次的查询结果准入,保留更多会被复用的片段。有效的 Lavik 试用应让两种策略形成的对象集合都经历读取与刷新,同时记录保留内存记账值和进程 RSS、worker 准入压力、可用存储、命中率以及应用尾延迟。当更长的保留窗口能够在这些资源预算内提高复用率时,再采用它;仅凭值容量无法得出这一结论。
出版参考 — 安装、兼容性说明及相关运维指南,请从经过测试的 0.1.0 手册入口开始:https://github.com/eloqdata/lavik/blob/471f4864357f4a5034c64e7d4972ec0e55b82d94/README.md 。完整容量测试配置与适用范围,见《Lavik on 2 vCPUs: latest Redis / Valkey and a 100M-key capacity test》:https://github.com/eloqdata/lavik/blob/471f4864357f4a5034c64e7d4972ec0e55b82d94/perf_reports/lavik-v0.1.0-2vcpu-latest-capacity-2026-10-13/README.md 。Lavik 0.1.0 按 Apache 2.0 许可证开源。