估算存储成本,也要算上缓存刷新周期
逻辑内容相同的两个缓存,可能需要不同的存储预算。以商品特征缓存为例,看看更新粒度、旧版本保留和空间回收如何影响 NVMe 值存储的成本。
商品特征缓存即使不再增加键的数量,运行成本也可能继续上升。设想一个推荐服务:每条商品缓存记录包含许多属性,而每个输入事件只修改其中几个字段。选择存储方案时,既要考虑保留的数据,也要考虑刷新这些数据所需的工作。Lavik 0.1.0 为这类负载提供了采用 NVMe 的具体理由:值容量可以超出 DRAM,大型 Hash 可以只更新选中的存储分组,同时保留 Redis 接口。Lavik 以 Apache 2.0 协议开源。
刷新语义会改变容量需求
考虑这个缓存的两种假设实现。它们保留相同的商品键、字段和最终值。一种刷新程序在属性变化时发送整条记录,另一种只发送变化的字段。对于采用 Lavik 分组表示的记录,两者经过不同的存储路径。Hash 点更新读取受影响的前缀分组,只替换变化的分组,必要时也更新结构记录。整条 Hash 替换则根据输入数据构建新值,可以发布新的分组实例,而不必读取旧字段载荷。前者整条替换的方式可以省去旧值读取;后者增量更新的方式则能在改动稀疏时减少替换工作。
应用必须根据数据含义选择。增量 HSET 合并字段,不会删除请求中省略的属性。LAVIK.HREPLACE 替换已有 Hash 的全部字段,并保留其绝对过期时间,但对不存在或已过期的键返回 null。这是 Lavik 专有扩展,可以通过客户端的原始命令接口调用。接收字段变更事件的缓存可以采用增量更新并显式删除字段;接收权威完整记录的缓存则可能需要整条替换。仅为改善成本估算而把一种语义改成另一种,可能留下过时字段,或错误处理缺失记录。
值不再是当前版本,也可能继续占用空间
Lavik 以追加方式写入不可变记录版本。替换一个值,并不会立即让旧字节变得可复用:旧版本退役必须遵守持久化顺序,读取者或快照也可能继续固定物理块。回收还受物理边界限制。普通记录块只有在已经持久化、不再活跃、没有被固定,且存活数据占比不超过一半时,才会成为碎片整理候选。存活记录必须先在目标位置持久化,才能释放来源块。因此,逻辑数据集大小固定,并不意味着刷新期间的物理占用也固定。
分组存储通过共享未变化的分组,避免稀疏更新重写整个对象。集合在编码大小达到 16 KiB 时转为分组表示,分组目标大小为 8 KiB;不可拆分的条目和 Hash 碰撞可能使分组超过这个目标。这些是表示规则,不是实测的放大系数。快照读取者可能保留旧图结构,被删除或替换的分组仍须经历回收流程。对商品缓存而言,有价值的成本问题是:正常刷新与备份重叠时,物理空间会占用多少,而不只是当前记录包含多少字节。
在相同刷新负载下比较完整配置
比较方案时,应保持逻辑数据集、刷新到达速率、备份活动和要求的数据副本数量一致。把报价中的存储单价用于各方案真正需要的容量,其中包括记录开销、等待回收的旧版本,以及维护所需的空闲空间。每个副本都要单独计入;主节点存储价格下降,并不会消除副本的存储和内存需求。这样,存储放大就是可以观测的负载特征,而不是电子表格里一个来历不明的倍数。
内存仍是独立约束。Lavik 在内存中保留键索引和分组路由元数据,把值移到 NVMe 并不会消除这些成本。保留内存的准入使用固定的 worker 份额,max-memory 也不是严格的进程 RSS 上限。选型时需要为请求、I/O 和分配器留出余量。两种刷新设计消耗的页面读取、编码、追加写入和回收工作量也不同。容量层单价更低,仍可能需要调整 CPU 或存储配置,才能满足应用的刷新与读取延迟目标。
所提供的十月存储基准支持在大容量场景下评估 Lavik,但不能为这个 Hash 负载直接定价。该测试在配有六块本地 NVMe 的 16-vCPU Azure Standard_L16aos_v4 上,使用十亿个键、每个值为 1 KiB 的 String 数据,测量纯 GET 和覆盖式 SET。每个测量点只运行一次,持续 60 秒;产品之间的持久化配置不同,成功响应也不代表相同的同步持久化保证。这些结果和任何值容量价格比,都不能直接证明部署总成本节省或 SLA 等价。
下一次评估,围绕刷新过程设计
选取一部分可重建的商品缓存,保留真实字段大小和更新分布。在应用语义允许两种设计的情况下,对比整条替换与字段级刷新,并覆盖一次有代表性的备份重叠及其后的回收阶段。记录读取和刷新的尾延迟、进程内存、各设备可用容量、待完成的持久化工作,以及碎片整理活动。Lavik 提供设备容量、持久化和维护统计来支持这一观察。决策要回答的是:某个配置能否在应用目标内保留所需缓存,并持续完成刷新周期;确定这一点之后,报价单上的单价才成为部署成本的有效输入。
出版参考:稳定版 0.1.0 手册及安装入口见 https://github.com/eloqdata/lavik/blob/471f4864357f4a5034c64e7d4972ec0e55b82d94/README.md,其中的兼容性与运维说明介绍了支持的接口和持久化边界。基准方法见 https://github.com/eloqdata/lavik/blob/471f4864357f4a5034c64e7d4972ec0e55b82d94/perf_reports/lavik-v0.1.0-storage-peers-1tb-2026-10-14/README.md。更完整的容量预算讨论见英文文章“Price the capacity you can keep available”:/en/blog/lavik-field-notes-2026-10-10/。