记录数达到 12.5 倍,吞吐量高出 61.1%:Lavik 单机 10 亿条对比 Redis 8000 万条

在一台 Azure L16aos_v4 虚拟机上,Lavik 在 10 亿条 Hash 记录上达到每秒 621,528 次操作,字段值合计 1.024 TB。同一台服务器上,Redis 在 8000 万条记录上达到每秒 385,755 次操作。Lavik 的记录数是 Redis 的 12.5 倍,吞吐量高出 61.1%。

256 个连接下的平均吞吐量
Redis · 8000 万条记录 · 385,755 次/秒
Dragonfly · 7300 万条记录 · 566,630 次/秒
Lavik · 8000 万条记录 · 631,666 次/秒
Lavik · 10 亿条记录 · 621,528 次/秒

在一台 Azure L16aos_v4 虚拟机上,Lavik 在 10 亿条 Hash 记录上达到每秒 621,528 次操作,字段值合计 1.024 TB。同一台服务器上,Redis 在 8000 万条记录上达到每秒 385,755 次操作。Lavik 的记录数是 Redis 的 12.5 倍,吞吐量高出 61.1%。[1]

数据量超过内存后,吞吐量会怎样?

我们先在同一台 128 GiB 服务器上以 8000 万条记录为目标。每条记录有 8 个字段,每个字段值为 128 字节,8000 万条记录仅字段值就占 81.92 GB。Redis 和 Dragonfly 将数据放在内存中,Lavik 将 Hash 字段值存储在本地 NVMe 上,不为这些值维护内存数据缓存。[1][7][9]

随后只把 Lavik 的数据集扩到 10 亿条,服务器、客户端和 256 个连接保持一致。每次请求都在完整数据集内均匀随机选键,覆盖新载入的记录。95% 的请求读取整个 Hash,5% 的请求更新全部 8 个字段。 整条更新时,Lavik 使用 LAVIK.HREPLACE 替换全部 8 个字段,无需从 NVMe 读取旧字段值。[1][8]

在 10 亿条记录下,测量结束时 Lavik 报告的内存用量为 55.7 GiB。装载完成、测量开始前,可供前台写入的空间比空库时减少了 1.305 TB,其中包括存储开销。此时待完成的持久化工作为零,暂存区的脏数据为 0 字节。[2]

在相同的 8000 万条记录下,Lavik 的吞吐量比 Redis 高 63.7%。将 Lavik 的记录数扩大到原来的 12.5 倍,吞吐量下降了 1.6%。[1]

Lavik 的读取和更新 P99.9 均低于 3 毫秒

在两个数据规模下,Lavik 的三轮测量中,每一轮的读取和更新 P99.9 都低于 3 毫秒。10 亿条记录时,三轮读取 P99.9 平均为 2.610 毫秒,更新为 2.132 毫秒。[1]

256 个连接下的 YCSB 吞吐量与延迟
数据库记录数每秒操作数读取 P99.9更新 P99.9
Redis8000 万385,7552.553 ms2.627 ms
Dragonfly7300 万566,6302.964 ms3.010 ms
Lavik8000 万631,6662.565 ms2.063 ms
Lavik10 亿621,5282.610 ms2.132 ms
来源与计算依据[2][5]

表中 Dragonfly 在 7300 万条记录时使用默认 Hash 编码阈值。单独测容量时,载入约 7356 万条后出现内存不足错误。设置 --listpack_max_field_len=256 --listpack_max_bytes=2048 后,同样的 112 GiB 内存上限可以容纳 8000 万条记录,吞吐量为每秒 537,054 次操作,读取和更新 P99.9 分别为 12.655 和 13.076 毫秒。[1][5]

使用默认 Hash 阈值时,Redis 在 6500 万条记录下达到每秒 351,594 次操作。将 hash-max-listpack-value 从 64 调高到 256 字节后,128 字节的字段值可以使用紧凑编码。该配置在 8000 万条记录下达到每秒 385,755 次操作,吞吐高出 9.7%。默认配置的读取和更新 P99.9 更低,分别为 2.396 和 2.418 毫秒;8000 万条调优组分别为 2.553 和 2.627 毫秒。[6]

测试环境与方法

硬件。两台虚拟机位于 Azure 印度中部区域的可用区 3,均开启加速网络。数据库服务器 L16aos_v4 配备 16 个 vCPU、128 GiB 内存和 6 块 1.92 TB 的本地 NVMe 盘,组成 RAID 0,分块大小为 512 KiB。Lavik 使用一个 6 TiB 的裸分区。独立的 YCSB 客户端 F16als_v6 配备 16 个 vCPU 和 32 GiB 内存。两台主机报告的处理器均为 AMD EPYC 9V74。[1]

软件。数据库版本为 Lavik v0.3.2、Redis 8.10.3 和 Dragonfly v2.1。服务器运行 Ubuntu 24.04.5 LTS,内核为 Linux 7.0.0-1020-azure。客户端运行 OpenJDK 17.0.21.1,使用 EloqData YCSB 分支的提交 247a2d448ebc。[1]

网络与存储。客户端向服务器发送 100 个 ICMP 包,往返时延平均为 0.733 毫秒,范围为 0.406–3.873 毫秒,零丢包。载入 8000 万条记录前,在一条持久 TCP 连接上向空闲的 Lavik 串行发送 5000 次 Redis 协议 PING,中位数为 0.078 毫秒,P99 为 0.087 毫秒。YCSB 测试结束后,服务器上的只读 fio 测试达到每秒 270,395 次 1 KiB 随机读取。[1]

各数据库单独运行。预热 30 秒后,通过 256 个不使用流水线的连接测量三个 60 秒窗口。表中吞吐量为三轮均值,延迟为各窗口分别计算 P99.9 后的均值。测量期间所有读取和更新均成功。 每种配置在测试前后都核对了记录总数,并抽查 1,003 条记录的字段名和字段值长度。[1][2]

数据库启动参数

三个服务均绑定到 CPU 0–13,文件描述符上限为 65,535。CPU 14–15 留给操作系统和网卡中断。Redis 和 Dragonfly 在内存中运行。下列命令省略了取默认值的冗余参数。完整启动命令见归档脚本。[1]

lavik \
  --storage=uring \
  --bind "10.87.0.21" \
  --metrics-port 9100 \
  --threads 14 \
  --pin-workers \
  --max-memory 96gb \
  --shutdown-checkpoint \
  --data-file "/dev/md/lavikbench3" \
  --log-dir "/var/lib/lavik-bench/india-single-lavik"
[1]
redis-server \
  --bind "10.87.0.21" \
  --protected-mode no \
  --save "" \
  --maxmemory "112gb" \
  --hash-max-listpack-value 256 \
  --io-threads 14
[1]
dragonfly \
  "--bind=10.87.0.21" \
  "--maxmemory=112gb" \
  --proactor_threads=14
[1]

YCSB 负载与驱动参数

下例是 Lavik 在 8000 万条记录时的单轮测量命令。10 亿条记录时使用 recordcount=1000000000。Redis 和 Dragonfly 使用 redis 驱动及对应的 redis.host、redis.port、redis.timeout,并设置 redis.scanindex=none。三者均用 HGETALL 读取。更新时,Lavik 使用 LAVIK.HREPLACE 替换整条 Hash,无需从 NVMe 读取旧字段值。Redis 和 Dragonfly 使用 HMSET 写入相同的 8 个字段。载入数据使用 64 个连接,流水线深度为 32。[1][8]

bin/ycsb.sh run lavik \
  -s \
  -P workloads/workloadb \
  -threads 256 \
  -p recordcount=80000000 \
  -p fieldcount=8 \
  -p fieldlength=128 \
  -p readallfields=true \
  -p writeallfields=true \
  -p fieldlengthdistribution=constant \
  -p requestdistribution=uniform \
  -p readproportion=0.95 \
  -p updateproportion=0.05 \
  -p scanproportion=0 \
  -p insertproportion=0 \
  -p readmodifywriteproportion=0 \
  -p lavik.host=10.87.0.21 \
  -p lavik.port=6379 \
  -p lavik.timeout=2000 \
  -p operationcount=2000000000 \
  -p maxexecutiontime=60 \
  -p status.interval=5 \
  -p hdrhistogram.percentiles=50,95,99,99.9 \
  -p hdrhistogram.fileoutput=true \
  -p hdrhistogram.output.path=/opt/lavik-bench/results-standalone/lavik/80000000/sweep/256-confirm-1/
[1]

fio 与 ping 参数

fio \
  --readonly \
  --name=read \
  --filename=/dev/md/lavikbench3 \
  --ioengine=io_uring \
  --direct=1 \
  --rw=randread \
  --bs=1k \
  --iodepth=32 \
  --numjobs=4 \
  --offset=1G \
  --size=8G \
  --time_based=1 \
  --ramp_time=5 \
  --runtime=30 \
  --group_reporting=1
[3]

YCSB 空闲时,fio 3.36 在数据库分区的 8 GiB 区域执行读取。4 个作业各使用 32 的队列深度。协议 PING 测试先丢弃 200 次预热应答,再对 5000 次串行请求计时。[3][1]

ping \
  -n \
  -c 100 \
  -i 0.05 \
  -W 1 10.87.0.21
[1]