Appearance
4.2-1 Redis 高性能原理
所属:04 数据存储 / 4.2 Redis 分级:A 状态:◐ 初稿 关联:4.2-2、4.2-4、4.2-6、4.2-9、4.2-12、6.5-6
题型:原理机制类
一句话结论:Redis 快是“纯内存 + 按场景定制的数据结构 + 单线程无锁执行 + IO 多路复用”四件事叠加的结果;单线程指的是命令执行,不是整个进程,6.0 之后网络 IO 已经可以多线程。
分层要点:
- 纯内存与数据结构:读写都在内存完成,读路径没有磁盘寻址;同时数据结构是按场景定制的——String 用 SDS(O(1) 取长度、二进制安全、预分配),Hash/ZSet 小对象用 listpack、大对象用 dict/skiplist,List 用 quicklist(listpack 节点链),Set 用 intset/listpack 或 hashtable,ZSet 用 dict + skiplist,Stream 用 rax。大部分命令是 O(1) 或 O(log N),常数也小。
- 单线程执行命令:主线程在事件循环里串行执行命令,不需要加锁,也没有线程切换和竞态;命令本身又都是内存操作,临界区很短。AOF 重写、RDB fork、lazy free 这些是后台线程/子进程,不参与命令执行。
- IO 多路复用:Linux 下用 epoll,把大量非阻塞 socket 注册到事件循环;
epoll_wait返回就绪连接后,主线程依次读请求、解析 RESP、执行命令、写回缓冲。一个线程就能管理成千上万连接,避免“一连接一线程”的阻塞和上下文切换。 - 协议与 pipeline:RESP 协议简单、解析成本低;pipeline 把多条命令批量发送,减少 RTT。但 pipeline 只是减少了网络等待,服务端仍然是串行执行,不会把命令变成并行。
- 线程边界与扩展:6.0 引入
io-threads,把 socket 读写和部分协议解析交给 IO 线程,命令执行仍在主线程;7.x 继续保留这一模型。单核命令执行是上限,横向扩展靠 Cluster 分片、读写分离和代理,而不是把单实例命令改成多线程。
图/流程:
text
客户端 sockets(非阻塞)
│
▼
epoll_wait
│ 就绪事件
▼
解析 RESP ──▶ processCommand ──▶ 数据结构操作
▲ │
│ ▼
写回 socket ◀── 写回缓冲 ◀───────────────┘
6.0+:io-threads 可并行 read / write / 部分解析,命令执行仍在 main thread版本/源码锚点:
- Redis 7.x;6.0+ 支持 IO 多线程;4.0+ 支持 lazy free 等后台任务。
- 启动与事件循环:
server.c的main()→initServer()→aeMain();ae.c的aeProcessEvents()。 - 请求处理:
networking.c的readQueryFromClient()、processInputBuffer()、addReply();server.c的processCommand()。 - 数据结构:
sds.c、dict.c(dictRehash()增量 rehash)、listpack.c、quicklist.c、t_zset.c。 - 后台线程:
bio.c;IO 线程配置:redis.conf的io-threads、io-threads-do-reads。
追问链:
- 单线程为什么还能扛高并发? → 命令短、纯内存、多路复用、pipeline 降 RTT,再加 Cluster 分片;不是“单线程”本身快。
- 6.0 多线程是不是命令也并行了? → 不是;IO 线程只做网络读写和部分解析,
processCommand仍在主线程,所以慢命令仍会阻塞整个实例。 - 哪些操作会阻塞 Redis? →
KEYS、大 key 的HGETALL/DEL、SORT、ZRANGE 0 -1全量、长 Lua 脚本、FLUSHALL;用SCAN、UNLINK、拆分 key、限制 Lua 执行时间。 - 单核打满怎么扩? → 先定位慢命令/大 key;再做 Cluster 分片、读写分离、代理;最后才考虑升级单核性能。加 CPU 核数对命令执行没用。
- 为什么不用多线程执行命令? → 要加锁、处理原子性和竞态,复杂度和上下文切换成本高;Redis 的瓶颈通常在网络和内存,不在 CPU,单线程是更简单的取舍。
- IO 线程怎么配? →
io-threads通常 4–8,不超过 CPU 核数;只有网络确实是瓶颈时才有收益,读多写多再开io-threads-do-reads,不是越多越好。
生产案例/取舍(示例,替换成你的项目):
- 排行榜接口用
ZRANGE key 0 -1拉全量 10 万成员,单次 20ms+,高峰期把主线程打满,P99 从 20ms 涨到 300ms。改为ZREVRANGE key 0 99只取 Top100,热点结果加本地缓存,P99 回到 15ms 左右。 - 配置类大 Hash 用
HGETALL一次拉几万字段,改为HMGET只取需要的字段,并按业务拆成多个 key。 - 线上禁用
KEYS,用SCAN渐进遍历;大 key 删除用UNLINK,避免DEL阻塞。 - 取舍:单线程换来了简单和原子性,代价是无法利用多核跑命令;IO 多线程能提升网络吞吐,但增加了配置和排障复杂度;Cluster 能横向扩展,但带来跨 slot、热 key 和运维成本。
- 排行榜接口用
易错点:
- 把“Redis 是单线程”说成整个进程单线程——命令执行单线程,IO、lazy free、AOF fsync 等有后台线程。
- 把“单线程”当成快的根本原因——主要原因是内存和数据结构;单线程是简化设计的取舍。
- 认为 6.0 的多线程能加速命令——命令仍在主线程,慢命令仍阻塞。
- 认为加机器/加核数就能解决单实例慢——不解决慢命令和大 key,扩容只是把问题摊到更多分片。
- 忽略 fork/COW、AOF
alwaysfsync、大 key 删除带来的延迟抖动。
30 秒口述稿:
Redis 快是四个因素叠加:第一,纯内存操作,读路径不落盘;第二,数据结构按场景定制,SDS、listpack、dict、skiplist,大部分操作 O(1) 或 O(log N);第三,单线程执行命令,避免锁竞争和上下文切换;第四,IO 多路复用加事件循环,一个线程管大量连接。单线程指的是命令执行,6.0 之后网络读写可以用 IO 线程,但命令还在主线程。所以它的边界是慢命令和大 key,会阻塞整个实例;扩展靠 Cluster 分片和读写分离。
- 3 分钟展开顺序:结论(四因素)→ 内存与数据结构(各举一个)→ 单线程与多路复用(画事件循环)→ 6.0 线程边界 → 慢命令/大 key 的边界 → 一个生产案例 → 扩展方案与取舍。