Linux 知识库

Appearance

Redis-基础架构原理 ​

官网：https://redis.io/

Redis（Remote Dictionary Server）是一个开源的、基于内存的高性能键值存储系统，以其极致的读写性能和灵活的数据模型成为现代系统架构的核心组件。本文将全面解析Redis的基础架构、核心原理、数据结构、持久化机制、高可用方案以及性能优化策略。

Redis核心架构与设计理念 ​

单线程模型与I/O多路复用 ​

Redis采用单线程事件循环模型，通过非阻塞I/O多路复用（如epoll/kqueue）处理大量并发连接，其设计考量包括：

  • 避免多线程上下文切换：单线程避免了CPU不必要的上下文切换和竞争锁的消耗，减少了系统开销
  • 网络I/O瓶颈：Redis操作主要是内存操作，性能瓶颈通常在网络I/O而非CPU计算
  • 原子性保证：单线程天然保证命令执行的原子性，无需额外加锁机制

Redis 6.0+引入了多线程I/O（默认关闭），但仅用于网络读写和协议解析，命令执行仍保持单线程，避免并发安全问题。

事件驱动模型 ​

Redis基于Reactor模式实现事件处理，核心组件包括：

  1. 多个套接字：监听客户端连接
  2. I/O多路复用程序：监控多个套接字事件
  3. 文件事件分派器：将就绪事件分发给对应处理器
  4. 事件处理器：包括连接应答、命令请求、命令回复等处理器
mermaid
graph TD
    A[客户端请求] --> B[I/O多路复用程序]
    B --> C{事件类型}
    C -->|读事件| D[命令请求处理器]
    C -->|写事件| E[命令回复处理器]
    D --> F[命令执行器]
    E --> F
    F --> G[返回结果]

高效内存管理 ​

Redis采用多种内存优化策略：

  • 自定义内存分配器(zmalloc)：减少内存碎片，提高内存使用效率
  • 对象共享机制：小整数和常用字符串使用共享对象，减少内存占用
  • 多种编码方式：根据数据特点选择最节省内存的编码（如压缩列表、整数集合）
  • 惰性删除：结合定期删除策略处理过期键，避免集中删除导致的性能抖动

Redis数据结构与底层实现 ​

Redis支持丰富的数据结构，每种结构针对不同场景优化：

基础数据结构 ​

数据类型底层实现时间复杂度典型应用场景
StringSDS(简单动态字符串)O(1)缓存、计数器、分布式锁
Hash压缩列表/哈希表O(1)对象属性存储、商品信息
List快速列表(ziplist+linkedlist)头尾操作O(1)消息队列、最新消息排行
Set整数集合/哈希表O(1)标签系统、共同好友
ZSet跳跃表+哈希表O(logN)排行榜、延迟队列

高级数据结构 ​

  1. HyperLogLog：基数统计，误差率0.81%，适合UV统计
  2. Bitmap：位数组，适合签到、活跃用户统计
  3. GEO：基于ZSet+GEOHash，支持地理位置计算
  4. Stream：持久化消息流，实现类Kafka功能

底层数据结构算法 ​

  1. 跳跃表(Skip List)：

    • 多层链表结构，通过概率性节点提升实现快速查找
    • 平均O(logN)复杂度，用于有序集合(ZSet)

  2. 渐进式Rehash：

    • 哈希表扩容/缩容时分摊操作成本
    • 使用ht[0]和ht[1]两个哈希表，逐步迁移数据

  3. 压缩列表(ZipList)：

    • 紧凑内存布局，存储相邻元素减少内存占用
    • 适合小规模列表和哈希表

  4. 快速列表(QuickList)：

    • ziplist双向链表，平衡内存效率和操作性能
    • Redis列表的默认实现

Redis持久化机制 ​

Redis提供两种持久化方式，确保数据安全：

RDB(Redis Database) ​

原理：定时生成内存数据的二进制快照(.rdb文件)

特点：

  • 优点：二进制紧凑格式，恢复速度快，适合备份
  • 缺点：可能丢失最后一次快照后的数据，fork子进程消耗内存

配置：

bash
save 900 1       # 900秒内至少1次修改触发保存
save 300 10      # 300秒内至少10次修改触发保存

AOF(Append Only File) ​

原理：记录每个写操作命令到日志文件(.aof)

特点：

  • 优点：数据安全性高(可配置同步频率)，支持手动修复
  • 缺点：文件体积大，恢复速度较慢

同步策略：

bash
appendfsync always   # 每次写操作都同步，最安全但性能最低
appendfsync everysec # 每秒同步(默认推荐)
appendfsync no       # 依赖操作系统同步

混合持久化(Redis 4.0+) ​

结合RDB和AOF优点：

  1. 定期生成RDB作为基础数据集
  2. 增量操作以AOF格式追加
  3. 恢复时先加载RDB，再重放增量AOF

Redis高可用架构 ​

主从复制 ​

架构：

  • 主节点(Master)：处理写请求
  • 从节点(Slave)：复制主节点数据，处理读请求

同步流程：

  1. 全量同步：从节点初次连接时，主节点发送RDB快照
  2. 增量同步：主节点将写命令存入复制积压缓冲区，从节点持续获取

优点：数据冗余、读写分离 缺点：无自动故障转移

哨兵模式(Sentinel) ​

功能：

  • 监控：持续检测节点健康状态
  • 通知：通过API告知系统管理员或其它程序
  • 自动故障转移：主节点故障时选举新主节点
  • 配置中心：客户端自动发现新的主节点地址

部署要求：至少3个Sentinel实例避免脑裂

配置示例：

bash
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000

Redis Cluster ​

核心特性：

  • 数据分片：16384个哈希槽分配到不同节点
  • 去中心化：节点间通过Gossip协议通信
  • 高可用：每个分片有主从关系，支持自动故障转移

部署命令：

bash
redis-cli --cluster create \
127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 \
127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 \
--cluster-replicas 1

请求路由：

  • 客户端计算键的CRC16值，模16384得到槽位
  • 若槽位不在当前节点，返回MOVED错误指引重定向

Redis性能优化策略 ​

内存优化 ​

  • 控制maxmemory：设置合理的内存上限和淘汰策略
  • 选择高效编码：小数据使用ziplist/intset等紧凑结构
  • 缩短键名：减少元数据内存占用
  • 共享对象：小整数(0-9999)预分配为共享对象

命令优化 ​

  • 批处理：使用Pipeline减少网络往返
  • 危险命令规避：用SCAN替代KEYS，禁用FLUSHALL
  • 适当分片：大Key拆分为多个子Key

缓存问题解决方案 ​

  1. 缓存穿透：

    • 布隆过滤器拦截非法请求
    • 空值缓存+短TTL

  2. 缓存击穿：

    • 互斥锁重建(SETNX)
    • 逻辑过期(值中嵌入过期时间)

  3. 缓存雪崩：

    • TTL基础值+随机偏移
    • 多级缓存(本地缓存+Redis)

Redis典型应用场景 ​

  1. 缓存系统：减轻数据库压力，加速热点数据访问
  2. 会话存储：分布式环境下共享用户会话
  3. 消息队列：List实现简单队列，Stream实现可靠消息队列
  4. 分布式锁：SETNX+EX实现，Redisson框架提供完善实现
  5. 实时排行榜：ZSet有序集合实现动态排名