推荐书籍 008|Redis 深度历险

罗兴波发布于 更新于
文章摘要

这本书让我把 Redis 的基础能力与工程问题联系起来,理解分布式锁、位图和布隆过滤器的用途与边界。其中分布式锁已经用于我的实际项目,也让我更重视获取、过期、释放和故障恢复的完整过程。

《Redis深度历险:核心原理与应用实践》封面
《Redis深度历险:核心原理与应用实践》封面

《Redis 深度历险》给我的一个很直接的帮助,是把 Redis 的能力与实际工程问题联系起来。学会一种数据结构之后,还可以继续问:它能够解决什么问题,怎样组合使用,又需要付出什么代价?

对于已经用过 Redis、希望进一步把它用到实际项目中的开发者,我觉得这本书很值得读。分布式锁、位图和布隆过滤器这些内容,尤其让我打开了视野。这里面,我在项目中实际用到了分布式锁,因此对它的使用条件和边界格外关注。

一、这本书主要讲什么:把已有能力组织成工程方案

钱文品的《Redis 深度历险:核心原理与应用实践》,围绕 Redis 的使用与实现展开,包含基础和应用、原理、集群、拓展及源码等内容。可以通过出版社的图书介绍了解整体范围。

上一篇《Redis 设计与实现》帮助我继续理解内部结构:数据怎样存放,请求怎样执行,持久化与多机协作怎样工作。读《Redis 深度历险》时,我会更多地把注意力放到另一组问题上:面对实际需求,怎样把这些能力组合起来,形成可以落地的方案。

分布式锁就是一个例子。Redis 的原子命令、键的过期机制和脚本执行能力,可以共同参与进程之间的协调。理解命令只是开始,真正使用时还需要考虑任务耗时、失败恢复,以及谁有权释放当前的锁。

位图和布隆过滤器则让我们看到,记录状态和判断成员是否存在,也有不同的表达方式。面对大量数据,有时不必给每个状态都安排一份完整记录,有时也可以接受一定概率的误判,换取更低的空间开销。

这些内容带给我的启发,是使用 Redis 时可以从业务问题出发思考。到底需要准确记录全部信息,还是只记录某种状态?是否需要让多个执行者协调?是否能够接受近似判断?需求不同,适合的方案也就不同。

还需要分清它们所在的层次。分布式锁是一种协调方案,位图依托字符串上的位操作,布隆过滤器是一种概率数据结构。它们拓展了 Redis 的使用方式,并不是在同一个层面上增加了几种完全相同意义的“基本类型”。

二、我特别看重分布式锁:从会加锁到理解锁的有效范围

因为在实际项目中使用过分布式锁,这部分对我有很直接的意义。多个进程或多个副本面对同一份共享资源时,进程内的锁无法直接协调所有执行者,需要一个大家都能访问的协调点。

一条风险重算链路提供了一个具体例子。消费者按“机构+cluster”获取 Redis 锁,协调同一目标的重算;没有获得锁时,不提交本条 Kafka 消息,留待重试。这个场景说明,除了怎样加锁,还要把锁的粒度和发生竞争后的处理一起设计清楚。该层没有持续续租,任务耗时超过有效期时仍需考虑重复进入的可能。

近重复 Redis 清理是另一个具体例子。多个清理实例可能同时面对同一批指纹记录和召回桶,代码通过共享清理租约协调执行;拿到锁后,分批清理过期记录、修复索引,并在使用独立近重复 Redis 且达到内存水位时淘汰旧数据。锁包含实例标识和有效期,通过 Lua 比较标识后续租、释放,同时限制每轮工作时间。当前续租失败只会结束续租协程,尚未主动停止清理主体,因此它也提醒我们:加锁与续租之外,还要设计失锁后的退出和写入保护。

Redis 可以承担这样的角色,但“创建一个键”还不足以解释整个方案。需要明确锁对应什么资源、一次保护多大范围,以及没有拿到锁时应当等待、重试还是结束本次操作。

获取锁时,常见基础做法是在同一条 SET 命令中使用 NX 和 EX 或 PX,把“仅在键不存在时写入”与“设置有效期”一起完成。如果拆成先创建、再设置过期时间,进程恰好在中间退出,就可能留下没有过期时间的锁。

有效期让持有者异常退出后,其他执行者仍有机会继续工作。每次获取锁还应使用能够区分持有者的唯一标识。释放时,需要把“确认标识仍属于自己”和“删除锁”作为原子操作完成,例如使用比较标识后删除的 Lua 脚本;不能先 GET 检查,再单独 DEL。

原因在于,两条命令之间锁可能已经过期,并被其他执行者重新获取。旧持有者如果直接删除,就可能把新持有者的锁删掉。相关机制可以对照Redis 官方分布式锁说明继续理解。

更容易被忽略的是,锁过期不等于旧任务已经停止。一个任务可能因为执行过慢、进程暂停或网络问题,在锁失效以后继续运行;此时另一个执行者也可能已经获得锁。安全释放解决的是误删问题,不能自动阻止旧任务继续修改业务数据。

因此,需要结合任务耗时和故障场景考虑有效期、续租、失锁后的处理。续租本身也可能失败,不能把它视为无限期的安全保证。对于不能接受重复执行或旧任务覆盖结果的操作,还要结合幂等、数据库约束,或由被写入资源验证的版本机制建立保护。

同样,采用异步复制的 Redis 在故障切换时,也不能直接保证锁状态绝不丢失。锁能提供什么保证,需要与具体部署及业务要求一起判断。

对我来说,学习分布式锁最有价值的地方,就是开始沿着获取、持有、过期、释放和故障这几个阶段,理解一次协调过程。知道这些条件之后,才更容易判断一个方案是否适合眼前的问题。

三、位图和布隆过滤器:重新思考怎样表达数据

位图给我的启发,是有些业务记录需要表达的信息其实很少。例如某个编号对应的用户是否签到、某项状态是否开启,核心可能只有一个是或否。把这些状态映射到不同的位,可以让存储方式更贴近实际信息量。

不过,映射方式本身也会影响成本。位图按偏移访问,最大的偏移会影响需要分配的空间。如果直接使用跨度很大、非常稀疏的编号,未必能够得到预期的空间收益。它适合什么数据,需要一起看编号范围、稠密程度和查询方式。具体行为可以继续查阅官方 SETBIT 说明。

布隆过滤器则让我认识到,判断“是否出现过”不一定都要保存完整的元素集合。它使用有限空间保存概率性的成员信息,能够快速做一层筛选。

这里最重要的是理解结果的含义。在数据已经正确加入、过滤器没有丢失并且维护一致的前提下,它能够判断一个元素不在其中;返回可能存在时,却仍然可能是误判,需要根据业务要求继续查验。不能把“可能出现过”直接当成准确的去重结论。

例如,在真正查询数据之前,先排除一部分确定不存在的请求,是可以考虑的方向;如果业务要求每一个有效请求都不能因为误判而被丢弃,就需要保留进一步核实的路径。具体语义可以对照官方布隆过滤器说明理解。

实际使用时,还需要看过滤器怎样初始化、怎样与业务数据更新保持一致,以及数据丢失后怎样恢复。预期元素数量、允许的误判率和维护成本,也都会影响方案。空间节省带来的收益,需要与这些额外工作一起考虑。

这些例子让我对 Redis 的认识丰富了很多。同样是处理数据,有时关注精确存储,有时关注状态压缩,有时关注快速筛选。知道这些不同的思路,遇到问题时就能多出几种值得评估的选择。

四、我的阅读建议:带着真实问题读,回到运行条件里验证

这本书适合在已经熟悉基本命令以后继续阅读。可以先建立整体认识,再选择自己真正需要的场景深入。例如,正在解决多副本协调,就认真看锁的流程;面对大量状态记录或成员判断,再去研究位图和布隆过滤器。

阅读每个方案时,我建议固定关注几件事:它解决的具体问题是什么,依赖哪些原子性或一致性条件,能够接受什么误差,失败以后又怎样恢复。把这些前提整理清楚,比只记住一段命令组合更容易用于实际开发。

书中的示例还需要结合当前版本与部署方式核对。布隆过滤器等能力在不同阶段可能依靠扩展模块或不同实现提供,不能假设任意 Redis 实例都直接支持同一套命令。客户端库对锁的封装,也需要继续查看它的续租、超时和释放行为。

对于项目中的实际操作,可以用有限的小实验验证竞争、任务超时和异常退出时的结果。读懂原理之后,再观察自己的方案是否符合预期,才能把书里的认识转化为可靠的实现。这些是值得尝试的验证方法,也不要求一次就搭出复杂的测试平台。

我推荐《Redis 深度历险》,主要是因为它让我把 Redis 从熟悉的命令集合,进一步看作一组能够参与解决工程问题的能力。尤其是实际用到分布式锁以后,再回头理解条件、流程与边界,学到的内容就更容易落到自己的开发工作中。

记录过程,也留下判断。

← 继续阅读其他文章