Redis-使用哈希槽而非一致性哈希的原因 (redis淘汰策略有哪些)
引言
在分布式系统中,数据分片和负载均衡是至关重要的。哈希槽和一致性哈希两种方法都可以实现这些目标,但它们各有优缺点。本文将讨论为什么在某些情况下使用哈希槽而不是一致性哈希。哈希槽
哈希槽是一种使用哈希函数将数据分片的方法。哈希函数将数据映射到一个固定大小的桶中,称为哈希槽。数据存储在与哈希值相对应的哈希槽中。 哈希槽的主要优点是实现简单且高效。哈希函数可以快速计算,而且桶的大小是固定的,这使得在哈希槽之间重新平衡数据相对容易。 哈希槽也有一个缺点,即数据分布可能不均匀。这可能会导致某些哈希槽过载,而其他哈希槽则利用率不足。一致性哈希
一致性哈希是一种使用虚拟节点将数据分片的方法。虚拟节点是一个散列到哈希环上的点。数据存储在与哈希值最接近的虚拟节点对应的真实节点上。 一致性哈希的主要优点是它提供了更均匀的数据分布。即使在真实节点发生更改时,虚拟节点的分布也会保持平衡。这可以减少哈希槽中可能出现的数据热点问题。 一致性哈希也有一些缺点。一是实现起来比哈希槽复杂。二是虚拟节点的分布随着真实节点数量的变化而动态变化,这可能导致查询操作的开销增加。哈希槽与一致性哈希的比较
| 特征 | 哈希槽 | 一致性哈希 | |---|---|---| | 实现 | 简单且高效 | 复杂 | | 数据分布 | 可能不均匀 | 均匀 | | 负载均衡 | 容易 | 复杂 | | 性能 | 高 | 低 | | 适用场景 | 对数据分布不敏感的应用 | 对数据分布敏感的应用 |为什么使用哈希槽
虽然一致性哈希在某些情况下提供了更好的数据分布,但哈希槽在实际应用中仍然广泛使用。这是因为在某些场景下,哈希槽的优点比一致性哈希的优点更重要: 性能:哈希槽在性能方面优于一致性哈希。这对于需要快速处理大量数据的应用程序非常重要。 简单性:哈希槽的实现比一致性哈希简单。这对于开发资源有限的小型团队来说非常重要。 适用性:哈希槽对于对数据分布不敏感的应用程序非常适用。对于这些应用程序,数据分布不均匀并不是一个主要问题。哈希槽的应用
哈希槽在以下场景中广泛使用: 缓存:哈希槽用于在缓存节点之间分片缓存数据。 分布式数据库:哈希槽用于在分布式数据库节点之间分片数据。 消息队列:哈希槽用于在消息队列节点之间分片消息。结论
哈希槽和一致性哈希都是分布式系统中实现数据分片和负载均衡的有效方法。但是,哈希槽在性能、简单性和适用性方面具有优势,这使得它在某些场景下更适合。什么是redis集群
Redis集群介绍Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。 Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:自动分割数据到不同的节点上。 整个集群的部分节点失败或者不可达的情况下能够继续处理命令。 Redis 集群的数据分片Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念 集群有个哈希槽,每个key通过CRC16校验后对取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:节点 A 包含 0 到 5500号哈希槽.节点 B 包含5501 到 号哈希槽.节点 C 包含 到 号哈希槽.这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中得部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态 集群的主从复制模型为了使在部分节点失败或者大部分节点无法通信的情况下集群仍然可用,所以集群使用了主从复制模型,每个节点都会有N-1个复制品.在我们例子中具有A,B,C三个节点的集群,在没有复制模型的情况下,如果节点B失败了,那么整个集群就会以为缺少5501-这个范围的槽而不可用.然而如果在集群创建的时候(或者过一段时间)我们为每个节点添加一个从节点A1,B1,C1,那么整个集群便有三个master节点和三个slave节点组成,这样在节点B失败后,集群便会选举B1为新的主节点继续服务,整个集群便不会因为槽找不到而不可用了不过当B和B1 都失败后,集群是不可用的 一致性保证Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.第一个原因是因为集群是用了异步复制. 写操作过程:客户端向主节点B写入一条命令.主节点B向客户端回复命令状态.主节点将写操作复制给他得从节点 B1, B2 和 B3.主节点对命令的复制工作发生在返回命令回复之后, 因为如果每次处理命令请求都需要等待复制操作完成的话, 那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意:Redis 集群可能会在将来提供同步写的方法。 Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区, 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。 举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点, 其中 A 、B 、C 为主节点, A1 、B1 、C1 为A,B,C的从节点, 还有一个客户端 Z1 假设集群中发生网络分区,那么集群可能会分为两方,大部分的一方包含节点 A 、C 、A1 、B1 和 C1 ,小部分的一方则包含节点 B 和客户端 Z1 .Z1仍然能够向主节点B中写入, 如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master,那么Z1写入B中得数据便丢失了.
redis什么时候用哈希
假定我们有一个hashmap的逻辑结构,用户编号的为15的人,name是dlf,school是xdu当我们在redic-cli命令行下敲下 hset id:15 name dlf时redis里面都发生了什么事情呢?任何一个使用过redis的用户,即使没有看过redis的源码,想一下这个过程,那么肯定都包含下面这几步1 socket连接2 redis-server收到命令信息3 redis-server解析命令信息(找到对应的命令,及附带的参数)4 调用对应的命令5 返回结果当然在redis-cli发送命令之前,redis-server首先启动,然后加载各种配置,初始化服务器等等。在这篇博客里,我们只介绍第四点,就是找到redis内部的命令后,并且也已经分析出了参数,如何调用的过程。首先我们看一个时序图(那个,我得声明,我并没有学习过时序图的精确概念,下面的图大概只能说明调用过程,如果绘制的某些部分不符合时序图的规定,大家见谅哦)dict的图示:另外,我默认大家都了解redis内部dict的数据结构。
[cpp]view plaincopy
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。