一致性hash算法--虚拟节点


做一致性hash算法时发现虚拟节点是个好东西,但同时也有缺点,需要结合场景使用。

此处不做详细排版和铺垫,不了解一致性hash的可以先去查查,此处仅做抛砖引玉。

 

虚拟节点的存在可以使hash环中的节点命中率变的均衡。

虚拟节点越多,分布越均匀。

但会带来数据牺牲,真实节点增加或者减少时

由于虚拟节点数量剧烈变化,数据的重新分配可能会影响到更多的真实节点。

因为有可能所有虚拟节点的下一个节点列表覆盖了其他所有真实节点。

所以,如果key与服务无关,可以适当调大这个值,达到良好的均衡效果

服务真实节点较多、数量变化频繁时,适当减少或者不设置,以减少数据迁移带来的影响,提高系统整体的可用性

可参考下图--图片来源

 

 


具体做法

当服务挂掉时,刷新 hash环,以适应新的环境

数据迁移

服务挂掉时,数据丢失,新数据走到下一个节点。

服务增加或恢复时,将新服务的每个虚拟节点的下一个节点中的数据遍历一遍,进行迁移,其他节点不受影响

 

总结

虚拟节点越多 在服务增加或恢复时,涉及数据迁移的真实节点就越多。有数据迁移场景需求的话需要考虑这一点。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM