Article Outline
zookeeper相关
之前在很多地方都听到过Zookeeper这个单词,大概知道和分布式系统相关,但是具体内容一直没有学习了解。今天突然又想到了,赶紧学习总结一波。
zookeeper 概念
zookeeper是一个分布式的,开源的分布式应用程序协调服务。
zookeeper提供的主要功能包括:
- 配置管理:用于多个服务节点的配置文件统一管理,变更等,省去逐个变更修改配置文件的问题。
- 分布式锁
- 集群管理:注册中心等用途
zookeeper数据模型
- zookeeper是一个树形目录服务,其数据模型和Unix的文件系统目录树很类似,拥有一个层次化结构。
- 这里边的每一个节点都被称为ZNode,每个节点上都会保存自己的数据和节点信息。
- 节点可以拥有子节点,同时也允许少量数据(1M)存储在该节点之下。
- 节点可以分为四大类:
- PERSISTENT 持久化节点
- EPHEMERAL 临时节点 -e
- PERSISTENT_SEQUENTIAL 持久化顺序节点 -s
- EPHEMERAL_SEQUENTIAL 临时顺序节点 -es
Zookeeper实现分布式锁
在单机应用开发,涉及并发同步问题的时候,采用synchronized或者lock的方式来解决多线程间的代码同步问题,此时多线程的运行都是在同一个JVM下,没有任何问题, 但是在分布式集群工作的情况下,属于多JVM下的工作环境,跨JVM之间无法通过多线程的锁解决同步问题。
分布式锁的实现
- 基于缓存实现的分布式锁
- redis
- memcache
- zookeeper实现分布式锁
- 数据库层面实现的分布式锁:建立一张表,用于记录锁,在做操作前,先查询表中有没有锁信息,有锁信息认为已经有机器抢到锁,如果没有数据,表示空闲状态。
zookeeper 分布式锁原理
核心思想:当客户端要获取锁,则创建节点,使用完锁,则删除该节点
1、客户端获取锁时,在lock节点(一个共用节点即可)创建 临时顺序 节点
2、获取lock下边的所有子节点,客户端在获取到所有的子节点之后,如果发现自己创建的子节点序号最小,那么就认为该客户端获取到了锁,使用完锁后,将该节点删除。
3、如果发现自己创建的节点并非lock所有子节点中最小的,说明自己还没有获取到锁,此时客户端需要找到比自己小的那个节点,同时对其注册事件监听器,监听删除事件。
4、如果发现比自己小的那个节点被删除,则客户端的watcher会收到相应通知,此时再次判断自己创建的节点是否是lock子节点中序号最小的,如果是则认为获取到了锁,如果不是则重复以上步骤继续获取到比自己小的一个节点并注册监听。
- 临时节点:连接断开后node会自动消失,保证了服务宕机后的锁释放问题。
- 顺序节点:用于比较创建的顺序,以及获取锁的判断。(类似于队列)。
java中的Zookeeper分布式锁的封装
Curator中有五种锁方案:
- InterProcessSemaphoreMutex :分布式排它锁(非可重入锁)
- InterProcessMutex:分布式可重入锁
- InterProcessReadWriteLock 分布式读写锁
- InterProcessMultiLock:将多个锁作为单个实体管理的容器
- InterProcessSemaphoreV2:共享信号量
Zookeeper集群
zookeeper集群服务中的角色:
Leader领导者:
- 处理事务请求
- 集群内部 各服务器的调度者
Follower跟随者:
- 处理客户端非事务请求,转发事务请求给Leader服务器
- 参与Leader选举投票
Observer观察者:
- 处理客户端非事务请求,转发事务请求给Leader服务器