开源软件之Redis缓存

Redis缓存项目案例-淘宝产品分类Redis缓存基本概念首先redis是一种key-value的存储系统，它的特点是提供了5种存储数据的结构，包括list，set，sortset，string，hash；这使得它能比关系型数据库更好地描述数据的结构。然后redis是一种基于内存的缓存系统，同时也有持久化机制。Redis缓存是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。Redis缓存基本概念许多语言都实现了连接redis的客户端，仅仅redis网站(http://www.redis.io/clients)上列出的语言就有:Perl•PHP•Objective-C•C#•C/C++Javaredis支持的数据结构丰富，包括:String(字符串)、List(列表)、Set(集合)、SortedSet(有序集合)、Hash(哈希表)Redis安装配置参考：CentOS7下安装Redis.docxRedis客户端spring+redisspring+redisspring+redis

主启动类添加@EnableCaching注解

spring+redis

配置文件中添加redis配置spring:

redis:

host:31

#数据库索引

database:0

port:6379

#password:

#连接超时时间（ms）

timeout:5000

#自定义redis默认过期时间（单位：时）

expire-time:24

jedis:

pool:

#连接池最大连接数（使用负值表示没有限制）

max-active:-1

#连接池最大阻塞等待时间（使用负值表示没有限制）

max-wait:-1

spring+redisSpringBoot缓存注解1、缓存@Cacheable:根据方法对其返回结果进行缓存，下次请求时，如果缓存存在，则直接读取缓存数据返回；如果缓存不存在，则执行方法，并把返回的结果存入缓存中，一般用在查询方法上

属性/方法名解释value缓存名，必填，它指定了你的缓存存放在哪块命名空间中cacheNames与value差不多,二选一即可key可选属性，可以使用sqel标签自定义缓存的keyspring+redisSpringBoot缓存注解2、缓存@CachePut：使用该注解标志的方法，每次都会执行，并将结果存入指定的缓存中，其他方法可以直接从响应的缓存中读取缓存数据，而不需要再去查询数据库，一般用在新增的方法上

属性/方法名解释value缓存名，必填，它指定了你的缓存存放在哪块命名空间中cacheNames与value差不多,二选一即可key可选属性，可以使用sqel标签自定义缓存的keyspring+redisSpringBoot缓存注解3、缓存@CacheEvict：使用该注解标志的方法，会清空指定的缓存，一般用在更新或者删除方法上

属性/方法名解释value缓存名，必填，它指定了你的缓存存放在哪块命名空间中cacheNames与value差不多,二选一即可key可选属性，可以使用sqel标签自定义缓存的keyallEntries是否清空所有缓存，默认为False，如果指定为true，则方法调用后将立即清空所有的缓存beforeInvocation是否在方法执行前就清空，默认为flase，如果指定为True，则会方法执行前就会清空缓存spring+redisService中添加缓存注解@Service

publicclassCityService{

@Resource

privateCityDAOdao;

@Cacheable("city")

publicCityfindById(intid){

returndao.findById(id);

}

@Cacheable("citylist")

publicList<City>findAll(){

returndao.findAll();

}

}业界缓存产品对比RedisVSMemcached都是内存高速缓存数据库但R比M支持更多数据结构且R可持久化业界缓存产品对比支持订阅发布功能(subscribe/publish)运行在内存，速度快，官方号称支持并发11万读操作，并发8万写操作，很彪悍。数据虽在内存，同时也支持持久化。提供两种方式将数据保存到数据文件.rdb中，安全性高，但对效率有影响。如果不是对数据完整性要求极高，不推荐使用这种方式(默认是)。保存对数据有影响的操作命令到.aof中，保存操作命令的频率可配置，比较灵活，效率高，推荐使用。支持的数据结构丰富(string、list、set、sortedset、hash)Redis集群主从复制原理从服务器连接主服务器，发送SYNC命令；主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB文件并使用缓冲区记录此后执行的所有写命令；主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；（从服务器初始化完成）主服务器每执行一个写命令就会向从服务器发送相同的写命令，从服务器接收并执行收到的写命令（从服务器初始化完成后的操作）主从复制Redis集群优点支持主从复制，主机会自动将数据同步到从机，可以进行读写分离Slave同样可以接受其它Slaves的连接和同步请求，这样可以有效的分载Master的同步压力。MasterServer是以非阻塞的方式为Slaves提供服务。所以在Master-Slave同步期间，客户端仍然可以提交查询或修改请求。SlaveServer同样是以非阻塞的方式完成数据同步。在同步期间，如果有客户端提交查询请求，Redis则返回同步之前的数据主从复制Redis集群缺点Redis不具备自动容错和恢复功能，主机从机的宕机都会导致前端部分读写请求失败，需要等待机器重启或者手动切换前端的IP才能恢复。主机宕机，宕机前有部分数据未能及时同步到从机，切换IP后还会引入数据不一致的问题，降低了系统的可用性。Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。主从复制Redis集群原理哨兵模式Redis集群原理当主服务器中断服务后，可以将一个从服务器升级为主服务器，以便继续提供服务，但是这个过程需要人工手动来操作。为此，Redis2.8中提供了哨兵工具来实现自动化的系统监控和故障恢复功能。哨兵的作用就是监控Redis系统的运行状况。它的功能包括以下两个。

（1）监控主服务器和从服务器是否正常运行。

（2）主服务器出现故障时自动将从服务器转换为主服务器。哨兵模式Redis集群工作方式每个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其他Sentinel（哨兵）进程发送一个PING命令。如果一个实例（instance）距离最后一次有效回复PING命令的时间超过down-after-milliseconds选项所指定的值，则这个实例会被Sentinel（哨兵）进程标记为主观下线（SDOWN）如果一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的所有Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态当有足够数量的Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN），则Master主服务器会被标记为客观下线（ODOWN）哨兵模式Redis集群工作方式在一般情况下，每个Sentinel（哨兵）进程会以每10秒一次的频率向集群中的所有Master主服务器、Slave从服务器发送INFO命令。当Master主服务器被Sentinel（哨兵）进程标记为客观下线（ODOWN）时，Sentinel（哨兵）进程向下线的Master主服务器的所有Slave从服务器发送INFO命令的频率会从10秒一次改为每秒一次。若没有足够数量的Sentinel（哨兵）进程同意Master主服务器下线，Master主服务器的客观下线状态就会被移除。若Master主服务器重新向Sentinel（哨兵）进程发送PING命令返回有效回复，Master主服务器的主观下线状态就会被移除。哨兵模式Redis集群优点哨兵模式是基于主从模式的，所有主从的优点，哨兵模式都具有。主从可以自动切换，系统更健壮，可用性更高。缺点Redis较难支持在线扩容，在集群容量达到上限时在线扩容会变得很复杂。哨兵模式Redis集群redis的哨兵模式基本已经可以实现高可用，读写分离，但是在这种模式下每台redis服务器都存储相同的数据，很浪费内存，所以在redis3.0上加入了cluster模式，实现的redis的分布式存储，也就是说每台redis节点上存储不同的内容。集群模式Redis集群Redis-Cluster采用无中心结构的特点所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。节点的fail是通过集群中超过半数的节点检测失效时才生效。客户端与redis节点直连,不需要中间代理层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。集群模式Redis集群工作方式在redis的每一个节点上，都有这么两个东西，一个是插槽（slot），它的的取值范围是：0-16383。还有一个就是cluster，可以理解为是一个集群管理的插件。当我们的存取的key到达的时候，redis会根据crc16的算法得出一个结果，然后把结果对16384求余数，这样每个key都会对应一个编号在0-16383之间的哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作。为了保证高可用，Redis集群引入了主从模式，一个主节点对应一个或者多个从节点，当主节点宕机的时候，就会启用从节点。当其它主节点ping一个主节点A时，如果半数以上的主节点与A通信超时，那么认为主节点A宕机了。如果主节点A和它的从节点A1都宕机了，那么该集群就无法再提供服务了。集群模式Redis集群优点无中心架构;数据按照slot存储分布在多个节点，节点间数据共享，可动态调整数据分布;可扩展性：可线性扩展到1000多个节点，节点可动态添加或删除;高可用性：部分节点不可用时，集群仍可用。通过增加Slave做standby数据副本，能够实现故障自动failover，节点之间通过gossip协议交换状态信息，用投票机制完成Slave到Master的角色提升;降低运维成本，提高系统的扩展性和可用性。集群模式Redis集群缺点Client实现复杂，驱动要求实现SmartClient，缓存slotsmapping信息并及时更新，提高了开发难度，客户端的不成熟影响业务的稳定性。目前仅JedisCluster相对成熟，异常处理部分还不完善，比如常见的“maxredirectexception”。节点会因为某些原因发生阻塞(阻塞时间大于clutser-node-timeout)，被判断下线，这种failover是没有必要的。数据通过异步复制，不保证数据的强一致性。多个业务使用同一套集群时，无法根据统计区分冷热数据，资源隔离性较差，容易出现相互影响的情况。Slave在集群中充当“冷备”，不能缓解读压力，当然可以通过SDK的合理设计来提高Slave资源的利用率。集群模式Redis集群缺点Key批