OracleCoherence分布式数据缓存解决方案

OracleCoherence分布式数据缓存解决方案第一页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第二页，共55页。应用架构的变革集群OracleRAC(RealApplicationCluster)ClusterOracleClusterwareWeblogic集群负载均衡...越来越不能满足……第三页，共55页。第四页，共55页。现实世界让数据供不应求Web与应用服务器数据需求不断扩大的用户领域数据处理数据供应共享服务数据库第五页，共55页。应用系统潜在的处理瓶颈和热点高频业务多页查询复合型页面存储数据库应用服务器D各种不同类型业务相互影响数据库DD数据库节点之间的锁存储的带宽即使很大，但是到每个数据库节点的带宽依然有限DDD同一个数据项被反复操作X复杂请求无法有效地并行处理数据的分布情况对有效带宽影响很大第六页，共55页。性能问题解决途径高频业务多页查询复合型页面存储数据库应用服务器D按照业务类型分离数据库DD减少数据库级的锁DDD减少重复访问提高并行处理能力应用服务器D数据前提第七页，共55页。应用架构的变革第八页，共55页。统一整个集群内统一的数据视图扩展扩大集群的规模即可在不影响性能的情况下增加容量并行计算分布式数据处理，造一个可扩展的平台，实现高性能内存中分析性能应用程序或服务可伸缩性可靠性可用性内存数据网格解决方案

分布式、内存中数据管理第九页，共55页。OracleCoherence是什么？应用层的数据网格解决方案OR分布式内存对象数据解决方案OracleCoherence分布式内存数据网格是一个专门为需要低响应时间、高吞吐量、可预见扩展性、持续可用性和信息可靠性的多服务器间共享的应用对象设计的数据管理系统。第十页，共55页。Coherence的前世今生第十一页，共55页。Coherence的核心功能特性应用数据高速缓存网格内的数据共享网格内数据操作的一致性数据网格的自动伸缩网格数据的持续可用网格数据的持久化分布式环境下，应用集群的节点之间或者多个应用之间，数据对象缓存与共享相关的一系列问题。（Scalability,Reliability,Performance）第十二页，共55页。Coherence集群

——对等性集群中的所有节点的角色都是一样的。无需人工干预，数据会均匀分布在各个节点上。具有云资源特性——即客户端不许关心数据存在哪个节点上，客户端从任何一个节点就能透明地逻辑访问任何数据。第十三页，共55页。Coherence集群

——可靠性

集群自动选择某一节点保存主数据。主数据会分布式地备份到其它节点。每个节点都和其他节点校验节点的健康性当一个节点不正常的时候，其他节点会进行状态诊断非健康节点会被集群隔离剩下的节点会重新分布非健康节点主数据X第十四页，共55页。Coherence集群

——分布式并行计算第十五页，共55页。Coherence集群

——扩展性第十六页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据持久化HotCache数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第十七页，共55页。OracleCoherence:数据持久化模式旁路缓存–由开发人员管理缓存在读取数据源前检查缓存在读取数据源后放入缓存在更新数据源后更新缓存直读/直写（ReadThrough/WriteThrough）所有数据读取/写入操作都通过缓存缓存内没有数据时自动从数据源装载更新缓存并同步方式写入数据源后写入（WriteBehind）所有数据写入操作都通过缓存更新缓存并异步方式写入数据源定时刷新（Refresh-Ahead）为缓存定义过期时间和提前加载时间在过期前访问缓存，采用异步更新加载在过期后访问缓存，采用同步更新加载第十八页，共55页。实现数据持久化支持TopLink,Hibernate,JDO等RACJVMCacheCachestoreJPAJVMCacheCachestoreJPAStoreLoad内存Coherence集成第十九页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系持久化HotCache数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第二十页，共55页。HotCache可将变化的数据推送到Coherence中DatabaseCoherenceCoherenceApplicationCoherenceApplicationCoherenceApplication3rdParty

ApplicationRead/WriteGoldenGateHotCacheGoldenGateRead/Write第二十一页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第二十二页，共55页。确保集群范围内的数据操作一致性Coherence通过以下机制确保集群范围内对数据更新的一致性：锁机制性能较低队列机制实现EntryProcessors接口对同一Key的操作放在队列中执行，避免锁。执行效率更高第二十三页，共55页。确保集群范围内的数据操作交易完整性可将Coherence的对象操作加入到JTA分布式事物中进行管理第二十四页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格数据缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第二十五页，共55页。Coherence缓存的拓扑类型第二十六页，共55页。本地缓存(LocalCache)非集群本地缓存在应用自身的堆内存中保持POJO对象的引用目的:取代私有的缓存机制兼容并与其它CoherenceSchemes协作可配置的过期策略:LFU,LRU,Hybrid(LFU+LRU),Time-based,Never,Pluggable第二十七页，共55页。复制缓存(ReplicatedCache)集群缓存的强力实现在所有成员复制并管理所有数据为所有数据提供零延迟的本地访问复制和同步过程对开发者透明目的:为提供极限读性能设计可配置的过期策略LFU,LRU,Hybrid(LFU+LRU),Time-based,Never,Pluggable第二十八页，共55页。分区式缓存(PartitionedCache)集群的缓存透明的分区，分布存储，在所有成员间备份数据目的为提供极限扩展性设计可配置的过期策略LFU,LRU,Hybrid(LFU+LRU),Time-based,Never,Pluggable第二十九页，共55页。就近缓存(NearCache)前端＋后端缓存方案的组合提供L1、L2缓存(缓存的缓存)目标在线动态组建分区拓扑本地缓存(L1)构建在partition缓存基础上(L2)获得可扩展和性能的最佳方案方法配置“前端”和“后端”拓扑可配置的过期策略LFU,LRU,Hybrid(LFU+LRU),Time-based,Never,Pluggable第三十页，共55页。不同缓存拓扑的特性对比第三十一页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第三十二页，共55页。Coherence支持事件处理通过Trigger和Listener接口实现事件分布式处理第三十三页，共55页。事件处理流程第三十四页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第三十五页，共55页。Coherence运行监控管理1通过JMXMBean监控管理Coherence监视Coherence的实例、内存、对象、事件等第三十六页，共55页。Coherence运行监控管理2通过OracleEnterpriseManager的coherence管理包监控管理Coherence第三十七页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第三十八页，共55页。WebLogicwithCoherence=ActiveCache

弹性会话,缓存和数据网格作为独立的架构层次InMemoryDataGridWebLogicServerClusterWLSCoherenceWLSCoherenceWebLogicServerCoherenceCoherenceCoherenceCoherenceCoherenceCoherence使用Coherence的WebLogicServer第三十九页，共55页。ProcessFlow/

OrchestrationLegacyService

使用者Service提供者PB备份节点主节点取/存(Cachekey)服务数据CoherenceDataGridOSBResultCacheOracleServiceBus检查cache如果结果不在缓存，则调用服务和缓存结果SideCache模式服务总线缓存-ServiceResultCache

扩展的应用基础架构第四十页，共55页。门户PortletSession共享WebCenterPortlet3Portlet4Portlet1Portlet2WSRPPortlet4

ProducerWSRPPortlet3

ProducerWSRPPortlet1

ProducerWSRPPortlet2

ProducerInMemoryCoherenceDataGridforWSRPProducer/ConsumerSessionSharingWSRPProducer

ServerWSRPProducer

Server第四十一页，共55页。安全策略缓存Coherence和Oracle访问授权产品OAM集成将安全访问策略加载到Coherence中提高访问性能。第四十二页，共55页。实时数据看板OracleBAM可将Coherence作为一个数据源活动数据缓存PortalBPELCRMERPCEP23451JMS/WebService

ProviderRulesBAMCoherence第四十三页，共55页。内存数据共享网格驱动处理流程监控重要事件处理数据来源快数据处理架构事件源输入数据源输入Oracle

复杂事件处理

(EPN&CEP)Coherence数据网格Oracle业务活动监控

(BAM)数据库关键指标KPI风险计算持久数据存储BPM/BPEL流程交易引擎风险模型合规警告交易意向OracleCoherence第四十四页，共55页。<InsertPictureHere>议程OracleCoherence和分布式数据网格缓存和DB的交互关系数据操作一致性和交易缓存拓扑模式缓存事件缓存管理集成方案应用场景和案例总结第四十五页，共55页。Coherence适用的场景第四十六页，共55页。全球金融案例第四十七页，共55页。国内用户东方海外货柜航运有限公司

第四十八页，共55页。TencentGamesOver70Musersglobally,andaround30MinChina5Mconcurrentusersintheworld,andit’sabout2MinChina65%marketshareingamemarket,#1inChinaConcurrencymeansresourcescalability“Socialingame”elementsrequireuniformaccessRealtimeQOS,e.g.“inviteafriendtojointhegameinstantly”第四十九页，共55页。WhyCohere