大型分布式网站架构技术简介.ppt

1、大规模分布式网站架构技术介绍，具有用户多、分布广、流量大、并发性高、数据量大、服务可用性高、安全环境差、易受网络攻击、变化快、从小到大频繁发布、逐步发展以用户为中心的免费服务、支付体验、大型网站的特点、高性能：提供快速访问体验、高可用性：网站服务始终可以正常访问，可扩展：通过硬件增加/减少，提高/降低处理能力的安全性：提供网站安全访问、数据加密、安全存储等策略扩展性：方便地添加/删除新功能/模块敏捷性：按需、快速响应、大规模网站架构目标、分层：一般分为应用层、服务层、数据层、管理层和分析层：一般按照业务/模块/功能特征划分。以用户为中心的分布式：应用程序的独立部署(如多个物理机)；协作工作集群

2、的远程调用；部署一个应用程序/模块/功能的多个副本(例如多个物理机)；通过负载平衡共同提供外部访问高速缓存；将数据放在离应用程序或用户最近的位置，加快访问速度；异步：同步的异步操作。客户端发送请求，无需等待服务器响应。服务器完成处理后，通过通知或轮询通知请求者。一般来说，它是指：请求响应通知模式的冗余：增加副本，提高可用性、安全性和性能安全性；对已知问题有有效的解决方案，为未知/潜在问题建立发现和防御机制；使用机器通过工具实现敏捷；积极接受需求变化，快速响应业务发展需求，大规模网站架构模式，以用户为中心，提供快速的网页访问体验。主要参数有短响应时间、大并发处理能力、高吞吐量、稳定的性能参数，可

3、分为前端优化、应用层优化、代码层优化、存储层优化、前端优化：网站业务逻辑前的部分浏览器优化：减少Http请求数量、使用浏览器缓存、启用压缩、Css Js定位、Js异步、降低Cookie传输的CDN加速、反向代理应用层优化：服务器处理网站业务。使用缓存、异步、集群代码优化：合理的架构、多线程、资源重用(对象池、线程池等)。)，良好的数据结构，JVM调优，单例，缓存等存储优化：缓存，固态硬盘，光纤传输，优化读写，磁盘冗余，分布式存储(HDFS)，NOSQL等。高性能架构，大型网站应该随时正常提供正常的外部服务。由于大型网站的复杂性、分布式、廉价服务器、开源数据库、操作系统等特点。很难保证高可用性，

4、也就是说，网站故障是不可避免的。如何提高可用性是一个亟待解决的问题。首先，在规划时有必要考虑架构级别的可用性。在行业中，通常使用几个9来表示可用性指标。例如，四个9(99.99)，一年中允许的不可用时间为53分钟。不同的级别使用不同的策略，通常采用冗余备份和故障转移来解决高可用性问题。应用层：它通常被设计成无状态的，每个请求使用哪个服务器并不重要。通常，负载平衡技术(需要解决会话同步)用于实现高可用性。服务层：负载平衡、分层管理、快速故障(超时设置)、异步调用、服务降级、幂等设计和其他数据层：冗余备份(冷备份、热备份同步、异步、热备份)、故障转移(确认、传输、恢复)。数据高可用性的著名理论基础

5、是CAP理论(持久性、可用性、数据的强一致性、用户的一致性和最终一致性)。高可用性体系结构和可扩展性是指通过增加/减少硬件(服务器)来提高/降低系统的处理能力，而不改变原始的体系结构设计。应用层：应用程序的垂直或水平分割。然后为单个功能执行负载平衡(域名系统、超文本传输协议反向代理、知识产权、链路层)。服务层：类似于应用层的数据层：子数据库、子表、NOSQL等。常用的哈希算法、一致哈希和可伸缩架构可以轻松添加/删除功能模块，并在代码/模块级别提供良好的可伸缩性模块。组件化：高内聚、内部耦合、改进的可重用性和稳定的可伸缩性接口：定义一个稳定的接口。如果接口不变，内部结构可以“随意”改变设计模式：

6、应用面向对象的思想、原则，并使用设计模式。消息队列的代码级设计：模块化系统，通过消息队列相互交互，模块间的依赖关系解耦；为通用模块服务，为其他系统提供使用，提高可重用性、可扩展性和可扩展的体系结构，拥有已知问题的有效解决方案，并为未知/潜在问题建立发现和防御机制。对于安全问题，首先要提高安全意识，建立安全有效的机制，并从政策层面和组织层面加以保障。例如，服务器密码不能泄露，密码每月更新一次，三次内不能重复；每周安全扫描等。制度化加强安全体系建设。同时，要注意与安全相关的各个方面。安全问题不容忽视。包括基础设施安全、应用系统安全、数据安全和其他基础设施安全：硬件采购、操作系统、网络环境安全。一般

7、采用正规渠道购买高质量产品，选择安全操作系统，及时修补漏洞，安装杀毒软件防火墙。防范病毒，后门。设置防火墙策略，建立分布式拒绝服务防御系统，使用攻击检测系统，隔离子网以应用系统安全。在程序开发过程中，以正确的方式在代码级别解决已知的常见问题。防止跨站点脚本攻击(XSS)、注入攻击、跨站点请求伪造(CSRF)、错误消息、超文本标记语言注释、文件上传、路径遍历等。Web应用防火墙(如ModSecurity)也可用于扫描安全漏洞和其他措施，以加强应用级安全数据的安全性：存储安全性(存在于可靠的设备中，实时、定期备份)、存储安全性(重要信息被加密和保存，并为复杂的存储和检测选择合适的人员等。)。常用的

8、加密和解密算法(单哈希加密MD5、SHA、对称加密DES、3DES、RC)、非对称加密RSA等。对于传输安全(防止数据盗窃和数据篡改)，安全架构、网站架构设计以及运营和维护管理应适应变化，并提供高可扩展性和可扩展性。除了上面描述的架构元素之外，有必要引入敏捷管理和敏捷开发的思想。统一业务、产品、技术、运营和维护，按需调整，快速响应，保持敏捷。例如，上面使用了七个逻辑架构，第一个客户层、第二个前端优化层、第三个应用层、第四个服务层、第五个数据存储层、第六个大数据存储层和第七个大数据处理层。客户端：支持个人电脑浏览器和移动应用。不同的是，移动应用可以通过IP和反向代理服务器直接访问。前端层：使用域名系统负载平衡、本地加速和反向代理服务；应用层：网站应用集群；按业务垂直拆分，如商品申请、会员中心等。服务层：提供公共服务，如用户服务、订单服务、支付服务等。数据层：支持关系数据库集群(支持读写分离)、NOSQL集群和分布式文件系统集群；和分布式缓存；大数据存储层：支持应用层和服务层的日志数据采集，关系数据库