最新大型网站技术架构探讨

“大型”网站技术结构探讨，馀浩东2011年6月，没有统一的判断标准，流量大小是重要指标，日均流量至少为IP 1，000，000，大型网站框架的目标和挑战，什么是大型网站？ 网站内容是否“动态”至关重要，大型网站体系结构的目标和挑战、网站体系结构的目标和挑战、每个目标的背后都有技术、设计、维护等诸多挑战。 目标本身的期待值也根据情况进行调整，这意味着网站的构造是不断调整的过程。 负载平衡数据备份的异地灾难。 的双曲馀弦值。 的双曲馀弦值。 缓存并行计算异地镜像。 的双曲馀弦值。 的双曲馀弦值。 开发框架多层设计业务的分割。 的双曲馀弦值。 的双曲馀弦值。大型网站结构目标与挑战网站结构演化及其技术语境结构设计理论与原则的讨论总结，网站结构演化与技术语境，步骤1 网络动态静态资源分离与数据库物理分离，优势：“简单”， 提高安全性的缺点：关于单点高可用性(higheavailabilityframework目标)的技术要点：应用程序设计必须确保可扩展性(framework是关键Spring/Beetle )，web服务器动态/静态资源隔离web服务器(apachenginxiisjboss)数据库服务器(mysql Oracle ) Redis、Step1技术点-诸如web动态静态资源隔离、img、doc、js和css之类的静态资源使用单独的webhttp服务器请求动态页静态处理，以及web站点体系结构的发展及其技术背景Step2 采用缓存处理的优势：简单高效、易于维护的缺点：依然是单点技术：客户端(浏览器)缓存、前端页缓存、页片段缓存、本地数据缓存/数据库缓存和网站结构的改进减少对Web应用程序服务器的访问，减少对数据库的查询，减少文件系统I/O操作，步骤2 技术要点：允许客户端(浏览器)高速缓存和浏览器高速缓存数据的浏览器网站体系结构的发展和技术背景- 步骤2 技术要点http反向代理服务器具有前页缓存、缓存功能，以及前页缓存、varnishsquidn缓存AiCache (商业)【硬件F5】、网站体系结构演进和技术背景Step2技术要点-页面片段缓存ESI(EdgeSideIncludes )、ESI需要服务器端支持、通用Apache (MAC )Web站点体系结构的发展和技术背景；Step2技术要点-本地数据缓存需要从数据库系统和Web应用服务器两个级别考虑高速缓存优化的Web站点体系结构发展和技术增加机器的HA、数据库读写分离、网站体系结构的发展和技术背景、优势：增加服务器和HA机制以确保系统性能和可用性的缺点：提高读写分离程序难度、结构复杂、维护难度增加的技术问题：负载DAL、数据库读写分离、Step3技术点-负载均衡、网站结构的发展及其技术背景、Step3技术点-数据库读写分离和DAL、网站结构的发展及其技术背景、读写分离逻辑电路负载均衡故障转移(failover)数据库只有API库文件，每个数据库制造商都有自己的常见复制方案： ETL、GoldenGateTJS、Step4CDN、分布式高速缓存、库和网站结构的演进和技术脉络， 优势：异地缓存有效解决当地用户访问缓慢的问题的库策略带来了网站性能整体提高的缺点：成本大幅增加，体系结构更加复杂，维护更加困难。 体系结构是技术点： CDN、分布式缓存、Shard库、Step4技术点- CDN、网站体系结构的发展和技术背景、内容服务网络(cdn ) 内容分发网络将网站的内容分发到最接近用户的网络“边缘”，使用户能够在附近获得，解决因特网的拥挤状况，提高用户访问的响应速度。 适合于其中不要求静态内容(例如，静态页面、照片、视频等)和页面内容的实时性的站点。 例如，新闻门户网站CDN可以是简单复杂的，主要取决于您的站点情况，采用步骤4 技术点-分布式缓存、站点体系结构的演进及其技术上下文、本地缓存的性能有限但容量有限的分布式缓存方案尽管具有良好的扩展性，但分布式方案涉及远程网络通信使用性能本地高速缓存的节点状态维护和数据复制问题，其稳定性和可靠性已成为问题。 当前流行的分布式缓存方案： memcached、membase、redis等基本上当前的NoSQL方案可作为分布式缓存方案使用Step4技术点-库、网站结构的演进及其技术上下文、读写分离(简单有效，以前介绍过)、垂直交易方良好的松耦合模块化设计是垂直库的前提Step4技术点-库网站结构的演进和技术脉络、水平分区(Shard )、平铺密钥识别(分开搜索依据)是什么其他方法？ 将关系数据库替换为NoSql数据库的一部分；Step5多个数据中心进入分布式存储和计算体系结构，网站体系结构的发展和技术背景，优势：多个数据中心， 分布式存储和计算体系结构可以更好地解决pb级数据量存储、搜索和计算性能问题：体系结构复杂、数据同步、完整性和系统维护、技能要求等成本高昂的技术：分布式Map/Reduce、Key-Value存储Step5技术要点-分布式存储计算解决方案DFS、Map/Reduce、Key-ValueDB、网站体系结构发展和技术背景、DFS分布式文件系统现有的NoSQL数据库基本上支持Map/Reduce算法(计算框架)，如GFSTFSFreeNas。Key-ValueDB还可以作为NoSQL解决方案(如bigtabletairHg basehyper table )使用Google (GFS/reduce ) Apache Hadoop (HDFS/reduce|HV ) 大型网站结构目标与挑战网站结构演进及其技术脉络结构设计理论与原则的讨论，总结了网站结构设计的精神食物、结构设计理论与原则数据完整性ACIDvsBASE、ACID(Atomicity、一致性、Isolation、 Durability )是关系型数据库的最基本原则，根据ACID原则强调一致性，成本要求高，对性能有很大影响。 问题： ACID原则是否适用于互联网应用？ 可用性似乎比一致性更重要。 基本可用性、软件状态和事件一致性(BASE )策略和基本策略不同于ACID，基本思想是以更强的一致性为代价获得更好的可用性和可靠性，从而确保80%的基本可用数据完整性参照八二定律，软状态可以考虑软状态策略，即仅在过度追求数据完整性(强完整性)的前提下向客户机清除缓存(Soft )，例如，在一段时间之后，如果没有新的请求，则清除缓存(Soft )。 最终完整性允许数据在一段时间内不匹配，但是在所有节点(例如，经过了一段时间)上整合了数据副本时，数据最终完全匹配，达到体系结构设计理论和原则，关于分布式系统CAP理论，关于完整性分布式系统， 数据通常存储在不同的节点上，一致性确保了数据操作的原子能，可用性确保了客户在访问数据时能够做出响应。 不强调每个节点上的数据完整性。 此外，在分区的容许性数据分区存储之后，即使某些分区组件不可用，也可以进行应用操作，CAP理论是一个分布式系统不能同时满足三个需求：一致性、可用性和分区的容许性，并且最多只能满足两个体系结构设计理论和原则、无共享体系结构)、体系结构设计理论和原则、ED-SOA体系结构、ED-SOA、事件驱动和服务体系结构，SOA是系统组件，模块化理论ED是系统组件之间的同步通信采用事件机制异步化，提高响应速度，建立基于ED-SOA的松耦合系统，可以显着改善站点可扩展性，体系结构的演化和