Py网络基础编程 2

第7章网络应用架构计算机网络课程知识讲解Python网络编程CONTENTS本章导学01服务器模型单线程/多线程/多进程02异步服务器和事件驱动非阻塞I/O/事件循环03微服务和服务网格服务拆分/服务治理04容器化和编排Docker/Kubernetes05云原生应用和云服务弹性扩展/云服务选择学习目标了解：服务器模型（单线程、多线程、多进程）的基本概念及优缺点理解：微服务架构和服务网格的核心组件与作用掌握：使用Docker和Kubernetes部署和管理云原生应用的方法01CHAPTER01服务器模型理解单线程、多线程和多进程服务器的基本概念与设计要点三种服务器模型概述服务器模型定义了服务器如何处理客户端请求，包括请求的接收、处理和响应单线程模型程序只有一个执行流，一次只能处理一个任务所有请求按顺序依次处理，实现简单直观适用于静态内容服务、轻量级应用等低并发场景多线程模型程序有多个执行流，可同时执行多个任务线程共享进程资源，如内存，通信更容易适用于中高并发场景，需处理同步问题多进程模型程序由多个进程组成，每个进程有独立的内存空间进程间相互隔离，稳定性和安全性更高适用于CPU密集型任务和需要隔离的场景三种模型对比维度单线程多线程多进程并发能力低高高资源占用低中高实现复杂度简单中等（需同步）复杂（需IPC）04单线程服务器优点简单性：实现方式简单直观，易于开发和维护资源消耗低：只有一个线程，资源消耗相对较低无需同步：不需要担心线程间的同步和竞态条件缺点可扩展性差：无法有效利用多核处理器并发能力弱：后续请求需等待当前请求完成容错性低：处理请求时出错可能导致服务器崩溃适用场景静态内容服务只提供静态内容的服务器轻量级应用低流量的简单应用开发和测试简化调试过程随着并发请求量增加，单线程服务器可能成为性能瓶颈，此时多线程或多进程模型是更好的选择05defhandle_request(client_request):#处理请求的逻辑return"响应"whileTrue:client_request=get_next_request()#假设这个函数可以获取下一个请求response=handle_request(client_request)send_response(response)#假设这个函数可以发送响应多线程与多进程服务器设计多线程服务器特点通过创建多个线程处理客户端请求，每个线程独立处理一个请求设计要点1.线程池管理：使用线程池管理线程创建和销毁2.同步机制：互斥锁（mutex）和信号量（semaphore）3.负载均衡：合理分配任务给各线程4.异常处理：防止单个线程崩溃影响整个服务器5.资源回收：及时回收不再使用的线程资源注意事项确保代码线程安全，监控线程数量，考虑操作系统对线程数量的限制多进程服务器特点通过创建多个进程处理客户端请求，每个进程独立运行在自己的地址空间内设计要点1.进程池管理：使用进程池管理进程创建和销毁2.进程间通信：管道、消息队列或共享内存（IPC）3.负载均衡：合理分配任务给各进程4.异常处理：防止单个进程崩溃影响整个服务器5.资源回收：及时回收不再使用的进程资源注意事项确保代码进程安全，监控进程数量，考虑操作系统对进程数量的限制06多线程TCP服务器简单实例07importsocketimportthreadingdefhandle_client(client_socket):request_data=client_socket.recv(1024)print(f"Received:{request_data.decode('utf-8')}")client_socket.send(b"ACK")client_socket.close()defserver_loop():server_socket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)server_socket.bind(('',9999))server_socket.listen(5)print("Serverlisteningonport9999...")whileTrue:client_socket,addr=server_socket.accept()print(f"Acceptedconnectionfrom:{addr}")client_handler=threading.Thread(target=handle_client,args=(client_socket,))client_handler.start()ifname=="main":server_loop()多进程服务器实现实例08frommultiprocessingimportProcessimportsocketdefhandle_client(client_socket):request_data=client_socket.recv(1024)print(f"Received:{request_data.decode('utf-8')}")client_socket.send(b"ACK")client_socket.close()defserver_loop():server_socket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)server_socket.bind(('',9999))server_socket.listen(5)print("Serverlisteningonport9999...")whileTrue:client_socket,addr=server_socket.accept()print(f"Acceptedconnectionfrom:{addr}")client_process=Process(target=handle_client,args=(client_socket,))client_process.start()if__name__==”main__”:sever_loop()02CHAPTER02异步服务器和事件驱动架构掌握非阻塞I/O和事件循环实现高并发的关键技术异步服务器的原理事件驱动工作流程核心原理服务器在事件循环中通过非阻塞方式处理I/O事件核心概念非阻塞I/O：请求I/O时立即返回，不挂起执行事件循环：监听和分发事件的中心机制回调/协程：响应事件的处理方式关键特征无需为每个连接创建独立线程或进程优势与挑战优势高并发处理能力资源高效利用良好的可扩展性挑战编程模型更复杂错误处理难度大调试更具挑战性关键指标可同时处理数万级连接内存占用显著降低10事件驱动架构的优势高并发处理单个服务器实例可同时处理大量客户端连接资源高效利用I/O阻塞时立即切换任务，减少空闲等待时间可扩展性易于水平扩展，增加服务器实例处理更多负载响应性和实时性适合实时通信和游戏服务器等快速响应场景简化异步编程提供自然的方式处理异步操作，专注业务逻辑减少阻塞和延迟避免阻塞操作，减少请求延迟，提供更快服务模块化和解耦事件处理器作为独立模块开发和测试，代码更清晰核心思想事件驱动架构通过非阻塞I/O和事件循环处理请求，避免了为每个连接创建独立线程或进程的开销，从而显著提高并发处理能力。这种架构模式在网络服务器和客户端应用中非常流行。11实现异步服务器的关键技术事件循环库异步服务器的核心，负责监听和分发事件。Python中asyncio库提供了强大的事件循环实现异步网络框架提供构建异步服务器的高级抽象，如Python中的aiohttp和Sanic协程和异步函数使用async/await关键字定义和调用协程，使异步逻辑更加直观和易于管理异步I/O操作在不阻塞线程的情况下执行读写操作，asyncio提供open_connection和start_server等异步I/O函数回调和事件处理回调函数用于响应事件，异步操作完成时调用回调处理结果。协程提供了更优雅的替代方案I/O多路复用允许单个线程监视多个I/O流，使用select/poll/epoll等函数实现技术综合运用实现异步服务器需要综合运用多种技术。事件循环库提供基础机制，异步网络框架简化开发，协程和异步函数使代码更加直观，异步I/O操作确保非阻塞执行，回调函数处理事件响应，I/O多路复用提高性能。在Python中，asyncio库整合了这些技术，为构建高性能异步服务器提供了完整的解决方案。1203CHAPTER03微服务和服务网格探索微服务架构的核心理念与服务网格的通信管理微服务架构概述核心理念将传统的单体应用（Monolithic）拆分为多个小型、独立、松散耦合的服务每个服务运行在自己的进程中，围绕特定业务功能构建服务间通过轻量级通信机制（通常是HTTPRESTfulAPI）相互协作主要特点●

模块化：应用分解为多个服务●

独立性：可单独开发、测试、部署●

灵活性：使用不同技术栈和语言●

可维护性：小型服务更易维护●

可扩展性：按需独立扩展服务●

敏捷性：支持CI/CD流程面临挑战服务间通信引入延迟和复杂性数据一致性分布式系统保持困难服务发现需发现其他服务位置故障隔离单服务失败需继续运行监控和日志分布式系统更复杂微服务架构通常依赖于容器化技术（如Docker）和容器编排工具（如Kubernetes）来实现服务的快速迭代、独立部署和弹性扩展14服务网格的作用与组件什么是服务网格？服务网格是一种基础设施层，用于控制服务间的通信，提供透明的方式来处理服务发现、负载均衡、故障恢复等问题关键作用●

服务发现：自动管理服务实例的注册和发现●

负载均衡：智能分配请求到不同服务实例●

故障恢复：提供故障检测、重试、超时和断路器机制●

安全通信：自动TLS加密和强身份验证●

流量管理：支持A/B测试、金丝雀发布和蓝绿部署●

监控追踪：收集性能和健康度量数据，提供请求追踪核心组件数据平面轻量级网络代理作为边车（sidecar）部署，拦截和转发流量控制平面负责管理和配置代理，实施策略和收集度量数据常见实现技术IstioLinkerdConsul挑战：引入新的抽象层增加系统复杂性，边车代理可能引入额外延迟15微服务的通信模式同步通信请求-响应模式，客户端发送请求并等待服务端响应HTTPREST：使用HTTP协议和RESTfulAPI通信，最常见的同步方式gRPC：基于HTTP/2的RPC框架，支持多语言，高性能同步通信异步通信服务发送消息而无须立即等待响应，适用于解耦服务消息队列：RabbitMQ、Kafka等，提供缓冲和持久化机制事件总线：发布-订阅模式，支持事件驱动架构其他通信模式请求/响应模式同步通信特例，RPC模拟本地函数调用发布/订阅模式异步通信特例，服务订阅主题接收消息请求/异步响应WebHooks、长轮询等混合模式选择考虑因素：性能（延迟和吞吐量）、可靠性（网络故障处理）、一致性（数据一致性要求）、复杂性（团队能力和应用需求）1604CHAPTER04容器化和编排学习Docker容器技术与Kubernetes编排工具的应用容器技术概述什么是容器？容器是一种轻量级虚拟化技术，将应用及其依赖打包在隔离环境中运行，共享主机操作系统内核容器vs虚拟机维度容器虚拟机启动速度秒级分钟级资源占用轻量（MB）重量级（GB）隔离级别进程级操作系统级Docker容器特点●

轻量级：共享主机内核，资源占用少●

快速启动：秒级启动，适合快速迭代●

一致性：开发、测试、生产环境一致容器技术生态Docker

-最流行的容器化平台Containerd

-轻量级容器运行时Podman

-无守护进程的容器引擎容器编排工具KubernetesDockerSwarmOpenShift18Docker容器的使用(原理图)19Docker容器的使用镜像（Image）只读模板，包含运行应用所需的代码、库、环境变量和配置文件容器（Container）镜像的运行实例，可以被创建、启动、停止、移动和删除仓库（Registry）存储和分发镜像的服务，如DockerHub或私有仓库使用步骤1.获取镜像2.运行容器3.管理容器4.构建镜像5.推送镜像获取镜像：从DockerHub或私有仓库拉取镜像运行容器：使用dockerrun命令启动容器管理容器：使用dockerps、stop、rm等命令管理容器生命周期核心优势快速部署：秒级启动一致性：环境一致避免"在我机器上能运行"隔离性：进程级隔离资源高效：共享内核资源20Docker容器的使用（步骤）21Kubernetes容器编排K8s开源的容器编排系统，用于自动化部署、扩展和管理容器化应用。由Google开发，现由CNCF维护主要特性自动化部署和回滚服务发现和负载均衡自动化扩展自我修复声明式配置：通过YAML文件定义期望状态存储编排：自动挂载存储系统核心组件PodKubernetes中最小的部署单元，包含一个或多个容器Service定义一组Pod的访问策略，提供负载均衡和服务发现Deployment声明式更新Pod和ReplicaSet，支持滚动更新和回滚Ingress管理外部访问集群内服务的HTTP路由规则ConfigMap/Secret管理配置数据和敏感信息（密码、令牌等）2205CHAPTER05云原生应用和云服务认识云原生应用的特点与云服务选择策略云原生应用的特点24云原生应用的特点云原生应用是为云计算环境设计的应用，充分利用云的弹性、可扩展性和服务化特性，通常基于微服务架构、容器化部署和动态管理微服务架构应用拆分为小型、独立、松散耦合的服务容器化部署使用容器技术打包和部署应用动态编排管理