K8s资源管理策略-洞察及研究_第1页
K8s资源管理策略-洞察及研究_第2页
K8s资源管理策略-洞察及研究_第3页
K8s资源管理策略-洞察及研究_第4页
K8s资源管理策略-洞察及研究_第5页
已阅读5页,还剩35页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1/1K8s资源管理策略第一部分K8s资源调度机制 2第二部分资源配额与限额策略 6第三部分服务质量保证(QoS) 10第四部分弹性伸缩与自愈 16第五部分资源监控与告警 21第六部分资源隔离与共享 26第七部分跨集群资源管理 31第八部分资源调度优化策略 34

第一部分K8s资源调度机制

在Kubernetes(K8s)资源管理策略中,资源调度机制是核心组件之一,它负责将容器化的应用部署到合适的节点上。以下是对Kubernetes资源调度机制的详细介绍。

#调度概述

Kubernetes调度器是负责将Pod分配到集群中合适节点的组件。Pod是Kubernetes中的最小部署单位,通常包含一个或多个容器。调度器的目标是最大化资源利用率、满足资源请求、避免资源争用,并确保Pod的高可用性。

#调度流程

1.Pod创建:当用户创建一个Pod时,调度器会接收到一个事件,表明需要为新Pod进行调度。

2.选择合适节点:调度器会根据一系列策略和约束条件,从集群中所有可用的节点中选择一个最适合运行Pod的节点。

3.分配资源:一旦选择了节点,调度器将Pod分配到该节点上。

4.Pod创建:节点上的Kubelet组件负责创建Pod。

5.监控与调整:调度器会持续监控Pod的状态和集群的可用资源,必要时重新调度Pod。

#调度策略

Kubernetes提供了多种调度策略,以下是一些常用的策略:

-最短作业优先(ShortestJobFirst,SJF):优先调度请求资源最少的Pod,适用于资源要求较小的场景。

-最短完成时间优先(ShortestCompletionTimeFirst,SRTF):优先调度预计完成时间最短的Pod,适用于对响应时间要求较高的场景。

-最短等待时间优先(ShortestWaitingTimeFirst,SWF):优先调度等待时间最长的Pod,适用于希望尽快完成所有任务的场景。

-最少数量的节点调度(LeastNumberofNodes,LNN):优先调度到节点上Pod数量最少的节点,用于减少单个节点的负载。

-最大不平衡(MaxMinFairness,MMF):在满足公平性的同时,尽量减少节点之间的资源分配差异。

#调度约束

调度器在执行调度决策时,会考虑以下约束条件:

-节点标签(NodeLabels):Pod可以指定它应该部署在具有特定标签的节点上。

-Pod反亲和性(PodAffinity):Pod可以指定它应该与哪些Pod部署在同一个节点上,或者避免与某些Pod部署在同一个节点上。

-资源限制(ResourceQuotas):节点可以设置资源限额,确保Pod不会超出节点的资源限制。

-节点资源(NodeResources):调度器会检查节点的资源使用情况,确保Pod的资源请求不会导致节点资源耗尽。

#调度算法

Kubernetes的调度算法主要分为以下几类:

-贪心算法:基于当前节点的资源使用情况和Pod的资源需求,选择最优的节点进行调度。

-优先级队列:根据Pod的优先级进行调度,优先级高的Pod会被优先调度。

-带权重的优先级队列:在优先级队列的基础上,考虑节点的权重,以平衡不同资源类型的需求。

-动态调整:调度器会根据集群的实时资源使用情况和Pod的等待时间动态调整调度策略。

#总结

Kubernetes资源调度机制是确保集群资源有效利用和Pod高效运行的关键。通过多种策略和算法,调度器能够在满足约束条件的前提下,为Pod选择合适的节点,从而提高集群的整体性能和稳定性。随着Kubernetes的不断发展,调度机制也在不断地优化和扩展,以适应更复杂的部署场景和更高的性能要求。第二部分资源配额与限额策略

资源配额与限额策略是Kubernetes(K8s)在资源管理方面的重要策略,它旨在确保集群中的资源分配和消耗处于合理范围内,防止资源过度使用和浪费。本文将对K8s资源管理策略中的资源配额与限额策略进行详细介绍,包括其原理、实现方法、优缺点以及应用场景。

一、资源配额与限额策略原理

资源配额与限额策略基于Kubernetes的QoS(QualityofService)概念,通过限制或分配资源,确保不同工作负载在集群中的资源使用合理。其中,资源配额(ResourceQuotas)用于限制命名空间(Namespace)内可使用的资源总量,而资源限额(ResourceLimits)则用于限制单个Pod可使用的资源量。

1.资源配额

资源配额适用于命名空间级别,主要用于控制命名空间内可使用的资源总量。通过设置资源配额,可以避免某个命名空间占用过多资源,导致其他命名空间或整个集群的性能受到影响。

资源配额限制的资源类型包括:

(1)CPU:限制命名空间内Pod的CPU使用量总和。

(2)内存:限制命名空间内Pod的内存使用量总和。

(3)Pod数量:限制命名空间内运行的Pod数量。

2.资源限额

资源限额适用于单个Pod级别,用于限制单个Pod可使用的资源量。资源限额是一种更为精细的资源控制方式,可以确保单个Pod不会过度消耗资源,导致其他Pod或整个集群的性能受到影响。

资源限额限制的资源类型与资源配额类似,包括CPU、内存和Pod数量等。

二、资源配额与限额策略实现方法

1.资源配额

(1)通过KubernetesAPI,创建资源配额对象(ResourceQuota)。

(2)在资源配额对象中指定限制的资源类型和数量。

(3)将资源配额对象绑定到对应的命名空间。

2.资源限额

(1)在Pod定义中,设置资源限制(limits)字段。

(2)在Pod定义中,设置资源请求(requests)字段。

三、资源配额与限额策略优缺点

1.优点

(1)提高集群资源利用率,避免资源浪费。

(2)降低资源争用风险,确保不同工作负载间公平分配资源。

(3)提高集群稳定性,防止单个Pod或命名空间过度消耗资源。

2.缺点

(1)设置不当可能导致资源分配不均,影响某些工作负载的性能。

(2)管理复杂,需要根据实际需求调整资源限制。

四、资源配额与限额策略应用场景

1.云原生应用部署

在云原生应用部署过程中,资源配额与限额策略可以确保不同应用间资源使用公平,提高集群资源利用率。

2.跨部门资源管理

对于跨部门共享的集群,资源配额与限额策略可以帮助管理员合理分配资源,避免资源争用。

3.临时工作负载

对于临时工作负载,设置资源限额可以确保其不会占用过多资源,影响其他工作负载的性能。

总之,资源配额与限额策略是Kubernetes在资源管理方面的重要手段。通过合理设置资源配额与限额,可以确保集群资源使用合理、公平,提高集群资源利用率,为各类工作负载提供良好的运行环境。第三部分服务质量保证(QoS)

服务质量保证(QualityofService,QoS)是Kubernetes(K8s)资源管理策略中的一个重要组成部分,其主要目的是确保关键应用程序和服务的性能稳定性和可用性。在K8s中,QoS通过不同的策略实现,以确保系统资源得到合理分配,同时满足不同服务级别的要求。以下是对K8s中服务质量保证的详细介绍。

一、QoS基本概念

1.定义

服务质量保证(QoS)是指在计算机网络系统中,通过一系列技术手段和管理策略,确保关键应用程序和服务的性能稳定性和可用性,满足用户对网络性能的期望。

2.目标

(1)保证关键业务服务的性能和稳定性;

(2)优化系统资源利用效率;

(3)满足不同业务对网络性能的需求。

二、K8s中QoS的实现策略

1.资源优先级分类(PriorityClasses)

资源优先级分类是K8s中实现QoS的重要手段。通过定义不同的资源优先级,可以为不同级别的服务分配相应的资源。

(1)分类类型

K8s中,资源优先级分类主要分为三种类型:

①BestEffort:不保证资源分配,适用于非关键业务;

②Burstable:在一段时间内可以超出其请求的资源限制,适用于具有波动性需求的业务;

②Guaranteed:保证资源分配,适用于对性能要求较高的关键业务。

(2)分类策略

K8s通过以下策略实现资源优先级分类:

①Pod优先级:通过设置Pod的优先级,实现不同业务之间的资源分配;

②Node优先级:通过设置Node的优先级,实现不同节点之间的资源分配;

③预留资源:为不同级别的服务预留相应资源,确保关键业务在资源紧张时能够获得优先保障。

2.调度策略(Scheduler)

调度策略是K8s中实现QoS的关键环节。通过合理的调度策略,可以为不同级别的服务分配合适的资源。

(1)调度策略类型

K8s调度策略主要分为以下类型:

①静态调度:根据节点标签、资源需求等因素,将Pod分配到特定的节点;

②动态调度:根据Pod的资源需求和节点资源情况,动态分配Pod到最优节点。

(2)调度策略优化

为了提高QoS,可以采取以下优化措施:

①调度策略与资源优先级分类结合:根据业务需求,为不同级别的服务选择合适的调度策略;

②负载均衡:在多节点环境中,通过负载均衡技术,提高资源利用率。

3.网络策略(NetworkPolicies)

网络策略是K8s中实现QoS的另一个重要手段。通过定义网络策略,可以控制Pod之间的网络访问,保障关键业务的安全性。

(1)网络策略类型

K8s网络策略主要分为以下类型:

①Ingress/OutgressPolicies:控制Pod的入站/出站流量;

②EgressOnlyPolicies:仅控制Pod的出站流量;

③Ingress/EgressPolicies:同时控制Pod的入站/出站流量。

(2)网络策略优化

为了提高QoS,可以采取以下优化措施:

①根据业务需求,合理设置网络策略;

②定期检查和调整网络策略,确保网络性能。

三、QoS在K8s中的应用实例

1.集群规划

在K8s集群规划阶段,应充分考虑QoS的需求,合理分配资源优先级,确保关键业务在资源紧张时得到保障。

2.应用部署

在应用部署过程中,应根据业务需求,设置合适的资源优先级和调度策略,保障关键业务性能。

3.运维监控

在运维监控阶段,应密切监控集群性能和业务指标,及时发现和解决QoS问题。

总之,服务质量保证(QoS)是K8s资源管理策略中的重要一环。通过资源优先级分类、调度策略和网络策略等手段,K8s可以为不同级别的服务提供合理的资源分配和性能保障。在实际应用中,应根据业务需求,合理配置和优化QoS策略,提高集群的整体性能和稳定性。第四部分弹性伸缩与自愈

弹性伸缩与自愈是Kubernetes(K8s)资源管理策略中至关重要的组成部分。弹性伸缩确保应用程序能够根据需求自动扩展或缩减资源,而自愈机制则确保应用程序在故障发生时能够快速恢复。本文将详细介绍K8s弹性伸缩与自愈的相关概念、实现方式及优化策略。

一、弹性伸缩

1.弹性伸缩概述

弹性伸缩是指根据应用程序的实际负载情况,动态调整其运行在K8s集群中的资源数量。通过弹性伸缩,可以保证应用程序在高负载时提供足够的资源,同时在低负载时释放不必要的资源,从而提高资源利用率。

2.弹性伸缩实现方式

(1)水平扩展(HorizontalPodAutoscaler,HPA)

HPA是K8s提供的自动扩展机制,可根据CPU、内存等指标自动调整Pod副本数量。HPA通过监控目标Pod的指标,当达到某个阈值时,自动增加或减少Pod副本,以满足负载需求。

(2)垂直扩展(VerticalPodAutoscaler,VPA)

VPA是K8s提供的自动调整Pod资源(CPU、内存)大小的机制。VPA通过监控Pod的CPU、内存使用情况,当达到某个阈值时,自动调整Pod的资源配置,以满足负载需求。

3.弹性伸缩优化策略

(1)选择合适的指标

在实现弹性伸缩时,选择合适的指标至关重要。对于CPU和内存等资源,应关注其使用率和利用率;对于网络和存储等资源,则应关注其吞吐量和IOPS等指标。

(2)设置合理的阈值

阈值设置应综合考虑业务需求和资源限制。过高的阈值可能导致资源浪费,而过低的阈值则可能导致性能下降。

(3)合理配置资源

在实现弹性伸缩时,应合理配置Pod和节点的资源,确保应用程序在高负载时能够获得足够的资源。

二、自愈

1.自愈概述

自愈是K8s资源管理策略中的一种机制,旨在确保应用程序在发生故障时能够快速恢复。自愈主要通过以下几种方式实现:

(1)Pod自动重启

当Pod出现异常时,K8s会根据Pod的重启策略自动重启Pod,以确保应用程序的连续性。

(2)服务发现与重试

当后端服务出现故障时,K8s会自动将请求转发到其他健康实例,以保证应用程序的可用性。

(3)水平Pod自动扩展

当应用程序出现故障时,HPA会自动减少Pod副本数量,降低负载,直至问题解决。

2.自愈实现方式

(1)Pod自愈

当Pod出现异常时,K8s会根据Pod的重启策略自动重启Pod。Pod的重启策略包括:

*Always:总是重启Pod;

*OnFailure:仅在Pod失败时重启;

*Never:从不重启Pod。

(2)服务自愈

K8s通过服务发现和重试机制,确保后端服务的可用性。当后端服务出现故障时,K8s会自动将请求转发到其他健康实例。

(3)集群自愈

K8s集群自愈主要通过以下几种方式实现:

*自动节点维护:K8s可以自动检测节点故障,并对其进行维护或替换;

*自动扩缩容:K8s可以根据负载情况自动扩缩容,以应对突发情况。

3.自愈优化策略

(1)设置合适的Pod重启策略

根据业务需求,合理设置Pod的重启策略,以确保应用程序在发生故障时能够快速恢复。

(2)优化服务发现与重试机制

根据业务需求,优化服务发现与重试机制,提高后端服务的可用性。

(3)合理配置集群资源

合理配置集群资源,确保在发生故障时,K8s能够自动扩缩容,以应对突发情况。

总结

弹性伸缩与自愈是K8s资源管理策略中不可或缺的组成部分。通过弹性伸缩,可以保证应用程序在高负载时提供足够的资源,同时在低负载时释放不必要的资源;通过自愈机制,可以确保应用程序在发生故障时能够快速恢复。在实际应用中,应根据业务需求和资源限制,合理配置弹性伸缩与自愈策略,以提高资源利用率和应用程序的可用性。第五部分资源监控与告警

在Kubernetes(K8s)资源管理策略中,资源监控与告警是确保集群稳定性和性能的关键环节。本文将从以下几个方面详细阐述K8s资源监控与告警的实现方法、内容以及作用。

一、资源监控概述

1.监控对象

K8s资源监控主要针对以下对象:

(1)集群层面:节点CPU、内存、存储、网络等资源使用情况;集群状态信息(如集群健康、节点状态等)。

(2)Pod层面:PodCPU、内存、存储、网络等资源使用情况;Pod状态信息(如Pod存活状态、Pod事件等)。

(3)容器层面:容器CPU、内存、存储、网络等资源使用情况;容器状态信息(如容器存活状态、容器日志等)。

2.监控工具

K8s生态中存在多种监控工具,以下列举几种常用工具:

(1)Prometheus:一款开源监控解决方案,支持多种数据源和告警通知方式。

(2)Grafana:一款开源的可视化仪表板工具,可以与Prometheus等监控工具进行集成。

(3)ELK(Elasticsearch、Logstash、Kibana):一套开源的日志分析解决方案,可以用于存储、搜索、分析K8s集群日志。

二、资源监控内容

1.资源使用率

(1)CPU使用率:监控目标节点的CPU使用率,可了解集群CPU资源是否紧张。

(2)内存使用率:监控目标节点的内存使用率,可了解集群内存资源是否紧张。

(3)存储使用率:监控目标节点的存储使用率,可了解集群存储资源是否紧张。

(4)网络带宽:监控目标节点的网络进出带宽,可了解集群网络资源是否紧张。

2.资源利用率

(1)Pod资源利用率:监控Pod的CPU和内存利用率,可了解Pod资源使用是否合理。

(2)容器资源利用率:监控容器的CPU和内存利用率,可了解容器资源使用是否合理。

3.资源异常

(1)CPU/内存使用率异常:当CPU/内存使用率超过预设阈值时,触发告警。

(2)存储使用率异常:当存储使用率超过预设阈值时,触发告警。

(3)网络带宽异常:当网络进出带宽超过预设阈值时,触发告警。

4.资源性能指标

(1)节点性能指标:监控节点CPU、内存、存储、网络等资源的性能指标,如:平均负载、IOPS、网络延迟等。

(2)Pod性能指标:监控Pod的CPU、内存、存储、网络等资源的性能指标,如:CPU平均使用率、内存使用率、存储IOPS等。

(3)容器性能指标:监控容器的CPU、内存、存储、网络等资源的性能指标,如:CPU平均使用率、内存使用率、存储IOPS等。

三、资源告警

1.告警通知方式

(1)邮件:发送邮件至相关人员,提醒关注异常情况。

(2)短信:发送短信至相关人员,提醒关注异常情况。

(3)Slack:通过Slack机器人发送告警信息。

(4)微信:通过企业微信发送告警信息。

2.告警策略

(1)阈值告警:根据预设阈值,当监控指标超过阈值时,触发告警。

(2)滑动窗口告警:在一段时间内,当监控指标超过阈值时,触发告警。

(3)组合告警:将多个监控指标组合,当满足特定条件时,触发告警。

四、资源监控与告警的作用

1.预防资源耗尽:通过监控资源使用情况,及时发现资源耗尽的风险,提前进行扩容或优化。

2.优化资源分配:根据监控数据,合理分配资源,提高资源利用率。

3.提高系统稳定性:及时发现异常情况,采取相应措施,确保系统稳定运行。

4.提高运维效率:通过自动化监控和告警,减轻运维人员工作量,提高运维效率。

总结,K8s资源监控与告警在确保集群稳定性和性能方面具有重要意义。通过合理配置监控指标、选择合适的监控工具和告警策略,可以有效提高K8s集群的资源利用率和运行稳定性。第六部分资源隔离与共享

资源隔离与共享是Kubernetes(K8s)在资源管理策略中的一个重要方面。在分布式系统中,合理地隔离和共享资源可以有效地提高系统的稳定性和性能。本文将围绕资源隔离与共享这一主题进行探讨,分析其在K8s中的应用和策略。

一、资源隔离

1.资源隔离的意义

资源隔离是指将系统的资源分配给不同的用户、应用或子系统,以实现对资源的独立管理和优化。在K8s中,资源隔离主要体现在以下几个方面:

(1)提高系统的稳定性和可靠性。通过隔离资源,可以避免不同应用之间的相互干扰,降低系统故障的概率。

(2)提高资源利用率。资源隔离可以使得资源得到更合理的分配,提高资源利用率。

(3)满足不同应用的需求。通过资源隔离,可以为不同应用提供定制化的资源分配策略,满足各种应用的需求。

2.资源隔离的实现方式

(1)Namespace:在K8s中,Namespace是一种资源隔离机制,可以将集群的资源分配给不同的用户、应用或项目。通过Namespace,可以实现对资源的隔离管理,使得不同Namespace之间的资源互不干扰。

(2)Pod亲和性与反亲和性:Pod亲和性与反亲和性是K8s中实现资源隔离的重要策略。通过设置Pod的亲和性约束,可以将具有相似需求的Pod调度到同一个节点或不同的节点上,从而实现资源隔离。

(3)资源配额与限额:资源配额与限额是K8s中实现对资源隔离的另一种方式。通过设置资源配额与限额,可以限制每个用户或应用对资源的占用,防止资源过度消耗。

二、资源共享

1.资源共享的意义

资源共享是指将系统的资源分配给多个用户、应用或子系统,以实现资源的最大化利用。在K8s中,资源共享主要体现在以下几个方面:

(1)提高资源利用率。资源共享可以使得资源得到更充分的利用,减少资源浪费。

(2)降低系统成本。资源共享可以减少对硬件资源的投入,降低系统成本。

(3)满足不同应用的需求。资源共享可以为不同应用提供灵活的资源分配策略,满足各种应用的需求。

2.资源共享的实现方式

(1)NodePort与LoadBalancer:NodePort和LoadBalancer是K8s中实现资源共享的重要策略。通过设置NodePort和LoadBalancer,可以将集群的流量分配给不同的服务,实现资源共享。

(2)Service与Ingress:Service和Ingress是K8s中实现资源共享的另一种方式。通过设置Service和Ingress,可以将集群的流量分配给不同的Pod或服务,实现资源共享。

(3)HorizontalPodAutoscaler(HPA):HPA是K8s中实现资源共享的重要策略。通过动态调整Pod的数量,可以实现对资源的灵活分配,满足不同应用的需求。

三、资源隔离与共享的策略

1.合理配置Namespace

在K8s中,合理配置Namespace是资源隔离和共享的基础。应根据实际需求,将不同的用户、应用或项目分配到不同的Namespace中,实现资源的隔离和共享。

2.灵活运用Pod亲和性与反亲和性

在资源隔离和共享过程中,应根据实际需求,合理设置Pod的亲和性与反亲和性,实现资源的合理分配。

3.合理设置资源配额与限额

在资源隔离和共享过程中,应根据实际需求,合理设置资源配额与限额,避免资源过度消耗。

4.优化负载均衡策略

在资源隔离和共享过程中,应根据实际需求,优化负载均衡策略,实现资源的最大化利用。

总之,在K8s中,资源隔离与共享是提高系统性能和稳定性的关键。通过合理配置资源隔离和共享策略,可以使得K8s集群在保证资源安全的前提下,实现资源的最大化利用。第七部分跨集群资源管理

跨集群资源管理是现代云计算环境中的一项关键技术,它允许用户在多个Kubernetes集群之间进行资源的管理和调度。以下是对《K8s资源管理策略》中关于跨集群资源管理内容的详细介绍。

一、跨集群资源管理的背景与意义

随着云计算的快速发展,企业对资源的需求日益增长。然而,单个集群的规模和资源有限,难以满足大规模、高并发的业务需求。在这种情况下,跨集群资源管理应运而生。它通过将多个Kubernetes集群连接起来,实现资源的统一管理和调度,从而提高资源利用率,降低成本,提升业务性能。

二、跨集群资源管理的关键技术

1.服务发现与路由

跨集群资源管理需要解决不同集群之间服务发现和路由问题。通过使用如Istio、Linkerd等服务网格技术,可以实现跨集群服务发现和路由,确保跨集群应用之间的高效通信。

2.资源调度与亲和性

跨集群资源管理要求实现资源在多个集群之间的合理调度。通过Kubernetes的调度器,结合资源亲和性策略,可以实现跨集群资源的高效调度。例如,可以将同一应用的实例部署在同一个集群,以提高数据访问效率和减少延迟。

3.数据同步与备份

跨集群资源管理需要对跨集群应用的数据进行同步和备份。通过使用如Restic、Ceph等数据同步和备份技术,可以保证跨集群应用数据的安全性和一致性。

4.监控与告警

跨集群资源管理需要对集群状态进行实时监控,以便及时发现和解决潜在问题。通过使用Prometheus、Grafana等监控工具,可以实现跨集群资源的实时监控和告警。

三、跨集群资源管理的实践案例

1.跨地域数据中心部署

随着企业业务的全球化发展趋势,跨地域数据中心部署成为常态。通过跨集群资源管理,可以实现数据中心的弹性扩展和业务的高可用性。例如,将主业务集群部署在核心区域,将备份集群部署在边缘地区,以实现数据的快速同步和备份。

2.跨云平台资源整合

企业为了降低成本,会将部分业务迁移到公有云平台。通过跨集群资源管理,可以实现公有云和私有云平台之间的资源整合,提高资源利用率。例如,将公有云和私有云的集群连接起来,实现跨平台应用的统一管理和调度。

3.跨集群容器编排与调度

对于需要跨多地域、多数据中心部署的应用,跨集群资源管理可以实现容器编排和调度的自动化。例如,使用Kubeadm、Kubespray等技术,实现跨集群的容器化部署和自动化扩展。

四、总结

跨集群资源管理是现代云计算环境中的一项关键技术,它通过将多个Kubernetes集群连接起来,实现资源的统一管理和调度。在跨地域数据中心部署、跨云平台资源整合和跨集群容器编排与调度等方面,跨集群资源管理具有广泛的应用前景。随着技术的不断发展,跨集群资源管理将为企业提供更加高效、灵活的资源管理解决方案。第八部分资源调度优化策略

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论