每天5分钟玩转OpenStack第九章.doc_第1页
每天5分钟玩转OpenStack第九章.doc_第2页
每天5分钟玩转OpenStack第九章.doc_第3页
每天5分钟玩转OpenStack第九章.doc_第4页
每天5分钟玩转OpenStack第九章.doc_第5页
已阅读5页,还剩42页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

实现 instance 定制化,cloud-init(或 cloudbase-init)只是故事的一半,metadata service 则是故事的的另一半。两者的分工是:metadata service 为 cloud-init 提供自定义配置数据,cloud-init 完成配置工作。Metadata Service前面讨论了一些 cloud-init 和 cloudbase-init 相关的经验,收到了很多反馈,大家对 instance 启动时是如何完成自定义配置这个过程非常感兴趣,希望能够系统讲一下。这个主题确实很重要,实际应用场景很多,确实很有必要系统讨论一番,作为对现有教程的补充。instance 是通过 image 部署出来的,image 中包含了操作系统(例如 Ubuntu 16.04),最常用的软件(例如 SSH)以及最通用的配置(例如 eth0 dhcp)。然而在创建 instance 的时候,我们往往希望对 instance 进行一些额外的配置,比如:安装某些包、开启一些服务、添加 SSH 秘钥、配置 hostname 等等。有几个方法可以完成这项工作:1. 将这些东西统统做到 image 中。这种方案可以实现,但不现实。image 应该被看着是一个模板,存放的是通用的内容。在 image 中加入个性化配置的做法要么使 image 变得非常庞杂,要么导致数量众多的 image,不易管理。2. instance 部署出来之后手工完成个性化配置。由于需要手工操作,instance 数量多了之后工作量会激增,而且容易出错。3. 推荐方案:由 OpenStack Metadata Service 提供 instance 的配置信息(这些信息被统称为 metadata)。instance 启动时向 Metadata Service 请求并获得自己的 metadata,instance 的 cloud-init(或 cloudbase-init)根据 metadata 完成个性化配置工作。这个方案的优点是不需要修改基础 image,保证了 image 的稳定性,同时实现了 instance 自动化地个性配置。最高频的应用将 ssh public key 添加到 instance。首先在 “Project - Compute - Access & Security” 中创建 Key Pair。OpenStack 会创建一对 ssh pulbic key 和 private key,public key 存放在 OpenStack 数据库中,private key 会在我们点击 “Create Key Pair” 按钮时自动下载。现在 cloudman 这个 key pair 就是我们要用的 metadata 了。部署 instance 时,选择 cloudman。instance 启动后,可以看到这个 cloudman 的 public key 已经保存到 .ssh/authorized_keys 中了。这样我们就可以用 cloudman 的 private key 直接登录 instance。下面是 Metadata Service 的架构图,本节我们详细讨论各个组件以及它们之间的关系。nova-api-metadatanova-api-metadata 是 nova-api 的一个子服务,它是 metadata 的提供者,instance 可以通过 nova-api-metadata 的 REST API 来获取 metadata 信息。nova-api-metadata 运行在控制节点上,服务端口是 8775。通过进程 ID13415查看该启动程序。我们这个环境是 devstack,nova-api-metadata 的程序名称就是nova-api,nova-api-metadata 与常规的 nova-api 服务是合并在一起的。不过在 OpenStack 的其他发行版中可能有单独的nova-api-metadata进程存在。nova.conf 通过参数enabled_apis指定是否启用 nova-api-metadata。osapi_compute是常规的 nova-api 服务,metadata就是 nova-api-metadata 服务。neutron-metadata-agentnova-api-metadata 在控制节点上,走 OpenStack 内部管理网络,instance 是无法通过 http:/controller_ip:8775 直接访问 metadata service 的,因为网络不通。那怎么办呢?答案是:借助 neutron-metadata-agent。neutron-metadata-agent 运行在网络节点上。instance 先将 metadata 请求发给 neutron-metadata-agent,neutron-metadata-agent 再将请求转发到 nova-api-metadata。这里还有个问题需要解释清楚:instance 如何将请求发送到 neutron-metadata-agent?实际上 instance 是不能直接与 neutron-metadata-agent 通信的,因为 neutron-metadata-agent 也是在 OpenStack 内部管理网络上的。不过好在网络节点上有另外两个组件,dhcp agent 和 l3 agent,它们两兄弟与 instance 可以位于同一 OpenStack network 中,这样就引出了下一个组件: neutron-ns-metadata-proxy。neutron-ns-metadata-proxyneutron-ns-metadata-proxy 是由 dhcp-agent 或者 l3-agent 创建的,也运行在网络节点。更精确的说法是:运行在网络节点的 namespace 中。如果由 dhcp-agent 创建,neutron-ns-metadata-proxy 就运行在 dhcp-agent 所在的 namespace 中;如果由 l3-agent 创建,neutron-ns-metadata-proxy 就运行在 neutron router 所在的 namespace 中。“neutron-ns-metadata-proxy” 中间的ns就是 namespace 的意思。neutron-ns-metadata-proxy 与 neutron-metadata-agent 通过 unix domain socket 直接相连。这样整个链路就打通了:1. instance 通过 neutron network(Project 网络)将 metadata 请求发送到 neutron-ns-metadata-proxy。2. neutron-ns-metadata-proxy 通过 unix domain socket 将请求发给 neutron-metadata-agent。3. neutron-metadata-agent 通过内部管理网络将请求发送给 nova-api-metadata。可能大家对于 neutron-ns-metadata-proxy 还会有些疑虑:既然 dhcp-agent 和 l3-agent 都可以创建和管理 neutron-ns-metadata-proxy,使用的时候该如何选择呢?简单的说:各有各的使用场景,并且两种方案可以共存。大家不用担心,后面我们会通过例子详细讨论。我们将通过实验详细分析 instance 从 nova-api-metadata 获取信息的完整过程。环境介绍1. 一个 all-in-one 环境(多节点类似)。2. 已创建 neutron 网络test_net,DHCP 已启动。在这个 metadata 实验中,test_net的 type 不重要,flat、vlan、vxlan 都可以。3. 暂无 neutron router。准备就绪,开始实验。启动 instance通过 cirros 镜像部署一个 instance,命名为c1,选择网络test_net。启动过程中,查看 instance 的启动日志。上面的 log 中我们看到两个信息: instance 从 DHCP 拿到了 IP ,这个好理解,因为我们在test_net上开启的 DHCP 服务。 instance 会去访问54/2009-04-04/instance-id,尝试了20 次都失败了。神奇的 5454是个什么地址?这是 metadata service 的 IP。这个地址来源于 AWS,当年亚马逊在设计公有云的时候,为了让 instance 能够访问 metadata,就将54这个特殊的 IP 作为 metadata 服务器的地址,instance 启动时就会向54请求 metadata。OpenStack 之后也沿用了这个设计。我们现在遇到的问题是54没法访问啊!cirros 的 cloud-init 显然是没有拿到 metadata 的,这点至少可以从 instance 的 hostname 没有被设置为c1判断出来。前面我们在 Metadata Service 架构部分介绍了,instance 首先会将 metadata 请求发送给 DHCP agent 或者 L3_agent 管理的 neutron-ns-metadata-proxy。那目前到底是谁在管理 neutron-ns-metadata-proxy 呢?我们先在控制节点上查看一下 neutron-ns-metadata-proxy 的进程。尽然没有 neutron-ns-metadata-proxy 在运行!其原因是:默认配置下,neutron-ns-metadata-proxy 是由 L3_agent 管理的(后面会讨论让 DHCP 来管理),由于当前test_net并没有挂在 neutron router 上,所以没有启动 neutron-ns-metadata-proxy。添加 router要解决这个问题很简单:创建虚拟路由器test_router并连接test_net。现在控制节点上已经能够看到test_router管理的 neutron-ns-metadata-proxy 了。重启 instancec1,看会发生怎样的变化。instance 成功访问到54。从结果看,cloud-init 已经获取到 metadata,因为 hostname 已经设置为c1。接上节,启动 neutron router 后 instancec1终于拿到了 metadata, 从下面c1的启动日志可知:c1所认为的 metadata 服务地址是54,端口为 80。我们在c1中尝试访问一下 metadata。确实能够拿到 metadata。但我们知道 nova-api-metadata 是运行在控制节点上的,IP并不是54,这是怎么实现的呢?下面我们分析一下这个过程。从c1的路由表得访问54的请求会走。实际上就是test_router在test_net上的 interface IP。这条路由是 OpenStack 自动添加到 instance 中的,这样就将 metadata 的请求转发到 neutron router。ip netns是管理 linux network namespace 的命令,如果对 namespace 不熟悉,可参考教程前面相关章节。test_router接收到c1的请求,会通过 iptable 规则转发到 9697 端口。9697 端口是干嘛的?这是 neutron-ns-metadata-proxy 的监听端口。到这里我们可以把思路重新理一下了:instance 通过预定义的54请求 metadata。请求被转发到 neutron router。router 将请求转发给 neutron-ns-metadata-proxy。再后面就简单了:neutron-ns-metadata-proxy 将请求通过 unix domain socket 发给 neutron-metadata-agent,后者再通过管理网络发给 nova-api-metadata。OpenStack 默认通过 l3-agent 创建和管理 neutron-ns-metadata-proxy。但不是所有环境都有 l3-agent,比如直接用物理 router 的场景。这时就需要让 dhcp-agent 来管理 neutron-ns-metadata-proxy。OpenStack 默认通过 l3-agent 创建和管理 neutron-ns-metadata-proxy,进而与 nova-metadata-api 通信。但不是所有环境都有 l3-agent,比如直接用物理 router 的场景。这时就需要走另一条路:让 dhcp-agent 来创建和管理 neutron-ns-metadata-proxy。打开 /etc/neutron/dhcp_agent.ini,设置force_metadata重启 dhcp-agent 后,可以看到控制节点上多了一个 neutron-ns-metadata-proxy 进程。此进程通过-network_id关联到test_net,这就是 dhcp-agent 启动的 neutron-ns-metadata-proxy,用于接收test_net网络上 instance 的 metadata 请求。每一个 network 都有一个与之对应的 neutron-ns-metadata-proxy。重启 instancec1,查看路由表。请注意,现在访问54的路由已由之前的变为。这里的是 dhcp-agent 在test_net上的 IP。这条路由是由 dhcp-agent 添加进去的。正是因为这条路由的存在,即便 l3-agent 与 dhcp-agent 同时提供 neutron-ns-metadata-proxy 服务,metadata 请求也只会发送给 dhcp-agent。同时我们也看到,dhcp-agent 已经将 IP54配置到了自己身上。也就是说:c1访问 metadata 的请求54实际上是发送到了 dhcp-agent 的 80 端口。而监听 80 端口的正是 dhcp-agent 启动的 neutron-ns-metadata-proxy 进程。后面的数据流向就与 l3-agent 的场景一样了:neutron-ns-metadata-proxy 将请求通过 unix domain socket 发给 neutron-metadata-agent,后者再通过管理网络发给 nova-api-metadata。到这里,我们已经分别讨论了通过 l3-agent 和 dhcp-agent 访问 metadata 的实现方法。对于54:l3-agent 用 iptables 规则来转发。dhcp-agent 则是将此 IP 配置到自己的 interface 上。不知道大家有没有这样一个疑问:nova-api-metadata 是怎么知道应该返回哪个 instance 的 metadata?c1只是向54发送了一个 http 请求,nova-api-metadata 怎么就知道应该返回c1的 metadata 呢?要想从 nova-api-metadata 获得 metadata,需要指定 instance 的 id。但 instance 刚启动时无法知道自己的 id,所以 http 请求中不会有 instance id 信息,id 是由 neutron-metadata-agent 添加进去的。针对 l3-agent 和 dhcp-agent 这两种情况在实现细节上有所不同,下面分别讨论。l3-agent下面是 l3-agent 参与情况下 metadata http 请求的处理流程图。大的流程为:instance - neutron-ns-metadata-proxy - neutron-metadata-agent - nova-api-metadata,处理细节说明如下: neutron-ns-metadata-proxy 接收到请求,在转发给 neutron-metadata-agent 之前会将 instance ip 和 router id 添加到 http 请求的 head 中,这两个信息对于 l3-agent 来说很容易获得。 neutron-metadata-agent 接收到请求后,会查询 instance 的 id,具体做法是:1) 通过 router id 找到 router 连接的所有 subnet,然后筛选出 instance ip 所在的 subnet。2)在 subnet 中找到 instance ip 对应的 port。3)通过 port 找到对应的 instance 及其 id。 neutron-metadata-agent 将 instance id 添加到 http 请求的 head 中,然后转发给 nova-api-metadata,这样 nova-api-metadata 就能返回指定 instance 的 metadata 了。我们再来看 dhcp-agent 的情况。dhcp-agent neutron-ns-metadata-proxy 在转发请求之前会将 instance ip 和 network id 添加到 http 请求的 head 中,这两个信息对于 dhcp-agent 来说很容易获得。 neutron-metadata-agent 接收到请求后,会查询 instance 的 id,具体做法是:1) 通过 network id 找到 network 所有的 subnet,然后筛选出 instance ip 所在的 subnet。2)在 subnet 中找到 instance ip 对应的 port。3)通过 port 找到对应的 instance 及其 id。 neutron-metadata-agent 将 instance id 添加到 http 请求的 head 中,然后转发给 nova-api-metadata,这样 nova-api-metadata 就能返回指定 instance 的 metadata 了。这样,不管 instance 将请求发给 l3-agent 还是 dhcp-agent,nova-api-metadata 最终都能获知 instance 的 id,进而返回正确的 metadata。从获取 metadata 的流程上看,有一步是至关重要的:instance 必须首先能够正确获取 DHCP IP,否则请求发送不到54。但不是所有环境都会启用 dhcp,更极端的,有些环境可能连 nova-api-metadata 服务都不会启用。那么 instance 还能获得 metadata 吗?如果 instance 无法通过 metadata service 获取 metadata(无 DHCP 或者 nova-api-metadata 服务),instance 还可以通过 config drive 获得 metadata。config drive 是一个特殊的文件系统,OpenStack 会将 metadata 写到 config drive,并在 instance 启动时挂载给 instance。如过 instance 安装了 cloud-init,config drive 会被自动 mount 并从中读取 metadata,进而完成后续的初始化工作。接下来我们将实践 config-drive。配置config drive 默认是 disable 的,所以首先得启用。有两种方法启用 config drive:启动 instance 时指定-config-drive true。在计算节点的 /etc/nova/nova.conf 中配置force_config_drive = true,这样部署到此计算节点的 instance 都会使用 config drive。我们实验中使用的就是这种方法。config drive 支持两种格式,iso9660 和 vfat,默认是 iso9660,但这会导致 instance 无法在线迁移,必须设置成config_drive_format=vfat才能在线迁移,这一点需要注意。配置完成后,重启 nova-compute 服务。过程分析部署一个新的 cirros instancec2,我们先到计算节点的 instances 目录下看看 c1 与 c2 的区别。c2 的目录下会多一个disk.config文件,这就是 config drive。通过virsh edit可以看到 disk.config 已经挂载到 instance 上了。打开 c2 的控制台,hostname 已经配置好,说明 metadata 拿到了。为了确保 metadata 不是从 nova-api-metadata 获取,我已经提前关闭了 DHCP 服务,可以看到当前 c2 是没有 IP 的。lsblk查看块设备,iso 设备sr0就是 config drive。mount sr0,查看 config drive 的内容。meta_data.json中存放了 ssh public key, hostname 等信息。instance 可以通过 nova-api-metadata 或者 config drive 这两种途径拿到 metadata,如何使用这些 data 是 cloud-init 要完成的工作。cloud-init 是 linux 的一个工具,当系统启动时,cloud-init 可从 nova metadata 服务或者 config drive 中获取 metadata,完成包括但不限于下面的定制化工作:设置 default locale设置 hostname添加 ssh keys到 .ssh/authorized_keys设置用户密码配置网络安装软件包为了实现 instance 定制工作,cloud-init 会按 4 个阶段执行任务:localinitconfigfinalcloud-init 安装时会将这 4 个阶段执行的任务以服务的形式注册到系统中,比如在 systemd 的环境下,我们能够看到这4个阶段分别对应的服务:local - cloud-init-local.serviceinit - cloud-init.serviceconfig - cloud-config.servicefinal - cloud-final.servicelocal 阶段作为 cloud-init 执行的第一个阶段,此时 instance 还不知道该如何配置网卡,cloud-init 的任务就是从 config drive 中获取配置信息,然后写入 /etc/network/interfaces 文件(如果是 centos 则写入 /etc/sysconfig/network-scripts/ifcfg-xxx)。如果没有 config drive,则将所有网卡配置成 dhcp 模式。这是非常关键的一步,只有当网卡正确配置后,才能获取到 metadata。关于 local 阶段下一节会通过实验详细分析。init, config 和 final 阶段正常情况下,在这三个阶段执行之前 instance 网络已经配置好了,并且已经成功获取到 metadata。cloud-init 的配置文件 /etc/cloud/cloud.cfg 定义了三个阶段分别要执行的任务,任务以 module 形式指定。instance 真正的定制工作就是由这些 module 完成的。module 决定做哪些定制化工作,而 metadata 则决定最终定制化的结果。举个例子,如果 cloud.cfg 中指定了set_hostname这个 module,则意味着 cloud-int 会设置 instance 的主机名,而具体设置成哪个主机名则由 metadata 中hostname参数决定。有些 module 是有默认行为的,比如growpart,如果 metadata 中没有特别指定,它会自动扩展/分区。由于篇幅限制,这里就不一一讨论每个 module 了,具体可参看文档https:/cloudinit.readthedocs.io/en/latest/topics/modules.htmlinstance 的网卡是如何被配置并拉起的?这是理解和用好 cloud-init 非常关键的一步。我们先讨论一个最简单基础的场景:镜像中没有安装 cloud-init。此时 instance 启动时网卡能不能被拉起来完全靠运气!是的,就是运气。因为这种情况下网卡的配置是死的,完全依赖于镜像中 /etc/network/interfaces 原有的配置。比如原镜像中的配置是:auto eth0iface eth0 inet dhcpinstance 只有满足下面所有条件网卡才能被拉起来:正好只有一块网卡正好网卡就叫 eth0正好 subnet 开了 DHCP只要出现下面任意一种情况就会失败:还有其他网卡,比如 eth1,或者网卡不叫 eth0 ,比如 ens3,或者没有 DHCP不同 instance 的网络配置差别很大,在 image 中写死的方法几乎是无效的,只能依靠 cloud-init 动态写入,接下来我们详细分析 cloud-init 的解决方案。dhcp先考虑 subnet 有 DHCP 服务的情况。我们使用的镜像是 ubuntu 的 cloud image,已经预装的 cloud-init,下载地址为/,国内镜像/ubuntu-cloud-images/部署成功后,登录 instance,ip a显示网卡ens3已经正确配置。下面分析这个 IP 是怎样配置上去的。上一节我们讨论到,cloud-init 是在 local 阶段完成网络配置的,cloud-init 的执行过程被详细记录在 /var/log/cloud-init.log 中,让我们找找相关操作。这里可以看到,cloud-init 会做如下工作: 扫描出 instance 中的所有网卡(这里是 ens3) 获取该网卡的配置信息。 因为没有 config drive,无法得知网卡的详细配置信息,只能采用默认的 fallback 配置,即 dhcp 配置。 将配置信息写入 /etc/network/interfaces.d/50-cloud-init.cfg,内容为:这样网卡就以 dhcp 模式拉起来,正好与 subnet 的 dhcp 服务对接上,IP、网关等信息就配上去了。几点说明:instance 上的每一块网卡都会被 cloud-init 扫描出来。如果没有 config drive 将采用 fallback 配置,将扫描出来的第一块(只有这一块)网卡配置成 dhcp 模式。请注意:这是 cloud-init 默认行为,跟这块网卡对应的 subnet 是否开启了 DHCP 没有任何关系。cloud-init 会根据 instance 操作系统类型生成网卡配置文件。例如操作系统是 centos 的话则会将配置写到 /etc/sysconfig/network-scripts 目录下。现在请大家思考问题:如果 subnet 没有开 DHCP,会是怎样一个情况?用 config drive 配置网络:如果 subnet 没有开 DHCP,会是怎样一个情况?在其他条件不变的情况下,cloud-init 依然会完成那 3 个步骤,也就是说网卡还是会被配置成 dhcp 模式,只是最后网卡没办法获得 IP 而已。不开 DHCP 也是一个常见的场景,为了让 instance 的网卡在这种情况下也能够被正确配置,我们需要借助 config drive,下面开始实践。在计算节点 /etc/nova/nova.conf 中需要添加一个配置,然后重启 nova-compute 服务。DEFAULTflat_injected = Trueflat_injected 的作用是让 config drive 能够在 instance 启动时将网络配置信息动态注入到操作系统中。当前网络的 DHCP 已经关闭。instance 部署时指定使用 config drive。Neutron 为 instance 分配的 IP 为。instance 启动后登录系统,ip a验证 IP 已经成功配置,说明 config drive 起作用了。重要的是弄懂这个 IP 是如何配置上去的。打开 /var/log/cloud-init.log,分析如下: 扫描出 instance 中的所有网卡,这一步与不使用 config drive 的情况完全一样。 获取该网卡的配置信息。 日志显示配置信息是从ds获取。ds 是 datasource 的缩写,在这里指的就是 config drive。在不使用 config drive 的情况下采用的是fallback配置。网卡配置信息记录在 config drive openstack/latest/network_data.json 文件里,内容如下: 将配置信息写入 /etc/network/interfaces.d/50-cloud-init.cfg,内容为:可以看到 IP 以static方式配置。总结一下:1. 在没有使用 config drive 的情况下,cloud-init 只会配置第一块网卡,且设置为 dhcp 模式,所以: 如果 instance 只有一块网卡,且启用了 DHCP,网卡能够被正常拉起 如果 instance 有多块网卡,第一块会尝试以 dhcp 方式拉起,其他网卡不作处理。2. 使用 config drive 的情况下,无论是否启用 DHCP,所有网卡都能被正确配置且成功拉起(如果 dhcp 网卡 = 2,CentOS 还是有问题,可能跟目前所用的 cloud-init 版本较低有关)。3. 如果可能,尽量使用 config drive。本节介绍几个 cloud-init 的典型应用:设置 hostanme,设置用户初始密码,安装软件。设置 hostnamecloud-init 默认会将 instance 的名字设置为 hostname。但这样不太方便,有时希望能够将二者分开,可利用 cloud-init 的set_hostname模块实现。set_hostname它会查询 metadata 中 hostname 信息,默认值就是 instance 的名字。我们可以指定自己的 hostna

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论