KVM虚拟化CPU技术总结
2015-07-21 16:54
381 查看
转载自:http://xiaoli110.blog.51cto.com/1724/1607863
一 NUMA技术介绍
NUMA是一种解决多CPU共同工作的技术方案,我们先回顾下多CPU共同工作的技术架构历史。多CPU共同工作主要有三种架构,分别是SMP MPP NUMA架构。SMP MPP NUMA 都是为了解决多CPU共同工作的问题。
早期的时候,每台服务器都是单CPU,随着技术发展,出现了多CPU共同工作的需求,最早的多CPU技术是SMP。
SMP
多个CPU通过一个总线访问存储器,因此SMP系统有时也被称为一致存储器访问(UMA)结构体系,一致性意指无论在什么时候,处理器只能为内存的每个数据保持或共享唯一一个数值。
SMP的缺点是可伸缩性有限,因为在存储器接口达到饱和的时候,增加处理器并不能获得更高的性能,因此SMP方式支持的CPU个数有限。
MPP
MPP模式则是一种分布式存储器模式,能够将更多的处理器纳入一个系统的存储器。一个分布式存储器模式具有多个节点,每个节点都有自己的存储器,可以配置为SMP模式,也可以配置为非SMP模式。单个的节点相互连接起来就形成了一个总系统。MPP可以近似理解成一个SMP的横向扩展集群,MPP一般要依靠软件实现。
NUMA
每个处理器有自己的存储器,每个处理器也可以访问别的处理器的存储器。
NUMA-Q
是IBM最早将NUMA技术应用到i386上的商业方案,可以支持更多的x86 CPU一起工作。
KVM虚拟机NUMA调优
因为NUMA架构每个处理器都可以访问自己和别的处理器的存储器,访问自己的存储器要比访问别的存储器的快很多,NUMA 调优的目标就是让处理器尽量的访问自己的存储器,以提高处理速度。
通过numactl --hardware可以看到当前CPU硬件的情况
libvirt的numa管理
使用numastat 命令可以查看每个节点的内存统计
使用numatune命令可以查看或者修改虚拟机的numa配置
linux的numu平衡策略
linux系统默认是自动numu平衡策略,如果要关闭Linux系统的自动平衡,使用如下命令
如果要开启,使用如下命令
numa工作方式可以是strict,指定cpu,或者auto 使用系统的numad服务
virsh numatune rhel7 --nodeset ‘0,2-3’
vpcu的设置
<vcpu> 和 <numatune>需要保持一致,<numatune>配置的是物理CPU,<vcpu>配置的CPU的核,包括超线程产生的核;
<numatune>使用static模式,<nodeset>也必须是;
也可以设置一个虚拟机给32个虚拟CPU,但是一开始只能使用8个,然后可以根据系统压力,热添加CPU给虚拟机。
也可以给每个虚拟机CPU,指定具体的物理机CPU pinning策略
也可以使用emulatorpin的方式
emulatorpin 标签可以指定一个特定的物理CPU,是虚拟机使用的CPU和存储器都在一个物理机CPU内部
命令方式为
1-3的核都在一个物理CPU内部。
默认情况下,系统使用的是自动平衡的NUMA策略。
虚拟机的numa拓扑
可以设置虚拟机对numa资源的使用
cell numa的cell或者numa节点
cpu cpu一个物理CPU可以使用的CPU范围
memory 可以使用的内存大小,单位kb
NUMA-AWARE和KSM
KSM可以合并相同的内存页,即使是不同NUMA节点,
设置/sys/kernel/mm/ksm/merge_across_nodes参数为0,可以关闭关闭跨NUMA节点的内存合并
或者可以关闭虚拟机的内存合并
二 host-passthrough 技术及应用场景
KVM关于CPU型号的定义
libvirt 对CPU的定义提炼出标准的几种类型在 /usr/share/libvirt/cpu_map.xml 可以查到
主要是以下几种CPU型号。
'486' 'pentium' 'pentium2' 'pentium3' 'pentiumpro' 'coreduo' 'pentiumpro' 'n270' 'coreduo' 'core2duo' 'qemu32' 'kvm32' 'cpu64-rhel5' 'cpu64-rhel6' 'kvm64' 'qemu64' 'Conroe' 'Penryn' 'Nehalem''Westmere' 'SandyBridge' 'Haswell' 'athlon' 'phenom' 'Opteron_G1'
'Opteron_G2' 'Opteron_G3' 'Opteron_G4' 'Opteron_G5' 'POWER7' 'POWER7_v2.1' 'POWER7_v2.3'
使用这种方案主要是为了在虚拟机迁移的时候,在不同的宿主机间保证兼容性。
CPU配置模式可以有以下几种种模式:
custom 自己定义
host-model 根据物理CPU的特性,选择一个最靠近的标准CPU型号,如果没有指定CPU模式,默认也是使用这种模式,xml配置文件为:
host-passthrough 直接将物理CPU 暴露给虚拟机使用,在虚拟机上完全可以看到的就是物理CPU的型号;xml配置文件为:
使用host-model看到的VCPU
使用host-passthrough看到的VCPU
应用场景
HOST技术适用于以下场景:
1 CPU压力非常大;
2需要将物理CPU的一些特性传给虚拟机使用;
3需要在虚拟机里面看到和物理CPU一模一样的CPU品牌型号,这个在一些公有云很有意义;
注意:HOST方式虚拟机不能迁移到不同型号的CPU上;
三 CPU热添加
CPU热添加是centos7的一个新特性,要求宿主机和虚拟机都是centos7
如何使用
我们在给虚拟机分配的时候,就用预留CPU
目前在虚拟机中可以看到4个CPU。
我们把CPU在线修改成5个
在虚拟机里面将第5个CPU激活
可以看到虚拟机的CPU已经变成了5个
同样的方法,我们可以把CPU增加到6个
因为我们一开始预留的是10个,所有最多的时候,可以热添加CPU到10个。
应用场景:对于虚拟机跑得应用非常重要,不能停机,而性能严重不足的场景,CPU热添加的技术是一个很好的解决方案。
四 nested 虚拟机嵌套(kvm on kvm)
nested技术,简单的说,就是在虚拟机上跑虚拟机。
KVM虚拟机嵌套和VMWare原理不同,VMWare第一层是用的硬件虚拟化技术,第二层就是完全软件模拟出来的,所以VMWare只能做两层嵌套。KVM是将物理CPU的特性全部传给虚拟机,所有理论上可以嵌套N多层。
配置方法
因为nested技术centos还没有正式支持,建议测试的时候用最新的fedora进行测试。
第一步 打开kvm内核模块 nested特性
或者修改modprobe.d 编辑 /etc/modprobe.d/kvm_mod.conf ,添加以下内容
检查是否打开nested功能
第二步 第一层的虚拟机配置文件,要将物理机CPU特性全部传给虚拟机,使用CPU HOST技术
第三步 和宿主机一样,将第一层虚拟机按照宿主机配置,按照相应的组件,然后就可以再安装第二层的虚拟机了。
一 NUMA技术介绍
NUMA是一种解决多CPU共同工作的技术方案,我们先回顾下多CPU共同工作的技术架构历史。多CPU共同工作主要有三种架构,分别是SMP MPP NUMA架构。SMP MPP NUMA 都是为了解决多CPU共同工作的问题。
早期的时候,每台服务器都是单CPU,随着技术发展,出现了多CPU共同工作的需求,最早的多CPU技术是SMP。
SMP
多个CPU通过一个总线访问存储器,因此SMP系统有时也被称为一致存储器访问(UMA)结构体系,一致性意指无论在什么时候,处理器只能为内存的每个数据保持或共享唯一一个数值。
SMP的缺点是可伸缩性有限,因为在存储器接口达到饱和的时候,增加处理器并不能获得更高的性能,因此SMP方式支持的CPU个数有限。
MPP
MPP模式则是一种分布式存储器模式,能够将更多的处理器纳入一个系统的存储器。一个分布式存储器模式具有多个节点,每个节点都有自己的存储器,可以配置为SMP模式,也可以配置为非SMP模式。单个的节点相互连接起来就形成了一个总系统。MPP可以近似理解成一个SMP的横向扩展集群,MPP一般要依靠软件实现。
NUMA
每个处理器有自己的存储器,每个处理器也可以访问别的处理器的存储器。
NUMA-Q
是IBM最早将NUMA技术应用到i386上的商业方案,可以支持更多的x86 CPU一起工作。
KVM虚拟机NUMA调优
因为NUMA架构每个处理器都可以访问自己和别的处理器的存储器,访问自己的存储器要比访问别的存储器的快很多,NUMA 调优的目标就是让处理器尽量的访问自己的存储器,以提高处理速度。
通过numactl --hardware可以看到当前CPU硬件的情况
libvirt的numa管理
使用numastat 命令可以查看每个节点的内存统计
使用numatune命令可以查看或者修改虚拟机的numa配置
linux的numu平衡策略
linux系统默认是自动numu平衡策略,如果要关闭Linux系统的自动平衡,使用如下命令
vpcu的设置
<numatune>使用static模式,<nodeset>也必须是;
也可以设置一个虚拟机给32个虚拟CPU,但是一开始只能使用8个,然后可以根据系统压力,热添加CPU给虚拟机。
emulatorpin 标签可以指定一个特定的物理CPU,是虚拟机使用的CPU和存储器都在一个物理机CPU内部
默认情况下,系统使用的是自动平衡的NUMA策略。
虚拟机的numa拓扑
可以设置虚拟机对numa资源的使用
cpu cpu一个物理CPU可以使用的CPU范围
memory 可以使用的内存大小,单位kb
NUMA-AWARE和KSM
KSM可以合并相同的内存页,即使是不同NUMA节点,
设置/sys/kernel/mm/ksm/merge_across_nodes参数为0,可以关闭关闭跨NUMA节点的内存合并
或者可以关闭虚拟机的内存合并
KVM关于CPU型号的定义
libvirt 对CPU的定义提炼出标准的几种类型在 /usr/share/libvirt/cpu_map.xml 可以查到
'486' 'pentium' 'pentium2' 'pentium3' 'pentiumpro' 'coreduo' 'pentiumpro' 'n270' 'coreduo' 'core2duo' 'qemu32' 'kvm32' 'cpu64-rhel5' 'cpu64-rhel6' 'kvm64' 'qemu64' 'Conroe' 'Penryn' 'Nehalem''Westmere' 'SandyBridge' 'Haswell' 'athlon' 'phenom' 'Opteron_G1'
'Opteron_G2' 'Opteron_G3' 'Opteron_G4' 'Opteron_G5' 'POWER7' 'POWER7_v2.1' 'POWER7_v2.3'
使用这种方案主要是为了在虚拟机迁移的时候,在不同的宿主机间保证兼容性。
CPU配置模式可以有以下几种种模式:
custom 自己定义
HOST技术适用于以下场景:
1 CPU压力非常大;
2需要将物理CPU的一些特性传给虚拟机使用;
3需要在虚拟机里面看到和物理CPU一模一样的CPU品牌型号,这个在一些公有云很有意义;
注意:HOST方式虚拟机不能迁移到不同型号的CPU上;
三 CPU热添加
CPU热添加是centos7的一个新特性,要求宿主机和虚拟机都是centos7
如何使用
我们在给虚拟机分配的时候,就用预留CPU
目前在虚拟机中可以看到4个CPU。
我们把CPU在线修改成5个
可以看到虚拟机的CPU已经变成了5个
同样的方法,我们可以把CPU增加到6个
因为我们一开始预留的是10个,所有最多的时候,可以热添加CPU到10个。
应用场景:对于虚拟机跑得应用非常重要,不能停机,而性能严重不足的场景,CPU热添加的技术是一个很好的解决方案。
四 nested 虚拟机嵌套(kvm on kvm)
nested技术,简单的说,就是在虚拟机上跑虚拟机。
KVM虚拟机嵌套和VMWare原理不同,VMWare第一层是用的硬件虚拟化技术,第二层就是完全软件模拟出来的,所以VMWare只能做两层嵌套。KVM是将物理CPU的特性全部传给虚拟机,所有理论上可以嵌套N多层。
配置方法
因为nested技术centos还没有正式支持,建议测试的时候用最新的fedora进行测试。
第一步 打开kvm内核模块 nested特性
相关文章推荐
- Android学习之BaseAdapter
- Candy
- 二叉数组的创建删除插入查找
- PC-老鸟装机
- PC-删除共享[绝对够狠的方法]
- 实习第18天
- DOM 获取id值的方法,DOM获取input的值
- STL中stack用法
- linux blkid
- GetOpenFilaName() 控制台程序选择框始终显示在windows最前
- 常用运算符
- 快速安装配置管理gitolite与其基本使用
- 2012年5月SAT香港真题解析
- 关于局域网SVN的配置
- gt8105电容屏驱动分析
- Java中的super 和 this
- duilib中添加自定义控件之后怎么能够在xml文件中配置使用
- cornerstone 使用总结
- PC-ADSL开机自动拨号方法
- DotNet经典面试题(转载)