CENTOS 6.4 安装 Openstack havana (ovs+gre) 多节点 双网卡

controller eth0:10.50.9.200/24 eth1:192.168.1.200/24 控制节点，网络节点，存储节点，计算节点

compute-1 eth0:10.50.9.201/24 eth1:192.168.1.200/24 计算节点

虚拟机使用的Floating IP：10.50.9.224-10.50.9.244

所有结点都要设置网卡，源，update

Eth0

# cat /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

IPADDR=10.50.9.200

NETMASK=255.255.255.0

Eth1

# cat /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1

ONBOOT=yes

TYPE=Ethernet

BOOTPROTO=static

IPADDR=192.168.1.200

NETMASK=255.255.255.0

设置gateway 10.50.9.254

vi /etc/sysconfig/network

GETEWAY=10.50.9.254

修改主机名

# vi /etc/sysconfig/network

HOSTNAME=compute-1

设置nameserve 10.50.9.254

vi /etc/resolv.conf

设置源

yum install -y wget

cd /etc/yum.repos.d/

wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
yum list

for compute-1 host only:

yum -y update

init 6

所有结点设置好后，下面是controller要做的事，其他结点是什么都不用做了，但要保持开机状态。（切记）

其他结点只要ip没错，然后在下面运行时会提示输入各结点的root的密码，其原理是通过ssh来进行远程操作，

LVM设置（可选）

这主要是为了给cinder-volumes单独一个分区，提高性能。

umount /dev/sda3

pvcreate /dev/sda3

vgcreate cinder-volumes /dev/sda3

修改/etc/fstab 去掉cinder-volumes的开机挂载，不然会导致你无法重启

sed -i '/cinder-volumes/s/^/#/' /etc/fstab

yum install -y http://rdo.fedorapeople.org/openstack/openstack-havana/rdo-release-havana.rpm
yum install -y openstack-packstack

yum -y update

#########################更新,所以需要重启机器.

安装Packstack

packstack --gen-answer-file=multi-node-H-gre-yan.txt

修改配置文件

CONFIG_SWIFT_INSTALL=y

CONFIG_HEAT_INSTALL=y

CONFIG_NTP_SERVERS=0.cn.pool.ntp.org,1.asia.pool.ntp.org

CONFIG_NAGIOS_INSTALL=y

CONFIG_KEYSTONE_ADMIN_PW=r

CONFIG_CINDER_VOLUMES_CREATE=n

CONFIG_NOVA_COMPUTE_HOSTS=10.50.9.200，10.50.9.201

CONFIG_NEUTRON_OVS_TENANT_NETWORK_TYPE=gre

CONFIG_NEUTRON_OVS_TUNNEL_RANGES=1:1000

CONFIG_NEUTRON_OVS_TUNNEL_IF=eth1

CONFIG_NAGIOS_PW=admin

packstack --answer-file=multi-node-H-gre-yan.txt

按提示输入其他结点的密码

一、安装时增加一条rule



$ iptables -I INPUT -s $COMPUTE_NODE_IP/32 -p tcp --dport 9696 -j ACCEPT
$ service iptables save

二、

1.
Configure the EXTERNAL_INTERFACE without an IP address and in promiscuous
mode. Additionally, you must set the newly created br-ex interface to have the IP
address that formerly belonged to EXTERNAL_INTERFACE.
Edit the /etc/sysconfig/network-scripts/ifcfg-EXTERNAL_INTERFACE
file:
DEVICE_INFO_HERE
ONBOOT=yes
BOOTPROTO=none
PROMISC=yes

2.
Create and edit the /etc/sysconfig/network-scripts/ifcfg-br-ex file:
DEVICE=br-ex
TYPE=Bridge
ONBOOT=no
BOOTPROTO=none
IPADDR=EXTERNAL_INTERFACE_IP
NETMASK=EXTERNAL_INTERFACE_NETMASK
GATEWAY=EXTERNAL_INTERFACE_GATEWAY

3.
Add a port (connection) from the EXTERNAL_INTERFACE interface to br-ex
interface:
# ovs-vsctl add-port br-ex EXTERNAL_INTERFACE

4.

ovs-vsctl add-port br-ex eth0; service network restart

三、所有计算结点修改/etc/nova/nova.conf，，以便启动VM的时候可以注入密码

libvirt_inject_passwd=true

四、关闭网卡LRO/GRO功能



现在大多数网卡都具有LRO/GRO功能，即 网卡收包时将同一流的小包合并成大包（tcpdump抓包可以看到>MTU 1500bytes的数据包）交给内核协议栈；LVS内核模块在处理>MTU的数据包时，会丢弃；

因此，如果我们用LVS来传输大文件，很容易出现丢包，传输速度慢；

解决方法，关闭LRO/GRO功能，命令：

ethtool -k eth0 查看LRO/GRO当前是否打开

ethtool -K eth0 lro off 关闭GRO

ethtool -K eth0 gro off 关闭GRO