k8s学习笔记之etcd集群部署

一、先准备三个虚拟机：

ip:

10.10.102.60

10.10.102.61

10.10.102.62

二、hostname修改：

永久修改hostname,hostname全部修改为ip

编辑hostname内容：#vim /etc/hostname

将内容删掉，修改为ip

重启服务器：#reboot

查看hostname是否修改：#hostname

三、建立etcd集群

安装etcd： #yum install etcd -y



如果出现以下情况：



可以尝试此处提供的两种解决方案：

a、先自己点击http://mirrors.cug.edu.cn/…..的那个链接，如果可以我们本地网络可以访问得到，那么证明是服务器的网络问题，可以修改dns，方法如下：

命令行输入 sudo vim /etc/resolv.conf

点击 i 进入编辑模式

修改文件内容：

nameserver 202.101.172.46 #修改成你的主DNS，由于本人在杭州，所以这里用的是杭州电信的dns

search localhost #你的域名

点击 esc 退出编辑模式

输入 :wq 后回车键退出

之后执行下：

yum makecache

搞定后重新安装一遍etcd，如果问题还是没有解决则尝试用b方案。

b、由提
4000
示的异常可以看出，是找不到etcd-2.3.7-2.el7.x86_64导致的，解决方案如下：

先在网上下载etcd-2.3.7-2.el7.x86_64.rpm



采用命令：scp /home/rice/桌面/etcd-2.3.7-2.el7.x86_64.rpm root@10.10.102.62:/tmp/etcd-2.3.7-2.el7.x86_64.rpm

(etcd-2.3.7-2.el7.x86_64.rpm的文件地址根据实际情况修改)将文件远程上传到虚拟机上

采用命令：rpm -i etcd-2.3.7-2.el7.x86_64.rpm （进行安装）

安装后会出现



不过没关系，重新安装一次etcd即可。

安装成功后配置etcd集群

修改etcd配置文件,我这里的环境是在/etc/etcd/etcd.conf，请根据实际情况修改。

etcd0配置示例：

#[member]
# 节点名称
ETCD_NAME=etcd0
# # 数据存放位置
ETCD_DATA_DIR="/var/lib/etcd/etcd0"
# # 监听其他 Etcd 实例的地址
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
# # 监听客户端地址
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
# # 通知其他 Etcd 实例地址
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.10.102.60:2380"
# # 初始化集群内节点地址
ETCD_INITIAL_CLUSTER="etcd0=http://10.10.102.60:2380,etcd1=http://10.10.102.61:2380,etcd2=http://10.10.102.62:2380"
# # 初始化集群状态，new 表示新建
ETCD_INITIAL_CLUSTER_STATE="new"
# # 初始化集群 token
ETCD_INITIAL_CLUSTER_TOKEN="mritd-etcd-cluster"
# # 通知 客户端地址
ETCD_ADVERTISE_CLIENT_URLS="http://10.10.102.60:2379,http://10.10.102.60:4001"

etcd1配置示例：

#[member]
# 节点名称
ETCD_NAME=etcd1
# # 数据存放位置
ETCD_DATA_DIR="/var/lib/etcd/etcd1"
# # 监听其他 Etcd 实例的地址
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
# # 监听客户端地址
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
# # 通知其他 Etcd 实例地址
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.10.102.61:2380"
# # 初始化集群内节点地址
ETCD_INITIAL_CLUSTER="etcd0=http://10.10.102.60:2380,etcd1=http://10.10.102.61:2380,etcd2=http://10.10.102.62:2380"
# # 初始化集群状态，new 表示新建
ETCD_INITIAL_CLUSTER_STATE="new"
# # 初始化集群 token
ETCD_INITIAL_CLUSTER_TOKEN="mritd-etcd-cluster"
# # 通知 客户端地址
ETCD_ADVERTISE_CLIENT_URLS="http://10.10.102.61:2379,http://10.10.102.61:4001"

etcd2配置示例：

#[member]
# 节点名称
ETCD_NAME=etcd2
# # 数据存放位置
ETCD_DATA_DIR="/var/lib/etcd/etcd2"
# # 监听其他 Etcd 实例的地址
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
# # 监听客户端地址
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001"
# # 通知其他 Etcd 实例地址
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.10.102.62:2380"
# # 初始化集群内节点地址
ETCD_INITIAL_CLUSTER="etcd0=http://10.10.102.60:2380,etcd1=http://10.10.102.61:2380,etcd2=http://10.10.102.62:2380"
# # 初始化集群状态，new 表示新建
ETCD_INITIAL_CLUSTER_STATE="new"
# # 初始化集群 token
ETCD_INITIAL_CLUSTER_TOKEN="mritd-etcd-cluster"
# # 通知 客户端地址
ETCD_ADVERTISE_CLIENT_URLS="http://10.10.102.62:2379,http://10.10.102.62:4001"

针对以上配置参数做些解释：

ETCD_NAME ：ETCD的节点名，在集群中应该保持唯一，可以使用 hostname。

ETCD_DATA_DIR：ETCD的数据存储目录，服务运行数据保存的路径，默认为 ${name}.etcd。

ETCD_SNAPSHOT_COUNTER：多少次的事务提交将触发一次快照，指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘。

ETCD_HEARTBEAT_INTERVAL：ETCD节点之间心跳传输的间隔，单位毫秒，leader 多久发送一次心跳到 followers。默认值是 100ms。

ETCD_ELECTION_TIMEOUT：该节点参与选举的最大超时时间，单位毫秒，重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms。

ETCD_LISTEN_PEER_URLS：该节点与其他节点通信时所监听的地址列表，多个地址使用逗号隔开，其格式可以划分为scheme://IP:PORT，这里的scheme可以是http、https。和同伴通信的地址，比如 http://ip:2380 ，如果有多个，使用逗号分隔。需要所有节点都能够访问，所以不要使用 localhost。

ETCD_LISTEN_CLIENT_URLS：该节点与客户端通信时监听的地址列表，对外提供服务的地址：比如 http://ip:2379 ,http://127.0.0.1:2379 ，客户端会连接到这里和 etcd 交互

ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。该节点同伴监听地址，这个值会告诉集群中其他节点。

ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址，其格式为：ETCD_NAME=ETCD_INITIAL_ADVERTISE_PEER_URLS，如果有多个使用逗号隔开，集群中所有节点的信息，格式为 node1=http://ip1:2380 ,node2=http://ip2:2380 ,…。注意：这里的 node1 是节点的 –name 指定的名字；后面的 ip1:2380 是 –initial-advertise-peer-urls 指定的值

ETCD_ADVERTISE_CLIENT_URLS：广播给集群中其他成员自己的客户端地址列表

ETCD_INITIAL_CLUSTER_STATE：新建集群的时候，这个值为new；假如已经存在的集群，这个值为 existing。

ETCD_INITIAL_CLUSTER_TOKEN:初始化集群token，创建集群的token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误。

注意：所有ETCD_MY_FLAG的配置参数也可以通过命令行参数进行设置，但是命令行指定的参数优先级更高，同时存在时会覆盖环境变量对应的值。

测试etcd集群

按上面配置好各集群节点后，分别在各节点启动etcd。

[root@etcd2 ~]# $ systemctl start etcd

查看所有集群节点信息。

[root@etcd1 ~]# etcdctl member list
Error:  client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:4001: getsockopt: connection refused
; error #1: dial tcp 127.0.0.1:2379: getsockopt: connection refused

error #0: dial tcp 127.0.0.1:4001: getsockopt: connection refused
error #1: dial tcp 127.0.0.1:2379: getsockopt: connection refused

如果出现以上错误信息，可以通过该方法解决：

在etcd配置文件中的ETCD_LISTEN_CLIENT_URLS项，加入http://127.0.0.1:2379 ,http://127.0.0.1:4001 。如：

ETCD_LISTEN_CLIENT_URLS="http://10.10.102.61:2379,http://10.10.102.61:4001,http://127.0.0.1:2379,http://127.0.0.1:4001"

再次查询：

[root@etcd2 ~]# etcdctl member list
ce2a822cea30bfca: name=etcd2 peerURLs=http://localhost:2380,http://localhost:7001 clientURLs=http://10.10.102.61:2379,http://10.10.102.61:4001 isLeader=true

如果查询出现：



由提示可知：是集群节点的版本太低导致的，

在etcd0上：

[root@10 ~]# etcd --version
etcd Version: 3.1.9
Git SHA: 0f4a535
Go Version: go1.7.4
Go OS/Arch: linux/amd64

在etcd1和etcd2上：

[root@10 ~]# etcd --version
etcd Version: 2.3.7
Git SHA: fd17c91
Go Version: go1.6.3
Go OS/Arch: linux/amd64

解决方法是卸载了某个集群节点的etcd，然后安装同样版本号的etcd即可，在这里我将低版本的卸载掉，重新安装高版本的。

卸载方法：

[root@10 ~]# yum remove etcd

重新安装好后，再重新像上面那样配置 etcd.conf，后启动etcd，查看集群状态：

[root@10 tmp]# etcdctl member list
81816861758ee8a9: name=etcd2 peerURLs=http://10.10.102.62:2380 clientURLs=http://10.10.102.62:2379,http://10.10.102.62:4001 isLeader=false
9551f10c6eb4d835: name=etcd0 peerURLs=http://10.10.102.60:2380 clientURLs=http://10.10.102.60:2379,http://10.10.102.60:4001 isLeader=false
e2f8b90ab44a9152: name=etcd1 peerURLs=http://10.10.102.61:2380 clientURLs=http://10.10.102.61:2379,http://10.10.102.61:4001 isLeader=true

证明集群部署成功。