kubeadm部署kubernetes集群

部署环境

本文中未加明显说明，将在所有机器上操作
系统环境: CetntOS 7
Docker版本：ce-v18.09.5
kubeneter版本: v1.14.1

安装前准备

1、关闭所有机器的防火墙

$ systemctl stop firewalld
$ systemctl disable firewalld
$ iptables -F

2、关闭所有服务器selinux

$ setenforce 0
$ sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

3、关闭所有服务器的交换分区(swap)

$ swapoff -a
$ sed -ri 's/.*swap.*/#&/' /etc/fstab

4、添加主机hosts记录

$ vim /etc/hosts
192.168.1.21  k8s-master
192.168.1.22  k8s-node01
192.168.1.23  k8s-node02

5、其他

$ echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

部署Docker环境

所有节点都安装

1、卸载旧的docker环境

$ yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine

2、安装依赖

$ yum install -y yum-utils \
device-mapper-persistent-data \
lvm2

3、添加docker yum源

$ yum-config-manager \
--add-repo \
https://download.docker.com/linux/CentOS/docker-ce.repo

4、安装docker ce

$ yum install docker-ce docker-ce-cli containerd.io

5、添加系统服务并启动

$ systemctl enable docker
$ systemctl start docker

6、添加镜像加速器

使用Daocloud提供的镜像加速服务

$ curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io
$ systemctl restart docker

7、验证docker

$ docker run --rm hello-world

部署k8s环境

1、安装组件(kubelet、kubeadm、kubectl)

所有节点都需要安装
kubelet运行在Cluster所有节点上，负责启动Pod和容器。
kubeadm用于初始化Cluster。
kubect I是Kubernetes命令行工具。通过kubectI可以部署和管理
应用，查看各种资源，创建、删除和更新各种组件。

a. 添加安装组件yum源

如果机器可以FQ，则可以直接使用一下命令安装

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF

推荐安装（使用阿里镜像安装）

$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

b. 安装

$ yum install -y kubelet kubeadm kubectl

2、下载k8s所需要的镜像

此处镜像使用阿里云构建的国内镜像源，由于k8s版本过高docker官网提供的仓库缺少部分指定版本的镜像

镜像映射文件

$ vim images
k8s.gcr.io/kube-apiserver:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-apiserver:v1.14.1
k8s.gcr.io/kube-controller-manager:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-controller-manager:v1.14.1
k8s.gcr.io/kube-scheduler:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-scheduler:v1.14.1
k8s.gcr.io/kube-proxy:v1.14.1=registry.cn-beijing.aliyuncs.com/musker/kube-proxy:v1.14.1
k8s.gcr.io/pause:3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1
k8s.gcr.io/etcd:3.3.10=registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.3.10
k8s.gcr.io/coredns:1.3.1=registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:1.3.1
quay.io/coreos/flannel:v0.11.0-amd64=registry.cn-beijing.aliyuncs.com/musker/flannel:v0.11.0-amd64

镜像下载脚本

$ vim load_images.sh
#/bin/bash
file="images"
if [ -f "$file" ]
then
echo "$file found."
while IFS='=' read -r key value
do
#echo "${key}=${value}"
docker pull ${value}
docker tag ${value} ${key}
docker rmi ${value}
done < "$file"
else
echo "$file not found."
fi

下载镜像

$ chmod +x load_images.sh
$ ./load_images.sh

3、初始化master(master节点执行)

$ kubeadm init --apiserver-advertise-address=192.168.1.21 --pod-network-cidr=10.224.0.0/16
参数解释：
--apiserver-advertise-address
指定master的那个interface与cluster的其他节点通信，如果master有多个interface，建议明确指定，如果不指定，kubeadm回自动选择有默认网关的interface
--pod-network-cidr
指定pod网络的范围。kubernetes支持多种网络方案，而且不网络方案对此参数有自己的要求，这里设置10.224.0.0/16是因为本文将使用flannel网络方案，必须设置成这个CIDR。

kubeadm初始化过程:

(1) kubeadm执行初始化前的检查

(2) 生成token和证书。

(3) 生成Kube Config文件，kubelet需要用这个文件与Master通信。

(4) 安装Master组件，会从Google的 Registry下载组件的 Docker镜像。这一步可能会花一些时间，主要取决于网络质量(本文中提前下载好了镜像，所以此步骤很快)。

(5) 安装附加组件kube-proxy和kube-dns。

(6) Kubernetes Master初始化成功。

(7) 提示如何配置kubectl。

(8) 提示如何安装Pod 网络。

(9) 提示如何注册其他节点到Cluster。

4、配置kubectl(master节点执行)

这里创建一个k8s的普通用户来执行kubectl命令(root会有一些问题)

$ useradd k8s
$ passwd k8s
$ mkdir -p /home/k8s/.kube
$ cp -i /etc/kubernetes/admin.conf /home/k8s/.kube/config
$ chown k8s:k8s /home/k8s/.kube/config

添加命令行提示

$ yum -y install bash-completion
$ echo "source < (kubectl completion bash)" >> ~/.bashrc

现在可以使用tab键快速补全命令

5、安装pod网络(master节点执行)

支持kubernetes cluster 之间pod网络通信，kubernetes支持多种网络，本文使用flannel网络。

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

6、将node节点添加到kubernetes集群(node节点执行)

$ kubeadm join --token 172awr.uqxymof1vveznmtr 192.168.1.21:6443

如果出现以下错误，说明需要进行ca校验可以使用--discovery-token-unsafe-skip-ca-verification参数忽略校验

discovery.bootstrapToken: Invalid value: "": using token-based discovery without caCertHashes can be unsafe. Set unsafeSkipCAVerification to continue

这里指定的--token来自前面kubeadm init执行后输出的信息。如果没有记录可以通过kubeadm token list进行查看。最后一个参数是指定master节点的ip和k8s api(https)端口

$ kubeadm token list
TOKEN                     TTL       EXPIRES                     USAGES                   DESCRIPTION                                                EXTRA GROUPS
172awr.uqxymof1vveznmtr   8h        2019-05-07T18:22:38+08:00   authentication,signing   The default bootstrap token generated by 'kubeadm init'.   system:bootstrappers:kubeadm:default-node-token

7、验证集群状态(master节点执行)

查看各个节点的状态

$ kubectl get nodes
NAME         STATUS     ROLES    AGE   VERSION
k8s-master   Ready      master   15h   v1.14.1
k8s-node01   NotReady   <none>   22m   v1.14.1
k8s-node02   NotReady   <none>   22m   v1.14.1

如果发现节点状态为NotReady，这是因为每个节点都需要启动若干个组件，这些组件都是在Pod中运行，需要首先从google下载镜像。可以通过以下命令查看Pod状态

$ kubectl get pod --all-namespaces

Pending、Container Creating、Image Pullbackoff 都表明 Pod 没有就绪，Runningオ是就绪状态。我们可以通过 kubectl describe pod <Pod Name>查看 Pod 的具体情况

$ kubectl describe pod  kube-flannel-ds-amd64-7kjsk --namespace=kube-system

等待一段时间，Image 成功下载后，所有 Pod 都会处于 Running 状态。如果镜像下载失败，我们需要手动的去docker pull镜像(参考本节第二部分)。

再通过kubectl get nodes命令查看节点状态，所有节点均处于Ready状态表示kubernetes cluster集群创建成功。

$ kubectl get nodes
NAME         STATUS   ROLES    AGE   VERSION
k8s-master   Ready    master   15h   v1.14.1
k8s-node01   Ready    <none>   33m   v1.14.1
k8s-node02   Ready    <none>   33m   v1.14.1

8、创建pod验证集群可用性

a. 创建nginx pod容器

$ kubectl run nginx-deployment --image=nginx:1.16.0 --port=80 --replicas=3

b. 查看pod状态

$ kubectl get pods
NAME                                READY   STATUS    RESTARTS   AGE
nginx-deployment-6dcd798fd8-77s9l   1/1     Running   0          99s
nginx-deployment-6dcd798fd8-g5v2c   1/1     Running   0          99s
nginx-deployment-6dcd798fd8-qc64z   1/1     Running   0          99s

c.暴露nginx外部访问端口

$ kubectl expose deployment/nginx-deployment --type="NodePort" --port 80
$ kubectl get service
NAME               TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
nginx-deployment   NodePort    10.105.86.75   <none>        80:30939/TCP   9s

d. 访问验证

$ curl -I http://127.0.0.1:30939