Kubernetes部署master节点
2017-10-12 17:25
661 查看
部署master节点
kubernetes master 节点包含的组件:kube-apiserver
kube-scheduler
kube-controller-manager
目前这三个组件需要部署在同一台机器上:
kube-scheduler、
kube-controller-manager和
kube-apiserver三者的功能紧密相关;
同时只能有一个
kube-scheduler、
kube-controller-manager进程处于工作状态,如果运行多个,则需要通过选举产生一个 leader;
本文档介绍部署单机 kubernetes master 节点的步骤,没有实现高可用 master 集群。
计划后续再介绍部署LB的步骤,客户端 (kubectl、kubelet、kube-proxy) 使用LB的VIP来访问 kube-apiserver,从而实现高可用 master 集群。
master 节点与node节点上的Pods通过Pod网络通信,所以需要在master节点上部署Flannel网络。
使用的变量
本文档用到的变量定义如下:$ export MASTER_IP=10.50.101.41 # 替换为当前部署的 master 机器 IP $ source /usr/local/bin/environment.sh $
下载最新版本的二进制文件
有两种下载方式:从 github release 页面 下载发布版 tarball,解压后再执行下载脚本
$ wget https://github.com/kubernetes/kubernetes/releases/download/v1.6.2/kubernetes.tar.gz $ tar -xzvf kubernetes.tar.gz ... $ cd kubernetes $ ./cluster/get-kube-binaries.sh ...
从
CHANGELOG页面 下载
client或
servertarball 文件
server的 tarball
kubernetes-server-linux-amd64.tar.gz已经包含了
client(
kubectl) 二进制文件,所以不用单独下载
kubernetes-client-linux-amd64.tar.gz文件;
$ # wget https://dl.k8s.io/v1.6.2/kubernetes-client-linux-amd64.tar.gz $ wget https://dl.k8s.io/v1.6.2/kubernetes-server-linux-amd64.tar.gz $ tar -xzvf kubernetes-server-linux-amd64.tar.gz $ cd kubernetes $ tar -xzvf kubernetes-src.tar.gz
将二进制文件拷贝到指定路径:
$ sudo cp -r server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler,kubectl,kube-proxy,kubelet} /usr/local/bin/ $
安装和配置 flanneld
参考 上一篇(http://blog.csdn.net/john_f_lau/article/details/78216146)创建kubernetes证书
创建 kubernetes 证书签名请求$ cat > kubernetes-csr.json <<EOF { "CN": "kubernetes", "hosts": [ "127.0.0.1", "${MASTER_IP}", "${CLUSTER_KUBERNETES_SVC_IP}", "kubernetes", "kubernetes.default", "kubernetes.default.svc", "kubernetes.default.svc.cluster", "kubernetes.default.svc.cluster.local" ], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "BeiJing", "L": "BeiJing", "O": "k8s", "OU": "System" } ] } EOF
如果 hosts 字段不为空则需要指定授权使用该证书的 IP 或域名列表,所以上面分别指定了当前部署的 master 节点主机 IP;
还需要添加 kube-apiserver 注册的名为
kubernetes的服务 IP (Service Cluster IP),一般是 kube-apiserver
--service-cluster-ip-range选项值指定的网段的第一个IP,如 “10.254.0.1”;
$ kubectl get svc kubernetes NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes 10.254.0.1 <none> 443/TCP 1d
生成kubernetes证书和私钥
$ cfssl gencert -ca=/etc/kubernetes/ssl/ca.pem \ -ca-key=/etc/kubernetes/ssl/ca-key.pem \ -config=/etc/kubernetes/ssl/ca-config.json \ -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes $ ls kubernetes* kubernetes.csr kubernetes-csr.json kubernetes-key.pem kubernetes.pem $ sudo mkdir -p /etc/kubernetes/ssl/ $ sudo mv kubernetes*.pem /etc/kubernetes/ssl/ $ rm kubernetes.csr kubernetes-csr.json
配置和启动kube-apiserver
创建kube-apiserver使用的客户端 token 文件
kubelet 首次启动时向 kube-apiserver 发送 TLS Bootstrapping 请求,kube-apiserver 验证 kubelet 请求中的 token 是否与它配置的 token.csv 一致,如果一致则自动为 kubelet生成证书和秘钥。$ # 导入的 environment.sh 文件定义了 BOOTSTRAP_TOKEN 变量 $ cat > token.csv <<EOF ${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap" EOF $ mv token.csv /etc/kubernetes/ $
创建kube-apiserver启动脚本
创设置kube-apiserver 的systemd unit文件
$ cat > kube-apiserver.service <<EOF [Unit] Description=Kubernetes API Server Documentation=https://github.com/GoogleCloudPlatform/kubernetes After=network.target [Service] ExecStart=/usr/local/bin/kube-apiserver \\ --admission-control=NamespaceLifecycle,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota \\ --advertise-address=${MASTER_IP} \\ --bind-address=${MASTER_IP} \\ --insecure-bind-address=${MASTER_IP} \\ --authorization-mode=RBAC \\ --runtime-config=rbac.authorization.k8s.io/v1alpha1 \\ --kubelet-https=true \\ --experimental-bootstrap-token-auth \\ --token-auth-file=/etc/kubernetes/token.csv \\ --service-cluster-ip-range=${SERVICE_CIDR} \\ --service-node-port-range=${NODE_PORT_RANGE} \\ --tls-cert-file=/etc/kubernetes/ssl/kubernetes.pem \\ --tls-private-key-file=/etc/kubernetes/ssl/kubernetes-key.pem \\ --client-ca-file=/etc/kubernetes/ssl/ca.pem \\ --service-account-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --etcd-cafile=/etc/kubernetes/ssl/ca.pem \\ --etcd-certfile=/etc/kubernetes/ssl/kubernetes.pem \\ --etcd-keyfile=/etc/kubernetes/ssl/kubernetes-key.pem \\ --etcd-servers=${ETCD_ENDPOINTS} \\ --enable-swagger-ui=true \\ --allow-privileged=true \\ --apiserver-count=3 \\ --audit-log-maxage=30 \\ --audit-log-maxbackup=3 \\ --audit-log-maxsize=100 \\ --audit-log-path=/var/lib/audit.log \\ --event-ttl=1h \\ --v=2 Restart=on-failure RestartSec=5 Type=notify LimitNOFILE=65536 [Install] WantedBy=multi-user.target EOF
kube-apiserver 1.6 版本开始使用 etcd v3 API 和存储格式。
--authorization-mode=RBAC指定在安全端口使用 RBAC 授权模式,拒绝未通过授权的请求。
kube-scheduler、kube-controller-manager 一般和 kube-apiserver 部署在同一台机器上,它们使用非安全端口和 kube-apiserver通信。
kubelet、kube-proxy、kubectl 部署在其它 Node 节点上,如果通过安全端口访问 kube-apiserver,则必须先通过 TLS 证书认证,再通过 RBAC 授权。
kube-proxy、kubectl 通过在使用的证书里指定相关的 User、Group 来达到通过 RBAC 授权的目的。
如果使用了 kubelet TLS Boostrap 机制,则不能再指定
--kubelet-certificate-authority、
--kubelet-client-certificate和
--kubelet-client-key选项,否则后续 kube-apiserver 校验 kubelet 证书时出现 ”x509: certificate signed by unknown authority“ 错误。
--admission-control值必须包含
ServiceAccount,否则部署集群插件时会失败。
--bind-address不能为
127.0.0.1。
--service-cluster-ip-range指定 Service Cluster IP 地址段,该地址段不能路由可达。
--service-node-port-range=${NODE_PORT_RANGE}指定 NodePort 的端口范围。
缺省情况下 kubernetes 对象保存在 etcd
/registry路径下,可以通过
--etcd-prefix参数进行调整。
启动kube-apiserver
$ sudo cp kube-apiserver.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-apiserver $ sudo systemctl start kube-apiserver $ sudo systemctl status kube-apiserver $
配置和启动kube-controller-manager
设置kube-controller-manager启动项
创建 kube-controller-manager 的systemd unit文件
$ cat > kube-controller-manager.service <<EOF [Unit] Description=Kubernetes Controller Manager Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/local/bin/kube-controller-manager \\ --address=127.0.0.1 \\ --master=http://${MASTER_IP}:8080 \\ --allocate-node-cidrs=true \\ --service-cluster-ip-range=${SERVICE_CIDR} \\ --cluster-cidr=${CLUSTER_CIDR} \\ --cluster-name=kubernetes \\ --cluster-signing-cert-file=/etc/kubernetes/ssl/ca.pem \\ --cluster-signing-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --service-account-private-key-file=/etc/kubernetes/ssl/ca-key.pem \\ --root-ca-file=/etc/kubernetes/ssl/ca.pem \\ --leader-elect=true \\ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF
--address值必须为
127.0.0.1,因为当前 kube-apiserver 期望 scheduler 和 controller-manager 在同一台机器,否则:
$ kubectl get componentstatuses NAME STATUS MESSAGE ERROR controller-manager Unhealthy Get http://127.0.0.1:10252/healthz: dial tcp 127.0.0.1:10252: getsockopt: connection refused scheduler Unhealthy Get http://127.0.0.1:10251/healthz: dial tcp 127.0.0.1:10251: getsockopt: connection refused
参考:https://github.com/kubernetes-incubator/bootkube/issues/64
--master=http://{MASTER_IP}:8080:使用非安全 8080 端口与 kube-apiserver 通信。
--cluster-cidr指定 Cluster 中 Pod 的 CIDR 范围,该网段在各 Node 间必须路由可达(flanneld保证)。
--service-cluster-ip-range参数指定 Cluster 中 Service 的CIDR范围,该网络在各 Node 间必须路由不可达,必须和 kube-apiserver 中的参数一致。
--cluster-signing-*指定的证书和私钥文件用来签名为 TLS BootStrap 创建的证书和私钥。
--root-ca-file用来对 kube-apiserver 证书进行校验,指定该参数后,才会在Pod 容器的 ServiceAccount 中放置该 CA 证书文件。
--leader-elect=true部署多台机器组成的 master 集群时选举产生一处于工作状态的
kube-controller-manager进程。
完整 unit 见 kube-controller-manager.service
启动kube-controller-manager
$ sudo cp kube-controller-manager.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-controller-manager $ sudo systemctl start kube-controller-manager $
配置和启动kube-scheduler
设置kube-scheduler启动项
创建 kube-scheduler 的systemd unit文件
$ cat > kube-scheduler.service <<EOF [Unit] Description=Kubernetes Scheduler Documentation=https://github.com/GoogleCloudPlatform/kubernetes [Service] ExecStart=/usr/local/bin/kube-scheduler \\ --address=127.0.0.1 \\ --master=http://${MASTER_IP}:8080 \\ --leader-elect=true \\ --v=2 Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target EOF
--address值必须为
127.0.0.1,因为当前 kube-apiserver 期望 scheduler 和 controller-manager 在同一台机器。
--master=http://{MASTER_IP}:8080:使用非安全 8080 端口与 kube-apiserver 通信。
--leader-elect=true部署多台机器组成的 master 集群时选举产生一处于工作状态的
kube-controller-manager进程。
完整 unit 见 kube-scheduler.service。
启动kube-scheduler
$ sudo cp kube-scheduler.service /etc/systemd/system/ $ sudo systemctl daemon-reload $ sudo systemctl enable kube-scheduler $ sudo systemctl start kube-scheduler $
验证master节点功能
$ kubectl get componentstatuses NAME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health": "true"} etcd-1 Healthy {"health": "true"} etcd-2 Healthy {"health": "true"}
欢迎订阅微信公众号
相关文章推荐
- Kubernetes1.91(K8s)安装部署过程(四)--Master节点安装
- Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列之部署master/node节点组件(四)
- ubuntu16 kubernetes1.6安装(五、master节点安装)
- Kubernetes高可用Master节点安装
- Tokyo Cabinet & Tyrant 多服务器节点master-master部署思考
- centos7 单节点部署k8s以及kubernetes-dashboard安装
- kubernetes多节点部署解析
- Kubernetes1.91(K8s)安装部署过程(六)--node节点部署
- ubuntu16 kubernetes1.6安装(六、node节点部署)
- k8s-02-一键部署etcd(master节点)
- Kubernetes集群中部署Node节点
- storm1.x支持主节点nimbus高可用 多master集群部署
- Hadoop集群Master节点部署方案
- kubernetes多节点部署解析
- kubernetes多节点部署解析
- Ubuntu16.04手动部署Kubernetes(1)——Master和Node部署
- 多节点安装部署kubernetes
- kubernetes多节点部署的决心