用Prometheus监控K8S,目前最实用的部署方式都说全了(有彩蛋) - 运维
在过去的几年中,云计算已经成为及分布式计算最火热的技术之一,其中Docker、Kubernetes、Prometheus等开源软件的发展极大地推动了云计算的发展。本文首先从Prometheus是如何监控Kubernetes入手,介绍Prometheus Operator组件。接着详细介绍基于Kubernetes的两种Prometheus部署方式,最后介绍服务配置、监控对象以及数据展示和告警。通过本文,大家可以在Kubernetes集群的基础上学习和搭建完善的Prometheus监控系统。
一、Prometheus与Kubernetes完美结合
Kubernetes使用Docker进行容器管理,如果说Docker和kubernetes的搭配是云原生时代的基石,那么Prometheus为云原生插上了飞翔的翅膀。随着云原生社区的不断壮大,应用场景越来越复杂,需要一套针对云原生环境的完善并且开放的监控平台。在这样的环境下,Prometheus应运而生,天然支持Kubernetes。
1、Kubernetes Operator
在Kubernetes的支持下,管理和伸缩Web应用、移动应用后端以及API服务都变得比较简单了。因为这些应用一般都是无状态的,所以Deployment这样的基础Kubernetes API对象就可以在无需附加操作的情况下,对应用进行伸缩和故障恢复了。
而对于数据库、缓存或者监控系统等有状态应用的管理,就是挑战了。这些系统需要掌握应用领域的知识,正确地进行伸缩和升级,当数据丢失或不可用的时候,要进行有效的重新配置。我们希望这些应用相关的运维技能可以编码到软件之中,从而借助Kubernetes 的能力,正确地运行和管理复杂应用。
Operator这种软件,使用TPR(第三方资源,现在已经升级为CRD)机制对Kubernetes API进行扩展,将特定应用的知识融入其中,让用户可以创建、配置和管理应用。与Kubernetes的内置资源一样,Operator操作的不是一个单实例应用,而是集群范围内的多实例。
2、Prometheus Operator
Kubernetes的Prometheus Operator为Kubernetes服务和Prometheus实例的部署和管理提供了简单的监控定义。
安装完毕后,Prometheus Operator提供了以下功能:
-
创建/毁坏。在Kubernetes namespace中更容易启动一个Prometheus实例,一个特定的应用程序或团队更容易使用的Operato。
-
简单配置。配Prometheus的基础东西,比如在Kubernetes的本地资源versions, persistence,retention policies和replicas。
-
Target Services通过标签。基于常见的Kubernetes label查询,自动生成监控target配置;不需要学习Prometheus特定的配置语言。
Prometheus Operator架构如图1所示。
图1 Prometheus Operator架构
架构中的各组成部分以不同的资源方式运行在Kubernetes集群中,它们各自有不同的作用。
-
Operator:Operator资源会根据自定义资源(Custom Resource Definition,CRD)来部署和管理Prometheus Server,同时监控这些自定义资源事件的变化来做相应的处理,是整个系统的控制中心。
-
Prometheus: Prometheus资源是声明性地描述Prometheus部署的期望状态。
-
Prometheus Server: Operator根据自定义资源Prometheus类型中定义的内容而部署的Prometheus Server集群,这些自定义资源可以看作用来管理Prometheus Server 集群的StatefulSets资源。
-
ServiceMonitor:ServiceMonitor也是一个自定义资源,它描述了一组被Prometheus监控的target列表。该资源通过标签来选取对应的Service Endpoint,让Prometheus Server通过选取的Service来获取Metrics信息。
-
Service:Service资源主要用来对应Kubernetes集群中的Metrics Server Pod,提供给ServiceMonitor选取,让Prometheus Server来获取信息。简单说就是Prometheus监控的对象,例如Node Exporter Service、Mysql Exporter Service等。
-
Alertmanager:Alertmanager也是一个自定义资源类型,由Operator根据资源描述内容来部署Alertmanager集群。
二、在Kubernetes上部署Prometheus的传统方式
本节详细介绍Kubernetes通过YAML文件方式部署Prometheus的过程,即按顺序部署了Prometheus、kube-state-metrics、node-exporter以及Grafana。图2展示了各个组件的调用关系。
图2 传统方式Kubernetes部署Prometheus
在Kubernetes Node上部署Node exporter,获取该节点物理机或者虚拟机的监控信息,在Kubernetes Master上部署kube-state-metrics获取Kubernetes集群的状态。所有信息汇聚到Prometheus进行处理和存储,然后通过Grafana进行展示。
1、Kubernetes部署Prometheus
部署对外可访问Prometheus,首先需要创建Prometheus所在命名空间,然后创建Prometheus使用的RBAC规则,创建Prometheus的configmap来保存配置文件。创建service进行固定集群IP访问,创建deployment部署带有Prometheus容器的pod,最后创建ingress实现外部域名访问Prometheus。
部署顺序如图3所示。
图3 Kubernetes集群架构
创建名为monitoring命名空间,相关对象都部署到该命名空间,使用以下命令创建命名空间:
$ kubectl create -f ns-monitoring.yaml
ns-monitoring.yaml文件内容如下:
apiVersion: v1 kind: Namespace metadata:name: monitoring
可以看到该YAML文件使用的apiVersion版本是v1,kind是Namespace,命名空间的名字是monitoring。
使用以下命令确认名为monitoring的ns已经创建成功:
$ kubectl get ns monitoringNAME STATUS AGEmonitoring Active 1d
创建RBAC规则,包含ServiceAccount、ClusterRole、ClusterRoleBinding三类YAML文件。Service Account 是面向命名空间的,ClusterRole、ClusterRoleBinding是面向整个集群所有命名空间的,可以看到ClusterRole、ClusterRoleBinding对象并没有指定任何命名空间。ServiceAccount中可以看到,名字是prometheus-k8s,在monitoring命名空间下。ClusterRole一条规则由apiGroups、resources、verbs共同组成。ClusterRoleBinding中subjects是访问API的主体,subjects包含users、groups、service accounts三种类型,我们使用的是ServiceAccount类型,使用以下命令创建RBAC:
kubectl create -f prometheus-rbac.yaml
rometheus-rbac.yaml文件内容如下:
apiVersion: v1kind: ServiceAccountmetadata: name: prometheus-k8s namespace: monitoring---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: prometheusrules:- apiGroups: [""] resources: ["nodes", "services", "endpoints", "pods"] verbs: ["get", "list", "watch"]- apiGroups: [""] resources: ["configmaps"] verbs: ["get"]- nonResourceURLs: ["/metrics"] verbs: ["get"]---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: prometheusroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-adminsubjects:- kind: ServiceAccount name: prometheus-k8s namespace: monitoring
使用以下命令确认RBAC是否创建成功:
$ kubectl get sa prometheus-k8s -n monitoringNAME SECRETS AGEprometheus-k8s 1 1d $ kubectl get clusterroleprometheusNAME AGEprometheus 1d$ kubectl get clusterrolebinding prometheusNAME AGEprometheus 1d
使用ConfigMap方式创建Prometheus配置文件,YAML文件中使用的类型是ConfigMap,命名空间为monitoring,名称为prometheus-core,apiVersion是v1,data数据中包含prometheus.yaml文件,内容是prometheus.yaml: |这行下面的内容。使用以下命令创建Prometheus的配置文件:
$ kubectl create -f prometheus-core-cm.yaml
prometheus-core-cm.yaml文件内容如下:
kind: ConfigMapmetadata: creationTimestamp: null name: prometheus-core namespace: monitoringapiVersion: v1data: prometheus.yaml: | global: scrape_interval: 15s scrape_timeout: 15s evaluation_interval: 15s alerting: alertmanagers: - static_configs: - targets: ["10.254.127.110:9093"] rule_files: - "/etc/prometheus-rules/*.yml" scrape_configs: - job_name: 'kubernetes-apiservers' kubernetes_sd_configs: - role: endpoints scheme: https tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token relabel_configs: - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name] action: keep regex: default;kubernetes;https
由于篇幅有限,该配置文件只有一个名为kubernetes-apiservers的job,完整配置请查看源码文件。
使用以下命令查看已创建的配置文件prometheus-core:
$ kubectl get cm -n monitoring prometheus-coreNAME DATA AGEprometheus-core 1 1d
通过以下命令查看配置文件prometheus-core的详细信息:
$ kubectl get cm -n monitoring prometheus-core -o yaml
创建prometheus rules配置文件,使用ConfigMap方式创建prometheus rules配置文件,包含的内容是两个文件,分别是node-up.yml和cpu-usage.yml。使用以下命令创建Prometheus的另外两个配置文件:
$ kubectl create -f prometheus-rules-cm.yaml
prometheus-rules-cm.yaml文件内容如下:
kind: ConfigMapapiVersion: v1metadata: name: prometheus-rules namespace: monitoringdata: node-up.yml: | groups: - name: server_rules rules: - alert: 机器宕机 expr: up{component="node-exporter"} != 1 for: 1m labels: severity: "warning" instance: "{{ $labels.instance }}" annotations: summary: "机器 {{ $labels.instance }} 处于down的状态" description: "{{ $labels.instance }} of job {{ $labels.job }} 已经处于down状态超过1分钟,请及时处理" cpu-usage.yml: | groups: - name: cpu_rules rules: - alert: cpu 剩余量过低 expr: 100 - (avg by (instance) (irate(node_cpu_seconds_total{mode= "idle"}[5m])) * 100) > 85 for: 1m labels: severity: "warning" instance: "{{ $labels.instance }}" annotations: summary: "机器 {{ $labels.instance }} cpu 已用超过设定值" description: "{{ $labels.instance }} CPU 用量已超过 85% (current value is: {{ $value }}),请及时处理。"
本节的配置文件是Prometheus告警信息的配置文件,篇幅有限,可在文件后继续增加告警信息文件。
使用以下命令查看已下发的配置文件prometheus-core:
$ kubectl get cm -n monitoring prometheus-rulesNAME DATA AGEprometheus-rules 11 1d
使用以下命令查看配置文件prometheus-core详细信息:
$ kubectl get cm -n monitoring prometheus-rules -o yaml
创建prometheus svc,会生成一个CLUSTER-IP进行集群内部的访问,CLUSTER-IP也可以自己指定。使用以下命令创建Prometheus要用的service:
$ kubectl create -f prometheus-service.yaml
prometheus-service.yaml文件内容如下:
apiVersion: v1
kind: Service
metadata:
name: prometheus
namespace: monitoring
labels:
app: prometheus
component: core
annotations:
prometheus.io/scrape: 'true'
spec:
ports:
- port: 9090
targetPort: 9090
protocol: TCP
name: webui
selector:
app: prometheus
component: core
使用以下命令查看已创建的名为prometheus的service:
$ kubectl get svc prometheus -n monitoringNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEprometheus ClusterIP 10.254.192.194 <none> 9090/TCP 1d
使用deployment方式创建prometheus实例,命令如下:
$ kubectl create -f prometheus-deploy.yaml
prometheus-deploy.yaml文件内容如下:
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: prometheus-core
namespace: monitoring
labels:
app: prometheus
component: core
spec:
replicas: 1
template:
metadata:
name: prometheus-main
labels:
app: prometheus
component: core
spec:
serviceAccountName: prometheus-k8s
nodeSelector:
kubernetes.io/hostname: 192.168.10.2
containers:
- name: prometheus
image: zqdlove/prometheus:v2.0.0
args:
- '--storage.tsdb.retention=15d'
- '--config.file=/etc/prometheus/prometheus.yaml'
- '--storage.tsdb.path=/home/prometheus_data'
- '--web.enable-lifecycle'
ports:
- name: webui
containerPort: 9090
resources:
requests:
cpu: 20000m
memory: 20000M
limits:
cpu: 20000m
memory: 20000M
securityContext:
privileged: true
volumeMounts:
- name: data
mountPath: /home/prometheus_data
- name: config-volume
mountPath: /etc/prometheus
- name: rules-volume
mountPath: /etc/prometheus-rules
- name: time
mountPath: /etc/localtime
volumes:
- name: data
hostPath:
path: /home/cdnadmin/prometheus_data
- name: config-volume
configMap:
name: prometheus-core
- name: rules-volume
configMap:
name: prometheus-rules
- name: time
hostPath:
path: /etc/localtime
使用以下命令查看已创建的名字为prometheus-core的deployment的状态:
$ kubectl get deployment prometheus-core -n monitoringNAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGEprometheus-core 1 1 1 1 1d
返回信息表示部署期望的pod有1个,当前有1个,更新到最新状态的有1个,可用的有1个,pod当前的年龄是1天。
创建prometheus ingress实现外部域名访问,使用以下命令创建Ingress:
$ kubectl create -f prometheus_Ingress.yaml
prometheus_Ingress.yaml文件内容如下:
apiVersion: extensions/v1beta1kind: Ingressmetadata: name: traefik-prometheus namespace: monitoringspec: rules: - host: prometheus.test.com http: paths: - path: / backend: serviceName: prometheus servicePort: 9090
将prometheus.test.com域名解析到Ingress服务器,此时可以通过prometheus.test.com访问Prometheus的监控数据的界面了。
使用以下命令查看已创建Ingress的状态:
$ kubectl get ing traefik-prometheus-n monitoringNAME HOSTS ADDRESS PORTS AGEtraefik-prometheus prometheus.test.com80 1d
将域名prometheus.test.com指向Ingress服务器,并访问该域名,主界面如图4所示。
图4 主界面
2、Kubernetes部署kube-state-metrics
kube-state-metrics使用名为monitoring的命名空间,在上节已创建,不需要再次创建,通过以下命令确认ns创建是否成功:
$ kubectl get ns monitoringNAME STATUS AGEmonitoring Active 1d
创建RBAC,包含ServiceAccount、ClusterRole、ClusterRoleBinding三类YAML文件,本节RBAC内容结构和上节中内容类似。使用以下命令创建kube-state-metrics RBAC:
$ kubectl create -f kube-state-metrics-rbac.yaml
kube-state-metrics-rbac.yaml文件内容如下:
apiVersion: v1kind: ServiceAccountmetadata: name: kube-state-metrics namespace: monitoring---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata: name: kube-state-metricsrules:- apiGroups: [""] resources: ["nodes","pods","services","resourcequotas", "replicationcontrollers","limitranges"] verbs: ["list", "watch"]- apiGroups: ["extensions"] resources: ["daemonsets","deployments","replicasets"] verbs: ["list", "watch"]- apiGroups: ["batch/v1"] resources: ["job"] verbs: ["list", "watch"]- apiGroups: ["v1"] resources: ["persistentvolumeclaim"] verbs: ["list", "watch"]- apiGroups: ["apps"] resources: ["statefulset"] verbs: ["list", "watch"]- apiGroups: ["batch/v2alpha1"] resources: ["cronjob"] verbs: ["list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name: kube-state-metricsroleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: kube-state-metrics# name: cluster-adminsubjects:- kind: ServiceAccount name: kube-state-metrics namespace: monitoring
使用以下命令确认RBAC是否创建成功,命令分别获取已创建的ServiceAccount、ClusterRole、ClusterRoleBinding:
$ kubectl get sa kube-state-metrics -n monitoringNAME SECRETS AGEkube-state-metrics 1 1d$ kubectl get clusterrole kube-state-metricsNAME AGEkube-state-metrics 1d$ kubectl get clusterrolebinding kube-state-metricsNAME AGEkube-state-metrics 1d
使用以下命令创建kube-state-metrics Service:
$ kubectl create -f kube-state-metrics-service.yaml
kube-state-metrics-service.yaml文件内容如下:
apiVersion: v1kind: Servicemetadata: annotations: prometheus.io/scrape: 'true' name: kube-state-metrics namespace: monitoring labels: app: kube-state-metricsspec: ports: - name: kube-state-metrics port: 8080 protocol: TCP selector: app: kube-state-metrics
使用以下命令查看名为kube-state-metrics的Service:
$ kubectl get svc kube-state-metrics -n monitoringNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEkube-state-metrics ClusterIP 10.254.76.203 <none> 8080/TCP 1d
使用以下命令创建名为kube-state-metrics的deployment,用来部署kube-state-metrics Docker容器:
$ kubectl create -f kube-state-metrics-deploy.yaml
kube-state-metrics-deploy.yaml文件内容如下:
apiVersion: extensions/v1beta1kind: Deploymentmetadata: name: kube-state-metrics namespace: monitoringspec: replicas: 1 template: metadata: labels: app: kube-state-metrics spec: serviceAccountName: kube-state-metrics nodeSelector: type: k8smaster containers: - name: kube-state-metrics image: zqdlove/kube-state-metrics:v1.0.1 ports: - containerPort: 8080
使用以下命令查看monitoring命名空间下名为kube-state-metrics的deployment的状态信息:
$ kubectl get deployment kube-state-metrics -n monitoringNAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGEkube-state-metrics 1 1 1 1 1d
使用以下命令查看相关的详细信息:
$ kubectl get deployment kube-state-metrics -n monitoring -o yaml$ kubectl describe deployment kube-state-metrics -n monitoring
通过上节已部署的Prometheus界面如图5所示。
图5 Prometheus监控目标
3、Kubernetes部署node-exporter
在Prometheus中负责数据汇报的程序统一称为Exporter,而不同的Exporter负责不同的业务。它们具有统一命名格式,即xx_exporter,例如,负责主机信息收集的node_exporter。本节为安装node_exporter的教程。node_exporter主要用于*NIX系统监控,用Golang编写。
node-exporter使用名为monitoring的命名空间,上节已创建,不需要再次创建,通过以下命令确认ns创建是否成功:
$ kubectl get ns monitoringNAME STATUS AGEmonitoring Active 1d
使用以下命令部署node-exporter service:
$ kubectl create -f node_exporter-service.yaml
node_exporter-service.yaml文件内容如下:
apiVersion: v1kind: Servicemetadata: annotations: prometheus.io/scrape: 'true' name: prometheus-node-exporter namespace: monitoring labels: app: prometheus component: node-exporterspec: clusterIP: None ports: - name: prometheus-node-exporter port: 9100 protocol: TCP selector: app: prometheus component: node-exporter type: ClusterIP
使用以下命令查看monitoring命名空间下名为prometheus-node-exporter的service:
$ kubectl get svc prometheus-node-exporter -n monitoringNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEprometheus-node-exporter ClusterIP None <none> 9100/TCP 1d
使用daemonset方式创建node-exporter容器,命令如下:
$ kubectl create -f node_exporter-daemonset.yaml
node_exporter-daemonset.yaml文件详细内容如下:
apiVersion: extensions/v1beta1kind: DaemonSetmetadata: name: prometheus-node-exporter namespace: monitoring labels: app: prometheus component: node-exporterspec: template: metadata: name: prometheus-node-exporter labels: app: prometheus component: node-exporter spec: containers: - image: zqdlove/node-exporter:v0.16.0 name: prometheus-node-exporter ports: - name: prom-node-exp containerPort: 9100 hostPort: 9100 resources: requests: # cpu: 20000m cpu: "0.6" memory: 100M limits: cpu: "0.6" #cpu: 20000m memory: 100M command: - /bin/node_exporter - --path.procfs - /host/proc - --path.sysfs - /host/sys - --collector.filesystem.ignored-mount-points - ^/(sys|proc|dev|host|etc)($|/) volumeMounts: - name: proc mountPath: /host/proc - name: sys mountPath: /host/sys - name: root mountPath: /rootfs volumes: - name: proc hostPath: path: /proc - name: sys hostPath: path: /sys - name: root hostPath: path: / // 此处可以指定固定IP 192.168.10.3不部署服务 // affinity: // nodeAffinity: // requiredDuringSchedulingIgnoredDuringExecution: // nodeSelectorTerms: // - matchExpressions: // - key: kubernetes.io/hostname // operator: NotIn // values: // - 192.168.10.3 hostNetwork: true hostPID: true
查看monitoring命令空间下名为prometheus-node-exporter的daemonset的状态,命令如下:
$ kubectl get ds prometheus-node-exporter -n monitoringNAME DESIRED CURRENT READYUP-TO-DATE AVAILABLENODE SELECTOR AGEprometheus-node-exporter 3 3 333<none>1d
从返回信息可以看到,名为prometheus-node-exporter的daemonset,当前有3个实例,都已经是Ready状态,都可用。
查看monitoring命令空间下名为prometheus-node-exporter的daemonset的详细状态信息,命令如下:
$ kubectl get ds prometheus-node-exporter -n monitoring -o yaml$ kubectl describe ds prometheus-node-exporter -n monitoring 4、Kubernetes部署Grafana
Grafana使用名为monitoring的命名空间,前面小节已经创建,不需要再次创建,通过以下命令确认ns创建是否成功:
$ kubectl get ns monitoringNAME STATUS AGEmonitoring Active 1d
使用以下命令创建Grafana Service:
$ kubectl create -f grafana-service.yaml
grafana-service.yaml文件内容如下:
apiVersion: v1kind: Servicemetadata: name: grafana namespace: monitoring labels: app: grafana component: corespec: ports: - port: 3000 selector: app: grafana component: core
使用以下命令查看monitoring命令空间下名为grafana的service的信息:
$ kubectl get svc grafana -n monitoringNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEgrafana ClusterIP 10.254.254.2 <none> 4444/TCP 1d
使用deployment方式部署Grafana,命令如下:
$ kubectl create -f grafana-deploy.yaml
grafana-deploy.yaml文件内容如下:
apiVersion: extensions/v1beta1kind: Deploymentmetadata: name: grafana-core namespace: monitoring labels: app: grafana component: corespec: replicas: 1 template: metadata: labels: app: grafana component: core spec: nodeSelector: kubernetes.io/hostname: 192.168.10.2 containers: - image: zqdlove/grafana:v5.0.0 name: grafana-core imagePullPolicy: IfNotPresent #securityContext: # privileged: true # env: resources: # keep request = limit to keep this container in guaranteed class limits: cpu: 10000m memory: 32000Mi requests: cpu: 10000m memory: 32000Mi env: # The following env variables set up basic auth twith the default admin user and admin password - name: GF_AUTH_BASIC_ENABLED value: "true" - name: GF_AUTH_ANONYMOUS_ENABLED value: "false" # - name: GF_AUTH_ANONYMOUS_ORG_ROLE # value: Admin # does not really work, because of template variables in exported dashboards: # - name: GF_DASHBOARDS_JSON_ENABLED # value: "true" readinessProbe: httpGet: path: /login port: 3000 # initialDelaySeconds: 30 # timeoutSeconds: 1 volumeMounts: - name: grafana-persistent-storage mountPath: /var - name: grafana mountPath: /etc/grafana # - name: grafana-ldap-grafana # mountPath: /etc/grafana # - name: grafana-ldap-conf # mountPath: /usr/share/grafana/conf volumes: - name: grafana-persistent-storage emptyDir: {} - name: grafana hostPath: path: /etc/grafana # - name: grafana-ldap-grafana # configMap: # name: grafana-ldap-grafana-configmap # - name: grafana-ldap-conf # configMap: # name: grafana-ldap-conf-configmap
查看monitoring命令空间下名为grafana-core的deployment的状态,信息如下:
$ kubectl get deployment grafana-core -n monitoringNAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGEgrafana-core 1 1 1 1 1d
要查看monitoring命令空间下名为grafana-core的deployment的详细信息,使用以下命令:
$ kubectl get deployment grafana-core -n monitoring -o yaml$ kubectl describe deployment grafana-core -n monitoring
创建grafana ingress实现外部域名访问,命令如下:
$ kubectl create -f grafana-ingress.yaml
grafana-ingress.yaml文件内容如下:
apiVersion: extensions/v1beta1kind: Ingressmetadata: name: traefik-grafana namespace: monitoringspec: rules: - host: grafana.test.com http: paths: - path: / backend: serviceName: grafana servicePort: 4444
查看monitoring命名空间下名为traefik-grafana的Ingress,使用以下命令:
$ kubectl get ingress traefik-grafana -n monitoringNAME HOSTS ADDRESS PORTS AGEtraefik-grafana grafana.test.com 80 1d
查看monitoring命名空间下名为traefik-grafana的Ingress的详细信息,使用以下命令:
$ kubectl get ingress traefik-grafana -n monitoring -o yaml
将grafana.test.com解析到Ingress服务器,此时可以通过grafana.test.com访问Grafana的监控展示的界面。
三、通过Operator方式部署Prometheus
传统方式部署步骤相对复杂,随着Operator的日益成熟,推荐使用Operator方式部署Prometheus。通过Operator方式部署Prometheus,可将更多的操作集成到Operator中,简化了操作过程,也使部署更加简单。本节详细介绍在Kubernetes中使用Operator方式部署整套Prometheus监控。
1、Kubernetes基础环境
部署Prometheus依赖的基础环境如下:
-
Kubernetes版本为1.14.0。
-
helm版本为v2.13.1。
-
按需要安装coreDNS、Nginx。
本节使用Helm安装。Helm chart根据实际使用修改。
2、安装Prometheus Operator
使用git下载prometheus-operator源码,并进入到源码目录,如下所示:
git clone https:// github.com/coreos/prometheus-operator.gitcd prometheus-operator
使用git将软件切换到v0.29.0版本,并进入到helm目录:
git checkout -b v0.29.0 v0.29.0cd helm
使用helm在名为monitoring的命名空间下安装prometheus-operator,命令如下:
helm install prometheus-operator --name prometheus-operator --namespace monitoring
使用helm命令查看安装结果,命令如下:
$ helm ls prometheus-operatorNAME REVISION UPDATE DSTATUS CHART APP VERSION NAMESPACEprometheus-operator 1 Thu Apr 11 10:30:11 2019DEPLOYED prometheus-operator-0.0.29 0.20.0monitoring
3、部署kube-prometheus
创建kube-prometheus/charts目录,使用如下命令:
mkdir -p kube-prometheus/charts
使用Helm打包kube-prometheus所依赖的chart包,命令如下:
helm package -d kube-prometheus/charts alertmanager grafana prometheus exporter-kube-dns exporter-kube-scheduler exporter-kubelets exporter-node exporter-kube-controller-manager exporter-kube-etcd exporter-kube-state exporter-coredns exporter-kubernetes
使用Helm在名为monitoring的命名空间下安装kube-prometheus,具体命令如下:
helm install kube-prometheus --name kube-prometheus --namespace monitoring
使用以下命令查看安装结果:
$ helm ls kube-prometheus
NAME REVISION UPDATED STATUSCHART APP VERSION NAMESPACE
kube-prometheus 1 Thu Apr 11 11:55:44 2019 DEPLOYED kube-prometheus-0.0.105 monitoring
四、服务配置
本节主要介绍Prometheus的静态配置和服务发现配置,以及静态配置和动态服务发现配置的用法。
1、静态配置
静态配置是Prometheus中简单的配置,指定获取指标的地址,并分配所获取指标的标签。Prometheus最简单的配置是静态目标,如下配置文件:
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090', 'localhost:9100']
labels:
group: 'prometheus'
scrape_configs表示定义收集规则,指定了:localhost:9090和localhost:9100作为获取信息的地址,并给获取的信息打上了group=prometheus的标签。
2、服务发现配置
Prometheus支持多种服务发现机制:文件、DNS、Consul、Kubernetes、OpenStack、EC2等。基于服务发现的过程并不复杂,通过第三方提供的接口,Prometheus查询到需要监控的Target列表,然后轮训这些Target获取监控数据,下面主要介绍Kubernetes服务发现机制。
目前,在Kubernetes下,Prometheus通过与Kubernetes API集成主要支持5种服务发现模式:Node、Service、Pod、Endpoints、Ingress。不同的服务发现模式适用于不同的场景,例如:node适用于与主机相关的监控资源,如节点中运行的Kubernetes组件状态、节点上运行的容器状态等;service和igress适用于通过黑盒监控的场景,如对服务的可用性以及服务质量的监控;endpoints和pod均可用于获取Pod实例的监控数据,如监控用户或者管理员部署的支持Prometheus的应用。
以下配置文件指定了间歇时间是30s,超时间是10s,从目标获取数据的http路径是
/metrics,使用http协议。kubernetes服务发现配置列表中指定了服务发现模式为endpoints,命名空间为monitoring。relabel_configs允许在抓取之前对任何目标及其标签进行修改:
scrape_configs:- job_name: monitoring/kube-prometheus/0 scrape_interval: 30s scrape_timeout: 10s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - monitoring relabel_configs: - source_labels: [__meta_kubernetes_service_label_app] separator: ; regex: prometheus replacement: $1 action: keep - source_labels: [__meta_kubernetes_service_label_chart] separator: ; regex: prometheus-0.0.51 replacement: $1 action: keep - source_labels: [__meta_kubernetes_service_label_prometheus] separator: ; regex: kube-prometheus replacement: $1 action: keep - source_labels: [__meta_kubernetes_endpoint_port_name] separator: ; regex: http replacement: $1 action: keep - source_labels: [__meta_kubernetes_namespace] separator: ; regex: (.*) target_label: namespace replacement: $1 action: replace - source_labels: [__meta_kubernetes_pod_name] separator: ; regex: (.*) target_label: pod replacement: $1 action: replace - source_labels: [__meta_kubernetes_service_name] separator: ; regex: (.*) target_label: service replacement: $1 action: replace - source_labels: [__meta_kubernetes_service_name] separator: ; regex: (.*) target_label: job replacement: ${1} action: replace - source_labels: [__meta_kubernetes_service_label_app] separator: ; regex: (.+) target_label: job replacement: ${1} action: replace - separator: ; regex: (.*) target_label: endpoint replacement: http action: replace
以上配置文件对应Prometheus服务发现界面中monitoring/kube-prometheus/0,如图6所示。
图6 Prometheus服务发现
五、监控对象
Prometheus可以监控Kubernetes非常多的对象,本节主要介绍Docker容器、kube-apiserver、kube-state-metrics以及主机等几个方面。完整的Targets可以通过Prometheus界面查看,如图7所示。
图7 Prometheus监控Kubernetes环境服务
1、容器监控
Kubernetes直接在Kubelet组件中集成了cAdvisor,cAdvisor会自动采集当前节点上容器CPU、内存、文件系统,网络等资源的使用情况。以下是Prometheus配置中容器监控的部分代码:
- job_name: monitoring/kube-prometheus-exporter-kubelets/1 honor_labels: true scrape_interval: 30s scrape_timeout: 10s metrics_path: /metrics/cadvisor scheme: https kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - kube-system bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true relabel_configs: - source_labels: [__meta_kubernetes_service_label_k8s_app] separator: ; regex: kubelet replacement: $1 action: keep - separator: ; regex: (.*) target_label: endpoint replacement: https-metrics action: replace
以上配置文件指定了间歇时间为30s,超时间为10s,从目标获取数据的http路径是
/metrics/cadvisor,使用https协议,指定了服务发现模式为endpoints,命名空间为kube-system,指定了token file和tls ca file。relabel_configs允许在抓取之前对任何目标及其标签进行修改,指定了source_labels为__meta_kubernetes_service_label_k8s_app。
2、kube-apiserver监控
apiserver的监控主要是kube-apiserver,配置文件与容器监控类似。Prometheus配置中关联job的部分配置文件如下:
- job_name: monitoring/kube-prometheus-exporter-kubernetes/0 scrape_interval: 15s scrape_timeout: 10s metrics_path: /metrics scheme: https kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - default bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token tls_config: ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt insecure_skip_verify: true relabel_configs: - source_labels: [__meta_kubernetes_service_label_component] separator: ; regex: apiserver replacement: $1 action: keep - source_labels: [__meta_kubernetes_endpoint_port_name] separator: ; regex: https replacement: $1 action: keep - separator: ; regex: (.*) target_label: endpoint replacement: https action: replace
3、kube-state-metrics监控
kube-state-metrics关注于获取Kubernetes中各种资源的最新状态,如deployment或者daemonset。prometheus中关联kube-state-metrics的部分配置文件内容如下:
- job_name: monitoring/kube-prometheus-exporter-kube-state/0 honor_labels: true scrape_interval: 15s scrape_timeout: 10s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - monitoring relabel_configs: - source_labels: [__meta_kubernetes_service_label_app] separator: ; regex: exporter-kube-state replacement: $1 action: keep - source_labels: [__meta_kubernetes_service_label_component] separator: ; regex: kube-state replacement: $1 action: keep - separator: ; regex: (.*) target_label: endpoint replacement: kube-state-metrics action: replace
4、主机监控
主机监控是通过node-exporter组件来获取操作系统层面信息的,关联配置文件如下:
- job_name: monitoring/kube-prometheus-exporter-node/0 scrape_interval: 15s scrape_timeout: 10s metrics_path: /metrics scheme: http kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - monitoring relabel_configs: - source_labels: [__meta_kubernetes_service_label_app] separator: ; regex: exporter-node replacement: $1 action: keep - separator: ; regex: (.*) target_label: endpoint replacement: metrics action: replace
六、数据展现
随着业务越来越复杂,对软件系统的要求也越来越高,这意味着我们需要随时掌控系统的运行情况。因此,对系统的实时监控以及可视化展示,就成了基础架构的必须能力。Grafana是一个跨平台开源的度量分析和可视化工具,可以将采集的数据查询可视化地展示,并及时通知。
前面小节讨论监控数据的收集和部分处理,本节会使用已收集并处理的数据,通过Grafana展示到Web界面。主要包括在Kubernetes中部署、配置和使用Grafana。
1、在Kubernetes集群中安装Grafana
使用helm在名为monitoring的命名空间下安装Grafana。命令如下:
helm install --name grafana grafana/ --namespace monitoring
使用以下命令查看安装结果:
$ helm ls grafanaNAME REVISION UPDATEDSTATUS CHART APP VERSION NAMESPACEgrafana 1 Thu Apr 11 11:00:52 2019 DEPLOYED grafana-0.0.37 monitoring
把服务alertmanager、grafana-grafana、kube-prometheus的类型改为NodePort。使用如下命令获取service的信息:
$kubectl get svc--namespace monitoring
使用如下命令编辑修改alertmanager、grafana-grafana、kube-prometheus的service,将服务类型修改为NodePort:
$kubectl edit svcalertmanager--namespace monitoring$kubectl edit svcgrafana-grafana--namespace monitoring$kubectl edit svckube-prometheus--namespace monitoring
2、配置Grafana
安装完成后可以打开Grafana界面,通过如下命令获取开放的端口号:
$ kubectl get svc grafana-grafana -n monitoringNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEgrafana-grafana NodePort 10.96.120.206 <none> 80:30747/TCP 26d
打开http://192.168.99.101:30747配置界面,点击添加数据源。填写Prometheus数据源名称类型以及HTTP URL,保存并测试。测试通过后,添加或导入所需模板。点击主界面Create--->import,上传或粘贴所需JSON文件,点击Load。Grafana官方模板下载地址为:
https://grafana.com/dashboards
Grafana有许多可以使用的插件,参见官网:
https://grafana.com/plugins?utm_source=grafana_plugin_list
3、集成Grafana展示数据
根据前几节的安装配置,可以自由配置展示监控内容。在Grafana界面可以查看所有已存在的仪表盘模板列表、已部署的pod、deployment、statefulset,如图8至图10所示。
图8 Grafana中显示单pod状态信息
图9 Grafana中显示Deployment类型pod状态信息
图10 Grafana中显示StatefulSet类型pod状态信息
导入主机信息模板,该模板使用Node-exporter获取的数据,展示如图11所示。
七、告警
随着业务复杂性的增加,告警系统越来越重要,及时有效的告警可以在故障到来之前,提前预知风险,提前处理问题,将不良影响最小化。
使用Prometheus进行告警分为两部分。Prometheus服务器中的警报规则会向Alertmanager发送警报。然后,Alertmanager管理这些警报,包括静音、禁止、聚合,以及通过电子邮件、PagerDuty和HipChat等方法发送通知。
设置告警和通知的主要步骤如下:
-
设置并配置Alertmanager。
-
配置Prometheus与Alertmanager协同信息。
-
在Prometheus中创建告警规则。
1、安装Alertmanager
使用helm在名为monitoring的命名空间下安装Alertmanager,命令如下:
helm install --name alertmanager alertmanager/ --namespace monitoring
图11 Grafana中显示pod状态信息
使用以下命令查看安装结果:
$ helm ls alertmanagerNAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACEAlertmanager 1 Thu Apr 11 11:00:34 2019 DEPLOYED alertmanager-0.1.70.15.1 monitoring
Prometheus与Alertmanager关联配置文件信息如下:
alerting: alert_relabel_configs: - separator: ; regex: prometheus_replica replacement: $1 action: labeldrop alertmanagers: - kubernetes_sd_configs: - api_server: null role: endpoints namespaces: names: - monitoring scheme: http path_prefix: / timeout: 10s relabel_configs: - source_labels: [__meta_kubernetes_service_name] separator: ; regex: kube-prometheus-alertmanager replacement: $1 action: keep - source_labels: [__meta_kubernetes_endpoint_port_name] separator: ; regex: http replacement: $1 action: keep
2、告警规则
在Prometheus全局配置文件中,通过rule_files指定一组告警规则文件的访问路径,配置文件如下:
rule_files:- /etc/prometheus/rules/*.yaml
默认部署中包含alertmanager.rules、kube-scheduler.rules、general.rules等rules。本节不做详细介绍。
3、微信告警
在某些情况下除了Alertmanager已经内置的集中告警通知方式以外,对于不同的用户和组织而言还需要一些自定义的告知方式。通过Alertmanager提供的webhook支持可以轻松实现这一类的扩展。
首先需要申请微信企业号,申请地址为:
https://work.weixin.qq.com/
在Alertmanager配置文件中,加入微信配置信息即可:
global: resolve_timeout: 2m wechat_api_url: 'https:// qyapi.weixin.qq.com/cgi-bin/' wechat_api_secret: 'xxx' wechat_api_corp_id: 'xxx' route: group_by: ['alertname'] group_wait: 10s group_interval: 10s repeat_interval: 1h receiver: 'wechat'receivers:- name: 'wechat' wechat_configs: - send_resolved: true to_party: '1' agent_id: '1000002'
八、小结
Kubernetes与Prometheus有着十分相似的历程,均是源自Google内部多年的运维经验,并且相继从CNCF基金会正式毕业。它们分别代表了云原生模式下容器编排以及监控的事实标准。
本文首先介绍了Kubernetes的监控的基本原理,以及两种基于Kubernetes安装Prometheus的实际方案。然后介绍了服务发现和监控对象是如何配置。最后通过Grafana可视化展示监控界面和Alertmanager告警处理。
>>>>
更多阅读材料
- https://github.com/coreos/prometheus-operator/blob/master/Documentation/user-guides /cluster-monitoring.md.
- 闫健勇,等. Kubernetes权威指南:企业级容器云实战[M].北京:电子工业出版社,2018.
- https://github.com/coreos/prometheus-operator.
彩蛋来了
本文精选自《Prometheus监控技术与实践》一书,想阅读此书更多精彩内容的朋友,可在本文微信订阅号(dbaplus)评论区留下足以引起共鸣的真知灼见,小编将在本文发布后的隔天中午12点,根据留言精彩程度,选5位读者送出此书~
注:同一月份里,已获赠书者将不可重复参与,可点击文末“阅读原文”购书。
突破云时代下的运维转型困局,9月11日在北京,让Gdevops全球敏捷运维峰会给你新思路:
-
《浙江移动AIOps实践》浙江移动云计算中心NOC及AIOps负责人 潘宇虹
-
《云时代下,传统行业的运维转型,如何破局?》新炬网络运维产品部总经理 宋辉
-
《数据智能时代:构建能力开放的运营商大数据DataOps体系》中国联通大数据基础平台负责人/资深架构师 尹正军
-
《银行日志监控系统优化手记》中国银行DevOps负责人 付大亮 & 中国银行高级软件工程师 李晓宁
-
《民生银行智能运维平台实践之路》民生银行智能运维平台负责人/应用运维专家 张舒伟
-
《建设敏捷型消费金融中台及云原生下的DevOps实践》中邮消费金融总经理助理 李远鑫
- 容器编排系统K8s之Prometheus监控系统+Grafana部署
- Prometheus全方位监控K8S集群,部署太简单了!
- k8s部署prometheus和grafana监控pod和机器资源(11)
- k8s监控之-Prometheus+Grafana部署
- Kubernetes运维之使用Prometheus全方位监控K8S
- 运维监控部署-nagios_3.安装邮件系统
- Atitit 运维之道 1.1.devops算是最低门槛了。什么运维平台,搞来搞去也就那些东西。无外乎cmdb、部署、监控之类的,再加点各种小平台自动化需求。 CMDB --Configurati
- 监控利器-Prometheus安装与部署+实现邮箱报警
- 使用二进制的方式部署 K8S-1.16 高可用集群(二十)
- 基于prometheus监控k8s集群
- 运维监控报警短信功能 可否实现部分重要业务升级为电话的方式?
- 基于Prometheus构建黑盒监控体系(已用于线上环境) - 运维
- 使用 Docker 部署 Grafana + Prometheus 监控 MySQL 数据库
- Kubernetes集群部署史上最详细(二)Prometheus监控Kubernetes集群
- 运维系列:02、Spark的部署方式
- 互联网应用上线后,别忘记实现部署这些运维监控脚本
- 运维监控利器-Nagios部署
- 使用Helm部署Prometheus和Grafana监控Kubernetes
- 远程服务器部署应用(一)--传统部署方式还是自动化运维工具部署?
- 基于Prometheus的K8S监控在小米的落地