您的位置:首页 > 运维架构

用Prometheus监控K8S,目前最实用的部署方式都说全了(有彩蛋) - 运维

2022-05-29 04:01 2927 查看

在过去的几年中,云计算已经成为及分布式计算最火热的技术之一,其中Docker、Kubernetes、Prometheus等开源软件的发展极大地推动了云计算的发展。本文首先从Prometheus是如何监控Kubernetes入手,介绍Prometheus Operator组件。接着详细介绍基于Kubernetes的两种Prometheus部署方式,最后介绍服务配置、监控对象以及数据展示和告警。通过本文,大家可以在Kubernetes集群的基础上学习和搭建完善的Prometheus监控系统。

 

一、Prometheus与Kubernetes完美结合

 

Kubernetes使用Docker进行容器管理,如果说Docker和kubernetes的搭配是云原生时代的基石,那么Prometheus为云原生插上了飞翔的翅膀。随着云原生社区的不断壮大,应用场景越来越复杂,需要一套针对云原生环境的完善并且开放的监控平台。在这样的环境下,Prometheus应运而生,天然支持Kubernetes。

 

1、Kubernetes Operator  

 

在Kubernetes的支持下,管理和伸缩Web应用、移动应用后端以及API服务都变得比较简单了。因为这些应用一般都是无状态的,所以Deployment这样的基础Kubernetes API对象就可以在无需附加操作的情况下,对应用进行伸缩和故障恢复了。

 

而对于数据库、缓存或者监控系统等有状态应用的管理,就是挑战了。这些系统需要掌握应用领域的知识,正确地进行伸缩和升级,当数据丢失或不可用的时候,要进行有效的重新配置。我们希望这些应用相关的运维技能可以编码到软件之中,从而借助Kubernetes 的能力,正确地运行和管理复杂应用。

 

Operator这种软件,使用TPR(第三方资源,现在已经升级为CRD)机制对Kubernetes API进行扩展,将特定应用的知识融入其中,让用户可以创建、配置和管理应用。与Kubernetes的内置资源一样,Operator操作的不是一个单实例应用,而是集群范围内的多实例。

 

2、Prometheus Operator  

 

Kubernetes的Prometheus Operator为Kubernetes服务和Prometheus实例的部署和管理提供了简单的监控定义。

 

安装完毕后,Prometheus Operator提供了以下功能:

 

  • 创建/毁坏。在Kubernetes namespace中更容易启动一个Prometheus实例,一个特定的应用程序或团队更容易使用的Operato。

  • 简单配置。配Prometheus的基础东西,比如在Kubernetes的本地资源versions, persistence,retention policies和replicas。

  • Target Services通过标签。基于常见的Kubernetes label查询,自动生成监控target配置;不需要学习Prometheus特定的配置语言。

 

Prometheus Operator架构如图1所示。

 

图1 Prometheus Operator架构

 

架构中的各组成部分以不同的资源方式运行在Kubernetes集群中,它们各自有不同的作用。

 

  • Operator:Operator资源会根据自定义资源(Custom Resource Definition,CRD)来部署和管理Prometheus Server,同时监控这些自定义资源事件的变化来做相应的处理,是整个系统的控制中心。

  • Prometheus: Prometheus资源是声明性地描述Prometheus部署的期望状态。

  • Prometheus Server: Operator根据自定义资源Prometheus类型中定义的内容而部署的Prometheus Server集群,这些自定义资源可以看作用来管理Prometheus Server 集群的StatefulSets资源。

  • ServiceMonitor:ServiceMonitor也是一个自定义资源,它描述了一组被Prometheus监控的target列表。该资源通过标签来选取对应的Service Endpoint,让Prometheus Server通过选取的Service来获取Metrics信息。

  • Service:Service资源主要用来对应Kubernetes集群中的Metrics Server Pod,提供给ServiceMonitor选取,让Prometheus Server来获取信息。简单说就是Prometheus监控的对象,例如Node Exporter Service、Mysql Exporter Service等。

  • Alertmanager:Alertmanager也是一个自定义资源类型,由Operator根据资源描述内容来部署Alertmanager集群。

 

二、在Kubernetes上部署Prometheus的传统方式

 

本节详细介绍Kubernetes通过YAML文件方式部署Prometheus的过程,即按顺序部署了Prometheus、kube-state-metrics、node-exporter以及Grafana。图2展示了各个组件的调用关系。

 

图2 传统方式Kubernetes部署Prometheus

 

在Kubernetes Node上部署Node exporter,获取该节点物理机或者虚拟机的监控信息,在Kubernetes Master上部署kube-state-metrics获取Kubernetes集群的状态。所有信息汇聚到Prometheus进行处理和存储,然后通过Grafana进行展示。

 

1、Kubernetes部署Prometheus   

 

部署对外可访问Prometheus,首先需要创建Prometheus所在命名空间,然后创建Prometheus使用的RBAC规则,创建Prometheus的configmap来保存配置文件。创建service进行固定集群IP访问,创建deployment部署带有Prometheus容器的pod,最后创建ingress实现外部域名访问Prometheus。

 

部署顺序如图3所示。

 

图3 Kubernetes集群架构

 

创建名为monitoring命名空间,相关对象都部署到该命名空间,使用以下命令创建命名空间:

 

 

$ kubectl create -f ns-monitoring.yaml 

 

ns-monitoring.yaml文件内容如下:

 

 apiVersion: v1    kind: Namespace    metadata:name: monitoring

 

可以看到该YAML文件使用的apiVersion版本是v1,kind是Namespace,命名空间的名字是monitoring。

 

使用以下命令确认名为monitoring的ns已经创建成功:

 

 $ kubectl get ns monitoringNAME         STATUS    AGEmonitoring   Active    1d

 

创建RBAC规则,包含ServiceAccount、ClusterRole、ClusterRoleBinding三类YAML文件。Service Account 是面向命名空间的,ClusterRole、ClusterRoleBinding是面向整个集群所有命名空间的,可以看到ClusterRole、ClusterRoleBinding对象并没有指定任何命名空间。ServiceAccount中可以看到,名字是prometheus-k8s,在monitoring命名空间下。ClusterRole一条规则由apiGroups、resources、verbs共同组成。ClusterRoleBinding中subjects是访问API的主体,subjects包含users、groups、service accounts三种类型,我们使用的是ServiceAccount类型,使用以下命令创建RBAC:

 

 

kubectl create -f prometheus-rbac.yaml

 

rometheus-rbac.yaml文件内容如下:

 

 apiVersion: v1kind: ServiceAccountmetadata:    name: prometheus-k8s    namespace: monitoring---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata:  name: prometheusrules:- apiGroups: [""]    resources: ["nodes", "services", "endpoints", "pods"]    verbs: ["get", "list", "watch"]- apiGroups: [""]    resources: ["configmaps"]    verbs: ["get"]- nonResourceURLs: ["/metrics"]    verbs: ["get"]---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:    name: prometheusroleRef:    apiGroup: rbac.authorization.k8s.io    kind: ClusterRole    name: cluster-adminsubjects:- kind: ServiceAccount    name: prometheus-k8s    namespace: monitoring

 

使用以下命令确认RBAC是否创建成功:

 

 $ kubectl get sa prometheus-k8s -n monitoringNAME       SECRETS   AGEprometheus-k8s   1         1d  $ kubectl get clusterroleprometheusNAME     AGEprometheus   1d$ kubectl get clusterrolebinding prometheusNAME     AGEprometheus   1d

 

使用ConfigMap方式创建Prometheus配置文件,YAML文件中使用的类型是ConfigMap,命名空间为monitoring,名称为prometheus-core,apiVersion是v1,data数据中包含prometheus.yaml文件,内容是prometheus.yaml: |这行下面的内容。使用以下命令创建Prometheus的配置文件:

 

 

$ kubectl create -f prometheus-core-cm.yaml

 

prometheus-core-cm.yaml文件内容如下:

 

 kind: ConfigMapmetadata:    creationTimestamp: null    name: prometheus-core    namespace: monitoringapiVersion: v1data:    prometheus.yaml: |        global:            scrape_interval: 15s            scrape_timeout: 15s            evaluation_interval: 15s        alerting:            alertmanagers:            - static_configs:                - targets: ["10.254.127.110:9093"]        rule_files:            - "/etc/prometheus-rules/*.yml"        scrape_configs:        - job_name: 'kubernetes-apiservers'            kubernetes_sd_configs:            - role: endpoints            scheme: https            tls_config:                ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt            bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token            relabel_configs:            - source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_service_name, __meta_kubernetes_endpoint_port_name]                action: keep                regex: default;kubernetes;https

 

由于篇幅有限,该配置文件只有一个名为kubernetes-apiservers的job,完整配置请查看源码文件。

 

使用以下命令查看已创建的配置文件prometheus-core:

 

 $ kubectl get cm -n monitoring prometheus-coreNAME              DATA      AGEprometheus-core   1         1d

 

通过以下命令查看配置文件prometheus-core的详细信息:

 

 

$ kubectl get cm -n monitoring prometheus-core -o yaml

 

创建prometheus rules配置文件,使用ConfigMap方式创建prometheus rules配置文件,包含的内容是两个文件,分别是node-up.yml和cpu-usage.yml。使用以下命令创建Prometheus的另外两个配置文件:

 

 

$ kubectl create -f prometheus-rules-cm.yaml

 

prometheus-rules-cm.yaml文件内容如下:

 

 kind: ConfigMapapiVersion: v1metadata:    name: prometheus-rules    namespace: monitoringdata:    node-up.yml: |        groups:        - name: server_rules            rules:            - alert: 机器宕机                expr: up{component="node-exporter"} != 1                for: 1m                labels:                    severity: "warning"                    instance: "{{ $labels.instance }}"                annotations:                    summary: "机器 {{ $labels.instance }} 处于down的状态"                    description: "{{ $labels.instance }} of job {{ $labels.job }}                     已经处于down状态超过1分钟,请及时处理"    cpu-usage.yml: |        groups:        - name: cpu_rules            rules:            - alert: cpu 剩余量过低                expr: 100 - (avg by (instance) (irate(node_cpu_seconds_total{mode=                    "idle"}[5m])) * 100) > 85                for: 1m                labels:                    severity: "warning"                    instance: "{{ $labels.instance }}"                annotations:                    summary: "机器 {{ $labels.instance }} cpu 已用超过设定值"                    description: "{{ $labels.instance }} CPU 用量已超过 85% (current                                  value is: {{ $value }}),请及时处理。"     

 

本节的配置文件是Prometheus告警信息的配置文件,篇幅有限,可在文件后继续增加告警信息文件。

 

使用以下命令查看已下发的配置文件prometheus-core:

 

 $ kubectl get cm -n monitoring prometheus-rulesNAME               DATA      AGEprometheus-rules   11        1d

 

使用以下命令查看配置文件prometheus-core详细信息:

 

 

$ kubectl get cm -n monitoring prometheus-rules -o yaml

 

创建prometheus svc,会生成一个CLUSTER-IP进行集群内部的访问,CLUSTER-IP也可以自己指定。使用以下命令创建Prometheus要用的service:

 

 

$ kubectl create -f prometheus-service.yaml

 

prometheus-service.yaml文件内容如下:

 

 

apiVersion: v1

kind: Service

metadata:

    name: prometheus

    namespace: monitoring

    labels:

        app: prometheus

        component: core

    annotations:

        prometheus.io/scrape: 'true'

spec:

    ports:

        - port: 9090

            targetPort: 9090

            protocol: TCP

            name: webui

    selector:

        app: prometheus

          component: core

 

使用以下命令查看已创建的名为prometheus的service:

 

 $ kubectl get svc prometheus  -n monitoringNAME     TYPE     CLUSTER-IP   EXTERNAL-IP  PORT(S)   AGEprometheus   ClusterIP   10.254.192.194   <none>        9090/TCP   1d

 

使用deployment方式创建prometheus实例,命令如下:

 

   

$ kubectl create -f prometheus-deploy.yaml

 

prometheus-deploy.yaml文件内容如下:

 

 

apiVersion: extensions/v1beta1

kind: Deployment

metadata:

    name: prometheus-core

    namespace: monitoring

    labels:

        app: prometheus

        component: core

spec:

    replicas: 1

    template:

        metadata:

            name: prometheus-main

            labels:

                app: prometheus

                component: core

        spec:

            serviceAccountName: prometheus-k8s

            nodeSelector:

                kubernetes.io/hostname: 192.168.10.2

            containers:

            - name: prometheus

                image: zqdlove/prometheus:v2.0.0

                args:

                    - '--storage.tsdb.retention=15d'

                    - '--config.file=/etc/prometheus/prometheus.yaml'

                    - '--storage.tsdb.path=/home/prometheus_data'

                    - '--web.enable-lifecycle' 

                ports:

                - name: webui

                    containerPort: 9090

                resources:

                    requests:

                        cpu: 20000m

                        memory: 20000M

                    limits:

                        cpu: 20000m

                        memory: 20000M

                securityContext:

                    privileged: true

                volumeMounts:

                - name: data

                    mountPath: /home/prometheus_data

                - name: config-volume

                    mountPath: /etc/prometheus

                - name: rules-volume

                    mountPath: /etc/prometheus-rules

                - name: time

                    mountPath: /etc/localtime

            volumes:

            - name: data

                hostPath:

                    path: /home/cdnadmin/prometheus_data 

            - name: config-volume

                configMap:

                    name: prometheus-core

            - name: rules-volume

                configMap:

                    name: prometheus-rules

            - name: time

                hostPath:

                    path: /etc/localtime

 

使用以下命令查看已创建的名字为prometheus-core的deployment的状态:

 

 $ kubectl get deployment prometheus-core  -n monitoringNAME      DESIRED  CURRENT  UP-TO-DATE  AVAILABLE  AGEprometheus-core   1         1         1            1           1d

 

返回信息表示部署期望的pod有1个,当前有1个,更新到最新状态的有1个,可用的有1个,pod当前的年龄是1天。

 

创建prometheus ingress实现外部域名访问,使用以下命令创建Ingress:

 

 

$ kubectl create -f prometheus_Ingress.yaml

 

prometheus_Ingress.yaml文件内容如下:

 

 apiVersion: extensions/v1beta1kind: Ingressmetadata:    name: traefik-prometheus    namespace: monitoringspec:    rules:    - host: prometheus.test.com        http:            paths:            - path: /                backend:                    serviceName: prometheus                    servicePort: 9090

 

将prometheus.test.com域名解析到Ingress服务器,此时可以通过prometheus.test.com访问Prometheus的监控数据的界面了。

 

使用以下命令查看已创建Ingress的状态:

 

 $ kubectl get ing traefik-prometheus-n monitoringNAME             HOSTS           ADDRESS   PORTS   AGEtraefik-prometheus   prometheus.test.com80      1d

 

将域名prometheus.test.com指向Ingress服务器,并访问该域名,主界面如图4所示。

 

图4 主界面

 

2、Kubernetes部署kube-state-metrics  

 

kube-state-metrics使用名为monitoring的命名空间,在上节已创建,不需要再次创建,通过以下命令确认ns创建是否成功:

 

 $ kubectl get ns monitoringNAME         STATUS    AGEmonitoring   Active    1d

 

创建RBAC,包含ServiceAccount、ClusterRole、ClusterRoleBinding三类YAML文件,本节RBAC内容结构和上节中内容类似。使用以下命令创建kube-state-metrics RBAC:

 

 

$ kubectl create -f kube-state-metrics-rbac.yaml

 

kube-state-metrics-rbac.yaml文件内容如下:

 

 apiVersion: v1kind: ServiceAccountmetadata:    name: kube-state-metrics    namespace: monitoring---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRolemetadata:    name: kube-state-metricsrules:- apiGroups: [""]    resources: ["nodes","pods","services","resourcequotas",      "replicationcontrollers","limitranges"]    verbs: ["list", "watch"]- apiGroups: ["extensions"]    resources: ["daemonsets","deployments","replicasets"]    verbs: ["list", "watch"]- apiGroups: ["batch/v1"]    resources: ["job"]    verbs: ["list", "watch"]- apiGroups: ["v1"]    resources: ["persistentvolumeclaim"]    verbs: ["list", "watch"]- apiGroups: ["apps"]    resources: ["statefulset"]    verbs: ["list", "watch"]- apiGroups: ["batch/v2alpha1"]    resources: ["cronjob"]    verbs: ["list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:    name: kube-state-metricsroleRef:    apiGroup: rbac.authorization.k8s.io    kind: ClusterRole    name: kube-state-metrics#  name: cluster-adminsubjects:- kind: ServiceAccount    name: kube-state-metrics    namespace: monitoring

 

使用以下命令确认RBAC是否创建成功,命令分别获取已创建的ServiceAccount、ClusterRole、ClusterRoleBinding:

 

 $ kubectl get sa kube-state-metrics -n monitoringNAME         SECRETS   AGEkube-state-metrics   1         1d$ kubectl get clusterrole kube-state-metricsNAME           AGEkube-state-metrics   1d$ kubectl get clusterrolebinding kube-state-metricsNAME          AGEkube-state-metrics   1d

 

使用以下命令创建kube-state-metrics Service:

 

 

$ kubectl create -f kube-state-metrics-service.yaml

 

kube-state-metrics-service.yaml文件内容如下:

 

 apiVersion: v1kind: Servicemetadata:    annotations:        prometheus.io/scrape: 'true'    name: kube-state-metrics    namespace: monitoring    labels:        app: kube-state-metricsspec:    ports:    - name: kube-state-metrics        port: 8080        protocol: TCP    selector:        app: kube-state-metrics

 

使用以下命令查看名为kube-state-metrics的Service:

 

 $ kubectl get svc kube-state-metrics -n monitoringNAME       TYPE     CLUSTER-IP  EXTERNAL-IP  PORT(S)    AGEkube-state-metrics   ClusterIP   10.254.76.203   <none>        8080/TCP   1d

 

使用以下命令创建名为kube-state-metrics的deployment,用来部署kube-state-metrics Docker容器:

 

 

$ kubectl create -f kube-state-metrics-deploy.yaml

 

kube-state-metrics-deploy.yaml文件内容如下:

 

 apiVersion: extensions/v1beta1kind: Deploymentmetadata:    name: kube-state-metrics    namespace: monitoringspec:    replicas: 1    template:        metadata:            labels:                app: kube-state-metrics        spec:            serviceAccountName: kube-state-metrics            nodeSelector:                type: k8smaster            containers:            - name: kube-state-metrics                image: zqdlove/kube-state-metrics:v1.0.1                ports:                - containerPort: 8080

 

使用以下命令查看monitoring命名空间下名为kube-state-metrics的deployment的状态信息:

 

 $ kubectl get deployment  kube-state-metrics -n monitoringNAME      DESIRED   CURRENT  UP-TO-DATE  AVAILABLE  AGEkube-state-metrics   1         1         1            1           1d

 

使用以下命令查看相关的详细信息:

 

 $ kubectl get deployment  kube-state-metrics -n monitoring  -o yaml$ kubectl describe  deployment  kube-state-metrics -n monitoring

 

通过上节已部署的Prometheus界面如图5所示。

 

图5 Prometheus监控目标

 

3、Kubernetes部署node-exporter  

 

在Prometheus中负责数据汇报的程序统一称为Exporter,而不同的Exporter负责不同的业务。它们具有统一命名格式,即xx_exporter,例如,负责主机信息收集的node_exporter。本节为安装node_exporter的教程。node_exporter主要用于*NIX系统监控,用Golang编写。

 

node-exporter使用名为monitoring的命名空间,上节已创建,不需要再次创建,通过以下命令确认ns创建是否成功:

 

 $ kubectl get ns monitoringNAME         STATUS    AGEmonitoring   Active    1d

 

使用以下命令部署node-exporter service:

 

 

$ kubectl create -f node_exporter-service.yaml

 

node_exporter-service.yaml文件内容如下:

 

 apiVersion: v1kind: Servicemetadata:    annotations:        prometheus.io/scrape: 'true'    name: prometheus-node-exporter    namespace: monitoring    labels:        app: prometheus        component: node-exporterspec:    clusterIP: None    ports:        - name: prometheus-node-exporter            port: 9100            protocol: TCP    selector:        app: prometheus        component: node-exporter    type: ClusterIP

 

使用以下命令查看monitoring命名空间下名为prometheus-node-exporter的service:

 

 $ kubectl get svc prometheus-node-exporter -n monitoringNAME              TYPE      CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGEprometheus-node-exporter   ClusterIP   None         <none>       9100/TCP   1d

 

使用daemonset方式创建node-exporter容器,命令如下:

 

 

$ kubectl create -f node_exporter-daemonset.yaml

 

node_exporter-daemonset.yaml文件详细内容如下:

 

 apiVersion: extensions/v1beta1kind: DaemonSetmetadata:    name: prometheus-node-exporter    namespace: monitoring    labels:        app: prometheus        component: node-exporterspec:    template:        metadata:            name: prometheus-node-exporter            labels:                app: prometheus                component: node-exporter        spec:            containers:            - image: zqdlove/node-exporter:v0.16.0                name: prometheus-node-exporter                ports:                - name: prom-node-exp                    containerPort: 9100                    hostPort: 9100                resources:                    requests:                      # cpu: 20000m                        cpu: "0.6"                        memory: 100M                    limits:                        cpu: "0.6"                        #cpu: 20000m                        memory: 100M                command:                - /bin/node_exporter                - --path.procfs                - /host/proc                - --path.sysfs                - /host/sys                -  --collector.filesystem.ignored-mount-points                - ^/(sys|proc|dev|host|etc)($|/)                volumeMounts:                - name: proc                    mountPath: /host/proc                - name: sys                    mountPath: /host/sys                - name: root                    mountPath: /rootfs            volumes:            - name: proc                hostPath:                    path: /proc            - name: sys                hostPath:                    path: /sys            - name: root                hostPath:                    path: /            // 此处可以指定固定IP 192.168.10.3不部署服务            // affinity:            //  nodeAffinity:            //  requiredDuringSchedulingIgnoredDuringExecution:            //      nodeSelectorTerms:            //      - matchExpressions:            //          - key: kubernetes.io/hostname            //            operator: NotIn            //            values:            //            - 192.168.10.3              hostNetwork: true            hostPID: true

 

查看monitoring命令空间下名为prometheus-node-exporter的daemonset的状态,命令如下:

 

 $ kubectl get ds prometheus-node-exporter -n monitoringNAME DESIRED CURRENT READYUP-TO-DATE AVAILABLENODE SELECTOR AGEprometheus-node-exporter   3    3    333<none>1d

 

从返回信息可以看到,名为prometheus-node-exporter的daemonset,当前有3个实例,都已经是Ready状态,都可用。

 

查看monitoring命令空间下名为prometheus-node-exporter的daemonset的详细状态信息,命令如下:

 

 $ kubectl get ds prometheus-node-exporter -n monitoring -o yaml$ kubectl describe ds prometheus-node-exporter -n monitoring  4、Kubernetes部署Grafana  

 

Grafana使用名为monitoring的命名空间,前面小节已经创建,不需要再次创建,通过以下命令确认ns创建是否成功:

 

 $ kubectl get ns monitoringNAME         STATUS    AGEmonitoring   Active    1d

 

使用以下命令创建Grafana Service:

 

 

$ kubectl create -f grafana-service.yaml

 

grafana-service.yaml文件内容如下:

 

 apiVersion: v1kind: Servicemetadata:    name: grafana    namespace: monitoring    labels:        app: grafana        component: corespec:    ports:        - port: 3000    selector:        app: grafana          component: core

 

使用以下命令查看monitoring命令空间下名为grafana的service的信息:

 

 $ kubectl get svc grafana -n monitoringNAME      TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)    AGEgrafana   ClusterIP   10.254.254.2   <none>        4444/TCP   1d

 

使用deployment方式部署Grafana,命令如下:

 

 

$ kubectl create -f grafana-deploy.yaml

 

grafana-deploy.yaml文件内容如下:

 

 apiVersion: extensions/v1beta1kind: Deploymentmetadata:    name: grafana-core    namespace: monitoring    labels:        app: grafana        component: corespec:    replicas: 1    template:        metadata:            labels:                app: grafana                component: core        spec:            nodeSelector:                kubernetes.io/hostname: 192.168.10.2            containers:            - image: zqdlove/grafana:v5.0.0                name: grafana-core                imagePullPolicy: IfNotPresent                #securityContext:                  # privileged: true                # env:                resources:                    # keep request = limit to keep this container in guaranteed class                    limits:                        cpu: 10000m                        memory: 32000Mi                    requests:                        cpu: 10000m                        memory: 32000Mi                env:                    # The following env variables set up basic auth twith the                       default admin user and admin password                    - name: GF_AUTH_BASIC_ENABLED                        value: "true"                    - name: GF_AUTH_ANONYMOUS_ENABLED                        value: "false"                    # - name: GF_AUTH_ANONYMOUS_ORG_ROLE                    #   value: Admin                    # does not really work, because of template variables in exported                       dashboards:                    # - name: GF_DASHBOARDS_JSON_ENABLED                    #   value: "true"                readinessProbe:                    httpGet:                        path: /login                        port: 3000                    # initialDelaySeconds: 30                    # timeoutSeconds: 1                volumeMounts:                - name: grafana-persistent-storage                    mountPath: /var                - name: grafana                    mountPath: /etc/grafana       # - name: grafana-ldap-grafana       #   mountPath: /etc/grafana       # - name: grafana-ldap-conf       #   mountPath: /usr/share/grafana/conf            volumes:            - name: grafana-persistent-storage                emptyDir: {}            - name: grafana                hostPath:                    path: /etc/grafana          # - name: grafana-ldap-grafana            #  configMap:              #   name: grafana-ldap-grafana-configmap     # - name: grafana-ldap-conf     #   configMap:     #     name: grafana-ldap-conf-configmap

 

查看monitoring命令空间下名为grafana-core的deployment的状态,信息如下:

 

 $ kubectl get deployment grafana-core -n monitoringNAME         DESIRED  CURRENT  UP-TO-DATE      AVAILABLE    AGEgrafana-core   1         1         1            1           1d

 

要查看monitoring命令空间下名为grafana-core的deployment的详细信息,使用以下命令:

 

 $ kubectl get deployment grafana-core -n monitoring -o yaml$ kubectl describe deployment grafana-core -n monitoring

 

创建grafana ingress实现外部域名访问,命令如下:

 

 

$ kubectl create -f grafana-ingress.yaml

 

grafana-ingress.yaml文件内容如下:

 

 apiVersion: extensions/v1beta1kind: Ingressmetadata:    name: traefik-grafana    namespace: monitoringspec:    rules:    - host: grafana.test.com        http:            paths:            - path: /                backend:                    serviceName: grafana                    servicePort: 4444

 

查看monitoring命名空间下名为traefik-grafana的Ingress,使用以下命令:

 

 $ kubectl get ingress traefik-grafana -n monitoringNAME         HOSTS             ADDRESS   PORTS     AGEtraefik-grafana   grafana.test.com         80        1d

 

查看monitoring命名空间下名为traefik-grafana的Ingress的详细信息,使用以下命令:

 

 

$ kubectl get ingress traefik-grafana  -n monitoring -o yaml

 

将grafana.test.com解析到Ingress服务器,此时可以通过grafana.test.com访问Grafana的监控展示的界面。

 

三、通过Operator方式部署Prometheus

 

传统方式部署步骤相对复杂,随着Operator的日益成熟,推荐使用Operator方式部署Prometheus。通过Operator方式部署Prometheus,可将更多的操作集成到Operator中,简化了操作过程,也使部署更加简单。本节详细介绍在Kubernetes中使用Operator方式部署整套Prometheus监控。

 

1、Kubernetes基础环境  

 

部署Prometheus依赖的基础环境如下:

 

  • Kubernetes版本为1.14.0。

  • helm版本为v2.13.1。

  • 按需要安装coreDNS、Nginx。

 

本节使用Helm安装。Helm chart根据实际使用修改。

 

2、安装Prometheus Operator  

 

使用git下载prometheus-operator源码,并进入到源码目录,如下所示:

 

 git clone https:// github.com/coreos/prometheus-operator.gitcd prometheus-operator

 

使用git将软件切换到v0.29.0版本,并进入到helm目录:

 

 git checkout -b  v0.29.0 v0.29.0cd helm

 

使用helm在名为monitoring的命名空间下安装prometheus-operator,命令如下:

 

 

helm install prometheus-operator --name prometheus-operator --namespace monitoring

 

使用helm命令查看安装结果,命令如下:

 

 $ helm ls prometheus-operatorNAME REVISION      UPDATE DSTATUS CHART APP VERSION    NAMESPACEprometheus-operator 1 Thu Apr 11 10:30:11 2019DEPLOYED    prometheus-operator-0.0.29 0.20.0monitoring

 

3、部署kube-prometheus  

 

创建kube-prometheus/charts目录,使用如下命令:

 

 

mkdir -p kube-prometheus/charts

 

使用Helm打包kube-prometheus所依赖的chart包,命令如下:

 

 helm package -d kube-prometheus/charts alertmanager grafana prometheus exporter-kube-dns  exporter-kube-scheduler  exporter-kubelets  exporter-node  exporter-kube-controller-manager  exporter-kube-etcd  exporter-kube-state  exporter-coredns  exporter-kubernetes

 

使用Helm在名为monitoring的命名空间下安装kube-prometheus,具体命令如下:

 

 

helm install kube-prometheus --name kube-prometheus --namespace monitoring

 

使用以下命令查看安装结果:

 

 

$ helm ls kube-prometheus

NAME REVISION UPDATED STATUSCHART APP VERSION     NAMESPACE

kube-prometheus 1 Thu Apr 11 11:55:44 2019 DEPLOYED kube-prometheus-0.0.105 monitoring

 

四、服务配置

 

本节主要介绍Prometheus的静态配置和服务发现配置,以及静态配置和动态服务发现配置的用法。

 

1、静态配置  

 

静态配置是Prometheus中简单的配置,指定获取指标的地址,并分配所获取指标的标签。Prometheus最简单的配置是静态目标,如下配置文件:

 

 

scrape_configs:

    - job_name: 'prometheus'

        static_configs:

            - targets: ['localhost:9090', 'localhost:9100']

                labels:

                    group: 'prometheus'

 

scrape_configs表示定义收集规则,指定了:localhost:9090和localhost:9100作为获取信息的地址,并给获取的信息打上了group=prometheus的标签。

 

2、服务发现配置  

 

Prometheus支持多种服务发现机制:文件、DNS、Consul、Kubernetes、OpenStack、EC2等。基于服务发现的过程并不复杂,通过第三方提供的接口,Prometheus查询到需要监控的Target列表,然后轮训这些Target获取监控数据,下面主要介绍Kubernetes服务发现机制。

 

目前,在Kubernetes下,Prometheus通过与Kubernetes API集成主要支持5种服务发现模式:Node、Service、Pod、Endpoints、Ingress。不同的服务发现模式适用于不同的场景,例如:node适用于与主机相关的监控资源,如节点中运行的Kubernetes组件状态、节点上运行的容器状态等;service和igress适用于通过黑盒监控的场景,如对服务的可用性以及服务质量的监控;endpoints和pod均可用于获取Pod实例的监控数据,如监控用户或者管理员部署的支持Prometheus的应用。

 

以下配置文件指定了间歇时间是30s,超时间是10s,从目标获取数据的http路径是

/metrics,使用http协议。kubernetes服务发现配置列表中指定了服务发现模式为endpoints,命名空间为monitoring。relabel_configs允许在抓取之前对任何目标及其标签进行修改:

 

 scrape_configs:- job_name: monitoring/kube-prometheus/0    scrape_interval: 30s    scrape_timeout: 10s    metrics_path: /metrics    scheme: http    kubernetes_sd_configs:    - api_server: null        role: endpoints        namespaces:            names:            - monitoring    relabel_configs:    - source_labels: [__meta_kubernetes_service_label_app]        separator: ;        regex: prometheus        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_service_label_chart]        separator: ;        regex: prometheus-0.0.51        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_service_label_prometheus]        separator: ;        regex: kube-prometheus        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_endpoint_port_name]        separator: ;        regex: http        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_namespace]        separator: ;        regex: (.*)        target_label: namespace        replacement: $1        action: replace    - source_labels: [__meta_kubernetes_pod_name]        separator: ;        regex: (.*)        target_label: pod        replacement: $1        action: replace    - source_labels: [__meta_kubernetes_service_name]        separator: ;        regex: (.*)        target_label: service        replacement: $1        action: replace    - source_labels: [__meta_kubernetes_service_name]        separator: ;        regex: (.*)        target_label: job        replacement: ${1}        action: replace    - source_labels: [__meta_kubernetes_service_label_app]        separator: ;        regex: (.+)        target_label: job        replacement: ${1}        action: replace    - separator: ;        regex: (.*)        target_label: endpoint        replacement: http        action: replace

 

以上配置文件对应Prometheus服务发现界面中monitoring/kube-prometheus/0,如图6所示。

 

图6 Prometheus服务发现

 

五、监控对象

 

Prometheus可以监控Kubernetes非常多的对象,本节主要介绍Docker容器、kube-apiserver、kube-state-metrics以及主机等几个方面。完整的Targets可以通过Prometheus界面查看,如图7所示。

 

图7 Prometheus监控Kubernetes环境服务

 

1、容器监控  

 

Kubernetes直接在Kubelet组件中集成了cAdvisor,cAdvisor会自动采集当前节点上容器CPU、内存、文件系统,网络等资源的使用情况。以下是Prometheus配置中容器监控的部分代码:

 

 - job_name: monitoring/kube-prometheus-exporter-kubelets/1    honor_labels: true    scrape_interval: 30s    scrape_timeout: 10s    metrics_path: /metrics/cadvisor    scheme: https    kubernetes_sd_configs:    - api_server: null        role: endpoints        namespaces:            names:            - kube-system    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token    tls_config:        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt        insecure_skip_verify: true    relabel_configs:    - source_labels: [__meta_kubernetes_service_label_k8s_app]        separator: ;        regex: kubelet        replacement: $1        action: keep    - separator: ;        regex: (.*)        target_label: endpoint        replacement: https-metrics        action: replace

 

以上配置文件指定了间歇时间为30s,超时间为10s,从目标获取数据的http路径是

/metrics/cadvisor,使用https协议,指定了服务发现模式为endpoints,命名空间为kube-system,指定了token file和tls ca file。relabel_configs允许在抓取之前对任何目标及其标签进行修改,指定了source_labels为__meta_kubernetes_service_label_k8s_app。

 

2、kube-apiserver监控  

 

apiserver的监控主要是kube-apiserver,配置文件与容器监控类似。Prometheus配置中关联job的部分配置文件如下:

 

 - job_name: monitoring/kube-prometheus-exporter-kubernetes/0    scrape_interval: 15s    scrape_timeout: 10s    metrics_path: /metrics    scheme: https    kubernetes_sd_configs:    - api_server: null        role: endpoints        namespaces:            names:            - default    bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token    tls_config:        ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt        insecure_skip_verify: true    relabel_configs:    - source_labels: [__meta_kubernetes_service_label_component]        separator: ;        regex: apiserver        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_endpoint_port_name]        separator: ;        regex: https        replacement: $1        action: keep    - separator: ;        regex: (.*)        target_label: endpoint        replacement: https        action: replace

 

3、kube-state-metrics监控  

 

kube-state-metrics关注于获取Kubernetes中各种资源的最新状态,如deployment或者daemonset。prometheus中关联kube-state-metrics的部分配置文件内容如下:

 

 - job_name: monitoring/kube-prometheus-exporter-kube-state/0    honor_labels: true    scrape_interval: 15s    scrape_timeout: 10s    metrics_path: /metrics    scheme: http    kubernetes_sd_configs:    - api_server: null        role: endpoints        namespaces:            names:            - monitoring    relabel_configs:    - source_labels: [__meta_kubernetes_service_label_app]        separator: ;        regex: exporter-kube-state        replacement: $1        action: keep    - source_labels: [__meta_kubernetes_service_label_component]        separator: ;        regex: kube-state        replacement: $1        action: keep    - separator: ;        regex: (.*)        target_label: endpoint        replacement: kube-state-metrics        action: replace

 

4、主机监控  

 

主机监控是通过node-exporter组件来获取操作系统层面信息的,关联配置文件如下:

 

 - job_name: monitoring/kube-prometheus-exporter-node/0    scrape_interval: 15s    scrape_timeout: 10s    metrics_path: /metrics    scheme: http    kubernetes_sd_configs:    - api_server: null        role: endpoints        namespaces:            names:            - monitoring    relabel_configs:    - source_labels: [__meta_kubernetes_service_label_app]        separator: ;        regex: exporter-node        replacement: $1        action: keep    - separator: ;        regex: (.*)        target_label: endpoint        replacement: metrics        action: replace

 

六、数据展现

 

随着业务越来越复杂,对软件系统的要求也越来越高,这意味着我们需要随时掌控系统的运行情况。因此,对系统的实时监控以及可视化展示,就成了基础架构的必须能力。Grafana是一个跨平台开源的度量分析和可视化工具,可以将采集的数据查询可视化地展示,并及时通知。

 

前面小节讨论监控数据的收集和部分处理,本节会使用已收集并处理的数据,通过Grafana展示到Web界面。主要包括在Kubernetes中部署、配置和使用Grafana。

 

1、在Kubernetes集群中安装Grafana  

 

使用helm在名为monitoring的命名空间下安装Grafana。命令如下:

 

 

helm install --name grafana grafana/ --namespace monitoring

 

使用以下命令查看安装结果:

 

 $ helm ls grafanaNAME REVISION UPDATEDSTATUS CHART     APP VERSION NAMESPACEgrafana    1 Thu Apr 11 11:00:52 2019    DEPLOYED    grafana-0.0.37         monitoring

 

把服务alertmanager、grafana-grafana、kube-prometheus的类型改为NodePort。使用如下命令获取service的信息:

 

 

$kubectl get svc--namespace monitoring

 

使用如下命令编辑修改alertmanager、grafana-grafana、kube-prometheus的service,将服务类型修改为NodePort:

 

 $kubectl edit svcalertmanager--namespace monitoring$kubectl edit svcgrafana-grafana--namespace monitoring$kubectl edit svckube-prometheus--namespace monitoring

 

2、配置Grafana  

 

安装完成后可以打开Grafana界面,通过如下命令获取开放的端口号:

 

 $ kubectl get svc grafana-grafana -n monitoringNAME              TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGEgrafana-grafana   NodePort   10.96.120.206   <none>        80:30747/TCP   26d

 

打开http://192.168.99.101:30747配置界面,点击添加数据源。填写Prometheus数据源名称类型以及HTTP URL,保存并测试。测试通过后,添加或导入所需模板。点击主界面Create--->import,上传或粘贴所需JSON文件,点击Load。Grafana官方模板下载地址为:

 

 

https://grafana.com/dashboards

 

Grafana有许多可以使用的插件,参见官网:

 

 

https://grafana.com/plugins?utm_source=grafana_plugin_list

 

3、集成Grafana展示数据  

 

根据前几节的安装配置,可以自由配置展示监控内容。在Grafana界面可以查看所有已存在的仪表盘模板列表、已部署的pod、deployment、statefulset,如图8至图10所示。

 

图8 Grafana中显示单pod状态信息

 

图9 Grafana中显示Deployment类型pod状态信息

 

图10 Grafana中显示StatefulSet类型pod状态信息

 

导入主机信息模板,该模板使用Node-exporter获取的数据,展示如图11所示。

 

七、告警

 

随着业务复杂性的增加,告警系统越来越重要,及时有效的告警可以在故障到来之前,提前预知风险,提前处理问题,将不良影响最小化。

 

使用Prometheus进行告警分为两部分。Prometheus服务器中的警报规则会向Alertmanager发送警报。然后,Alertmanager管理这些警报,包括静音、禁止、聚合,以及通过电子邮件、PagerDuty和HipChat等方法发送通知。

 

设置告警和通知的主要步骤如下:

 

  • 设置并配置Alertmanager。

  • 配置Prometheus与Alertmanager协同信息。

  • 在Prometheus中创建告警规则。

 

1、安装Alertmanager  

 

使用helm在名为monitoring的命名空间下安装Alertmanager,命令如下:

 

 

helm install --name alertmanager alertmanager/ --namespace monitoring

 

图11 Grafana中显示pod状态信息

 

使用以下命令查看安装结果:

 

 $ helm ls alertmanagerNAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACEAlertmanager 1 Thu Apr 11 11:00:34 2019 DEPLOYED alertmanager-0.1.70.15.1   monitoring

 

Prometheus与Alertmanager关联配置文件信息如下:

 

 alerting:    alert_relabel_configs:    - separator: ;        regex: prometheus_replica        replacement: $1        action: labeldrop    alertmanagers:    - kubernetes_sd_configs:        - api_server: null            role: endpoints            namespaces:                names:                - monitoring        scheme: http        path_prefix: /        timeout: 10s        relabel_configs:        - source_labels: [__meta_kubernetes_service_name]            separator: ;            regex: kube-prometheus-alertmanager            replacement: $1            action: keep        - source_labels: [__meta_kubernetes_endpoint_port_name]            separator: ;            regex: http            replacement: $1            action: keep

 

2、告警规则  

 

在Prometheus全局配置文件中,通过rule_files指定一组告警规则文件的访问路径,配置文件如下:

 

 rule_files:- /etc/prometheus/rules/*.yaml

 

默认部署中包含alertmanager.rules、kube-scheduler.rules、general.rules等rules。本节不做详细介绍。

 

3、微信告警  

 

在某些情况下除了Alertmanager已经内置的集中告警通知方式以外,对于不同的用户和组织而言还需要一些自定义的告知方式。通过Alertmanager提供的webhook支持可以轻松实现这一类的扩展。

 

首先需要申请微信企业号,申请地址为:

 

 

https://work.weixin.qq.com/

 

在Alertmanager配置文件中,加入微信配置信息即可:

 

 global:    resolve_timeout: 2m    wechat_api_url: 'https:// qyapi.weixin.qq.com/cgi-bin/'    wechat_api_secret: 'xxx'    wechat_api_corp_id: 'xxx'  route:    group_by: ['alertname']    group_wait: 10s    group_interval: 10s    repeat_interval: 1h    receiver: 'wechat'receivers:- name: 'wechat'    wechat_configs:    - send_resolved: true        to_party: '1'        agent_id: '1000002'

 

八、小结

 

Kubernetes与Prometheus有着十分相似的历程,均是源自Google内部多年的运维经验,并且相继从CNCF基金会正式毕业。它们分别代表了云原生模式下容器编排以及监控的事实标准。

 

本文首先介绍了Kubernetes的监控的基本原理,以及两种基于Kubernetes安装Prometheus的实际方案。然后介绍了服务发现和监控对象是如何配置。最后通过Grafana可视化展示监控界面和Alertmanager告警处理。

 

>>>>

更多阅读材料

 

  • https://github.com/coreos/prometheus-operator/blob/master/Documentation/user-guides /cluster-monitoring.md.
  • 闫健勇,等. Kubernetes权威指南:企业级容器云实战[M].北京:电子工业出版社,2018.
  • https://github.com/coreos/prometheus-operator.

 

彩蛋来了



本文精选自《Prometheus监控技术与实践》一书,想阅读此书更多精彩内容的朋友,可在本文微信订阅号(dbaplus)评论区留下足以引起共鸣的真知灼见,小编将在本文发布后的隔天中午12点,根据留言精彩程度,选5位读者送出此书~

 

注:同一月份里,已获赠书者将不可重复参与,可点击文末“阅读原文”购书。

突破云时代下的运维转型困局,9月11日在北京,让Gdevops全球敏捷运维峰会给你新思路:

 

  • 《浙江移动AIOps实践》浙江移动云计算中心NOC及AIOps负责人 潘宇虹

  • 《云时代下,传统行业的运维转型,如何破局?》新炬网络运维产品部总经理 宋辉

  • 《数据智能时代:构建能力开放的运营商大数据DataOps体系》中国联通大数据基础平台负责人/资深架构师 尹正军

  • 《银行日志监控系统优化手记》中国银行DevOps负责人 付大亮 & 中国银行高级软件工程师 李晓宁

  • 《民生银行智能运维平台实践之路》民生银行智能运维平台负责人/应用运维专家 张舒伟

  • 《建设敏捷型消费金融中台及云原生下的DevOps实践》中邮消费金融总经理助理 李远鑫

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: