调用阿里云api获取阿里云数据同步服务(DTS)并且作图发送邮件的整个流程
2018-02-28 22:06
986 查看
前言
在https://rorschachchan.github.io/2018/02/24/阿里云获取DTS服务延迟的脚本/ 文章里已经写过,领导现在要求“每天查看阿里云dts同步的延迟情况和同步速率情况”,并且在https://rorschachchan.github.io/2018/02/27/使用matplotlib画图的一个脚本/ 里面也放了一个使用python matplotlib画图的demo,这篇文章的目的就是把整个过程实现,并且把dts图形以每日邮件的形式发送给领导的效果!实现需求的思路
本次需求有四个动作,分别是获取一天以内的DTS延迟和同步速率、
将获取到的DTS值做成PNG图像、
将生成的PNG图像上传到阿里云云存储OSS、
把图片展示到邮件里并发送给相关领导。由于第一步
获取一天以内的DTS延迟和同步速率需要将这个脚本每小时执行一次,执行24次,才可以执行
生成png图像这一步,所以后三个其实可以写成一个大脚本。不过在本文为了表述的清楚,就把各自不同用途写成了不同的脚本。
获取阿里云DTS延迟和同步速率的脚本
这个脚本这里再拿出来晒一遍:#!/usr/bin/env python #coding=utf-8 #这个脚本是用来获取dts延迟数字的 from aliyunsdkcore import client from aliyunsdkcore.acs_exception.exceptions import ClientException from aliyunsdkcore.acs_exception.exceptions import ServerException import time,json,sys sys.path.append('/解压目录/aliyunsdkdts/request/v20160801/') #这里看不懂去看https://rorschachchan.github.io/2018/02/24/阿里云获取DTS服务延迟的脚本/ import DescribeSynchronizationJobStatusRequest # 创建 Client 实例 clt = client.AcsClient('这里填写ak','这里填写sk','填写对应的地域名') # 创建 request,并设置参数 request = DescribeSynchronizationJobStatusRequest.DescribeSynchronizationJobStatusRequest() request.set_SynchronizationJobId("这里填写DTS的ID号") response = clt.do_action_with_exception(request) delay = json.loads(response) rate = str(delay["Performance"]["FLOW"])[0:4] #由于同步速率默认是带单位的,这里就取前四位 #用A.txt来存储延迟时长 fd = open("/存储路径/A.txt","a") fd.write(str(delay["DataSynchronizationStatus"]["Delay"])) fd.write('\n') fd.close() #用B.txt来存储同步速率 fr = open("/存储路径/rate.txt","a") fr.write(rate) fr.write('\n') fr.close()
将获取到的值做成图片的脚本
由于脚本执行环境是无图像的阿里云服务器,系统是centos 7,
ps.slow这一步会爆错
RuntimeError: could not open display,所以只能采取把生成的PNG图像文件保存到本地路径里的方法。脚本内容如下:
#!/usr/bin/env python # -*- coding: utf-8 -*- import matplotlib as mpl mpl.use('Agg') #在无法生成图像的环境下要添加了上面两句话 import matplotlib.pyplot as plt import numpy as np import pylab as pl x=[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24] #横坐标的内容 labels=['10','11','12','13','14','15','16','17','18','19','20','21','22','23','24','1','2','3','4','5','6','7','8','9'] #y1是delay延迟时长 with open('/存储路径/A.txt', 'r') as f: y1 = [] for line in f: lst = line.split('\n') #增加一个换行符,不然数字是不换行的 y1.append(float(lst[0])) #y2是rate同步速率 with open('/存储路径/B.txt', 'r') as f: y2 = [] for line in f: lst = line.split('\n') y2.append(float(lst[0])) #输入对应的坐标,后面是颜色 plot1,=pl.plot(x,y1,'r') plot2,=pl.plot(x,y2,'b') pl.xticks(x,labels) pl.title('这里写标题',size=20) pl.xlabel('这里是X轴标题', size=14) pl.ylabel('这里写Y轴标题', size=14) pl.ylim(0.0,5.0) #曲线对应注释 pl.legend([plot1,plot2],('Delay','Sync rate'),'best',numpoints=1) #开启网格 pl.grid() #图片保存路径 plt.savefig('/保存路径/图片名称.png', format='png')
将生成的图片上传到阿里云OSS的脚本
由于不想让“领导去手动点开附件查看图像”,所以我们干脆把图片作为邮件的正文展示出来,那么就在html里就需要img src=图片的网络地址的方法。于是就把刚刚生成的图片上传到阿里云OSS里,这样就可以获得图片的网络地址。而且阿里云OSS是“相同文件名会覆盖”,所以不用再去删除。整个脚本内容如下:
# -*- coding: utf-8 -*- import os import shutil import oss2 access_key_id = os.getenv('OSS_TEST_ACCESS_KEY_ID', '这里填写ak') access_key_secret = os.getenv('OSS_TEST_ACCESS_KEY_SECRET', '这里填写sk') bucket_name = os.getenv('OSS_TEST_BUCKET', '这里填写bucket名称') endpoint = os.getenv('OSS_TEST_ENDPOINT', '这里填写内网end-point') # 确认上面的参数都填写正确了 for param in (access_key_id, access_key_secret, bucket_name, endpoint): assert '<' not in param, '请设置参数:' + param # 创建Bucket对象,所有Object相关的接口都可以通过Bucket对象来进行 bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name) bucket.put_object_from_file('上传到OSS的图片名称.png', '/服务器保存路径/图片名称.png')
将图片作为内容发邮件的脚本
整个脚本内容如下:#!/usr/bin/env python # -*- coding: UTF-8 -*- import os,time,re,smtplib,logging from email.mime.text import MIMEText from email.header import Header def send_mail(to_list, cc_list, html, sub): me = mail_user msg = MIMEText(html, _subtype='html', _charset='utf-8') # 格式化邮件内容为html,编码为utf-8 msg['Subject'] = sub # 邮件主题 msg['From'] = me # 发件人 msg['To'] = ";".join(to_list) # 收件人,将列表转换为字符串 msg['Cc'] = ";".join(cc_list) # 抄送人,将列表转换为字符串 try: send_smtp = smtplib.SMTP() # 实例化 send_smtp.connect(mail_host) # 连接smtp服务器 send_smtp.login(mail_user, mail_pass) # 使用定义的账号密码进行登录 send_smtp.sendmail(me, to_list+cc_list, msg.as_string()) # 发送邮件 send_smtp.close() # 关闭连接 return True except Exception, e: logging.basicConfig(filename='logger.log', level=logging.DEBUG) logging.debug(e) print ("ERROR!!!!") return False if __name__ == '__main__': mail_host = '邮件服务器地址' mail_user = '这里填写发件人地址' mail_pass = '填写对应的密码' mailto_list = ['收件人邮箱地址'] mailcc_list = ['抄送人1的邮箱地址','抄送人2的邮箱地址'] html = """ <body> <br><img src="这里填写的是图片的http地址"></br> <table color="CCCC33" width="800" border="1" cellspacing="0" cellpadding="5" text-align="center"> <tr> <td test-align="center">上图是阿里云深圳VPC区数据同步过去24小时的情况。<br /> 注意事项 1:dts的延迟时间是5秒计算一次,api请求会取到最新的延迟时间,而控制台是每隔20秒才刷新一次; 注意事项 2:api在延迟时间取值为整数,即1.x显示为2,请知悉; 注意事项 3:此邮件是系统自动发出,如果有任何疑问请联系运维人员; </tr></br> </table> </body> """ sub = "阿里云深圳VPC数据同步情况" if send_mail(mailto_list,mailcc_list,html,sub): logging.debug("Send mail succed!") else: logging.debug("Send mail failed")
上面四个脚本整个执行下来,效果如下,至此大功告成!
参考资料
https://github.com/aliyun/aliyun-oss-python-sdk/blob/master/examples/object_basic.py相关文章推荐
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- 利用python调用elasticsearch-api来分析数据并作图进行日报邮件发送
- python脚本获取zabbix监控数据,并且通过邮件发送
- 调用阿里云短信服务平台API实现ERP系统短信发送功能
- bpel流程调用一个同步服务(二)
- 调用webpowerAPI实现邮件发送功能(系统邮件一对一发送)
- 提高生产力:发送邮件API和Web服务(包含源码)
- SAP中用json数据格式调用http接口发送短信邮件案例
- 每日学习总结:CSS:Clear属性的用法、重复交易提示框、弹出提示框后页面变形、asp.net调用smtp服务发送邮件问题