Python+MySQL获取PhishTank的钓鱼网站列表作业笔记
2015-11-21 10:24
4491 查看
仔细阅读PhishTank官方网站的开发者文档,了解API调用方法
1.注册账户,创建application并获取app_key
2.根据http://data.phishtank.com/data/<your app key>/online-valid.xml下载数据库导出文件.xml
于是便将问题转化为python解析xml大文件
Then 分别用xml.dom和xml.sax尝试去解析文档,均遇到相同问题:
xml.parsers.expat.ExpatError: not well-formed (invalid token): line 16519, column 83
xml.sax._exceptions.SAXParseException: online-valid.xml:16519:83: not well-formed (invalid token)
显然根据提示我们知道是xml文件中存在非法字符
接下来要解决的问题就是如何处理xml中的非法字符了(开启疯狂BG模式~~~)
几番B搜无果,最后在G搜到类似的内容:
以纯文本当时读取文件,然后用字符串来处理,就能得到非法字符完全剔除的的结果了
于是作业也就可以愉快的进行下去啦
版权声明:本文为博主原创文章,未经博主允许不得转载。
1.注册账户,创建application并获取app_key
2.根据http://data.phishtank.com/data/<your app key>/online-valid.xml下载数据库导出文件.xml
于是便将问题转化为python解析xml大文件
Then 分别用xml.dom和xml.sax尝试去解析文档,均遇到相同问题:
xml.parsers.expat.ExpatError: not well-formed (invalid token): line 16519, column 83
xml.sax._exceptions.SAXParseException: online-valid.xml:16519:83: not well-formed (invalid token)
显然根据提示我们知道是xml文件中存在非法字符
接下来要解决的问题就是如何处理xml中的非法字符了(开启疯狂BG模式~~~)
几番B搜无果,最后在G搜到类似的内容:
#!/usr/bin/python # -*- coding:utf-8 -*- import string import xml.dom.minidom def parse_xml(file_path): """ Handle xml file with invalid character [input] : path of the xml file [output] : xml.dom.minidom.Document instance """ try: xmldoc = xml.dom.minidom.parse(file_path) except: f = file(file_path) s = f.read() f.close() ss = s.translate(None, string.printable) s = s.translate(None, ss) xmldoc = xml.dom.minidom.parseString(s) return xmldoc if __name__ == '__main__': pass
以纯文本当时读取文件,然后用字符串来处理,就能得到非法字符完全剔除的的结果了
于是作业也就可以愉快的进行下去啦
版权声明:本文为博主原创文章,未经博主允许不得转载。
相关文章推荐
- windows下使用cx_freeze将Python程序打包成exe可执行文件
- Python正则表达式学习小结
- Ubuntu环境下利用Python3+PyQt5+Eric6进行GUI编程
- python学习笔记-Day04-第四部分(装饰器)
- Python 知识点 记录 日积月累
- Python range和xrange的区别和联系
- 根据输入显示一个人的出生日期(我的第二个python程序)
- python冒泡算法,lambda表达式
- wxpython学习6
- wxpython学习5
- wxpython学习4
- leetcode Letter Combinations of a Phone Number python
- Python读取配置文件
- python进阶 内置函数
- 根据输入显示一个人的出生日期(我的第二个python程序)
- python学习笔记-Day04-第三部分(内置函数,map,filter,reduce,yield)
- python学习笔记-Day04-第二部分(lambda表达式)
- python学习笔记(5)
- python学习笔记-Day04-第一部分(冒泡算法的实现)
- python学习笔记(4)