python爬虫入门
2015-11-02 21:15
567 查看
1. 从guthub项目地址下载项目源码,请支持作者本人。
2. 安装提到的各种库。
Python爬虫入门八之Beautiful Soup的用法
.Python之lxml库学习笔记一
安装libxml2-python-2.7.7.win32-py2.7.exe
安装request
顺便学习一下beautiful soup的用途:Beautiful Soup 4.2.0 文档¶
3. 安装mysql
安装MYSQL,net start mysql 启动报错:
报错1,系统找不到指定的文件。
解决方案:根据错误日志,修改注册表。
因为解压版没有像安装版 那样指定目录,所以需要更改注册表:把注册表里的路径改为自己解压缩后Mysqld.exe所在的文件路径。
修改注册表有三种方式:怎么修改注册表。我选择用windows的注册表修改器--regedit.exe:
HKEY_LOCAL_MACHINE-SYSTEM-CurrentControlSet-services-mysql(服务名)-ImagePath
更改为:"C:\Program Files\MySQL\bin\mysqld" --defaults-file="C:\Program Files\MySQL\my.ini" mysql
显示:MySQL 服务正在启动 ..MySQL 服务已经启动成功。成功解决。
配置环境变量:将c:\mysql\bin 路径加入path,可以直接启动mysql。
MySQL服务的启动、停止与卸载
启动: net start MySQL
停止: net stop MySQL
设置密码:mysql> set password='XXX';
报错2:ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number
问题原因:你输入的密码是明文。不允许这么输入。
解决办法:用select password('你想输入的密码');查询出你的密码对应的字符串,然后用这个字符串在创建用户命令中替换你的密码。
--本地连接 :mysql –uroot -p
--远程连接 :mysql –uwgb –hXXX.XXX.XXX.XXX –p
安装python-mySQl:MySQL-python 1.2.3 for Windows and Python 2.7, 32bit and 64bit versions
4. 直接粗暴地获取cookie
5. 修改config.ini文件,运行init.sql文件:mysql>source d:\test\ss.sql 或者 mysql>\. d:\test\ss.sql
6. 报错3:ConfigParser MissingSectionHeaderError: File contains no section headers.
需要修改配置文件中的数据库连接等相关信息,修改后执行程序,调试程序后发现文件头部被追加了信息:\xef\xbb\xbf,然后ConfigParser解析出错
google了下\xef\xbb\xbf,
解决:替换开头。在window下面用记事本编辑文件的时候,如果保存为UNICODE或UTF-8,分别会在文件的开头加上两个字节“\xFF\xFE”和三个字节“\xEF\xBB\xBF”。
7.报错4:解决UnicodeEncodeError: 'ascii' codec can't encode characters in position问题
解决方案:在开头加上:
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
2. 安装提到的各种库。
Python爬虫入门八之Beautiful Soup的用法
.Python之lxml库学习笔记一
安装libxml2-python-2.7.7.win32-py2.7.exe
安装request
顺便学习一下beautiful soup的用途:Beautiful Soup 4.2.0 文档¶
3. 安装mysql
安装MYSQL,net start mysql 启动报错:
报错1,系统找不到指定的文件。
解决方案:根据错误日志,修改注册表。
因为解压版没有像安装版 那样指定目录,所以需要更改注册表:把注册表里的路径改为自己解压缩后Mysqld.exe所在的文件路径。
修改注册表有三种方式:怎么修改注册表。我选择用windows的注册表修改器--regedit.exe:
HKEY_LOCAL_MACHINE-SYSTEM-CurrentControlSet-services-mysql(服务名)-ImagePath
更改为:"C:\Program Files\MySQL\bin\mysqld" --defaults-file="C:\Program Files\MySQL\my.ini" mysql
显示:MySQL 服务正在启动 ..MySQL 服务已经启动成功。成功解决。
配置环境变量:将c:\mysql\bin 路径加入path,可以直接启动mysql。
MySQL服务的启动、停止与卸载
启动: net start MySQL
停止: net stop MySQL
设置密码:mysql> set password='XXX';
报错2:ERROR 1372 (HY000): Password hash should be a 41-digit hexadecimal number
问题原因:你输入的密码是明文。不允许这么输入。
解决办法:用select password('你想输入的密码');查询出你的密码对应的字符串,然后用这个字符串在创建用户命令中替换你的密码。
--本地连接 :mysql –uroot -p
--远程连接 :mysql –uwgb –hXXX.XXX.XXX.XXX –p
安装python-mySQl:MySQL-python 1.2.3 for Windows and Python 2.7, 32bit and 64bit versions
4. 直接粗暴地获取cookie
5. 修改config.ini文件,运行init.sql文件:mysql>source d:\test\ss.sql 或者 mysql>\. d:\test\ss.sql
6. 报错3:ConfigParser MissingSectionHeaderError: File contains no section headers.
需要修改配置文件中的数据库连接等相关信息,修改后执行程序,调试程序后发现文件头部被追加了信息:\xef\xbb\xbf,然后ConfigParser解析出错
google了下\xef\xbb\xbf,
解决:替换开头。在window下面用记事本编辑文件的时候,如果保存为UNICODE或UTF-8,分别会在文件的开头加上两个字节“\xFF\xFE”和三个字节“\xEF\xBB\xBF”。
content = open('BaseConfig.cfg').read() #Window下用记事本打开配置文件并修改保存后,编码为UNICODE或UTF-8的文件的文件头 #会被相应的加上\xff\xfe(\xff\xfe)或\xef\xbb\xbf,然后再传递给ConfigParser解析的时候会出错 #,因此解析之前,先替换掉 content = re.sub(r"\xfe\xff","", content) content = re.sub(r"\xff\xfe","", content) content = re.sub(r"\xef\xbb\xbf","", content) open('BaseConfig.cfg', 'w').write(content)
7.报错4:解决UnicodeEncodeError: 'ascii' codec can't encode characters in position问题
解决方案:在开头加上:
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
相关文章推荐
- 逻辑斯蒂回归 Logstic Regression in Python
- python标准库介绍
- Python入门课程总结-导图版
- leetcode之Peeking Iterator
- Python学习--字典和元组
- Python字符与ASCII码之间的转换
- Python 中文编码
- Numpy之ndarray与matrix
- python PEP8编码规范及问题整理(一)
- Spark(Hive) SQL中UDF的使用(Python)
- 2015/11/2用Python写游戏,pygame入门(2):游戏中的事件和显示
- Python之路【第一篇】:Python简介和入门
- python知识(2)----python的多态
- Python 多线程
- Django+python 日志文件配置
- 用 ElementTree 在 Python 中解析 XML
- python学习
- writing-plugins-for-gedit-3-in-python
- python解析时间格式脚本
- python and java