python 爬虫的学习记录--《crifan大神的教程》

1.《关于http(GET或POST)请求中的url地址的编码(encode)和解码(decode)》关于url的编码和解码知识，函数urllib.unquote(解码）和urllib.quote（编码）。是将一些字符编码成ASCII（十六进制形式）。有些可能会经过多次编码。为什么会对网址进行编码，是因为rfc1738中有规定，规定的原因请见链接：http://www.crifan.com/summary_url_encode_and_decode_during_http_get_post_request/
2. 查看报文交互流程--抓http报文包的工具，自己本身使用的是fiddler，结果不跨平台。。想想以前也用浏览器自带的开发者工具抓过包，自己经常用chrome，就准备用chrome的开发者工具了。基本的抓包界面已经了解，可能一些小技巧还不太会，慢慢积累吧。参见帖子：《各种浏览器中的开发人员工具Developer
Tools：IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug》，链接为：http://www.crifan.com/summary_webbrowser_developer_tool_ie9_f12_chrome_ctrl_shift_j_firefox_firebug/ 。还有这个帖子：《浏览器中的开发人员工具（IE9的F12和Chrome的Ctrl+Shift+I）-网页分析的利器》，链接为：http://www.crifan.com/browser_developer_tool_chrome_vs_ie9/