python超级简单爬虫

#coding=utf-8
import sys
import time
import urllib
import urllib2
import requests
import numpy as np
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf8')
out=open("foodlist","w+")
def pachong(tag):
count=1

while 1:
url="http://home.meishichina.com/search/"+urllib.quote(tag)+"/"
tail="page/"+str(count)+"/"
if count!=1:url+=tail
time.sleep(np.random.rand()*2)

try:
print url
req=urllib2.Request(url)
source_code=urllib2.urlopen(req).read()
plain_txt=str(source_code)
except (urllib2.HTTPError,urllib2.URLError),e:
print e
continue

soup=BeautifulSoup(plain_txt)
list_soup=soup.find_all('div',{'class':'detail'})
if len(list_soup)==0:break
for i in range(len(list_soup)):
res=list_soup[i].find('h4')
title=res.text
res=list_soup[i].find('p',{'class':'subcontent'})
descrip=res.text
res=list_soup[i].find('div',{'class':'left'})
if res.text=="":myfrom="无"
else:myfrom=res.text.strip()
out.write(str(title)+'\t'+str(descrip)+'\t'+myfrom+'\n')
count+=1

pachong("火锅")

【食尚擂台火锅赛区】：醇香无比---沙嗲火锅	原料：猪骨、鸡爪、干贝、牛油、花生沙嗲酱、芝麻酱、椰浆、洋葱、西芹、葱、料酒、姜、盐、肥牛、鱼丸、鱼豆腐、鱼板。	kiss战女
豆浆鸡汤火锅	原料：鸡、湿黄豆、姜、金针菇、豆腐、干腐竹、香菇、豆皮、大白菜、鱼豆腐、蟹棒、鱼丸、香肠、炸鱼片、扁食、牛肉卷、盐。	灵草
热乎乎的火锅为小主奉上~ [魔方]	火锅，它是中国独创的美食，起源于中国直辖市重庆，现吃现烫，麻辣咸鲜香，油而不腻，暴汗淋漓，酣畅之极，解郁除湿，适于山川之气候，今发展为鸳鸯锅，麻辣清淡各别，各取所需，老少咸宜，至冬之佳品。	无
火锅底料	原料：葱、姜、蒜、花椒、辣椒、调料包、调味酱、香辣酱、蒜蓉酱、各种蔬菜。	夏天的猫
冬季在家自己调配------火锅	原料：牛肉卷、羊肉卷、黑豆芽、白菜、香菇、黑木耳、茼蒿、各种丸子、粉条、地瓜、土豆、山药、豆腐、方便面、八角、桂皮、香叶。	悦诗吟风
自制火锅鸡	原料：鸡腿、翅根、葱头、香菇、黄豆芽、郫县豆瓣、姜片、干红椒、蒜瓣、麻椒、八角、香叶。	希爱
羊肉火锅 ---- 直击味蕾！	原料：羊小排、胡萝卜 白萝卜 平菇、白酒 盐 味精 大葱 生姜 大。	小美的美味
牛肉火锅	原料：牛肉、牛肉丸、白萝卜、猪腿骨、金针菇、杏鲍菇、莲藕、海带、香菜、沙茶酱、老干妈、酱油、可口可乐。	映映爱美食
【养生泥鳅火锅】--- 捞出营养、捞出健康	原料：泥鳅、嫩豆腐、芹菜、泡椒、葱姜蒜、干红椒、花椒、原汁上汤、豆瓣酱、白糖、盐。	诗心
酸菜鱼火锅	原料：草鱼、酸菜、生菜、金针菇、油豆腐、辣椒、蒜头、姜、郫县豆瓣酱、盐、调和油。	映映爱美食
啤酒鸭火锅~~让这个冬天不再寒冷~！！	原料：光鸭、豆瓣酱、火锅底料、啤酒、八角、桂皮、香叶、姜、干椒、盐、胡椒粉、油。	我为厨狂100
火锅蘸料	原料：芝麻酱、红腐乳、韭菜花、糖、盐、椒油、味精、芝麻。	夜雨紫轩
红焖羊肉火锅和水果拼盘	原料：羊肉、生菜、皮渣、豆腐、香菇、豆腐皮、金针菇、虾滑、冬瓜、黄瓜、胡萝卜、葱段、姜片、郫县豆瓣酱、大料包	给宝贝做的饭
鸡肉火锅	原料：整鸡、莴笋、胡萝卜、洋葱、各类蔬菜、酱油、芝麻、花椒粉、耗油、辣椒、鸡精、盐、植物油、牛肉酱、豆瓣酱、孜然粉、胡椒粉、豆瓣酱。	紫蝙蝠
火锅鱼	原料：梭边鱼、红苕粉、香菜、姜、葱、蒜、德莊火锅料小包、盐、鸡精、胡椒粉、豆瓣酱、八角、嫩肉粉、料酒。	子豪妈妈
泡菜小火锅	原料：土豆、肉饼、鱼丸、冻豆腐、白菜泡菜、海带、金针菇、盐、生抽。	映映爱美食
原味海鲜火锅	原料：海蚌、活虾、熟小管、鱿鱼、牡蛎、西兰花、胡萝卜、豆腐、生蒜、食盐、味极鲜生抽、醋。	诗心
冬至来吃羊排火锅	原料：羊排、金针菇、竹笋、芹菜叶、四川豆瓣酱、重庆火锅底料、草果、三奈、小茴、桂皮、花椒粒、干红辣椒、生姜、盐、酱油、料酒、冰糖、鸡粉。	盈盈而笑
麻辣串串香火锅	原料：鲜虾、豆皮、鲜蘑、鸭血、鱼丸、萝卜、莲藕、生菜、火腿肠、花菜、年糕片。	西马栀子
【可口可乐—家庭健康火锅】----------四川味道的麻辣鸡火锅	原料：公鸡、干辣椒、花椒、姜、蒜、大葱、八角、香叶、三奈、桂皮、冰糖、辣酱、料酒、老抽、盐、胡椒粉、豆腐、豆腐皮、香菇、香菜。	sunshinewinnie
家常牛肉火锅	原料：牛肉、豆腐、豆腐果、腐竹、粉丝、生菜、大白菜、炸丸子、蟹肉棒、金针菇、香菇、锅巴、乌冬面、白萝卜。	葛思嘉
香辣红油牛肉火锅	原料：牛腱、八角、桂皮、干红椒、生姜、蒜瓣、重庆红油火锅底料、白萝卜、菠菜、鸡蛋。	籣草児
日式火锅	原料：大白菜、鸡腿肉、菌菇、蓬蒿菜、豆腐、凤尾虾、蛤蜊、鱼竹轮、鱼板、胡萝卜、大葱、豆腐丸子。	草月
秘制四川麻辣火锅底料	原料：牛油、郫县豆瓣酱、干辣椒、干花椒、碎米芽菜、白酒、醪糟、泡椒、菜籽油、豆豉、小茴香、孜然、香果、砂仁、丁香、白扣、草果、三奈、香草、千里香、香叶、桂皮、八角、陈皮、老扣、香茅草、甘松、甘草、排草、枝子。	叶子的小厨
【菜谱换礼2】征服挑剔老公的韩国泡菜火锅麻辣面	原料：面条、五花肉、泡菜、豆腐、海带丝、香菇、豆芽、金针菇、菠菜、韩国大酱、韩国辣椒酱、牛肉粉、生抽、麻油。	倾城妈咪
火锅必备【现做·鲜虾滑】	原料：鲜虾、淀粉。	唐小萌爱淘气
重庆老火锅	原料：菜油、牛油、老油、大葱、姜、蒜、花椒、海椒、豆瓣、醪糟、冰糖、香叶、白芷、茴香、丁香、山奈、八角、桂皮、陈皮、草果、白寇、肉蔻。	火力上校
【可口可乐—健康家庭火锅】排骨鲜汤什锦火锅	原料：排骨、大白菜、豆腐泡、花菜、金针菇、鱼丸、烤肠、豆干、葱白、姜、蒜、料酒、香醋、火锅调料。	苽苽
韩式部队火锅	原料：干海带、火腿两种、豆芽、鱼饼、金针菇、小蘑菇、葱、辣白菜、辣椒酱、浓汤宝。	小猪厨娘
重庆火锅	原料：花椒、豆瓣、豆汁、辣椒、姜、葱蒜、盐、鸡精、味精、冰糖、胡椒面。	川厨浪子
【可口可乐—健康家庭火锅】韩国泡菜火锅	原料：猪肉馅、韩式泡菜、火腿肠、黄豆、青豆、洋葱、金针菇、香菇、豆腐、茼蒿菜、大葱、鸡骨汤、酱油、蒜末、葱末、香油、糖、辣椒粉、盐、鸡精。	浓咖啡淡心情
热火朝天——麻辣火锅鸡	原料：土鸡、芹菜、白菜、山药、面筋、馓子、烤麸、土豆、烙饼、火锅料、花椒、干红辣椒、老抽、白糖、生抽、盐、鸡精、葱姜、五香油。	爱下厨的猪
家庭简易版—麻辣羊肉火锅	原料：羊肉、胡萝卜、土豆、香菇、上海青、波菜、葱、姜、油、盐、鸡蛋、味精、麻辣火锅底料。	水的清新
养生米粥火锅	原料：羊肉、牛肉、蘑菇、油豆皮、对虾、肉丸、娃娃菜、八代哨、牛百叶、毛肚、葱、猪大骨、姜、清水、泰国香米、大枣、芝麻酱、辣椒油等。	爱吃de胖子
涮菜喝汤二不误----生滚鱼片火锅	原料：黑鱼、粳米、色拉油、盐、白胡椒、料、姜、太湖白虾、口蘑、白玉菇、荷兰豆、菠菜、生抽、蒸鱼豉油、鸡精、白芝麻、小葱、色拉油。	爱美的家
排骨汤锅···麻辣火锅	原料：排骨汤、海带、茼蒿菜、小青菜、小香肠、虾丸、鱼丸、火腿肠、莴苣、秀珍菇、大白菜、蟹肉棒、桥头火锅底料。	joanna_521
杂菌荟火锅	原料：鲜鸡、姜葱、洋葱、盐、胡椒粉、料酒、涮料:蟹味菇、鸡菇、海鲜菇、金针菇、蘑菇、香菇、平菇、粉丝、香菜、白芝麻酱。	落雨无声
韩国部队火锅	原料：辣白菜、带皮猪肉、火锅面、豆腐、豆芽、海带、鱼丸、鱼柳、火腿、大葱、花椒、大料、姜、酱油、味精、盐。	刘英杰
一品鲜火锅	原料：草鱼、羊腿肉、羊排、蛋清、淀粉、葱、姜、郫县豆瓣酱、豆豉酱、干红辣椒、大开洋、花椒、八角、盐、生抽、老抽、食用油、料酒、黑胡椒。	老杨的厨房
毛血旺火锅【家庭版】	原料：鸭血、百叶、白菜、杏鲍菇、豆泡、黄豆芽、郫县辣酱、麻椒、酱油、辣椒、油、葱姜、高汤。	西马栀子
舌尖上的相逢------------------------重庆火锅底料	原料：糍粑海椒、白酒、八角、桂皮、香叶、三奈、干辣椒、花椒、醪糟、郫县豆瓣酱、大蒜、姜、白豆蔻、肉豆蔻、排草、砂仁、丁香、小茴香。	心清似水淡若云
水煮鲶鱼豆腐火锅	原料：鲶鱼、豆腐、粉条。	rensissi
【满堂红猪血火锅】--- 解毒清肠、补血美容的专锅	原料：猪血、嫩豆腐、西红柿、青椒、红椒、青蒜、香菜、红葱头、香葱、生姜、蒜瓣、花椒、干红椒。	诗心
酸爽开胃-----酸萝卜老鸭汤火锅	原料：老鸭、酸萝卜、酸姜、酸辣椒、花椒、姜片、大葱、大枣、枸杞。	sunshinewinnie
香辣鲈鱼火锅	原料：鲈鱼、母鸡汤、洋葱、花椒、干辣椒、八角、带根、蒜苗两根、青红尖椒、姜、豆豉酱、郫县豆瓣、盐、胡椒粉、干淀粉。	老杨的厨房
韩式辣酱汤鲜鱼火锅	原料：鲜活草鱼1条、葱姜蒜末各、普通豆瓣酱、韩式辣酱、生抽酱油、糖、盐、料酒、葱姜丝、洋葱末、青红椒圈。	浓咖啡淡心情
丽江，思念是一种病——腊排骨火锅。	原料：腊排骨软排、西红柿、芹菜、姜、清水。	ms0701
冬阴功火锅	原料：鲜虾、香菇或其他菌菇、高汤、香茅干、良姜干、冬阴功酱、柠檬叶、青柠、香菜、干辣椒、鱼露、炼乳、砂糖、鸡精、椰粉。	Norma
健脾补气排骨火锅	原料：排骨、茶树菇、香菜、干黑木耳、小白菜、腐竹、粉丝、黄豆、老藕、红枣、陈皮、肉桂、白芷、小茴香、甘草、花椒、丁香、草果、八角、黄芪、西洋参、枸杞、醋、盐、味精、葱、姜。	葛思嘉
【食尚擂台 火锅专区】：鲜美滋味缕缕萦绕---海鲜火锅	原料：猪骨汤、海带、盐、海蟹、海参、鲍鱼、鲜虾、扇贝、茼蒿、香菇、金针菇、生抽、香葱、香油。	kiss战女
麻辣飘香—红油鱼片火锅	原料：草鱼、油皮、豆腐、大白菜、红油豆瓣酱、干红椒、花椒、姜葱、盐、料酒、干淀粉。	诗心
火锅鲶鱼	原料：鲶鱼、生姜、大蒜、火锅底料、葱、八角、豆腐、酱油、蚝油、十三香。	赛菲
----羊肉火锅----	原料：羊腿、胡萝卜、青蒜、大蒜、生姜、陈皮、孜然、干红椒、花椒、草果、香叶、桂皮、盐、胡椒粉、老抽、蔬之鲜、酱油。	烟水迷离
猪蹄火锅	原料：猪蹄、羊肉、牛肉、鱼丸、香菜、菜花、萝卜、生菜、豆腐、素鸡、粉带、香菇、生姜、大蒜、大料、蒜苗、盐。	北极的鱼2
老北京羊蝎子火锅	原料：羊蝎子一根、葱姜蒜、黄酒、北京的干黄酱、小茴香、花椒、白胡椒、草果、山奈、桂皮、陈皮、甘草、丁香。	常客馋人
酸菜白肉火锅	原料：五花肉，、东北酸菜、油菜、香菇、木耳、鱼丸、鸡精、八角、胡椒粉、料酒、桂皮、葱姜。	西马栀子
麻辣火锅鱼	原料：鱼1斤，、高汤、香菜1根、水豆腐、猪血、魔芋、油豆腐、精盐、食用油、辣椒油、老抽、耗  油、麻辣鱼香粉、鸡精。	水青青
香辣鱼头豆腐火锅	原料：草鱼头、豆腐、郫县辣酱、葱姜、料酒、盐。	西马栀子
鲅鱼豆腐火锅	原料：鲅鱼、冻豆腐、香菇、粉丝、香菜、生菜、金针菇、大葱、姜、玉米油、老抽、酱油、精盐、花椒、大料、白酒、白糖、陈醋、味精。	刘英杰
【食尚擂台 火锅专区】：欲罢不能---滋补铜火锅	原料：滋补汤底：猪骨、葱、姜、料酒、枸杞、桂圆、羊肉片、肥牛、生菜、牛百叶、冻豆腐、绿豆杂面、蘸料：芝麻酱、韭菜花	kiss战女
儿童火锅	原料：史云生原汁上汤、鲜虾、鸡胸肉、胡萝卜、鹌鹑蛋、海带、千张、豆腐、火腿、蘑菇、白玉菇、金针菇、香菇。	小厨飘香
金汤海鲜火锅	原料：南瓜、冬瓜、小米、文蛤、明虾、湖蟹、汤骨、粉丝、香菜、盐、、胡椒粉、料酒。	落雨无声
川味酸辣粉——用海底捞做简易火锅酸辣粉	原料：红薯粉、绿豆芽、芫荽、葱、蒜泥、熟花生米（香辣脆）、白芝麻、海底捞火锅底料、盐、老干妈、生抽、陈醋、芝麻油、油、花椒油。	chinfeya
涮菜火锅	原料：白菜、西葫、鱼丸、虾、肥牛片、冻豆腐、粉丝、香菜、涮菜料、芝麻酱。	绿野薄荷
上汤番茄鸡翅火锅	原料：鸡翅、金针菇、杏鲍菇、生菜、鱼丸、鲜番茄、史云生原汁上汤、番茄酱、盐、洋葱。	西马栀子
什锦羊肉火锅+2款特制调味酱	原料：羊肉、香菇、红萝卜、土豆、金针菇、莴苣、千张、鲜笋、豆腐泡、蟹柳棒、牛肉圆子、虾园子。	甜蜜滋味
鱼片火锅	原料：原草鱼、青椒、红椒、香菜、香葱、葱、姜、蒜、醋、蒸鱼豉油、蚝油、白酒、盐、白糖、白胡椒粉、鸡精。	星星仙语
骨汤狮子头火锅	原料：猪肉馅、面粉、大骨汤、鸡蛋、青菜、粉丝、蟹肉棒、小香肠、大虾、豆腐泡、豆腐、豆腐皮、木耳、金针菇、香菇、杏鲍菇、鸡腿菇。	浓咖啡淡心情
火锅涮羊肉	原料：羊肉(肥瘦) 、白菜、粉丝、韭菜花、糖蒜、芝麻酱、料酒、腐乳(白)、酱油、辣椒油、香菜、大葱。	美食嗨客
【骨香田园火锅】--- 色彩缤纷的营养火锅	原料：排骨、白萝卜、玉米、冬菇、芋丸、鹌鹑蛋、玉子豆腐、蟹肉棒、糯米猪血、青蒜、葱姜、食盐、原汁上汤。	诗心
香辣鸡煲火锅	原料：三黄鸡、洋葱、尖青椒、朝天椒、蒜头、葱、豆瓣酱、酱油、料酒、花椒油、盐、鸡精。	巧妞
风情咖喱鸡肉火锅	原料：鸡肉、虾仁、平菇、菠菜、中等洋葱、番茄、胡萝卜、土豆、油咖喱、盐、黑胡椒粉、黄油、料酒、大蒜瓣。	葛思嘉
【酸汤鱼片火锅】-- 附片鱼详细过程	原料：草鱼、泡椒、泡椒水、香葱、生姜、史云生原汁上汤、食盐、料酒、蛋清、干淀粉、郫现豆瓣酱、白糖。	诗心
营养与鲜美并存-----筒骨海鲜火锅	原料：筒骨、甜玉米、姜、小葱、盐、鲜虾、鱿鱼、鱼丸、虾丸、龙虾棒、金针菇、蟹肉棒、香菇、生菜、生抽、拌饭酱、芝麻酱、小葱、青椒红椒碎。	爱美的家
养生菌菇火锅	原料：史云生高汤、杏鲍菇、香菇、平菇、金针菇、萝卜、土豆、木耳、菠菜、白菜、鸡翅、茼蒿、撒尿牛丸、香菇贡丸、包心肉丸、夹心海鱼豆腐。	89燕子
火锅粉	原料：红薯粉丝、火锅料、肉臊、白菜叶、大葱、葱姜蒜、香菜、盐、油、醋、酱油。	可愛的豬兒蟲
烧鸡公火锅	原料：鸡、金针菇、葱、烧鸡公调料包。	映映爱美食
药膳驴肉火锅	原料：驴肉、史云生原汁上汤、水、各式蔬菜、各式肉丸、鲜虾、粉条、淮山、玉米、牛肉馅饺子、党参、玉竹、鲜无花果、马蹄、红枣、姜片。	火镀红叶
浓汤咖喱牛腩火锅	原料：牛腩、土豆、百梦多原味咖喱块、咖喱粉、辣油、料酒、姜。	Norma
清汤火锅	原料：毛肚、黄喉、金针菇、香菇、火腿肠、凤尾、胡萝卜、千张豆腐干、排骨、西红柿、西兰花、袋装火锅底料、姜、	lulume
南昌特色筒骨鱼头火锅（家庭版）	原料：鳙鱼头、筒子骨、猪肺、泡椒、香叶、八角、桂皮、小茴香、花椒、姜、独头蒜、大葱白、糯米酒、老抽、李锦记豆瓣酱。	米芽
【重庆美食】什锦火锅	原料：熟红肉丸、熟橄榄肉丸、熟蛋卷、浸发粉丝、白菜、白菜、冬笋、水发香菇、猪瘦肉、熟猪肚、水发墨鱼、青蒜、胡椒粉。	妖小懿
天冷吃火锅——日式寿喜烧	原料：牛肉片、大葱、菌菇、蔬菜、豆腐、专用调味汁。	蓝晶翎
南昌传统全家福火锅	原料：大骨汤、羊肉卷、牛肉卷、自制炸肉丸、黑木耳、鹌鹑蛋、白菜叶、粉丝、其他配菜、胡椒粉、盐鸡精、鸡精。	米芽
汤浓肉香的火锅更好吃-----猪排火锅	原料：猪肋排、姜、蒜、香葱、大料、色拉油、料酒、盐、生抽、老抽、豆瓣酱、糖、虾仁、西兰花、花菜、生菜、大白菜、木耳。	爱美的家
清汤羊排火锅	原料：羊排、白萝卜、胡萝卜、白菜、黄豆芽、金针菇、豆泡、花椒、葱姜、辣椒、盐、芝麻 ，、蒸鱼豉油、麻油。	西马栀子
【食尚擂台火锅赛区】：香浓馥郁---咖喱火锅	原料：绿咖喱、咖喱粉、史云生上汤、大蒜、葱段、姜片、椰浆、土豆、洋葱、黄油、盐、海虾、鱿鱼花、鱼丸、蟹棒、粉丝、芝麻酱、花生米、辣椒	kiss战女
【虫草花鸡汤养生火锅】--- 滋阴补血、保健养生	原料：土鸡、虫草花、大红枣、当归、党参、千张、鸡蛋、冬菇、火腿、水发笋干、蟹肉棒、食盐、水淀粉。	诗心
中西合璧的火锅吃法---香草红酒牛肉火锅	原料：牛腩、洋葱、胡萝卜、口蘑、芹菜、蒜、百里香、香叶、红酒、番茄酱、白砂糖、熟透的番茄、黑胡椒、盐、食用油	爱美的家
剁椒海鲜火锅	原料：新鲜草鱼、墨鱼、大虾、虾爬子（皮皮虾）、海带、金针菇、大白菜、茼蒿菜、牡蛎肉、蟹肉棒、五花肉、剁椒、盐、葱姜蒜末、料酒、葱姜丝、鸡精、高汤（或者清水）、麻酱、清水、腐乳、葱姜蒜末、糖、鸡精、盐、韭菜花酱。	浓咖啡淡心情
牛肉香菇火锅	原料：精瘦牛肉、干香菇、鲜香菇、杏鲍菇、海鲜菇、白菜、豆腐、茼蒿菜、杭椒、红椒、葱蒜末各、盐、生抽酱油、糖、鸡精。	浓咖啡淡心情
在家吃火锅	原料：排骨、葱、姜、蒜、土、豆羊肉卷、豆皮、香菇、青菜、火腿、麻花、香油、油沷辣椒、芝麻酱。	我的美食美刻
羊肉火锅	原料：羊排、胡萝卜、料酒、生姜、八角、香叶、辣椒、酱油、盐、胡椒、味精、大蒜、花椒。	bluebutterfly
鸳鸯火锅	原料：猪腿骨、牛肉、牛肉丸、鸡肾、鸭肾、鸡肠、鸭肠、白萝卜、莲子、腐竹、生菜、西洋菜、水豆腐、姜、盐、老干妈、花椒粉、调和油。	映映爱美食