您的位置：首页 > 编程语言 > Python开发

【Python成长之路】从零学爬虫--下载豆瓣8分以上的电影（附电影下载地址）

2019-08-10 19:28 573 查看

【写在前面】

平时在家休闲时，经常为找不到好看的电影而发愁。因此写了个爬虫，下载豆瓣8分以上的各类电影链接。当前只是爬取了电影的下载地址，只需要复制链接到迅雷就可能下载了。

【示例代码】

[code]# coding=utf-8

# @Auther : "鹏哥贼优秀"

# @Date : 2019/8/10

# @Software : PyCharm

import threading

import getheader

import requests

from bs4 import BeautifulSoup

import time

# 多线程处理

class myThread(threading.Thread):

def __init__(self,moviename,movieurl):

threading.Thread.__init__(self)

self.movieurl = movieurl

self.moviename = moviename

def run(self):

# 线程锁

threadLock = threading.Lock()

threadLock.acquire()

with open("movidedownload.txt", "a",encoding="utf-8")as f:

for i in range(len(self.moviename)):

downloadurl = self.get_moviedownload(self.movieurl[i])

print(downloadurl)

f.write(downloadurl + "\n")

# 线程锁的释放

threadLock.release()

time.sleep(3)

# 从各电影的详情界面中，获取具体下载URL地址

def get_moviedownload(self,movieurl):

headers = getheader.getheaders()

r = requests.get(url=movieurl, headers=headers)

# 编码格式需要根据具体网站的请求头变化

r.encoding = "gb2312"

soup = BeautifulSoup(r.text, "lxml")

# 有部分响应没有a标签，导致线程异常。因此需要做个异常保护

if not soup.find("td", style="WORD-WRAP: break-word").a:

    pass

else:

    downloadurl = soup.find("td", style="WORD-WRAP: break-word").a.get_text()

    return downloadurl

'''

get_movieinfo()只是获取豆瓣8分以上的电影信息（电影名称及对应的电影详情界面，并没有下载URL地址）

'''

def get_movieinfo():

url = "https://www.ygdy8.com/html/gndy/jddy/20160320/50541.html"

headers = getheader.getheaders()

r = requests.get(url=url, headers=headers)

r.encoding = "gb2312"

soup = BeautifulSoup(r.text, "lxml")

result = soup.find("div", class_="co_content8")

movies = result.find_all("p")

movieurls = []

movienames = []

for movie in movies:

if movie.a:

    movieurls.append(movie.a.get_text())

    movienames.append(movie.get_text().split("http")[0].strip())

return movienames, movieurls

if __name__ == "__main__":

# 多线程的创建和启动流程

threads = []

threadnum = 5

movienames, movieurls = get_movieinfo()

enum = int(len(movienames)//threadnum)

for i in range(threadnum):

threadtemp = myThread(movienames[i*enum:(i+1)*enum],movieurls[i*enum:(i+1)*enum])

threadtemp.start()

threads.append(threadtemp)

for i in threads:

i.join()

print("Exit!")

【效果如下】

【知识点】

1、网站中文字体的乱码问题：

刚开始爬取电影信息时，发现中文全成了乱码。

明明我对响应进行了解码呀（原代码是r.encoding = "utf-8"），而且之前也一直是这么用的，也没发现有问题。

后面仔细查看该网站消息头，发现了猫腻。

2、多线程处理：

由于8分以上的电影比较多，如果用单线程进行爬取，时间太慢了。因此又自己学习了多进程和多线程的代码编码，在上述示例代码中加入了多线程。至于多进程和多线程如何写，我将在另一篇博客里已经进行了详细介绍。

另外，关于线程数量，我一开始是设置了10个线程，想下载速度尽可能快点，后来发现后面几个线程在访问时，会被网站自动断连，估计和反爬机制有关。因此设置了5个线程。

【电影下载地址】

这篇文章主要的目的还是把各电影下载址附上来，方便需要的同学下载。部分电影已经看过了，是蛮精彩的，毕竟豆瓣8分的评价摆在那里。

ftp://ygdy8:ygdy8@yg45.dydytt.net:6058/[阳光电影www.ygdy8.net]勇往直前.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:7029/[阳光电影www.ygdy8.net].天际行者.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt.net:7103/[阳光电影www.ygdy8.net].老幸运.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8162/阳光电影www.ygdy8.com.养家之人.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg42.dydytt.net:7001/[阳光电影www.ygdy8.com].隐藏人物.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt.net:7002/[阳光电影www.ygdy8.com].校塔枪击案.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt.net:8004/[阳光电影www.ygdy8.com].完美陌生人.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8193/阳光电影www.ygdy8.com.看不见的客人.BD.720p.国西双语中英双字.mkv

ftp://ygdy8:ygdy8@yg42.dydytt.net:7005/[阳光电影www.ygdy8.com].分裂.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg73.dydytt.net:7003/[阳光电影www.ygdy8.com].终极斗士4.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg32.dydytt.net:7005/[阳光电影www.ygdy8.com].比海更深.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg73.dydytt.net:8005/[阳光电影www.ygdy8.com].竞速灭绝.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:8201/[阳光电影www.ygdy8.com].地球脉动2.第一集.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y153.dydytt.net:9052/[阳光电影www.ygdy8.com].马龙，听我说.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg73.dydytt.net:8005/[阳光电影www.ygdy8.com].竞速灭绝.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:8266/[阳光电影www.ygdy8.com].声之形.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:8260/[阳光电影www.ygdy8.com].沃伦.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:9270/[阳光电影www.ygdy8.com].逃出绝命镇.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt.net:7006/[阳光电影www.ygdy8.com].家族之苦2.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt.net:8083/[阳光电影www.ygdy8.com].家族之苦.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt.net:8074/[阳光电影www.ygdy8.com].重返·狼群.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8078/[阳光电影www.ygdy8.com].南汉山城.HD.720p.韩语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt.net:8068/[阳光电影www.ygdy8.com].我能说.HD.720p.韩语中字.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt.net:8064/[阳光电影www.ygdy8.com].在这世界的角落.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7060/[阳光电影www.ygdy8.com].极盗车神.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8089/[阳光电影www.ygdy8.net].猩球崛起3：终极之战.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:7002/[阳光电影www.ygdy8.com].山2.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg45.dydytt.net:7195/阳光电影www.ygdy8.com.水形物语.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8176/阳光电影www.ygdy8.com.脸庞，村庄.BD.720p.法语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8172/阳光电影www.ygdy8.com.与神同行.BD.720p.韩粤双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3065/阳光电影www.ygdy8.com.华盛顿邮报.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7166/阳光电影www.ygdy8.com.魅影缝匠.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3052/阳光电影www.ygdy8.com.马戏之王.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8156/阳光电影www.ygdy8.com.帕丁顿熊2.BD.720p.国粤英三语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8154/阳光电影www.ygdy8.com.至暗时刻.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8152/阳光电影www.ygdy8.com.春宵苦短，少女前进吧！.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg16.dydytt.net:7002/[阳光电影www.ygdy8.com].辛普森：美国制造.第1集.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt.net:7017/[阳光电影www.ygdy8.com].杰出公民.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8016/[阳光电影www.ygdy8.com].你的名字。.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7099/[阳光电影www.ygdy8.net].帝一之国.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:7024/[阳光电影www.ygdy8.net].至爱梵高·星空之谜.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8121/[阳光电影www.ygdy8.net].银翼杀手2049.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8235/[阳光电影www.ygdy8.net].小丑回魂.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8113/[阳光电影www.ygdy8.net].地球：神奇的一天.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8227/[阳光电影www.ygdy8.net].嘉年华.HD.1080p.国语中字.mp4

ftp://ygdy8:ygdy8@yg45.dydytt.net:7085/[阳光电影www.ygdy8.net].啊，荒野前篇.BD.720p.日语中字.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt.net:8097/[阳光电影www.ygdy8.net].相爱相亲.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4020/[阳光电影www.ygdy8.net].天才枪手.BD.720p.国粤泰三语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4016/[阳光电影www.ygdy8.com].龙的牙医.HD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3017/[阳光电影www.ygdy8.net].肉与灵.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4036/阳光电影www.ygdy8.com.神秘巨星.HD.1080p.国印双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4103/阳光电影www.ygdy8.com.大象席地而坐导演剪辑版.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3153/阳光电影www.ygdy8.com.碟中谍6：全面瓦解.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8344/阳光电影www.ygdy8.com.超人总动员2.BD.720p.英国粤三语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7343/阳光电影www.ygdy8.com.怨恨3：杀手.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8411/阳光电影www.ygdy8.com.与神同行：罪与罚.BD.720p.韩粤双语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8342/阳光电影www.ygdy8.com.与神同行2：因与缘.BD.720p.韩语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8338/阳光电影www.ygdy8.com.克里斯托弗·罗宾.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8337/阳光电影www.ygdy8.com.冷战.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7336/阳光电影www.ygdy8.com.冒牌上尉.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:6133/阳光电影www.ygdy8.com.孪生陌生人.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:6126/阳光电影www.ygdy8.com.八年级.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8308/阳光电影www.ygdy8.com.不留痕迹.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7297/阳光电影www.ygdy8.com.幸福的拉扎罗.BD.720p.意大利语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8276/阳光电影www.ygdy8.com.三块广告牌.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8259/阳光电影www.ygdy8.com.升级.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@y153.dydytt.net:9206/[阳光电影www.ygdy8.com].血战钢锯岭.BD.720p.国英双语.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg20.dydytt.net:8005/[阳光电影www.ygdy8.com].雄狮.HD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt.net:9111/[阳光电影www.ygdy8.com].疯狂动物城.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt.net:9074/[阳光电影www.ygdy8.com].星球大战7：原力觉醒.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt.net:9241/[阳光电影www.ygdy8.com].降临.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg42.dydytt.net:8002/[阳光电影www.ygdy8.com].推销员.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:8112/[阳光电影www.ygdy8.com].初恋这首情歌.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y153.dydytt.net:8094/[阳光电影www.ygdy8.com].死侍.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y219.dydytt.net:9094/[阳光电影www.ygdy8.com].荒野猎人.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg20.dydytt.net:8001/[阳光电影www.ygdy8.com].26个特殊劫匪.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg42.dydytt.net:8008/[阳光电影www.ygdy8.com].逃出绝命镇.HD.720p.英语中字.mkv

ftp://ygdy8:ygdy8@y219.dydytt.net:9063/[阳光电影www.ygdy8.com].大空头.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@y153.dydytt.net:8064/[阳光电影www.ygdy8.com].第二个妈妈.BD.720p.中英双字幕.rmvb

ftp://ygdy8:ygdy8@yg72.dydytt.net:8356/阳光电影www.ygdy8.com.奇迹热气球.BD.720p.德语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3199/阳光电影www.ygdy8.com.无主之作.BD.720p.德语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3196/阳光电影www.ygdy8.com.小偷家族.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8410/阳光电影www.ygdy8.com.蜘蛛侠：平行宇宙.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4122/阳光电影www.ygdy8.com.白蛇：缘起.HD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7400/阳光电影www.ygdy8.com.迦百农.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8395/阳光电影www.ygdy8.com.徒手攀岩.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3190/阳光电影www.ygdy8.com. 绿簿旅友.HD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:7393/阳光电影www.ygdy8.com.猎凶风河谷.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8393/阳光电影www.ygdy8.com.看不见的客人.BD.720p.国西双语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3189/阳光电影www.ygdy8.com.头号玩家.BD.720p.国英双语双字.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8474/阳光电影www.ygdy8.com.四个春天.HD.720p.国语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3188/阳光电影www.ygdy8.com.宠儿.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg72.dydytt.net:8343/阳光电影www.ygdy8.com.罗马.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8466/阳光电影www.ygdy8.com.谁先爱上他的.BD.720p.国语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4114/阳光电影www.ygdy8.com.调琴师.BD.720p.中文字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8383/阳光电影www.ygdy8.com.波西米亚狂想曲.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:4109/阳光电影www.ygdy8.com.一个明星的诞生.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg90.dydytt.net:8456/阳光电影www.ygdy8.com.地牢回忆.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8376/阳光电影www.ygdy8.com.狗十三.HD.720p.国语中英双字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:3162/阳光电影www.ygdy8.com.登月第一人.BD.720p.中英双字幕.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8368/阳光电影www.ygdy8.com.摄影机不要停！.BD.720p.日语中字.mkv

ftp://ygdy8:ygdy8@yg45.dydytt.net:8364/阳光电影www.ygdy8.com.阿拉姜色.HD.720p.国语中字.mkv