【Python3爬虫】网易云音乐歌单下载
2018-09-02 13:50
316 查看
一、目标:
下载网易云音乐热门歌单
二、用到的模块:
requests,multiprocessing,re。
三、步骤:
(1)页面分析:首先打开网易云音乐,选择热门歌单,可以看到以下歌单列表,然后打开开发者工具
因此我们需要请求的url就是https://music.163.com/discover/playlist,然后用requests.get()方法请求页面,对于返回的结果,用正则表达式进行解析,得到歌单名字和歌单id,解析的正则表达式如下:
res = requests.get(url, headers=headers)
data = re.findall('<a title="(.*?)" href="/playlist\?id=(\d+)" class="msk"></a>', res.text)
(2)得到歌单名字和歌单id后,构造歌单的url,然后模仿步骤(1)可以得到歌曲名字和歌曲id,解析的正则表达式如下:
re.findall(r'<a href="/song\?id=(\d+)">(.*?)</a>', res.text)
再得到歌曲id后,构造歌曲的url,然后用requests.get().content方法下载歌曲,歌曲的url构造方法如下:
"http://music.163.com/song/media/outer/url?id=%s" %(歌曲id)
(3)由于部分歌曲的名字并不能作为文件名保存下来,所以用到了try...except,对于不能保存为文件名的歌曲,我选择pass掉==
(4)因为要下载多个歌单,一个歌单里又有很多歌曲,所以用到了multiprocessing模块的Pool方法,提高程序运行的效率。
四、具体代码
因为下载所有歌单会需要很长时间,所以我们先下载前三个歌单试试==
1 import requests 2 import re 3 from multiprocessing import Pool 4 5 headers = { 6 'Referer': 'https://music.163.com/', 7 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.89 " 8 "Safari/537.36" 9 } 10 11 12 def get_page(url): 13 res = requests.get(url, headers=headers) 14 data = re.findall('<a title="(.*?)" href="/playlist\?id=(\d+)" class="msk"></a>', res.text) 15 16 pool = Pool(processes=4) 17 pool.map(get_songs, data[:3]) 18 print("下载完毕!") 19 20 21 def get_songs(data): 22 playlist_url = "https://music.163.com/playlist?id=%s" % data[1] 23 res = requests.get(playlist_url, headers=headers) 24 for i in re.findall(r'<a href="/song\?id=(\d+)">(.*?)</a>', res.text): 25 download_url = "http://music.163.com/song/media/outer/url?id=%s" % i[0] 26 try: 27 with open('music/' + i[1]+'.mp3', 'wb') as f: 28 f.write(requests.get(download_url).content) 29 except FileNotFoundError: 30 pass 31 except OSError: 32 pass 33 34 35 if __name__ == '__main__': 36 hot_url = "https://music.163.com/discover/playlist/?order=hot" 37 get_page(hot_url)
五、运行结果
相关文章推荐
- Python协程并发 爬虫下载
- python爬虫-->下载缓存
- Python3之爬虫selenium+chromedriver资源下载及“Message: 'chromedriver' executable needs to be in PATH.处理
- Python爬虫下载QQ音乐网站歌曲
- Python视频爬虫实现下载头条视频功能示例
- python爬虫数据-下载图片经典案例
- 用python写网络爬虫-下载网页
- python爬虫框架scrapy学习图片下载
- Python 爬虫实例(13) 下载 m3u8 格式视频
- Python3网络爬虫:Scrapy入门之使用ImagesPipline下载图片
- python实例2-写一个爬虫下载小功能
- Python爬虫系列(六)外国图库Unsplash图片自动化下载
- python实现爬虫下载美女图片
- python简单爬虫(下载知乎图片示例)
- python 简单爬虫下载图片
- 使用python爬虫爬取迅雷侠下载,呵呵,你懂得
- Python 网络爬虫 009 (编程) 通过正则表达式来获取一个网页中的所有的URL链接,并下载这些URL链接的源代码
- mac os平台使用python爬虫自动下载巨潮网络文件
- python爬虫下载文件