python爬虫之使用fake_usragent随机更换User_Agent

版权声明：本文为博主原创,转载请注明出处,谢谢! https://blog.csdn.net/qq_35531549/article/details/88364196 python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为有的网站会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装user-agent，模拟成真实的浏览器去取出内容。

• 一般主要应用Chrome或者Firefox，爬虫应用的时候，可以把他们都放到列表里面。然后import random，使用random.choice（list）随机获取一个user-agent。

• 不过呢，python里面有随机useragent插件

fake-useragent

• 这是python里面的一个

  useragent

  池，非常好用！具体怎么用呢？

首先，安装fake-useragent

pip install fake-useragent

然后，使用方法

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意，有些网站可能会根据user-agent来封IP，也就是说他们会根据同一个IP下，如果是很多个不同user-agent在访问，那么，此时，他们就会判定为爬虫！