python实战：利用chrome抓包插件HTTP间谍分析有道翻译反爬机制

本次实战目标站点：http://fanyi.youdao.com/?keyfrom=fanyi-new.logo ，主要利用HTTP间谍抓包插件分析有道翻译反爬机制，该抓包能帮我们过滤掉一些不需要的常规请求如图片，css等。
**1、**首先分析提交翻译请求后URL的规律。打开chrome的开发者工具，输入翻译内容后点击“翻译”按钮，可以看到服务器返回的数据，如下图所示：

此时我们点击插件，可以看到其只有一个请求结果，相对与chrome的请求结果更加直观快速得分析请求规律。从插件返回的结果中我们可以看到请求的URL为：http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule ，请求时还携带了cookies和表单数据，下面我们将其展开:

**2、**经过多次的请求翻译，并且每次翻译后都去查看插件返回的数据，比较每次翻译时发送的表单数据的值可知参数i、salt、sign、bv、ts这些是不同的，其他的数据都是一样的，因此我们需找到这些参数的赋值规律。以salt为关键词我们进行全局搜索，如下图：

搜索结果可知salt在fanyi.min.js文件中，再从该文件中搜索可得到其定义，而且同时我们也得到了其他参数的定义，这里来做个简介：

e：代表的是需要翻译的字符串。
t：代表浏览器的版本号md5值，即User-Agent的md5值。
r：当前时间的时间戳。
salt：参数r加上0-10的随机字符串。
sign：使用的是"fanyideskweb"+e+salt+"p09@Bn{h02_BIEe]$P^nG"的md5值。

知道生成原理后，我们就可以写Python代码，以下是全部代码：

import js2py
import random,time
import hashlib

def set_user_agent():
USER_AGENTS = [
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
"Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
"Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
"Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5"
]
user_agent = random.choice(USER_AGENTS)
return user_agent

js_str = """ r = "" + (new Date).getTime()
, i = r + parseInt(10 * Math.random(), 10);"""
js_text = js2py.EvalJs()
js_text.execute(js_str)

def getSalt():
# salt的公式r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10))
# 方法1：利用js2py模块，获取salt值:
#   salt_text = js2py.EvalJs()
#   salt_text.execute(js_str)
salt = js_text.i

# 方法2：将js_str翻译成python代码获取salt值：
#   salt = int(time.time()*1000) + random.randint(0, 10)
return salt

def getMd5(v):
md5 = hashlib.md5()
md5.update(v.encode("utf-8"))
sign = md5.hexdigest()
return sign

def getSign(key, salt):
sign = "fanyideskweb" + key + str(salt) + "p09@Bn{h02_BIEe]$P^nG"
sign = getMd5(sign)
return sign

class Youdao():
def __init__(self):
self.headers = {
"Accept": "application/json,text/javascript,*/*;q=0.01",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Host": "fanyi.youdao.com",
"Origin": "http://fanyi.youdao.com",
"Content-Type": "application/x-www-form-urlencoded;charset=UTF-8",
'User-Agent': set_user_agent(),
'Referer': 'http://fanyi.youdao.com/',
'Cookie': 'OUTFOX_SEARCH_USER_ID=-315098820@10.169.0.83; JSESSIONID=aaaBADMLwT0Wj8je4pjKw; OUTFOX_SEARCH_USER_ID_NCOO=1012727192.8548353; YOUDAO_MOBILE_ACCESS_TYPE=0; DICT_UGC=be3af0da19b5c5e6aa4e17bd8d90b28a|; JSESSIONID=abcVeHVPsZKjL9bo6tjKw; user-from=http://www.youdao.com/; from-page=http://www.youdao.com/; ___rl__test__cookies=1550646069714'
}
self.data = {
'i': None,
"from": "AUTO",
"to": "AUTO",
"smartresult": "dict",
'client': 'fanyideskweb',
'keyfrom': 'fanyi.web',
"doctype": "json",
"version": "2.1",
"action": "FY_BY_CLICKBUTTION",
"typoResult": "false",
"bv":getMd5(set_user_agent()),
"ts":js_text.r,
'salt': None,
'sign': None
}
self.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
def translate(self, word):
self.data['i'] = word
self.data['salt'] = getSalt()
self.data['sign'] =getSign(word,getSalt())
res = requests.post(self.url, headers=self.headers, data=self.data)
return res.json()['translateResult'][0][0]['tgt']

if __name__ == '__main__':
youdao = Youdao()
while True:
word=input('请输入要翻译的内容：')
print("翻译结果为：{}".format(youdao.translate(word)))

运行结果如下：