Python于allitebooks.com爬虫书籍名称导入数据库

Python于allitebooks.com爬虫书籍名称导入数据库

准备工作

1.python软件

2.搭建数据库

（备注：数据库和数据表可提前创建好，也可以python代码搭建）

1 创建数据库

博主是提前在SQLyog里创建好了数据库，数据库名为python，数据表此处也取名为python，名字可任意取不影响，如下图（此处做实验只爬取了书名）：

2 爬取书籍名称导入数据库python

（1）爬虫分析

在查询界面点击右键，选择检查使得页面和代码可同时分析，在书籍列表点击书名或者封面图都可以进入详情,则书名和封面图任选一个,这里选择书名。



我们可以通过查找class=”entry-title”定位到书名所在的h2标签,然后通过此标签的a属性即可获得书名所在的a标签,再通过a标签的string属性可获得书名。

（2）代码实现

第一步：连接数据库，以便爬虫结果直接导入数据库，该部分参见上一篇博客

第二步: 爬虫数据导入数据库

r= requests.get(url)   #向服务器发送请求
soup = BeautifulSoup(r.text,'lxml') #声明BeautifulSoup对象
pattern = soup.find_all('h2', class_='entry-title')  #通过查找class="entry-title"定位到书名所在的h2标签
try:
values = []  #初始值为空
for item in pattern: #循环批量插入记录数据
values.append(item.a.string)  #将h2标签下a标签中的字符串数据插入列表
cursor.executemany('insert into python(bookName) values(%s)',values)#执行 cursor.executemany（），将数据插入数据库

3 结果

源代码：

链接：https://pan.baidu.com/s/1m1zUxONPP_8SkU4CJm005w 密码：dzyj