Python爬虫采集搞笑段子示例

emotion lv.1

发布时间：2022-12-16 18:19:36 296

相关标签： # html# python# 爬虫# 服务器# 服务器

对于爬虫的用处不同的人有不同的看法，对于我而言，他是一门技能也是一门艺术，只有掌握其中的原理，才能让你体会到真正的快乐。下文就是我用python爬虫爬取搞笑段子的实例可以一起探讨下。

涉及知识点

1、爬虫基本步骤

2、requests模块

3、parsel模块

4、xpath数据解析方法

5、分页功能

爬虫基本步骤:

1、获取网页地址 (糗事百科的段子的地址)

2、发送请求

3、数据解析

4、保存本地

爬虫代码

导入所需模块

import reimport requestsimport parsel

1、获取网页地址

url = 'https://www.qiushibaike.com/text/'# 请求头   伪装客户端向服务器发送请求headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'}

2、发送请求

requ = requests.get(url=url, headers=headers).text

3、数据解析

sel = parsel.Selector(requ)  # 解析对象 href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()for html in href:    txt_href = 'https://www.qiushibaike.com' + html    requ2 = requests.get(url=txt_href, headers=headers).text    sel2 = parsel.Selector(requ2)    title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()    title = re.sub(r'[|/\：？<>*]','_',title)    # content = sel2.xpath('//div[@class="content"]/text()').getall()    content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()    contents = '\n'.join(content)

4、保存数据

with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:    fp.write(contents)    print(title, '下载成功')

运行代码，得到数据

Python爬虫采集搞笑段子示例_数据爬虫

Python爬虫采集搞笑段子示例_大数据分析_02

文章来源： https://blog.51cto.com/u_13488918/5935482

特别声明：以上内容（图片及文字）均为互联网收集或者用户上传发布，本站仅提供信息存储服务！如有侵权或有涉及法律问题请联系我们。