Python代码简单几步完成爬虫

网络安全华佗 lv.1

发布时间：2023-01-04 17:34:56 322

相关标签： # python# json# pycharm# 数据# 信息

进入互联网时代，网络上充斥着各种各样的信息，鱼龙混杂，要是人工分辨工作效率又非常低，那么如何才能实现快速检索我们需要的信息呢？例如如何通过爬虫实现美图批量下载，如何通过多线程实现快速爬虫？下面我们一起来了解下吧。

之前我只是利用单线程爬取的项目，那种太多单一，而且工作效率太慢，只得考虑多线程。

知识点：认识和了解爬虫、爬虫思路、urllib.parse、jsonpath库

环境：windows、pycharm、python3

第三方库：

requests、jsonpath

导入模块

import urllib.parse
import json
import requests
import jsonpath

确定目标网址

url = 'https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}'

分析网站，确定爬取目标

label = '美女'
label = urllib.parse.quote(label)

发送请求，提取数据

num = 0
for index in range(0,2400,24):
    u = url.format(label,index)
    we_data = requests.get(u).text

类型转换

html = json.loads(we_data)
    photo = jsonpath.jsonpath(html,"$..path")

保存数据

for i in photo:
        a = requests.get(i)
        with open(r'C:\Users\Administrator\Desktop\tupian\{}.jpg'.format(num),'wb') as f:
            f.write(a.content)  # 二进制
        num += 1

运行代码，效果如下图：

Python代码简单几步完成爬虫_多线程

文章来源： https://blog.51cto.com/u_13488918/5984658

特别声明：以上内容（图片及文字）均为互联网收集或者用户上传发布，本站仅提供信息存储服务！如有侵权或有涉及法律问题请联系我们。