返回

python爬取下厨房网站首页图片request+bs4

发布时间:2023-11-20 21:10:14 90


python爬取下厨房网站首页图片request+bs4_数据


注:东西太多,总结的不算太全,系统学习的话,出门右拐B站等你

爬虫:

  • 一段自动抓取互联网信息的程序,从互联网上抓取对于我们有价值的信息。

网页爬取

工具

  • ​CURL​​:cURL是一个利用URL语法在命令行下工作的文件传输工具,1997年首次发行。它支持文件上传和下载,所以是综合传输工具,但按传统,习惯称cURL为下载工具。
  • 基本使用方法:
curl url (获取网站全部信息)
curl -i url(获取该网址的文本信息以及协议头部信息)
curl -x proxy url(使用代理获取网页文本信息)
curl -X POST --header"Content-Type:application/json" --data ‘{}’ url (使用post模拟json格式请求接口)
curl -I url(仅返回请求头部信息)

header:
POST -d或-F #携带post参数
HEAD -I #携带http文件头
PUT -T #
  • wget
    wget虽然功能强大,但是使用起来还是比较简单的,基本的语法是:wget [参数列表] URL。
wget url     #下载整个http
wget -r url #递归下载

python库

  • urllib
    from urllib import request
    urllib的request模块可以非常方便地抓取URL内容,也就是发送一个GET请求到指定的页面,然后返回HTTP的响应
from urllib import request

with request.urlopen('https://api.douban.com/v2/book/2129650') as f:
data = f.read()
print('Status:', f.status, f.reason)
for k, v in f.getheaders():
print('%s: %s' % (k, v))
print('Data:', data.decode('utf-8'))

可以看到HTTP响应的头和JSON数据:

Status: 200 OK
Server: nginx
Date: Tue, 26 May 2015 10:02:27 GMT
Content-Type: application/json; charset=utf-8
Content-Length: 2049
Connection: close
Expires: Sun, 1 Jan 2006 01:00:00 GMT
Pragma: no-cache
Cache-Control: must-revalidate, no-cache, private
X-DAE-Node: pidl1
Data: {"rating":{"max":10,"numRaters":16,"average":"7.4","min":0},"subtitle":"","author":["廖雪峰编著"],"pubdate":"2007-6",...}

​urlparse​​​ python3中urlparse模块和urllib模块合并,urlparse()在urllib.parse中进行调用。
urlparse()把url拆分为6个部分,scheme(协议),netloc(域名),path(路径),params(可选参数),query(连接键值对),fragment(特殊锚),并且以元组形式返回。

from urllib.parse import urlparse
url = 'https://github.com/search?q=krislp'
parse = urlparse(url)
print(parse)

输出结果

ParseResult(scheme='https', netloc='github.com', path='/search', params='', query='q=krislp', fragment='')
  • requests
    它是一个Python第三方库,处理URL资源特别方便。
pip install requests  #安装

使用requests

>>> import requests
>>> r = requests.get('https://www.douban.com/') # 豆瓣首页
>>> r.status_code
200
>>> r.text
r.text
'\n\n\n网页解析

python爬取下厨房网站首页图片request+bs4_数据_02

  • bs4
    根据标签名进行获取节点
    只能找到第一个符合要求的节点
    获取文本内容和属性
    属性:
    soup.a.attrs 返回一字典,里面是所有属性和值
    soup.a[‘href’] 获取href属性
    文本:
    find:
    soup.find(‘a’)
    soup.find(‘a’, class_=‘xxx’)
    soup.find(‘a’, title=‘xxx’)
    soup.find(‘a’, id=‘xxx’)
    soup.find(‘a’, id=re.compile(r’xxx’))
    find只能找到符合要求的第一个标签,他返回的是一个对象
    find_all
    返回一个列表,列表里面是所有的符合要求的对象
    soup.find_all(‘a’)
    soup.find_all(‘a’, class_=‘wang’)
    soup.find_all(‘a’, id=re.compile(r’xxx’))
    soup.find_all(‘a’, limit=2) 提取出前两个符合要求的a
from bs4 import BeautifulSoup

# 生成soup对象
soup = BeautifulSoup(open('soup.html', encoding='utf8'), 'lxml')
print(type(soup))

print(soup.a.attrs)
print(soup.a.attrs['href'])
print(soup.a['href'])

print(soup.a.string)
print(soup.a.text)
print(soup.a.get_text())

print(soup.div.string)
print(soup.div.text)
print(soup.div.get_text())

ret = soup.find('a')
ret = soup.find('a', title='清明')
ret = soup.find('a', class_='dumu')
print(ret)

import re
ret = soup.find('a', id='xiaoge')
ret = soup.find('a', id=re.compile(r'^x'))
print(ret.string)

ret = soup.find_all('a')
print(ret[1].string)

ret = soup.find_all('a', class_='wang')
print(ret)

ret = soup.find_all('a', id=re.compile(r'^x'))
print(ret)

ret = soup.select('a')
ret = soup.select('#muxiong')
print(ret[0]['title'])

ret = soup.select('.wang')
print(ret)

ret = soup.select('div > a')
print(ret)

ret = soup.select('a[title=东坡肉]')

print(ret)

odiv = soup.select('.tang')[0]

ret = odiv.select('a')

print(ret)

文件操作

读写文件前,我们先必须了解一下,在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读写文件就是请求操作系统打开一个文件对象(通常称为文件描述符),然后,通过操作系统提供的接口从这个文件对象中读取数据(读文件),或者把数据写入这个文件对象(写文件)。

  • 读文件
    要以读文件的模式打开一个文件对象,使用Python内置的open()函数,传入文件名和标示符:
f = open('/Users/michael/test.txt', 'r')

如果文件打开成功,接下来,调用read()方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str对象表示:

>>> f.read()
'Hello, world!'

最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭,因为文件对象会占用操作系统的资源,并且操作系统同一时间能打开的文件数量也是有限的:

>>> f.close()
  • 写文件
    你可以反复调用write()来写入文件,但是务必要调用f.close()来关闭文件。当我们写文件时,操作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入。只有调用close()方法时,操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。所以,还是用with语句来得保险:
>>> f = open('/Users/michael/test.txt', 'w')
>>> f.write('Hello, world!')
>>> f.close()

requests.get(url)默认是下载在内存中的,下载完成才存到硬盘上,可以用Response.iter_content 来边下载边存硬盘

import os
from urllib.parse import urlparse
import requests
from bs4 import BeautifulSoup

headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36 Edg/83.0.478.37'}
url='http://www.xiachufang.com/'
r=requests.get(url,headers=headers)
soup=BeautifulSoup(r.text)
# print(r.text)

img_list=[]
for img in soup.select('img'):
# print(img,end='\n\n')
if img.has_attr('data-src'):
# print(img.attrs['data-src'],end='\n\n')
img_list.append(img.attrs['data-src'])
else:
img_list.append(img.attrs['src'])
# print(img.attrs['src'])

img_dir=os.path.join(os.curdir,'images')
if not os.path.isdir(img_dir):
os.mkdir(img_dir)

for img in img_list:
o=urlparse(img)
filename=o.path[1:].split('@')[0]
filepath=os.path.join(img_dir,filename)
print(filename)
img_url='%s://%s/%s'%(o.scheme,o.netloc,filename)
resp=requests.get(img_url,headers=headers)
print(img_url)
with open(filepath,'wb') as f:
for chunk in resp.iter_content(1024):
f.write(chunk)



特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像
精选文章
thumb 中国研究员首次曝光美国国安局顶级后门—“方程式组织”
thumb 俄乌线上战争,网络攻击弥漫着数字硝烟
thumb 从网络安全角度了解俄罗斯入侵乌克兰的相关事件时间线