爬虫：BeautifulSoup(一)

emotion lv.1

发布时间：2023-11-07 09:16:37 260

相关标签：

早就开始学爬虫了，一开始并没有系统的去学太多东西，在和朋友讨论爬虫的时候，他们使用BeautifulSoup节省了大量的时间，于是，就打算从头开始学它。

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

import requests
from bs4 import BeautifulSoup
#基本知识
html = requests.get(")
bsObj = BeautifulSoup(html.text, features="html.parser")
#网页源码
# print(bsObj.prettify())
#带标签网页标题
print(bsObj.title)
# 网页标题标签
print(bsObj.title.name)
#标题
print(bsObj.title.string)
#标题的父标签
print(bsObj.title.parent.name)
#第一个p标签
print(bsObj.p)
#第一个p标签下的class=？
# print(bsObj.p['class'])
#第一个a标签
print(bsObj.a)
#所有的a标签
print(bsObj.find_all('a'))
#第一个id为"cb_post_title_url"的标签
print(bsObj.find(id="cb_post_title_url"))

#从网页中找到所有标签的链接:
for link in bsObj.find_all('a'):
    print (link.get('href'))

#获取所有文字内容
print(bsObj.get_text())

文章来源： https://blog.51cto.com/u_15879559/5871127

特别声明：以上内容（图片及文字）均为互联网收集或者用户上传发布，本站仅提供信息存储服务！如有侵权或有涉及法律问题请联系我们。