返回

简单几步快速完成爬虫任务

发布时间:2023-02-19 03:30:05 277
# css# chrome# webkit# python# 数据
#一、引入selenium
from selenium import webdriver
from time import sleep
#from selenium.webdriver.chrome.options import Options
#import xlrd
import csv
import os
#固定csv保存在桌面
os.chdir(r'C:\Users\Administrator\Desktop')

#二、打开网页
# 使用webkit无界面浏览器
# 如果路径为 exe 启动程序的路径,那么该路径需要加一个 r
driver =webdriver.Firefox()
# 获取指定网页的数据 start_urls
driver.get('https://movie.douban.com/top250')
driver.implicitly_wait(20)

#三、翻页、获取内容、写入CSV
#遍历循环20次
for o in range (1,13):
#遍历循环15次
sleep(0.5)
for i in range (1,26):
#获取标题和时间
#拼接字符串
data1 = driver.find_element_by_css_selector('.grid_view > li:nth-child('+str(i)+') > div:nth-child(1) > div:nth-child(2) > div:nth-child(1) > a:nth-child(1) > span:nth-child(1)').text
data2 = driver.find_element_by_css_selector('.grid_view > li:nth-child('+str(i)+') > div:nth-child(1) > div:nth-child(2) > div:nth-child(2) > p:nth-child(3) > span:nth-child(1)').text
print(data1, data2)
#写入csv
with open('豆瓣.csv', 'a+', newline = '\n')as f:
w = csv.writer(f)
w.writerow([data1, data2])
sleep(0.5)
#并进行点击翻页
driver.find_element_by_css_selector('.next > a:nth-child(2)').click()


driver.quit()
特别声明:以上内容(图片及文字)均为互联网收集或者用户上传发布,本站仅提供信息存储服务!如有侵权或有涉及法律问题请联系我们。
举报
评论区(0)
按点赞数排序
用户头像
精选文章
thumb 中国研究员首次曝光美国国安局顶级后门—“方程式组织”
thumb 俄乌线上战争,网络攻击弥漫着数字硝烟
thumb 从网络安全角度了解俄罗斯入侵乌克兰的相关事件时间线
下一篇
场景编程集锦– 妖兔闹春 2023-02-19 03:16:19