花费 26 ms
几种方式保存爬虫爬取的数据 - Python

以美团烤肉为例,将爬取的数据进行保存。 第一种:csv。 新建一个csv文档,利用字典写入器写入头,然后把爬取好的数据进行字典构造,然后将字典逐条写入到csv文档里。 第二种:ex ...

Fri Dec 10 23:24:00 CST 2021 0 2799
Python之selenium创建多个标签页

最近在做一个项目,需要用到cookies登录,想法是,在同一个浏览器下,打开两个标签页进行。让其自动获取cookies,先记录,不行的话,到时候再手动加载cookies。 方法总是不止 ...

Sat Dec 19 19:20:00 CST 2020 0 1252
Python处理邮件内容和提取邮件里的url地址

最近在搞一个邮箱验证账号注册和登录的模块。总结一下。就当记载。文章中涉及到域名和邮箱等都经过处理。 需求是这样子的,通过selenium注册某个网站的账号,然后注册需要邮件内容里的链接激活,登录的时 ...

Thu Dec 24 05:32:00 CST 2020 0 689
BeautifulSoup根据class的属性查找标签的方法

写爬虫的时候遇到的: 使用BeautifulSoup的时候想,查找类似<div class = "name">的时候,说白了就是根据类来查找字段。 使用方法: soup.fi ...

Sun Sep 19 03:23:00 CST 2021 0 139
Python之selenium调用EC琐碎

Selenium里有一个excepted_conditions模块。我们经常要用到EC.title()或者EC.title_contains()来判定标题,疑惑的地方是在括号内放入什么内容,都会有返回 ...

Thu Dec 31 23:46:00 CST 2020 0 403
爬取某些网站的弹幕和评论数据 - Python

本文仅用于学习与交流使用,不具有任何商业价值,如有问题,请与我联系,我会即时处理。---Python逐梦者。 首先是某果TV。 弹幕。以电影《悬崖之上》为例。弹幕数据所在的文件是动态加载的,打开开 ...

Tue Nov 16 01:01:00 CST 2021 0 123
爬取豆瓣电影-长津湖短评 - Python

电影《长津湖》是今年电影界的神,其他的不说,我来爬些豆瓣对长津湖的短评看看,暂时不做可视化。 """ 爬取一下豆瓣的长津湖短评,爬取短评的六个内容: 评论人,是否看过, ...

Fri Oct 22 05:47:00 CST 2021 0 105

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM