本文转载自以下网站:50 行代码爬取东方财富网上市公司 10 年近百万行财务报表数据 https://www.makcyun.top/web_scraping_withpython6.html 主要学习的地方: 1.分析网站的ajax请求信息 2.构造参数 3.发起请求后处理获得 ...

需要学习的地方: 1.Selenium的安装,配置 2.Selenium的初步使用(自动翻页) 利用Selenium爬取东方财富网各上市公司历年的财务报表数据。 摘要： 现在很多网页都采取JavaScript进行动态渲染，其中包括Ajax技术。上一篇文章通过分析Ajax接口数据，顺利 ...

背景 周末闲来无事，想做一个财报分析软件，然后就想从同花顺获取数据，主要是想下载三大报表，下载地址是http://basic.10jqka.com.cn/api/stock/export.php?export=debt&type=year&code=600519， 然后问题来了 ...

注：这只是很多方法中的一种，当然也不是最好的一种，有其他好的方法，希望大家可以在评论区交流学习 1.需要爬取的数据 用户主页的Name、ID、Introduction、以及用户关注的Following的用户的同样信息。 2.遇到的问题 twitter的用户的following用户界面使用 ...

爬取压缩包 的基础上，这次实现的功能是从房管局信息登记网站爬取数据并写入csv文件。 二、思 路 ...

开学前接了一个任务，内容是从网上爬取特定属性的数据。正好之前学了python，练练手。 编码问题 因为涉及到中文，所以必然地涉及到了编码的问题，这一次借这个机会算是彻底搞清楚了。 问题要从文字的编码讲起。原本的英文编码只有0~255，刚好是8位1个字节。为了表示各种不同的语言，自然要进行扩充 ...

Selenium 简介 百度百科介绍： Selenium [1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），[Mozilla Firefox](https ...

目的：获取某网站某用户下市场大于1000秒的视频信息 1.本想通过接口获得结果，但是使用post发送信息到接口，提示服务端错误。 2.通过requests获取页面结果，使用html解析工具，发现麻烦而且得不到想要的结果 3.直接通过selenium获取控件的属性信息，如图片、视频地址，再对时间 ...