程序功能实现了爬取网页页面并且将结果保存到本地，通过以爬取页面出发，做一个小的爬虫，分析出有利于自己的信息，做定制化的处理。 其中需要的http*的jar文件，可以在网上自行下载 ...

很多网站的防采集的办法,就是判断浏览器来源referer和cookie以及userAgent,道高一尺魔高一丈. 最近发现维护的一个爬虫应用，爬不到数据了，看了一下日志发现被爬网站做了防采集策略，经过定位后，发现被爬网站是针对referer做了验证，以下是解决方法： 在Java中获取一个网站 ...

经过之前的HttpURLConnection还有各种流的结束，已经可以开始理解怎么下载网页上的一张图片了。 对各种流不理解的话，可以翻翻前面的随笔，讲得都比较详细。在此就不细讲了。 主要流程： ...

题目 本题的意思很明确，用java爬取网站的疫情数据，并存到数据库中。我们可以用Jsoup的插件进行java的爬取。 思路分析 1.如何用Jsoup进行数据的爬取呢，我们首先要找到一个疫情显示网站，这里我们使用今日头条的：[今日头条疫情数据]（https://i.snssdk.com ...

我们在使用python爬取网页数据的时候，会遇到页面的数据是通过js脚本动态加载的情况，这时候我们就得模拟接口请求信息，根据接口返回结果来获取我们想要的数据。 以某电影网站为例：我们要获取到电影名称以及对应的评分 首先我们通过开发者模式，找到请求该页面的接口信息 另外，为了能模拟 ...

背景 周末闲来无事，想做一个财报分析软件，然后就想从同花顺获取数据，主要是想下载三大报表，下载地址是http://basic.10jqka.com.cn/api/stock/export.php?export=debt&type=year&code=600519， 然后问题来了 ...

lxml安装 　　lxml是python下功能很丰富的XML和HTML解析库，性能非常的好，是对libxml3和libxlst的封装。在Windows下载这个库直接使用 pip install lxml 即可。CentOS下载可使用以下命令。 lxml构建HTM ...

写在前面 为了使用python学习爬取疫情数据，提前学习了python中的语法和各种存储结构(dirt),若没有这些基础很难看懂python代码，更别提写了 题目 题目和上一篇博客一样，爬取疫情数据，这次我们爬取腾讯的数据,使用python来进行爬取。 思路分析 1.分析网页的网络 ...