1.定义：也叫网络蜘蛛，网络爬虫就是伪装成客户端与服务端进行数据交互的程序。 2.分类： 1.通用爬虫：将互联网的网页下载到本地，形成一个互联网内容的镜像备份。因此具有局限性，返回内容一样。 2.聚焦爬虫：面向特定主题需求的一种网络爬虫，与通用爬虫 ...

虾米音乐爬虫 https://www.xiami.com/ 这是本次我爬取的网站 这是前后端分析的网站，这种类型的web其实很好的，只要找对了API，成功发生请求，那么想要的数据就直接获取到了 这里就拿绿色这首歌为例子：https://www.xiami.com/song ...

Music的文件夹用于存储下载的音乐文件 二、直接上代码　　D:\code\qq-music\ ...

最近闲的无聊，就想着去看看爬虫，顺着爬虫顺利的做到了模拟登录、刷帖子等等，这里简要说一下。 使用Python2.7写的爬虫，对某论坛做模拟登陆和刷帖子、回复等等，由于之前是没有接触过爬虫，这次之后感觉爬虫很强大，能做很多事，先来贴几张图。 由于论坛不让使用相同的文字，所以调用了笑话的api，达到 ...

此次的目标是爬取网易云音乐上指定歌曲所有评论并生成词云 具体步骤： 一：实现JS加密 找到这个ajax接口没什么难度，问题在于传递的数据，是通过js加密得到的，因此需要查看js代码。 通过断掉调试可以找到数据 ...

[小爬虫]——某网站视频爬虫 技术路线：requests + re 关于exe下载：可能涉及到侵权 源代码：下面 爬取思路：在html中找出加载资源的js文件，截取出一段结尾为.m3u8的乱码字符，经过16进制解码后得到一串有效的m3u8链接，爬取此m3u8文件 ...

最近在做一个项目，这个项目需要使用网络爬虫从特定网站上爬取数据，于是乎，我打算写一个爬虫系列的文章，与大家分享如何编写一个爬虫。这是这个项目的第一篇文章，这次就简单介绍一下Python爬虫，后面根据项目进展会持续更新。 一、何谓网络爬虫 网络爬虫的概念其实不难理解，大家可以将互联网 ...

1.import java.io.*; java.io.*不是一个文件，而是一组类。它是在java.io包里的所有类，*是通配符，比如a*.txt代表的就是以a开头的所有txt文件，“？”是单个词的通配符，比如a?.txt代表的就是以a开头而且名字只有两个字的txt文件import的作用 ...