今天尝试了下爬虫，爬取一本小说，忘语的凡人修仙仙界篇，当然这样不好，大家要支持正版。 　　爬取过程中是老套路，先获取网页源代码　　 　　结果：乱码 　　在浏览器看下代码，是gbk编码，需要进行转码，这方面不清楚，查了下资料。　　PS：爬取的所有网页无论何种编码格式，都转化 ...

笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况，所谓重定向(Redirect)就是通过各种方法（本文提到的为3种）将各种网络请求重新转到其它位置（URL）。每个网站主页是网站资源的入口，当重定向发生在网站主页时，如果不能正确处理就很有可能会错失这整个网站的内容。 笔者编写的爬虫 ...

escape(), encodeURI()和encodeURIComponent()是在Javascript中用于编码字符串的三个常用的方法，而他们之间的异同却困扰了很多的Javascript初学者，今天我就在这里对这三个方法详细地分析与比较一下。 escape() 方法 MSDN ...

转义字符 描述 \(在行尾时) 续行符 \\ 反斜杠符号 \' ...

在做网络爬虫的时候经常需要unescape得到的html， 因为得到的html经常如下： 在python 3 中如下： from html.parser import HTMLParser html = '<abc>' html_parser = HTMLParser ...

在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。 在以后的学习中，如果遇到其他问题，我也会在这里进行更新。 各位如有什么补充，欢迎评论区留言~~~ 问题： IP被封，或者因访问频率太高被拦截？？？ 解决方案之一： 使用代理IP即可 ...

一、安卓手机安装tasker软件增强工具 官网：https://tasker.joaoapps.com/ 网上也有中文版的，自行搜索 1.打开tasker界面，点击右下加号 2.点 ...

关于爬虫乱码有很多各式各样的问题，这里不仅是中文乱码，编码转换、还包括一些如日文、韩文 、俄文、藏文之类的乱码处理，因为解决方式是一致的，故在此统一说明。 网络爬虫出现乱码的原因 源网页编码和爬取下来后的编码格式不一致。如源网页为gbk编码的字节流，而我们抓取下后程序直接使用utf-8进行编码 ...