爬虫之前 在着手写爬虫之前，要先把其需要的知识线路理清楚。 第一：了解相关Http协议知识 HTTP是Hyper Text Transfer Protocol（超文本传输协议） ...

完美 参考：http://www.cnblogs.com/smq772340208/p/6927063.html ...

用urllib等抓取网页，只能读取网页的静态源文件，而抓不到由javascript生成的内容。 究其原因，是因为urllib是瞬时抓取，它不会等javascript的加载延迟，所以页面中由javascript生成的内容，urllib读取不到。 那由javascript生成的内容就真的 ...

...

...

导语：元素居中对齐在很多场景看上去很和谐很漂亮。除此之外，对于前端开发面试者的基础也是很好的一个考察点。下面跟着作者的思路，一起来看下吧。 场景分析 一个元素，它有可能有背景，那我 ...

很多时候想看小说但是在网页上找不到资源，即使找到了资源也没有提供下载，小说当然是下载下来用手机看才爽快啦！ 于是程序员的思维出来了，不能下载我就直接用爬虫把各个章节爬下来，存入一个txt文件中，这样，一部小说就爬下来啦。 这一次我爬的书为《黑客》，一本网络小说，相信很多人都看过吧，看看他的代码 ...

摘要：本文讲的是利用Python实现网页数据抓取的三种方法；分别为正则表达式（re）、BeautifulSoup模块和lxml模块。本文所有代码均是在python3.5中运行的。 本文抓取的是[中央气象台](http://www.nmc.cn/)首页头条信息： 其HTML层次结构 ...