本篇随笔介绍在Web微信应用中使用博客园RSS以及Quartz.NET实现博客文章内容的定期推送功能，首先对Quartz.NET进行一个简单的介绍和代码分析，掌握对作业调度的处理，然后对博客园RSS内容的处理如何获取，并结合微信消息的群发接口进行内容的发送，从而构建了一个在Web应用中利用 ...

最近学习了下webmagic，学webmagic是因为想折腾下爬虫，但是自己学java的，又不想太费功夫，所以webmagic是比较好的选择了。 写了几个demo，源码流程大致看了一遍。想着把博客园的文章列表爬下来吧。 首页显示的就是第一页文章的列表， 但是翻页按钮不是链接，而是动态 ...

scrapy作为流行的python爬虫框架，简单易用，这里简单介绍如何使用该爬虫框架爬取个人博客信息。关于python的安装和scrapy的安装配置请读者自行查阅相关资料，或者也可以关注我后续的内容。 本文使用的python版本为2.7.9 scrapy版本为0.14.3 ...

采集流程 根据链接获取页面内容(curl)->获取需要采集的内容（可以通过正则、xpath、css选择器等方法进行筛选） ...

　　　　　　　　　　　　　　　　　　　　　　java 使用webmagic 爬虫框架爬取博客园数据存入数据库 学习记录 webmagic简介： 　　　　WebMagic是一个简单灵活的Java爬虫框架。你可以快速开发出一个高效、易维护的爬虫。 　　　　http ...

Python博客园-获取某个博主所有文章的URL列表 首先，我们来分析一下，在博主的首页里，每个文章的标题在网页源码中是什么样子的。 【插入图片，文章标题1】 【插入图片，文章标题2】 通过这两个图片我们可以看出，博文标题所在的标签为，并且具有class属性为"postTitle2 ...

最近在学 python 爬虫，所以拿自己的博客开刀，作为一次简单的 Python 爬虫实践。 Python 爬虫脚本的功能： 1、获得所有的文章标题和地址； 2、获得右侧公告栏里的个人信息。 运行的结果 先打印公告中的个人信息和文章的总数，接着列出所有的文章。截图 ...

第一次实战，我们以博客园为例。 Cnblog是典型的静态网页，通过查看博文的源代码，可以看出很少js代码，连css代码也比较简单，很适合爬虫初学者来练习。 博客园的栗子，我们的目标是获取某个博主的所有博文，今天先将第一步。 第一步：已知某一篇文章的url，如何获取正文？ 举个栗子 ...