前几天看到一个.NET Core写成的爬虫，有些莫名的小兴奋，之前一直用集搜客去爬拉勾网的招聘信息，这个傻瓜化工具相当于用HTML模板页去标记DOM节点，然后在浏览器窗口上模拟人的浏览行为同时跟踪节点信息。它有很多好处，但缺点也明显：抓取速度慢；数据清洗和转储麻烦；只知其过程，不知其原理，网站改了 ...

拉勾因其结构化的数据比较多因此过去常常被爬，所以在其多次改版之下变得难爬。不过只要清楚它的原理，依然比较好爬。其机制主要就是AJAX异步加载JSON数据，所以至少在搜索页面里翻页url不会变化，而且数据也不会出现在源代码里。 数据解析 这是深圳地区的数据分析师页面，用Chrome检查打开 ...