原文:最近做的爬虫一些事

最近做的爬虫一些事 标签 空格分隔 : 杂乱之地 最近在做爬虫,主要是抓取淘宝商品的销量数据。在搜索页很容易就能抓到细览页的数据,主要问题难点是在抓取细览页中,页面的销量及评价数据是通过ajax来动态加载的。这一部分处理比较麻烦。同时又要解决屏蔽的问题。这几天一直在找解决访问。一般的爬虫都是不支持ajax数据的爬取的。写一下这几天做的各种工具的demo吧。 现在 年 月 市面上能够抓取ajax数据 ...

2016-01-30 16:40 0 2700 推荐指数:

查看详情

安装ubuntu14.04之后要做的一些

前言:   用ubuntu14.04也有一段时间了,感觉与之前版本相比还是在挺多方面有了改进。但刚装完还是有一些小问题需要自己动手解决。鉴于网上的内容太过零碎,有方案也太过老旧,因此在这里为大家总结一些个人使用的优化方式跟配置方案,希望可以为刚接触ubuntu14.04的朋友提供一些帮助 ...

Mon Jul 14 05:33:00 CST 2014 3 7991
最近常常干出一些骑着驴找驴的

最近拉了一条50兆的光纤到家里,另外还弄了一个固定IP,理所当然就是为了自己弄一台服务器. 一切就绪,就差一个SMTP用来发送Email了,搜了一下,好多人都在用系统自带的SMTP来做,但是我已经安装了apache,所以不打算再安装一个IIS因此就找第三方的软件来搭建SMTP ...

Tue Oct 16 09:45:00 CST 2012 15 3342
关于最近一些事情

  说说最近遇到的事情,有思考还不够全面,先做个记录。 第一件事情关于产品交付   大致经过是这样:   我们开发了一款产品,但是这款产品具备一定的定制性,关于定制,有对应的流程说明,首先是售前牵头,和销售配合着与客户沟通定制内容,然后与研发确认,然后再与客户沟通并确认。有一个项目 ...

Mon Dec 24 07:29:00 CST 2018 11 78
关于BFC的一些

BFC的生成 在实现CSS的布局时,假设我们不知道BFC的话,很多地方我们生成了BFC但是不知道.在布局中,一个元素是block元素还是inline元素是必须要知道的.而BFC就是用来格式化块状元素 ...

Thu Sep 12 17:37:00 CST 2019 0 333
hbase最近一些实践

有一段实践没有写东西了,最近组里面来了两个新的小伙伴,并且一起针对目前的hbase集群做了一些运维和优化实践,比较零散,记录下来供以后以及和大家参考。 1,hbase regionserver宕机导致集群状态不一致问题处理和原因调研 问题:region server因oom被kill后 ...

Tue Aug 01 03:17:00 CST 2017 0 1231
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM