一次关于使用status作为变量引发的bug及思考
这个bug出现在一年前，当时自己大学还没毕业，刚刚进入一家公司实习。那个时候还没有用seajs或者requirejs那样的模块化管理的库，也没有用一个自执行的函数将要执行的代码包裹起来，于是b ...
原文：(1)个人使用小爬虫---------关于一次被论坛封号而搜索的思考
前段时间上了某论坛的技术讨论区，习惯性的打开搜索看有没有我需要的内容，一登陆账号，发现自己被禁言了，连基本的搜索功能也被限制了。无奈只能手动的一个一个会找帖子。我去，竟然有 多页，每页有 第数据，这样纯手工的方式实在是太蛋疼了。 前段时间自己不是写了一个小爬虫吗 于是我的个人论坛搜索器开始构建了。 一，整体构建 二，实际编码 ，数据读取编码: 读取网页有很多种方法，第一读取网页我选择的是最简单的 ...
2012-11-17 15:59 9 3034 推荐指数：
相关推荐
一次爬虫事件
0.序 我同学论文需要数据建模，想用爬虫软件爬取数据，就问有没有人会用爬虫软件，我回了句：我不会用爬虫软件，但我会写爬虫。然后爬虫事件就拉开了序幕。 1. 我同学要的数据是P2P借款人信息，她就选了翼龙贷上的数据，我先去浏览了翼龙贷网站，然后知道了数据的位置。先要进入产品列表 ...
一次关于知识储备的思考
事情的经过是这样的： 一个夏日的午后，我在啪啪啪的敲代码，正爽着呢，老大在背后拍了拍我的肩膀，说让我写个功能。 我说啥功能，他说：“operate 模块那边每次收到文件都会给你发一条消息。然后对消息进行计数，每隔一段时间，你把这个计数写入一次数据库。” 我说为什么。老大说对 ...
一次 ElasticSearch 搜索优化
一次 ElasticSearch 搜索优化 1. 环境 ES6.3.2，索引名称 user_v1，5个主分片，每个分片一个副本。分片基本都在11GB左右，GET _cat/shards/user 一共有3.4亿文档，主分片总共57GB。 Segment信息：curl -X GET ...
记一次 .NET 某资讯论坛 CPU爆高分析
一：背景 1. 讲故事 大概有11天没发文了，真的不是因为懒，本想前几天抽空写，不知道为啥最近求助的朋友比较多，一天都能拿到2-3个求助dump，晚上回来就是一顿分析，有点意思的是大多朋友自己都分 ...
由一次 symbol lookup error 引发的思考
开发一个跨平台的项目的时候，大部分时候都是在VS下进行编码，所以也就使用了VS的解决方案来管理项目。 因为要跨平台，当时网上看scons这个工具不错，所以在linux下就使用了scons来作为编译脚本。 linux(gcc)下与windows(vs)下的对于链接这一步稍有不同。当目标文件是一个 ...
【思考】一次交付项目小结
【背景】 公司销售谈了一个重要的项目，与我们正在研发的一个产品关系比较大，可惜前期由于种种原因，耽搁了很长时间，等到我们研发部门知道消息的时候，已经很晚了。9月中旬启动，11月下旬要求上线，按常 ...
一次线上问题排查所引发的思考
前言 之前或多或少分享过一些内存模型、对象创建之类的内容，其实大部分人看完都是懵懵懂懂，也不知道这些的实际意义。 直到有一天你会碰到线上奇奇怪怪的问题，如： 线程执行一个任务迟迟没有返 ...