很多人在朋友圈里轉發一些文章,標題都是什么轉瘋啦之類,雖然大多都也是廣告啦,我覺得還蠻無聊的,但是的確是有一些文章是非常值得收藏的,比如老婆經常就會收藏一些養生和美容的文章在微信里看。
今天就突發奇想,不如利用搜索引擎把朋友圈的文章分門別類的(當然是老婆感興趣的類型了)抓取出來,然后把圖片也Down下來,生成一個網站給朋友們看豈不是不錯? 說做就做,於是就有了這個網站:朋友圈轉瘋了 (http://www.meijia0.com) 域名不太好,湊合着用唄。(之前其實是准備用來做美甲圖片站的,后來擱置了。因為老婆在家真的是沒有時間去經營這種東西)。
既然說做就做,先利其器嘛, 把落灰的GO再撿起來,順便學習了一下七牛雲存儲的API(不得不說真的是很受用),寫了一個spider(gocrawl/goquery)。
之前有寫一個笑話抓取的小東西 改了一下。增加了增量抓取(使用redis作cache),mongodb作為存儲,前端嘛,萬能的jquery+bootstrap,評論系統使用了多說。服務器放在阿里去,現在真是好時候,做什么東西都是齊全的。
根據關鍵詞漫爬,24小時不停更新朋友圈文章,還有什么可以追求的呢?也許下次可以做一下中文分詞和全文檢索吧。
一整天,完事。其間在下載圖片和加水印,以及上傳至七牛這塊浪費了太多時間。不管怎么說,上線了。來瞧瞧吧!
以下是代碼片斷:
golang給圖片加水印
golang 生成縮略圖
golang上傳文件至七牛
今天看了一篇許志偉同學的報道,甚是佩服。