先介紹下自己,從事Net軟件工程師8年有余,前面幾年一直在ERP,金融軟件等傳統領域徘徊,直到一次偶然的機會接觸創業,到一事無成,血本無歸后,發現自己的思想還是跟不上這般聰明人的套路。然后就走上了移動互聯網的不歸路。
廢話不多說,接下來講點重點,為什么叫玩世不恭,因為很多東西我都喜歡自己動手,這樣就會發現一些很好玩的東西,今天以及下面講的這一系列都是我最近完成的這個App的一些問題解決和有意思的趣事。
我很早之前就接觸磁力,磁力搜索等,發現很不方便,需要下載,才能播放,文件很大,下載很費勁,等我下載下來以后,我已經沒有興趣觀看了,所以老歪腦筋想着,能不能自己做一款 磁力搜索,在線播放的軟件,於是開始了資料收集。我開始找了很多磁力搜索的網站,
比如:http://www.yunbosou.cc http://www.btboot.com https://cn.torrentkitty.tv/
這中間就走了很多彎路,開始想着怎么把這些數據搞到手,后面想了想,玩互聯網的人大部分不能這么搞,用得用共享的心態去做,然后我就用了HtmlAgilityPack 用來抓取,爬蟲數據。每次用戶搜索,我就從我的接口中去爬蟲,不做數據庫,完全爬蟲這些網站的數據,根據Hash去重,然后接口反饋出來。這樣一來,我這個App就完成了我認為比較重要的一步。數據已經有了。
爬蟲部分Demo代碼:
HtmlWeb webClient = new HtmlWeb(); HtmlDocument doc = webClient.Load(dthyunbosouurl); var rootNode = doc.DocumentNode; HtmlNodeCollection categoryNodeList = rootNode.SelectNodes("//html[1]/body[1]/div[@id='wrapper']/div[@id='container']/div[@class='main']/ul[@class='mlist']/li"); if (categoryNodeList != null) { foreach (var item in categoryNodeList) { List<string> AHref = GetTagsValue(item.InnerHtml, "href"); if (AHref.Count > 0) { if (AHref[0].IndexOf("http:") <= -1) { AHref[0] = "http://www.yunbosou.cc/" + AHref[0]; } GetChild(AHref[0]); } } }
准備篇就講那么多,其實,寫起來貌似就那么幾句話,前期准備的時候,各個網站去找資料,參考一下有沒有同類的App,磁力解析怎么玩,怎么搜索,到整出磁力數據的由來,希望能有人支持我,把整款App的經歷,全寫出來。
福利App QQ交流群:485247202