閑魚信息抓取、推送程序


程序一直在更新,目前已經更新到11版,在更新12版了。

 

1213 v 1.1.12 添加AI智能模塊

目前正在添加和優化AI搜索功能,可以AI智能跳過無效搜索,提高搜索效率。

 

1212 v 1.1.11

版本號從1.0 過渡到1.1 整個程序模塊重構。 1.0.9 添加數據庫監控模塊 1.1.10 模塊重構, 優化搜索分詞模塊。 1.1.11 繼續優化了搜索分詞模塊

 

1102 v 1.0.8 更新搜索入庫分詞優化

10-30 v 1.0.8 更新預覽圖片。 

v 1.0.6 更新黑名單。

可以在客戶端添加黑名單。

v 1.0.5 更新bug

因為閑魚價格過萬會變換顯示方式,導致程序無法識別。 更新價格顯示方式。

v 1.0.4更次更新

為抓取程序重構代碼,並升級UI

v 1.0.4更新抓取首頁和數據庫頁面

再次更新, 將原來雜亂的列表型數據顯示更新為表格,這樣看起來就沒有那么亂了。 更新下效果圖:

  

v 1.0.3添加多終端采集

在分布式采集的基礎上,再次添加同一終端上面的多線程采集,進一步提高采集效率。 采集端代碼在原有基礎上再次升級。

v 1.0.3已經升級完畢

抓取數據目前比較快的話,可以達到10秒鍾入庫體現,關鍵詞多的話,會有一定延遲。

同時,數據庫從本地移到服務器,開始使用遠程連接和儲存數據,更方便分布式搭建、站庫分離,以及一服多客模式。

更重要的是,不再需要配制本地數據庫,不會再因為本地數據庫問題導致程序down掉。

雖然原來也寫了自動化配制數據庫的程序,但因為系統權限問題,始終不太理想。這次干脆干掉本地數據庫,只需要一個客戶端,為所欲為了。

   

v 1.0.1.2升級數據庫啟動文件,自動檢測系統數據庫配制情況。

1 建議使用mongodb 4.2.14, 將mongod.exe移動到bin文件中

2 運行數據庫啟動軟件,自動建立數據庫文件和日志文件。

3 運行程序 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM