項目簡介
- 前端站點 項目效果預覽 http://findcl.com
- 使用 nodejs 實現磁力鏈接爬蟲 磁力鏈接解析成 torrent種子信息，保存到數據庫，利用 Elasticsearch 實現中文檢索。koa2 搭建磁力鏈接搜索引擎
- 源碼地址 https://github.com/ssstk/findcl
- 后端腳本 磁力鏈接獲取 磁力鏈接解析 入庫 Mongodb 定時同步 Elasticsearch
- 源碼地址 https://github.com/ssstk/mang...
- 此項目僅用學習交流技術使用 不做商業用途。
上線
- 2018-06-01 網站正式上線。暫時想不到什么名字 各位大大可以推薦下哦。域名是 http://findcl.com ，
- 兩台 VPS （都是某些雲做活動買的 配置低）
- 第一台部署了 FindCl 站點本身（ koa2、nginx ）和單個節點的 Elasticsearch
- 第二台部署了磁力鏈接爬蟲 hashinfo 解析 入庫 Mongodb
- Mongodb 數據庫在套路雲（目前有 300W 數據庫，每日新收錄 3W+的數據）
項目依賴
- Mongodb
- mongoose
- Elasticsearch
- nginx
- koa2
- vue
- DHT BT 資源爬蟲 磁力鏈接解析 manget2torrent
- crontab 定時執行 Mongodb 與 Elasticsearch 的數據同步
- ...
存在的問題
manget2torrent
- 依賴的 dhtspider 爬蟲 長時間使用一個端口的時，由於 P2P 網絡的特性，越來越多的節點來訪問 會導致帶寬跑滿（其主要是活動買的雲主機 1M 的），如果活力全開不做閑置 大概穩定在 10M 左右。解決方案就是 每次采集 5000 條不重復的磁力 hashindo 就暫停爬蟲，取解析獲取信息。等小於 1000 條時候，再隨機端口開啟服務。
- 解析磁力鏈接緩慢且成功率很低， 失敗的大概在 3 成左右且需要好幾秒
其他
有其他問題請新建issue交流。
本文轉載於:猿2048nodejs 實現 磁力鏈接資源搜索 BT磁力鏈接爬蟲