【爬蟲】把抓到數據存起來——爬蟲絕配mongodb

【爬蟲】把抓到數據存起來——爬蟲絕配mongodb

視頻地址

抓取數據的方法，前面的課程該講的都已經講了，爬取下來數據只是第一步，第二步就是要先存起來。我們最容易想到的就是存文件里嘍，python寫文件之前的課程也已經講過了。存到文件里當然是可以的，但是你是否想過，每次使用都要把整個文件打開，然后讀取，實在是有點不geek啊。 
所以我們通常會選擇存進數據庫，方便寫入和讀取數據，並且對於大部分情況而言，python數據結構中的dict足夠我們去結構化抓取的數據，那么能把兩者發揮到極致的神器就是——mongodb！

mongodb

1. 分布式
2. 松散數據結構（json）
3. 查詢語言強大

文檔

你可以看做是一個dict，dict里面還可以嵌套dict，例如：

1. {"name": "alan", score_list: {"chinese": 90, "english": 80}}

集合

一組文檔，就是一堆dict。

數據庫

多個集合組成數據庫

這么理解：你可以把mongodb看做一個圖書館，圖書館中每本書就是文檔，一個書架上的書是個集合，每個圖書室的書架加起來就是個數據庫。

安裝

官方安裝方法 
學我教程的同學應該都知道，我不會給出具體步驟，鼓勵大家按照官方文檔去摸索，屏蔽伸手黨。

該如何把抓取到的數據存入mongodb

1. 把抓到的數據寫成你想要的dict形式
2. insert到指定的書架上
3. 沒了。。。

增刪查改例子 python2版本

需要安裝pymongo

1. pip install pymongo

mongo_api.py

1. # -*- coding: utf-8 -*-
3. # Define your item pipelines here
4. #
5. # Don't forget to add your pipeline to the ITEM_PIPELINES setting
6. # See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
8. import pymongo
9. import sys
10. import unittest
11. reload(sys)
12. sys.setdefaultencoding('utf-8')
14. class MongoAPI(object):
15. def __init__(self, db_ip, db_port, db_name, table_name):
16. self.db_ip = db_ip
17. self.db_port = db_port
18. self.db_name = db_name
19. self.table_name = table_name
20. self.conn = pymongo.MongoClient(host=self.db_ip, port=self.db_port)
21. self.db = self.conn[self.db_name]
22. self.table = self.db[self.table_name]
24. def get_one(self, query):
25. return self.table.find_one(query, projection={"_id": False})
27. def get_all(self, query):
28. return self.table.find(query)
30. def add(self, kv_dict):
31. return self.table.insert(kv_dict)
33. def delete(self, query):
34. return self.table.delete_many(query)
36. def check_exist(self, query):
37. ret = self.get(query)
38. return len(ret) > 0
40. # 如果沒有 會新建
41. def update(self, query, kv_dict):
42. ret = self.table.update_many(
43. query,
44. {
45. "$set": kv_dict,
46. }
47. )
48. if not ret.matched_count or ret.matched_count == 0:
49. self.add(kv_dict)
50. elif ret.matched_count and ret.matched_count > 1:
51. self.delete(query)
52. self.add(kv_dict)
54. class DBAPITest(unittest.TestCase):
55. def setUp(self):
56. self.db_api = MongoAPI("127.0.0.1", # 圖書館大樓地址
57. 27017, # 圖書館門牌號
58. "test", # 一號圖書室
59. "test_table") # 第一排書架
61. def test(self):
62. db_api = self.db_api
63. db_api.add({"url": "test_url", "k": "v"})
64. self.assertEqual(db_api.get_one({"url": "test_url"})["k"], "v")
66. db_api.update({"url": "test_url"}, {"url_update": "url_update"})
67. ob = db_api.get_one({"url": "test_url"})
68. self.assertEqual(ob["url_update"], "url_update")
70. db_api.delete({"url": "test_url"})
71. self.assertEqual(db_api.get_one({"url": "test_url"}), None)
73. if __name__ == '__main__':
74. unittest.main()

 

上一篇