Python爬蟲開發系列之五》數據存儲為TXT、JSON格式


在上一篇中我們介紹了Beautiful Soup解析庫的使用方法,用解析出數據之后,接下來就是存儲數據的問題了。數據保存的方式多種多樣,最簡單的形式是直接保存成文本文件,比如txt/json/csv....另外還可以保存到數據庫----關系型數據庫--Mysql  MSsql,非關系型數據庫 MongoDB、Redis........

一、以txt文本文件存儲

from bs4 import BeautifulSoup
import requests

r=requests.get('https://www.baidu.com')
soup=BeautifulSoup(r.content,'lxml')

 for bq in soup.select('#u1'):

print(bq.get_text())
with open('hj.txt','w+') as xr:
xr.write(bq.get_text())

##打開方式

r:以只讀模式打開文件,默認模式。

rb:以二進制只讀模式打開一個文件。

r+:以讀寫方式打開一個文件。

rb+:以二進制讀寫方式打開一個文件。文件指針將會放在文件的開頭。

w:以寫入的方式打開一個文件,如果該文件以存在,則將其覆蓋。

wb:以二進制寫入的方式打開一個文件,如果該文件以存在,則將其覆蓋。

w+:以讀寫方式打開一個文件,如果該文件以存在,則將其覆蓋。

a:以追加方式打開一個文件,如果該文件以存在,文件指南將會放在文件結尾。

ab:以二進制追加方式打開一個文件。

a+:以讀寫方式打開一個文件。

ab+:以二進制追加方式打開一個文件,如果該文件已經存在,則文件指針將會放在文件結尾。如果該文件不存在,則創建新文件用於讀寫。

 

二、JSON文件存儲

JSON:通過對象和數組的組合來表示數據,構造簡潔,是一種輕量級的數據交換格式。

import json
file_name = 'D:/json_file.txt'
nums = [3, 4, 5, 7, 1, 9]
# nums = {"name": "Mike", "age": 12}
with open(file_name, 'w') as file_obj:
'''寫入json文件'''
json.dump(nums, file_obj)
print("寫入json文件:", nums)

with open(file_name) as file_obj:
'''讀取json文件'''
numbers = json.load(file_obj) # 返回列表數據,也支持字典
print("讀取json文件:", numbers)

 

###下一篇介紹非關系型數據庫MongoDB的使用


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM