python爬蟲25 | 爬取下來的數據怎么保存? CSV 了解一下


大家好

 

我是小帥b

 

是一個練習時長兩年半的練習生

 

喜歡

 

唱!

 

跳!

 

rap!

 

籃球!

 

敲代碼!

 

裝逼!

 

 

不好意思

 

我又走錯片場了

 

接下來的幾篇文章

 

小帥b將告訴你

 

如何將你爬取到的數據保存下來

 

有文本文件、redis、數據庫(MySQL、MangoDB)等的存儲方式

 

今天先說說

 

CSV

 

什么是 CSV?

怎么玩?

牛逼么?

 

那么接下來就是

 

學習 python 的正確姿勢

 

 

 

 

CSV 是一個文本文件來的

 

有點像 excel

 

也就是它是以一定的表格的格式來展示數據的

 

我們通常會使用逗號(,)來對每一個單元數據進行分割

 

分隔符不止是逗號

 

也可以是制表符(tab)、冒號(:)、分號(;)

 

比如我們要來表示一個表格中的數據

 

就可以這樣

 

1列的名稱,第2列的名稱,第3列的名稱1行第1格的數據,第1行第2格的數據,第1行第3格的數據2行第1格的數據,第2行第2格的數據,第2行第3格的數據...

 

這就是 CSV 的格式

 

 

有啥好處呢

 

說 3 點足以

 

它支持存儲比較大量的數據

 

我們可以非常方便地利用它進行數據的導入或者導出到電子表格或者數據庫

 

所有支持文本文件的輸入輸出的編程語言(比如我們的 python),都可以直接操作使用 CSV 文件。

 

 

 

了解什么是 CSV 之后

 

接下來小帥b會告訴你怎么使用 python 去存儲數據到 CSV 文件中

 

代碼走起

 

 

我們導入 CSV 這個庫

 

通過  csv.DictWriter 獲取 writer 對象

 

然后就可以寫入了

 

具體看下代碼

 

import csv
with open('xiaoshuaib.csv', mode='w') as csv_file: fieldnames = ['你是誰', '你幾歲', '你多高'] writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
writer.writeheader() writer.writerow({'你是誰': '小帥b', '你幾歲': '18歲', '你多高': '18cm'}) writer.writerow({'你是誰': '小帥c', '你幾歲': '19歲', '你多高': '17cm'}) writer.writerow({'你是誰': '小帥d', '你幾歲': '20歲', '你多高': '16cm'})

 

我們這里以字典的方式寫入數據到 xiaoshuaib.csv 這個文件中

 

運行之后

 

可以看到多了一個文件

 

 

打開看看

 

 

可以看到

 

我們的數據就被寫進來了

 

說:是高還是長?

 

 

再給大家介紹一個庫

 

pandas

 

它可以更加方便的操作 CSV 文件

 

我們先安裝一下 pandas

 

pip install pandas

 

安裝完之后

 

我們用 pandas 來讀取一下我們剛存儲的 xiaoshuaib.cvs 文件

 

import pandasxiaoshuaib = pandas.read_csv('xiaoshuaib.csv')print(xiaoshuaib)

 

打印結果是這樣的

 

 

是不是又方便又好看呢

 

用 pandas 來存儲 CSV 數據也是很簡單的

 

一個方法就搞定

 

to_csv

 

 

import pandas as pd
b = ['小帥b', '小帥c', '小帥d']c = ['18歲', '19歲', '20歲']d = ['18cm', '17cm', '16cm']
df = pd.DataFrame({'你是誰' : b, '你幾歲' : c, '你多高' : d})df.to_csv("xsb.csv", index=False, sep=',')

 

運行一下

 

 

 

ok

 

以上就是對 CSV 的主要操作

 

當你把數據爬取下來的時候

 

可以使用這招試試把數據存儲下來

 

好了

 

那么我們下篇再見

 

peace

 

 

猜你喜歡

 

python爬蟲24 | 搞事情了,用 Appium 爬取你的微信朋友圈。

 

python爬蟲21 | 對於b站這樣的滑動驗證碼,不好意思,照樣自動識別

 

 

      點個在看啊~~(破音)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM