python當中如何處理大規模csv文件


使用pandas包進行處理:

  1.讀取限定列:file = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])

  2.讀取限定行:   file = pd.read_csv('demo.csv',nrows=1000,usecols=['column1', 'column2', 'column3'])                 #此時讀取的是前1000行數據,可以作為測試

  3.分塊讀取:

reader = pd.read_csv('demo.csv',nrows=1000,usecols=['column1','column2','column3'],chunksize=1000,iterator=True)      #此時chunksize=1000指定了塊的大小

4.使用head和tail函數讀取小部分數據觀察其特征

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM