Python數據可視化編程實戰——導入數據

 1.從csv文件導入數據

原理：with語句打開文件並綁定到對象f。不必擔心在操作完資源后去關閉數據文件，with的上下文管理器會幫助處理。然后，csv.reader()方法返回reader對象，通過該對象遍歷所讀取文件的所有行。

 

#!/usr/bin/env python

import csv

filename = 'ch02-data.csv'

data = []
try:
    with open(filename) as f:
        reader = csv.reader(f)
        c = 0
        for row in reader:
            if c == 0:
                header = row
            else:
                data.append(row)
            c += 1
except csv.Error as e:
    print "Error reading CSV file at line %s: %s" % (reader.line_num, e)
    sys.exit(-1)

if header:
    print header
    print '=================='

for datarow in data:
    print datarow

 

 

 

實驗結果截圖：

2.從Excel中導入文件數據

Excel文件可以轉換成csv文件，然后通過上述的方法導入，但是如果想自動化地對大量文件進行數據管道處理（作為數據連續處理流程的一部分），那么手動把每個Excel文件轉換成CSV文件的做法就行不通了。

原理：使用xlrd模塊打開文件的工作簿，然后根據行數（nrows）和列數（ncols）讀取單元格的內容，通過調用open_workbook（）方法，返回一個xlrd.book實例。

 

import xlrd
from xlrd.xldate import XLDateAmbiguous

file = 'ch02-xlsxdata.xlsx'

wb = xlrd.open_workbook(filename=file)

ws = wb.sheet_by_name('Sheet1')

dataset = []

for r in range(ws.nrows):
    col = []
    for c in range(ws.ncols):
        col.append(ws.cell(r, c).value)
        if ws.cell_type(r, c) == xlrd.XL_CELL_DATE:
            try:
                print ws.cell_type(r, c)
                from datetime import datetime
                date_value = xlrd.xldate_as_tuple(ws.cell(r, c).value, wb.datemode)
                print datetime(*date_value)
            except XLDateAmbiguous as e:
                print e
    dataset.append(col)

from pprint import pprint

pprint(dataset)

 

 

 

實驗結果：

3.從定寬數據文件導入數據

時間的日志文件和基於時間序列的文件是數據可視化中最常見的數據源。有時候，可以以制表符分隔數據這種CSV方言來讀取它們，但有時它們不是通過任何特殊字符分隔的。實際上，這些文件的字段是有固定寬度的，我們能通過格式來匹配並提取數據。

例如（本例子的數據是使用代碼生成的）：

處理方法：

1.指定要讀取的數據文件。2.定義數據讀取的方式。3.逐行讀取文件並根據格式把每行解析成單獨的數據字段。4.安單獨數據字段的形式打印每一行。

 

import struct
import string

mask='9s14s5s'
parse = struct.Struct(mask).unpack_from
print 'formatstring {!r}, record size: {}'.format(\
                        mask, struct.calcsize(mask))

datafile = 'ch02-fixed-width-1M.data'

with open(datafile, 'r') as f:
    for line in f:
        fields = parse(line)
        print 'fields: ', [field.strip() for field in fields]

 

實驗結果：

4.從JSON數據源導入數據

操作步驟如下：1.指定GitHub URL來讀取JSON格式數據。2.使用requests模塊訪問指定的URL，並讀取內容。3.讀取內容並將之轉化為JSON格式的對象。4.迭代訪問JSON對象，對於其中的每一項，讀取每個代碼庫的URL值。

原理：首先，使用requests模塊獲取遠程資源。Requests模塊提供了簡單的API來定義HTTP謂詞，我們只需要發出get（）方法調用。我們只對Response.json（）方法感興趣，這個方法可以讀取Response.content的內容，把它解析成JSON並加載到JSON對象中。

代碼如下：

 

import requests
from pprint import pprint
url = 'https://api.github.com/users/justglowing'
r = requests.get(url)
json_obj = r.json()
pprint(json_obj)

 

結果：

 

 

結語：上個月在幫別人做畢業設計，用的FLASK，然后這個月還要用JAVA EE來寫個商城網站，忙的要死，一直沒更新博客，今天周日圖書館看了python數據可視化，走神一大半，唉，還是更博客吧，可惜的是，說好的要做的精品系列呢。。。。。。。