之前寫了一些小爬蟲，數據存儲到mongodb之類的數據庫，后面覺得單純的存到數據庫用處並不大，如果能夠直接展示在頁面上就非常的直觀了。
這里就簡單的說明一下python取數據庫中的數據，通過前端js將數據返回。后續再將爬蟲結合起來，做一些有意義的數據分析
使用python的web框架Flask作為后台，數據存儲使用sqllite3，前端的展示用開源圖標插件echarts。
使用sqllite作為數據庫存儲數據，創建create_db.py，這里是虛擬數據，思路也是參考別人的博客
# coding=utf-8
import sqlite3
import sys reload(sys) sys.setdefaultencoding('utf-8') # 連接 conn = sqlite3.connect('mydb.db') conn.text_factory = str c = conn.cursor() # 創建表 c.execute('''DROP TABLE IF EXISTS weather''') c.execute('''CREATE TABLE weather (month text, evaporation text, precipitation text)''') # 數據 # 格式：月份,蒸發量,降水量 purchases = [('1月', 2, 2.6), ('2月', 4.9, 5.9), ('3月', 7, 9), ('4月', 23.2, 26.4), ('5月', 25.6, 28.7), ('6月', 76.7, 70.7), ('7月', 135.6, 175.6), ('8月', 162.2, 182.2), ('9月', 32.6, 48.7), ('10月', 20, 18.8), ('11月', 6.4, 6), ('12月', 3.3, 2.3) ] # 插入數據 c.executemany('INSERT INTO weather VALUES (?,?,?)', purchases) # 提交！！！ conn.commit() # 查詢方式一 for row in c.execute('SELECT * FROM weather'): print(row) # 查詢方式二 c.execute('SELECT * FROM weather') print(c.fetchall()) # 查詢方式二_2 res = c.execute('SELECT * FROM weather') print(res.fetchall()) # 關閉 conn.close()
使用python的web框架flask，搭建一個簡答的后台系統
app.py
import sqlite3 from flask import Flask, request, render_template, jsonify import sys reload(sys) sys.setdefaultencoding('utf-8') app = Flask(__name__) def get_db(): db = sqlite3.connect('mydb.db') db.row_factory = sqlite3.Row return db def query_db(query, args=(), one=False): db = get_db() cur = db.execute(query, args) db.commit() rv = cur.fetchall() db.close() return (rv[0] if rv else None) if one else rv @app.route("/", methods=["GET"]) def index(): return render_template("index.html") @app.route("/weather", methods=["GET"]) def weather(): if request.method == "GET": res = query_db("SELECT * FROM weather") return jsonify(month=[x[0] for x in res], evaporation=[x[1] for x in res], precipitation=[x[2] for x in res]) @app.route('/map') def map(): return render_template('map.html') if __name__ == "__main__": app.run(debug=True)
最后在前端頁面展示數據，使用百度開源圖表插件echarts
<!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8"> <title>ECharts3 Ajax</title> <script src="{{ url_for('static', filename='jquery-3.2.1.min.js') }}"></script> <script src="{{ url_for('static', filename='echarts.js') }}"></script> </head> <body> <!--為ECharts准備一個具備大小（寬高）的Dom--> <div id="main" style="height:500px;border:1px solid #ccc;padding:10px;"></div> <script type="text/javascript"> var myChart = echarts.init(document.getElementById('main')); // 顯示標題，圖例和空的坐標軸 myChart.setOption({ title: { text: '異步數據加載示例' }, tooltip: {}, legend: { data:['蒸發量','降水量'] }, xAxis: { data: [] }, yAxis: {}, series: [{ name: '蒸發量', type: 'line', data: [] },{ name: '降水量', type: 'bar', data: [] }] }); myChart.showLoading(); // 顯示加載動畫 // 異步加載數據 $.get('/weather').done(function (data) { myChart.hideLoading(); // 隱藏加載動畫 // 填入數據 myChart.setOption({ xAxis: { data: data.month }, series: [{ name: '蒸發量', // 根據名字對應到相應的系列 data: data.evaporation.map(parseFloat) // 轉化為數字（注意map） },{ name: '降水量', data: data.precipitation.map(parseFloat) }] }); }); </script> </body> </html>
項目結構如下圖所示：
最后運行flask項目，python app.py runserver即可，訪問127.0.0.1:5000
