使用python將excel數據導入數據庫

• 因為需要對數據處理，將excel數據導入到數據庫，記錄一下過程。
• 使用到的庫：xlrd 和 pymysql （如果需要寫到excel可以使用xlwt）
• 直接丟代碼，使用python3，注釋比較清楚。

• import xlrd
  import pymysql
  # import importlib
  # importlib.reload(sys) #出現呢reload錯誤使用
  
  
  def open_excel():
      try:
          book = xlrd.open_workbook("XX.xlsx")  #文件名，把文件與py文件放在同一目錄下
      except:
          print("open excel file failed!")
      try:
          sheet = book.sheet_by_name("sheet名稱")   #execl里面的worksheet1
          return sheet
      except:
          print("locate worksheet in excel failed!")
  
  
  #連接數據庫
  try:
      db = pymysql.connect(host="127.0.0.1",user="root",
          passwd="XXX",
          db="XXX",
          charset='utf8')
  except:
      print("could not connect to mysql server")
  
  def search_count():
      cursor = db.cursor()
      select = "select count(id) from XXXX" #獲取表中xxxxx記錄數
      cursor.execute(select) #執行sql語句
      line_count = cursor.fetchone()
      print(line_count[0])
  
  
  def insert_deta():
      sheet = open_excel()
      cursor = db.cursor()
      for i in range(1, sheet.nrows): #第一行是標題名，對應表中的字段名所以應該從第二行開始，計算機以0開始計數，所以值是1
  
          name = sheet.cell(i,0).value #取第i行第0列
          data = sheet.cell(i,1).value#取第i行第1列，下面依次類推
          print(name)
          print(data)
          value = (name,data)
          print(value)
          sql = "INSERT INTO XXX(name,data)VALUES(%s,%s)"
          cursor.execute(sql,value) #執行sql語句
          db.commit()
      cursor.close() #關閉連接
  
  
  
  insert_deta()
  
  db.close()#關閉數據
  print ("ok ")
  

  　　XXX里自行修改自己的名稱。

• 說明：對於不規則的單元格，例如合並過的單元格會取到空值。
• 有機會把數據庫寫到excel貼上來。
•  
•  
•  優化了一下這個程序

• import pymysql
  import xlrd
  
  
  # 連接數據庫
  try:
      db = pymysql.connect(host="127.0.0.1", user="root",
                           passwd="XXX",
                           db="XXX",
                           charset='utf8')
  except:
      print("could not connect to mysql server")
  
  
  def open_excel():
      try:
          book = xlrd.open_workbook("XXX.xlsx")  #文件名，把文件與py文件放在同一目錄下
      except:
          print("open excel file failed!")
      try:
          sheet = book.sheet_by_name("XXX")   #execl里面的worksheet1
          return sheet
      except:
          print("locate worksheet in excel failed!")
  
  
  def insert_deta():
      sheet = open_excel()
      cursor = db.cursor()
      row_num = sheet.nrows
      for i in range(1, row_num):  # 第一行是標題名，對應表中的字段名所以應該從第二行開始，計算機以0開始計數，所以值是1
          row_data = sheet.row_values(i)
          value = (row_data[0],row_data[1],row_data[2],row_data[3])
          print(i)
          sql = "INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
          cursor.execute(sql, value)  # 執行sql語句
          db.commit()
      cursor.close()  # 關閉連接
  
  
  open_excel()
  insert_deta()
  

  　　

•  
•  
•  
•  
•  
•  再改一下，每一萬條數據寫入到數據庫一次

• import pymysql
  import xlrd
  import sys
  
  '''
      連接數據庫
      args：db_name（數據庫名稱）
      returns:db
  
  '''
  
  
  def mysql_link(de_name):
      try:
          db = pymysql.connect(host="127.0.0.1", user="xxx",
                               passwd="xxx",
                               db=xxx,
                               charset='utf8')
          return db
      except:
          print("could not connect to mysql server")
  
  
  '''
      讀取excel函數
      args：excel_file（excel文件，目錄在py文件同目錄）
      returns：book
  '''
  
  
  def open_excel(excel_file):
      try:
          book = xlrd.open_workbook(excel_file)  # 文件名，把文件與py文件放在同一目錄下
          print(sys.getsizeof(book))
          return book
      except:
          print("open excel file failed!")
  
  
  '''
      執行插入操作
      args:db_name（數據庫名稱）
           table_name(表名稱）
           excel_file（excel文件名，把文件與py文件放在同一目錄下）
  
  '''
  
  
  def store_to(db_name, table_name, excel_file):
      db = mysql_link(db_name)  # 打開數據庫連接
      cursor = db.cursor()  # 使用 cursor() 方法創建一個游標對象 cursor
  
      book = open_excel(excel_file)  # 打開excel文件
      sheets = book.sheet_names()  # 獲取所有sheet表名
      for sheet in sheets:
          sh = book.sheet_by_name(sheet)  # 打開每一張表
          row_num = sh.nrows
          print(row_num)
          list = []  # 定義列表用來存放數據
          num = 0  # 用來控制每次插入的數量
          for i in range(1, row_num):  # 第一行是標題名，對應表中的字段名所以應該從第二行開始，計算機以0開始計數，所以值是1
              row_data = sh.row_values(i)  # 按行獲取excel的值
              value = (row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
                       row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
                       row_data[13], row_data[14])
              list.append(value)  # 將數據暫存在列表
              num += 1
              if( num>= 10000 ):  # 每一萬條數據執行一次插入
                  print(sys.getsizeof(list))
                  sql = "INSERT INTO " + table_name + " (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
                  bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
                  VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
                  cursor.executemany(sql, list)  # 執行sql語句
  
                  num = 0  # 計數歸零
                  list.clear()  # 清空list
                  print("worksheets: " + sheet + " has been inserted 10000 datas!")
  
      print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
      db.commit()  # 提交
      cursor.close()  # 關閉連接
      db.close()
  
  
  if __name__ == '__main__':
      store_to('demo', 'demo_yangben', 'xxx.xlsx')
  

  　　

•  
•  
• 思考，如果數據插入有錯誤，怎么解決，
•  其實有很多數據庫工具可以直接來解決這個問題，注意字符轉換的格式就好。
•  
•  上面這個程序在當數據不足10000的時候會出現問題，下面的一篇文章里進行了更正。
• 批量插入數據請看： https://www.cnblogs.com/longbigbeard/p/9317141.html
• 以上。