Scrapy框架----pipeline---------數據保存EXCEL


from openpyxl import Workbook

wk = Workbook()  #class實例化
ws = wk.active       #激活工作表
ws["A1"] = 999999        #A1表格輸入數據
ws.append(['2018-1-1','學習','Python','人生苦短,我用Python'])  #加入一行數據
wb.save('/me/con.xlsx')    #保存文件
from openpyxl import Workbook

class TuniuPipeline(object):  # 設置工序一
    self.wb = Workbook()
    self.ws = self.wb.active
    self.ws.append(['新聞標題', '新聞鏈接', '來源網站', '發布時間', '相似新聞', '是否含有網站名'])  # 設置表頭


def process_item(self, item, spider):  # 工序具體內容
    line = [item['title'], item['link'], item['source'], item['pub_date'], item['similar'], item['in_title']]  # 把數據中每一項整理出來
    self.ws.append(line)  # 將數據以行的形式添加到xlsx中
    self.wb.save('/home/alexkh/tuniu.xlsx')  # 保存xlsx文件
    return item

為了讓pipeline.py生效,還需要在settings.py文件中增加設置,內容如下:

 

ITEM_PIPELINES = {
    'tuniunews.pipelines.TuniuPipeline': 200,  # 200是為了設置工序順序
}

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM