python定時重跑獲取數據

做大數據的童鞋經常會寫定時任務跑數據，由於任務之間的依賴（一般都是下游依賴上游的數據產出），所以經常會導致數據獲取失敗，因為很多人發現數據失敗后

都會去查看日志，然后手動去執行自己的任務。下面我實現了一個自動重復執行去數據庫取數，如果失敗后自動重新去獲取，直到把數據獲取到。

建數據表：

CREATE TABLE `testtable` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

開始的時候數據表是空的，等到腳本重試第3秒的時候向數據庫插入數據。以下是python代碼的實現

#!/usr/bin/env python
#-*- coning:utf-8 -*-

import MySQLdb
from time import sleep

class GetData(object):
    def __init__(self):
        self.conn = ''
        self.host = '127.0.0.1'
        self.port = 3306
        self.user = 'root'
        self.passwd = '123456'
        self.db = 'test'
        self.cnum = 5 #set retry number

    def init_connect(self):
        self.conn = MySQLdb.connect(host=self.host, user=self.user, passwd=self.passwd, db=self.db, port=self.port,
charset='utf8')

    def get_data(self):
        self.init_connect()
        cur = self.conn.cursor()
        sql = "select * from testtable"
        cur.execute(sql)
        rs = cur.fetchall()
        cur.close()
        self.conn.close()
        return rs

    def run(self):
        count = 1
        while (count <= self.cnum):
            rs = self.get_data()
            if len(rs) > 0:
                print len(rs)
                break

            print count
            sleep(10)
            count += 1

if __name__ == '__main__':
    gd = GetData()
    gd.run()

自己可以手動執行，在代碼執行到第3秒的時候，執行下面的sql

insert into testtable(`name`) values ('123'),('456'),('789'),('1111'),('3222'),('444');

下面是定時的任務的腳本

00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1

OVER!