一個檢測網頁是否有日常鏈接的python腳本

     在大的互聯網公司干技術的基本都會碰到測試、預發布、線上這種多套環境的，來實現測試和線上正式環境的隔離，這種情況下，就難免會碰到秀逗了把測試的鏈接發布到線上的情況，一般這種都是通過一些測試的檢查工具來檢查鏈接來規避風險的。前兩天跟了一個問題也是這個情況，開發疏忽把日常url發布到線上了。但是測試那邊沒有自動化的監控工具，導致沒有及時發現，由於最近正好在看python，后來處理完回家就想用python做個簡單的監控。

     大略思路是：用python寫一個腳本來分析網頁里的所有url，看是否包含日常的鏈接，然后把腳本放到crontab里跑定時任務，10分鍾跑一次檢查。如果發現非法鏈接，就發告警郵件給相關人員。腳本代碼100行左右，比較好理解，貼上代碼。

　　本來想用beautifulsoup，不過考慮到安裝三方庫麻煩，所以還是用自帶的sgmllib來，不需要關心庫。發郵件函數沒有實現，根據各自的smtp服務器實現以下即可。

#!/usr/bin/env python
#coding:UTF-8

import urllib2
from sgmllib import SGMLParser
import smtplib
import time
#from email.mime.text import MIMEText
#from bs4 import BeautifulSoup
#import re

class UrlParser(SGMLParser):
    urls = []
    def do_a(self,attrs):
        '''parse tag a'''
        for name,value in attrs:
            if name=='href':
                self.urls.append(value)
            else:
                continue
    
    def do_link(self,attrs):
        '''parse tag link'''
        for name,value in attrs:
            if name=='href':
                self.urls.append(value);
            else:
                continue

def checkUrl(checkurl, isDetail):
    '''檢查checkurl對應的網頁源碼是否有非法url'''
    parser = UrlParser()
    page = urllib2.urlopen(checkurl)
    content = page.read()
    #content = unicode(content, "gb2312").encode("utf8")
    parser.feed(content)
    urls = parser.urls
    
    dailyUrls = []
    detailUrl = ""
    for url in urls:
        if 'daily' in url:
            dailyUrls.append(url);
        if not detailUrl and not isDetail and 'detail.ju.taobao.com' in url:
            detailUrl = url
    
    page.close()
    parser.close()
    
    if isDetail:
        return dailyUrls
    else:
        return dailyUrls,detailUrl

def sendMail():
    '''發送提醒郵件'''
    pass
    
def log(content):
    '''記錄執行日志'''
    logFile = 'checkdailyurl.log'
    f = open(logFile,'a')
    f.write(str(time.strftime("%Y-%m-%d %X",time.localtime()))+content+'\n')
    f.flush()
    f.close()

def main():
    '''入口方法'''
    #檢查ju
    url = "XXX.xxx.com"

    dailyUrls,detailUrl=checkUrl(url, False)
    if dailyUrls:
        #檢查到daily鏈接，發送告警郵件
        sendMail()
        log('check: find daily url')
    else:
        #沒檢查到daily鏈接，不處理
        log('check: not find daily url')

    #檢查judetail
    dailyUrls=checkUrl(detailUrl, True)
    if dailyUrls:
        #檢查到daily鏈接，發送告警郵件
        log('check: find daily url')
        sendMail()
    else:
        #沒檢查到daily鏈接，不處理
        log('check: not find daily url')

if __name__ == '__main__':
    main()