Python3爬虫之爬取某一路径的所有html文件

要离线下载易百教程网站中的所有关于Python的教程，需要将Python教程的首页作为种子url：http://www.yiibai.com/python/，然后按照广度优先（广度优先，使用队列；深度优先，使用栈），依次爬取每一篇关于Python的文章。为了防止同一个链接重复爬取，使用集合来限制同一个链接只处理一次。
使用正则表达式提取网页源码里边的文章标题和文章url，获取到了文章的url，使用Python根据url生成html文件十分容易。

   
   
  
  
 
   
 
    
 
     
 
    
 
    
 
     
 
      import re 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      import urllib.request 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      import urllib 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      from collections 
      import deque 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 保存文件的后缀 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       SUFFIX= 
      '.html' 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 提取文章标题的正则表达式 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       REX_TITLE= 
      r'<title>(.*?)</title>' 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 提取所需链接的正则表达式 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       REX_URL= 
      r'/python/(.+?).html' 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 种子url，从这个url开始爬取 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       BASE_URL= 
      'http://www.yiibai.com/python/' 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 将获取到的文本保存为html文件 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      def saveHtml(file_name,file_content): 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      #    注意windows文件命名的禁用符，比如 / 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           
      with open (file_name.replace( 
      '/', 
      '_')+SUFFIX, 
      "wb") 
      as f: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      #   写文件用bytes而不是str，所以要转码 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

               f.write(bytes(file_content, encoding = 
      "utf8")) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      #   获取文章标题 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      def getTitle(file_content): 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           linkre = re.search(REX_TITLE,file_content) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           
      if(linkre): 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

               print( 
      '获取文章标题：'+linkre.group( 
      1)) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

               
      return linkre.group( 
      1) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      #   爬虫用到的两个数据结构，队列和集合 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       queue = deque() 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       visited = set() 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      #   初始化种子链接  
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       queue.append(BASE_URL) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

       count = 
      0 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      while queue: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         url = queue.popleft()   
      # 队首元素出队 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         visited |= {url}   
      # 标记为已访问 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         print( 
      '已经抓取: ' + str(count) + 
      '   正在抓取 <---  ' + url) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         count += 
      1 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         urlop = urllib.request.urlopen(url) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      # 只处理html链接 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      if 
      'html' 
      not 
      in urlop.getheader( 
      'Content-Type'): 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           
      continue 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      # 避免程序异常中止 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      try: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           data = urlop.read().decode( 
      'utf-8') 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           title=getTitle(data); 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           
      # 保存文件 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           saveHtml(title,data) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      except: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

           
      continue 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      # 正则表达式提取页面中所有链接, 并判断是否已经访问过, 然后加入待爬队列 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         linkre = re.compile(REX_URL) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

         
      for sub_link 
      in linkre.findall(data): 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

             sub_url=BASE_URL+sub_link+SUFFIX; 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     
 
      # 已经访问过，不再处理 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

             
      if sub_url 
      in visited: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 
      pass 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

             
      else: 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 
      # 设置已访问 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 visited |= {sub_url} 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 
      # 加入队列 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 queue.append(sub_url) 
     
 
    
 
   
 
    
 
     
 
    
 
    
 
     

                 print( 
      '加入队列 --->  ' + sub_url)