Python入門,以及簡單爬取網頁文本內容


  最近痴迷於Python的邏輯控制,還有爬蟲的一方面,原本的目標是拷貝老師上課時U盤的數據。后來發現基礎知識掌握的並不是很牢固。便去借了一本Python基礎和兩本爬蟲框架的書。便開始了自己的入坑之旅

  言歸正傳

  前期准備

  Import requests;我們需要引入這個包。但是有些用戶環境並不具備這個包,那么我們就會在引入的時候報錯

  

  這個樣子相信大家都不願意看到那么便出現了一下解決方案
  我們需要打開Cmd 然后進入到我們安裝Python的Scripts目錄下輸入指令
  pip install requests
  
  當然還會出現下面的情況
  
  

又是一個報錯是不是很煩  那么我們按它的提示升級一下組件   輸入命令

 python -m pip install --upgrade pip

  安裝成功后我們便可以正常的導入 requests

 那么我們是不是就可以做一下什么了?比如說爬取一個網站的所有信息爬取下來?


  import requests;
    
   //導入我們需要的庫


  def GetName(url):
  //定義一個函數並且傳入參數Url

  resp=requests.get(url);
  
//獲取網頁上的所有信息

  //以文本的模型返回

  return resp.text;

    //定義一個字符串也就是我們要爬取的地址
  url="https:xxxxxxxxxx";

      //函數方法
  def xieru():
      //打開一個文本,以寫入的方式寫入二級制文本
  fi=open('E://1.txt',"wb+");
    //接受
  con = GetName(url);
      //返還的文本轉換編碼格式
   ss=con.encode('utf-8')
      //寫入打開的文本中
  fi.write(ss);
   return 0;


   xieru();


哈哈 上面的網址就打碼了哦,大家自己腦補。
   這是我爬取的內容
  

 

 

 



       
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM