python運行js---execjs 使用

execjs 使用

有了selenium+Chrome Headless 加載頁面為什么還要用execjs來運行js？ selenium+Chrome Headless 必然是爬蟲的一大利器，可是缺點依然存在， 性能問題不可忽視。 但這構不成舍棄它而不用的理由。我認為舍棄包括Chrome Headless、PhantomJS在內的無頭瀏覽器 的原因主要有以下幾點： 1. 頁面結構改變、彈窗(一些網站的頁面結構經常無規則改變)， 影響代碼的健壯性。 2. 無頭瀏覽器的應用場景主要是一些模擬登陸賬號密碼加密的場景， 爬蟲全程使用無頭瀏覽器， 影響性能和效率， 浪費資源。 3. 通過js加密的網站， 可以看得到加密過程，可以拿得到加密源碼。

1. 安裝

pip install PyExecJS  # 需要注意， 包的名稱：PyExecJS 

 

2. 簡單使用

1.  
   import execjs
2.  
   execjs .eval( "new Date")
3.  
   返回值為： 2018-04-04T12 :53 :17.759Z
4.  
   execjs .eval( "Date.now()")
5.  
   返回值為： 1522847001080 # 需要注意的是返回值是 13位， 區別於 python的 time .time()

需要注意的是： 個別的JS語句， 用execjs返回的結果跟瀏覽器環境返回的結果是有區別的， 以下是瀏覽器環境返回的結果

3. 調用函數

1.  
   # 實際生產中處理的js有幾百幾千行， 不方便貼上來。來看一下源碼中給的例子：
2.  
   ctx = execjs.compile( """
3.  
   function add(x, y) {
4.  
   return x + y;
5.  
   }
6.  
   """)
7.  
   ctx.call( "add", 1, 2) # 第一個參數 “add” 為JS函數名的字符串， 后邊依次為實參
8.  
   返回值： 3

execjs的用法非常簡單， 下邊來看一下執行JS的環境， 以及性能：

4. 執行JS的環境

1.  
   # 1. 在windows上不需要其他的依賴便可運行execjs， 也可以調用其他的JS環境
2.  
   # windows 默認的執行JS的環境
3.  
   execjs. get().name
4.  
   返回值： JScript
5.  
   # 作者本人的windows上裝有Node.js ， 所以返回值不同
6.  
   execjs. get().name
7.  
   返回值： Node.js (V8)
8.  
    
9.  
   #2. 在ubuntu下需要安裝執行JS環境依賴, 作者的環境為PhantomJS
10.  
    execjs. get().name
11.  
    返回值： PhantomJS
12.  
     
13.  
    #3. 源碼中給出， 可執行execjs的環境：
14.  
    PyV8 = "PyV8"
15.  
    Node = "Node"
16.  
    JavaScriptCore = "JavaScriptCore"
17.  
    SpiderMonkey = "SpiderMonkey"
18.  
    JScript = "JScript"
19.  
    PhantomJS = "PhantomJS"
20.  
    SlimerJS = "SlimerJS"
21.  
    Nashorn = "Nashorn"

注1：作者之前在ubuntu環境下執行execjs碰見過因為沒有環境而報錯，因時間久遠，無法肯定。 現在環境齊全， 報錯無法復原，如有讀者出現錯誤， 請留言， 多謝！

更新注1：經過朋友老冀的指正(在此感謝)，在ubuntu環境下， 沒有JS環境會報錯:Could not find an available JavaScript runtime. 由此可見， execjs在ubuntu需要安裝JS環境 。具體的JS環境需根據具體的需求安裝， 切不可超過以上8種。

5.環境切換

1.  
   # 1. 通過os.environ
2.  
   os.environ[ "EXECJS_RUNTIME"] = "Node"
3.  
   execjs. get().name
4.  
   execjs. eval( "1 + 2")
5.  
   # 2. 通過execjs. get 切換
6.  
   jscript = execjs. get(execjs.runtime_names.JScript) # runtime_names 便是execjs源碼中給出的執行環境的。 execjs.runtime_names.xxx xxx必須在上一節 # 3中取
7.  
   jscript. eval( "1 + 2")

 

注: 在切換環境時， 當環境不存在不會報錯， 會使用默認的環境。 另外需要注意的是， 兩種方式的區別

6. 簡易性能分析

1.  
   # 作者只簡單試了三種， 在windows下
2.  
   import execjs
3.  
   import os
4.  
   import time
5.  
    
6.  
   # 先用JScript
7.  
   os.environ[ "EXECJS_RUNTIME"] = "JScript"
8.  
   print execjs.get().name
9.  
    
10.  
    time1 = time. time()
11.  
    for i in range( 100):
12.  
    execjs.eval( "new Date")
13.  
    print time. time() - time1
14.  
     
15.  
    # 切換環境 使用Nodejs
16.  
    os.environ[ "EXECJS_RUNTIME"] = "Node"
17.  
    print execjs.get().name
18.  
     
19.  
    time2 = time. time()
20.  
    for l in range( 100):
21.  
    execjs.eval( "new Date"）
22.  
    print time. time() - time2
23.  
     
24.  
    # 打印的結果為：
25.  
    JScript
26.  
    4.70900011063
27.  
    Node.js (V8)
28.  
    27.501999855
29.  
     
30.  
    # 在ubuntu下試的是PhantoJS ， 結果竟然高達 30+ S

此注釋來自execjs作者：PyExecJS的缺點之一就是性能。PyExecJS通過文本傳遞JavaScript運行時，並且速度很慢。另一個缺點是它不完全支持運行時特定的功能。對於某些用例，PyV8可能是更好的選擇。

總注：使用execjs的難點並不是在execjs這個庫， 而是解析JS的過程， 因為沒有瀏覽器的環境， 沒有加密源碼的依賴。從成千上萬行的JS中擇出想要的內容，可能是一段孤零零的JS函數，也可能是從幾個JS文件去找出各自找出一段JS代碼， 並可以通過execjs順利執行， 這並非易事。 需要慢慢積累經驗。 一旦掌握， 便可以提高爬蟲的效率， 以及代碼的健壯性， 節省資源！

轉載：https://www.jianshu.com/p/e01a3d504700