Python-Selenium详解

• Selenium 环境配置好之后，我们就可以使用 Selenium 来操作浏览器，做一些我们想做的事情了。
• 在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析 HTML 代码获取，这些数据是通过 AJAX 异步加载方式或经过 JS 渲染后才呈现在页面上显示出来。
• 这种情况下我们就可以使用 Selenium 来模拟浏览器浏览页面，进而解决 JavaScript 渲染的问题。

• 浏览器设置

  打开浏览器

• 我们用最简洁的代码来打开 Chrome 浏览器，并访问 http://www.baidu.com 这个网站：

• from selenium import webdriver
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  # 访问页面
  driver.get("http://www.baidu.com")

   

• 我们可以看到桌面会弹出一个浏览器窗口，并打开了百度的首页，如下图：
• 

   

   

• 注意红框圈住的部分，这表示这个窗口是我们程序打开的，现在浏览器的控制权在我们的程序中，我们可以用代码让浏览器摆出各种姿势了！

• 设置浏览器参数

• 为了避免每次运行程序都打开一个窗口，我们也可以设置无窗口访问，只需添加浏览器参数即可：

• from selenium import webdriver
  
  # 设置无窗口
  chrome_options = webdriver.ChromeOptions()
  chrome_options.add_argument('--headless')
  
  # 声明浏览器对象
  driver = webdriver.Chrome(options=chrome_options)
  
  # 访问页面
  driver.get("http://www.baidu.com")

   

• 常见的浏览器参数还有：

• # 启动就最大化
  --start-maximized
  
  # 指定用户文件夹 User Data 路径，可以把书签这样的用户数据保存在系统分区以外的分区
  –-user-data-dir=”[PATH]”
  
  # 指定缓存Cache路径
  –-disk-cache-dir=”[PATH]“
  
  # 指定Cache大小，单位Byte
  –-disk-cache-size=100
  
  # 隐身模式启动
  –-incognito
  
  # 禁用Javascript
  –-disable-javascript
  
  # 禁止加载所有插件，可以增加速度
  --disable-plugins
  
  # 禁用JavaScript
  --disable-javascript
  
  # 禁用弹出拦截
  --disable-popup-blocking
  
  # 禁用插件
  --disable-plugins
  
  # 禁用图像
  --disable-images

   

• 还有其他好多参数，具体可参见 https://peter.sh/experiments/chromium-command-line-switches/ ，该网站罗列了所有的参数。

• 设置代理

  设置代理很简单，只需要添加一个浏览器参数就行：

• chrome_options.add_argument('--proxy-server=http://{ip}:{port}')

   

• 在参数里面加上代理的 IP 和端口号。

• 获取页面元素

  获取单个元素

  selenium 查找元素有两种方法：第一种是指定使用哪种方法去查找元素，比如指定 CSS 选择器或者根据 xpath 去查找；另一种是直接使用 find_element() ，传入的第一个参数为需要使用的元素查找方法，第二个参数为查找值。来看下例：

• from selenium import webdriver
  from selenium.webdriver.common.by import By
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  # 访问页面
  driver.get("http://www.baidu.com")
  
  # 通过id查找
  element = driver.find_element_by_id("kw")
  print(element.tag_name)
  # 通过name查找
  element = driver.find_element_by_name("wd")
  print(element.tag_name)
  # 通过xpath查找
  element = driver.find_element_by_xpath('//*[@id="kw"]')
  print(element.tag_name)
  
  # 通过另一种方式查找
  element = driver.find_element(By.ID, "kw")
  print(element.tag_name)

   

• 上面例子中，我们通过不同的方式来获取百度的搜索框，并且打印 tag_name 属性，最终的结果都是一样的：input 。

• 获取多个元素

  我们也可以通过 find_elements() 方法获取多个属性，结果会以 list 的形式返回。我们来看例子：

• from selenium import webdriver
  from selenium.webdriver.common.by import By
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  # 访问页面
  driver.get("http://www.baidu.com")
  
  # 查找多个元素
  elements = driver.find_elements(By.CLASS_NAME, 'mnav')
  for e in elements:
      print(e.text)
  
  # 输出结果
  新闻
  hao123
  地图
  视频
  贴吧
  学术

   

• 上例中，我们通过 class_name 来获取百度首页上方的百度导航，接着将获取到的导航栏的名称打印了出来。

• 页面操作

  我们可以使用 selenium 来模拟页面操作，例如鼠标点击事件，键盘事件等。我们来看一下例子：

• from selenium import webdriver
  from selenium.webdriver.common.keys import Keys
  import time
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  # 访问页面
  driver.get("http://www.baidu.com")
  
  # 获取百度搜索框元素
  element = driver.find_element_by_id("kw")
  # 在搜索框中输入关键词selenium
  element.send_keys("selenium")
  # 点击"百度一下"按钮
  driver.find_element_by_xpath('//*[@id="su"]').click()
  
  time.sleep(5)
  
  # 清空搜索框关键词
  element.clear()
  
  time.sleep(2)
  
  # 在搜索框中输入关键词python，并模拟键盘的enter操作
  element.send_keys("python", Keys.ENTER)
  
  time.sleep(5)
  
  driver.close()

   

• 在例子中，我们先是找到百度的搜索框对应的元素，然后模拟在搜索框中输入关键词 “selenium”，接下来模拟点击"百度一下"按钮，我们可以看到页面中出现了搜索 “selenium” 的结果。

  接着我们使用 clear() 方法清空了搜索框，然后模拟输入关键词 “python” 并且模拟键盘的 enter 键操作，同样获得了搜索 “python” 的结果。

  当然，我们还可以模拟鼠标右击、双击、拖拽等操作，就留给大家自己去探索了。

• 浏览器操作

  等待加载

  请求网页时，可能会存在 AJAX 异步加载的情况。而 selenium 只会加载主网页，并不会考虑到 AJAX 的情况。因此，使用时需要等待一些时间，让网页加载完全后再进行操作。

  隐式等待

  使用隐式等待时，如果 webdriver 没有找到指定的元素，将继续等待指定元素出现，直至超出设定时间，如果还是没有找到指定元素，则抛出找不到元素的异常。默认等待时间为 0。隐式等待是对整个页面进行等待。需要特别说明的是：隐性等待对整个 driver 的周期都起作用，所以只要设置一次即可。

• from selenium import webdriver
  from selenium.webdriver.common.keys import Keys
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  
  # 设置隐式等待时间，单位为秒
  driver.implicitly_wait(0)
  
  # 访问页面
  driver.get("https://www.baidu.com/")
  
  # 设置搜索关键词
  element = driver.find_element_by_id("kw")
  element.send_keys("Selenium", Keys.ENTER)
  
  # 页面右边的"相关术语"
  element2 = driver.find_element_by_class_name("opr-recommends-merge-p")
  print(element2)

   

• 先打开浏览器访问百度首页，然后在搜索框输入 “Selenium” 关键字，再回车查询。百度会根据输入的关键词在页面的右边展示“相关术语”，这一步是异步加载，需要时间来查询和传输，而我们设置的等待时间是 0，所以肯定会超时。运行后我们会看到报错：

• # 报错信息
  selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".opr-recommends-merge-p"}
    (Session info: chrome=77.0.3865.120)

   

• 当我们把等待时间设置为 10 秒时，我们会看到控制台的正确打印了。

• 显式等待

  显式等待是对指定的元素进行等待。首先判定等待条件是否成立，如果成立，则直接返回；如果条件不成立，则等待最长时间为设置的等待时间，如果超过等待时间后仍然没有满足等待条件，则抛出异常。

• from selenium import webdriver
  from selenium.webdriver.common.by import By
  from selenium.webdriver.common.keys import Keys
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  
  # 访问页面
  driver.get("https://www.baidu.com/")
  
  # 设置搜索关键词
  element = driver.find_element_by_id("kw")
  element.send_keys("selenium", Keys.ENTER)
  
  # 此时页面右边的"相关术语"还没有加载出来，肯定会报错
  #element1 = driver.find_element_by_class_name("opr-recommends-merge-p")
  #print(element1)
  
  # 显示等待10秒，直到页面右边的"相关术语"出现
  WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, "opr-recommends-merge-p")))
  
  # 获取页面右边的"相关术语"
  element2 = driver.find_element_by_class_name("opr-recommends-merge-p")
  print(element2)

   

• 运行这段代码，在打印 element1 的时候肯定会报错，因为此时页面右边的“相关术语”还没加载出来。我们注释掉获取和打印 element1 的这两行，然后设置一个显式的等待条件和 10 秒的等待时间，element2 就可以顺利打印出来了。

• 浏览器前进和后退

  我们可以通过 selenium 来操纵浏览器的前进和后退，方法很简单，分别是 back() 和 forward()。来看下例：

• from selenium import webdriver
  import time
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  # 访问百度
  driver.get("http://www.baidu.com")
  time.sleep(2)
  # 访问微博
  driver.get("https://weibo.com")
  time.sleep(2)
  # 访问知乎
  driver.get("http://www.zhihu.com")
  time.sleep(2)
  # 返回上个页面
  driver.back()
  time.sleep(2)
  # 前进到下个页面
  driver.forward()
  
  # 退出
  driver.close()

   

• 首先依次打开百度、微博和知乎三个网站（中间设置的等待时间是为了更好地看演示效果）。然后我们调用返回上个页面方法，可以看到浏览器返回到了微博页面，接着我们调用前进到下个页面方法，可以看到浏览器回到了知乎页面。

• 操作 Cookie

  我们可以通过 selenium 来设置浏览器的 cookie，包括添加 cookie ，删除 cookie ，获取 cookie 等操作。我们来看个例子：

• from selenium import webdriver
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  
  # 访问百度
  driver.get("http://www.baidu.com")
  
  # 获取当前的cookie
  print(driver.get_cookies())
  
  # 添加cookie
  driver.add_cookie({'name': 'mycookie', 'value': 'world'})
  
  # 获取设置的cookie
  print(driver.get_cookie('mycookie'))
  
  # 删除设置的cookie
  driver.delete_cookie('mycookie')
  
  # 再次获取设置的cookie
  print(driver.get_cookie('mycookie'))
  
  # 清除所有cookie
  driver.delete_all_cookies()
  
  # 再次获取cookie
  print(driver.get_cookies())
  
  # 退出
  driver.close()
  
  

  # 输出信息[{'domain': '.baidu.com', 'httpOnly': False, 'name': 'H_PS_PSSID', 'path': '/', 'secure': False, 'value': '1422_21106_29721_29568_29221_26350_29589'}, {'domain': '.baidu.com', 'expiry': 1570877928.79997, 'httpOnly': False, 'name': 'BDORZ', 'path': '/', 'secure': False, 'value': 'B490B5EBF6F3CD402E515D22BCDA1598'}, {'domain': 'www.baidu.com', 'expiry': 1571655528, 'httpOnly': False, 'name': 'BD_UPN', 'path': '/', 'secure': False, 'value': '123253'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'BD_HOME', 'path': '/', 'secure': False, 'value': '0'}, {'domain': '.baidu.com', 'expiry': 3718275175.123787, 'httpOnly': False, 'name': 'PSTM', 'path': '/', 'secure': False, 'value': '1570791528'}, {'domain': '.baidu.com', 'httpOnly': False, 'name': 'delPer', 'path': '/', 'secure': False, 'value': '0'}, {'domain': '.baidu.com', 'expiry': 3718275175.123763, 'httpOnly': False, 'name': 'BIDUPSID', 'path': '/', 'secure': False, 'value': '5A2BAF0B0AE83FA189BE38C65DC65395'}, {'domain': 'www.baidu.com', 'expiry': 1570791529.123808, 'httpOnly': False, 'name': 'BD_LAST_QID', 'path': '/', 'secure': False, 'value': '10847283847030224144'}, {'domain': '.baidu.com', 'expiry': 3718275175.123643, 'httpOnly': False, 'name': 'BAIDUID', 'path': '/', 'secure': False, 'value': '5A2BAF0B0AE83FA189BE38C65DC65395:FG=1'}]{'domain': 'www.baidu.com', 'httpOnly': False, 'name': 'mycookie', 'path': '/', 'secure': True, 'value': 'world'}None[]

   

• 我们通过 add_cookie() 方法，来设置 cookie 的名称和值，通过给 delete_cookie() 方法传递 cookie 的名称来删除 cookie，还可以通过 get_cookies() 和 delete_all_cookies() 来获取所有 cookie 以及删除所有 cookie 。

• 标签管理

  有些时候我们需要在浏览器里切换标签页，或者增加一个新标签页，或者删除一个标签页，都可以使用 selenium 来实现。我们来看例子：

• from selenium import webdriver
  import time
  
  # 声明浏览器对象
  driver = webdriver.Chrome()
  
  # 访问百度
  driver.get("http://www.baidu.com")
  
  time.sleep(2)
  
  # 新增一个标签页
  driver.execute_script('window.open()')
  
  time.sleep(2)
  
  # 打印标签页
  print(driver.window_handles)
  
  # 切换至标签页1（当前标签页为0）
  driver.switch_to.window(driver.window_handles[1])
  
  time.sleep(2)
  
  # 在当前标签页访问知乎
  driver.get("http://www.zhihu.com")
  
  time.sleep(2)
  
  # 切换至标签页0
  driver.switch_to.window(driver.window_handles[0])
  
  time.sleep(2)
  
  # 在标签页0访问微博
  driver.get("http://www.weibo.com")
  
  time.sleep(2)
  
  # 关闭
  driver.close()
  
  # 退出
  driver.quit()

   

• 大家运行代码就可以体会到切换标签页和访问网页的变化，中间加了等待是为了延迟变化。另外，注意标签页从左往右是从 0 开始编号的。