一、无头浏览器(phantomJS) 　　PhantomJS是一款无界面的浏览器，其自动化操作流程和上述操作谷歌浏览器是一致的。由于是无界面的，为了能够展示自动化操作流程，PhantomJS为用户提 ...

一、selenium简介 　　selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 ...

一、引言： 　　最近在忙某个商业银行的项目，需要引入外部互联网数据作为参考，作为技术选型阶段的工作，之前已经确定了中文分词工具，下一个话题就是网络爬虫的选择，目标很明确，需要下载一些财经网站的新闻信息，然后进行文本计算。记得上一次碰爬虫还是5年前，时过境迁，不知道爬虫的世界里是否有了新的崛起 ...

　　在服务器Ubuntu系统上跑爬虫，爬虫是基于Selenium写的，遇到好几个问题，现在这里记录一下。 1. 安装环境 　　阿里云，Ubuntu16.04，因为没有界面，所以远程命令行操作。爬虫是基于Selenium写的，需要安装Chrome浏览器和Chromedriver。 　　1.1 ...

在初步了解网络爬虫之后，我们接下来就要动手运用Python来爬取网页了。 我们知道，网络爬虫应用一般分为两个步骤： 　　1.通过网页链接获取内容； 　　2.对获得的网页内容进行处理 这两个步骤需要分别使用不同的函数库：requests和beautifulsoup4。所以我们要安装这两个 ...

简介 哥们今天开始写写python爬虫相关的博客了，废话不多说，直接开干吧！ 正所谓工欲善其事必先利其器，在开始进行爬虫之前，下载安装pychrom是十分必要的，代码的编写和运行都需要在pycharm中进行。 下面是pycharm的安装教程（Windows），基于其他平台的安装教程 ...

一、首先安装python并配置好环境变量 二、安装selenium 安装文件夹在安装的python文件夹下，例：D:\Program\python\Lib\site-packages\seleniumD:\Program\python\Lib\site-packages ...

2，jia 包 放到bin 目录 里 3，修改两个配置文件 ...