parse.py #超时设置timeout=10 10秒内正常返回 否则报错 请求错误，刷新尝试 import requests from retrying import retry ...

喜欢优酷的视频，但是要下载它的客户端才能下载在线的视频，这一点很多朋友和妹纸都觉得很不爽，我为了自己练手自己写了一个解析视频地址的小工具。。。。反正也不是什么高科技，公开一下源代码，让大家学习一下。。。 ...

写在前面 从今天开始的几篇文章，我将就国内目前比较主流的一些在线学习平台数据进行抓取，如果时间充足的情况下，会对他们进行一些简单的分析，好了，平台大概有51CTO学院，CSDN学院，网易云课堂，慕课网等平台，数据统一抓取到mongodb里面，如果对上述平台造成了困扰，请见谅，毕竟我就抓取那么一小 ...

1. CSDN学院课程数据-写在前面 今天又要抓取一个网站了，选择恐惧症使得我不知道该拿谁下手，找来找去，算了，还是抓取CSDN学院吧，CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址，课程数量也不是很多，大概有 6000+ 门课程，数据量 ...

下载地址：百度网盘下载 ├─00、课程介绍│ 《机器学习·升级版II》常见问题FAQ - 小象问答-hadoop,spark,storm,R,hi.jpg│ 《机器学习》升级版II，11月4日开课 - 小象学院 - 中国最专业的Hadoop,Spark大数据.jpg ...

一、主要思路 scrapy爬取是有课程地址及名称 使用multiprocessing进行下载 就是为了爬点视频，所以是简单的代码堆砌 想而未实行，进行共享的方式 二、文件说明 itemsscray字段 piplines.py存储数据库 ...

day1 Python简介 day2 Python运算符 day3 Python基础数据类型(int&str) day4 Python基础数据类型(list&tuple) day5 Python基础数据类型(dict&set) day6 Python基础数据补充 day7 ...

2019-06-27 23:51:51 阅读数 407 收藏 更多 分类专栏： python爬虫 前言本文的文字及图片来源于网络 ...