b站视频下载接口分析
最近无聊分析了一下b站的视频流协议，简单分享下爬取的流程。 首先先要找到视频对应的aid和cid，aid就相当于av号，而av号对应网页下的每一个视频都有对应的cid，普通视频就是分p，番剧就是集数，aid和cid在网页的源代码里面都能找到，用正则匹配aid和cid这两个关键字就能匹配 ...
原文：B站数据接口
http: api.bilibili.com nav callback 说明：登录用户的个人信息。 http: api.bilibili.com x elec show aid xxx xxx:视频av号 说明：UP主充电信息 历史充电数 本月充电人数及具体充电用户 http: api.bilibili.com vipinfo default mid xxx xxx:主页id，UID 说明：企业 ...
2017-07-01 04:00 0 5656 推荐指数：
相关推荐
python 爬虫爬取B站api接口返回的json数据，分页存储csv以及下载图片
接口直接返回的是json数据格式，那就不用去findall各种class了直接处理json数据保存即可 Request URL: https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid ...
Apache Hudi 在 B 站构建实时数据湖的实践
简介： B 站选择 Flink + Hudi 的数据湖技术方案，以及针对其做出的优化。 本文作者喻兆靖，介绍了为什么 B 站选择 Flink + Hudi 的数据湖技术方案，以及针对其做出的优化。主要内容为： 传统离线数仓痛点 数据湖技术方案 Hudi 任务稳定性 ...
B站数据分析课程学习清单！
点击上方蓝字关注我们 经过一年多的搬运，小编的B站积累了很多优质的数据分析课程，汇总到公众号，需要的小伙伴自取！课程包括了数据思维系列、统计学基础系列、面试经验分享系列、项目实战、SQL、EXCEL、Python等多方面的内容，课件笔记还在整理中，之后会继续分享！ 数据分析思维 1.《互联网 ...
对B站各种数据进行抓包分析
写在前面：现今绝大多数的网站都使用js来加载数据，传统的请求方法很难再奏效，对动态数据的爬取现在大都分为两类爬取方法： 1. 使用Selinium等自动化测试软件去模拟浏览器，这种方法几乎可以适用于所有网站，但是缺点是效率速度太慢了，如果有别的爬取方法，优先采用其他。 2. 对网页直接进行抓包 ...
关于b站爬虫的尝试（二）
前几天学习了scrapy的框架结构和基本的使用方法，部分内容转载自：http://blog.csdn.net/qq_30242609/article/details/52810840 scrap ...
B站别人面经汇总
布局原理4. 原型链5. 跨域6. 同源策略7. 预检请求8. 设计题：一个容器下有三li标签A，B， ...
基于Scrapy的B站爬虫
基于Scrapy的B站爬虫 最近又被叫去做爬虫了，不得不拾起两年前搞的东西。 说起来那时也是突发奇想，想到做一个B站的爬虫，然后用的都是最基本的Python的各种库。 不过确实，实现起来还是有点麻烦的，单纯一个下载，就有很多麻烦事。 这回要快速实现一个爬虫，于是想到基于现成的框架来开发 ...