对微博热搜的爬取及数据分析
用 Python 实现一个面向主题的网络爬虫程序，并完成以下内容： 【要求：】 ●每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台。 ●课程设计要求独立完成， ...
原文：Hadoop实战：微博数据分析
项目需求 自定义输入格式，将明星微博数据排序后按粉丝数 关注数 微博数 分别输出到不同文件中。 数据集 下面是部分数据，猛戳此链接下载完整数据集 数据格式： 明星 明星微博名称 粉丝数 关注数 微博数 黄晓明 黄晓明 张靓颖 张靓颖 羅志祥 羅志祥 劉嘉玲 劉嘉玲 李娜 李娜 成龙 成龙 ... 思路分析 自定义的InputFormat读取明星微博数据，通过getSortedHashtableBy ...
2018-04-14 21:30 0 1327 推荐指数：
相关推荐
爬取微博热搜榜并进行数据分析
一.主题式网络主题式网络爬虫设计方案 1.爬虫名称：爬取微博热搜榜 2.爬虫爬取的内容：爬取微博热搜榜数据。 3.网络爬虫设计方案概述：用requests库访问页面用get方法获取页面资源，登录页面对页面HTML进行分析，用beautifulsoup库获取并提取自己所需要的信息。再讲数据 ...
Python大作业---微博爬虫及简单数据分析
刚开始学python，选了这个题目，把代码放上来留念，没有用到很流行的框架，所以代码量挺大GUI用wxpython写的 # _*_ coding: UTF-8 _*_import osimport ...
数据分析（微博热搜榜单热度排名）
利用上次爬取的微博热搜榜单进行改进，对微博热搜榜单进行数据分析，额外爬取了榜单的热度值 本次实现的主要问题在于图像的正确表现上 一是对于字符串在图表上如何实现，另一是标题字符串过长的问题 对于字符串的写入，采用了先绘制不带字符串的图表，在将相应字体（字体在电脑的fonts文件夹下选择 ...
Python数据分析实战
Python数据分析实战（高清版）PDF 百度网盘 链接：https://pan.baidu.com/s/1nlHM1IW8MYg3z79TUwIsWg 提取码：ux8t 复制这段内容后打开百度网盘手机App，操作更方便哦 内容简介 · · · · · · Python 简单易学 ...
CBoard数据分析实战
介绍 CBoard由上海楚果信息技术有限公司主导开源, 它不仅仅是一款自助BI数据分析产品, 还是开放的BI产品开发平台: 用户只需简单妥妥拽拽就能自助完成数据多维分析与报表设计 开发者能够简单扩展连接所有你的Java程序能够触及的数据 架构图 ...
Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
1、Hadoop的主要应用场景： a、数据分析平台。 b、推荐系统。 c、业务系统的底层存储系统。 d、业务监控系统。 2、开发环境：Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。 使用技术：hadoop,hbase,hive ...