本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在《爬虫大作业》的基础上进行的,在《爬虫大作业》中,我主要对拉勾网python岗位的招聘信息进行的数据爬取,最终得到了2641条数据存在 ...
这个作业的要求来自:https: edu.cnblogs.com campus gzcc GZCC SE homework 。 首先,我是分析B站最火番剧剧迷们的评论,也就是我前面的文章 爬虫大作业分析的数据。下面开始进行HIVE分析。 .数据导入。因为我是用自己的数据进行分析,不免就要进行csv导出,其中用到了pandas,具体代码加入到爬虫数据中即可。 这是我自己的excel数据: 将自己的c ...
2019-06-11 09:16 0 1811 推荐指数:
本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在《爬虫大作业》的基础上进行的,在《爬虫大作业》中,我主要对拉勾网python岗位的招聘信息进行的数据爬取,最终得到了2641条数据存在 ...
数据集下载: 链接:https://pan.baidu.com/s/1EMaN6uuQJlsrvaO2NQKgkQ 提取码:tl58 一、项目背景 1.背景 该数据集记录了280份来自不同国家、不同性别两个学期的学生记录,包括当前受教育程度、班级、所选课程、成绩、出勤特征 ...
期末大作业 第23大组 sudo rm -rf 目录 期末大作业 一、选题简介 1.选题背景 2.选题内容 二、设计 1.识别端 (1).设计 ...
PS:这学期期末成绩差不多出完了,接下来会陆续把这学期课程中的代码陆续扔到这里来以便后人****,同时自己也留个纪念。 本学期选了java选修,期末大作业面向GitHub编程写了个中国跳棋。代码中还有写小bug,不过懒得调了... update:github 1.游戏 ...
这篇博文里的好多内容之前在读《大数据时代》时读到过,所以就算是补上的读书笔记? 信息科技为大数据时代提供技术支撑 1.存储设备容量不断增加 2.CPU处理能力大幅提升 3.网络带宽不断增加 数据产生方式的变革促成大数据时代的来临 1.运营式系统阶段 2. ...
大数据应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。 天气预测应用案例: 典型的案例即天气预测。各类气象指征瞬时发生,以典型的“高频复杂”的形式出现,给各类分析人员提供了大量的可参考数据,从这其中借用建模工具分析提取有效指标,是一种典型的“大数据”应用 ...
Python和HDF 5大数据应用 大数据集处理Python mmap 内存映射与numpy 内存映射! HDF5 https://www.pythonforthelab.com/blog/introduction-to-storing-data-in-files ...
一、序言 面向大数据量查询数据库,优点是在较大数据量(千万级)的前提下具有较好的查询性能。 1、应用场景 ClickHouse应用于OLAP(在线分析处理)领域,具体来说满足如下特点使用此技术比较合适: 事务型数据库表通过连表查询转换成宽表 聚合(统计)计算使用较多 对查询 ...