一、测试要求： 1、 数据采集（要求至少爬取三千条记录，时间跨度超过一星期）：（10分） 要求Python 编写程序爬取京东手机的评论数据，生成Json形式的数据文件。 python代码（一次只是爬取单个商品的用户评论、本次爬取了三个产品的用户评论）： 需要 ...

一、明确分析目的 1、 最受欢迎的三种产品； 通过分析受欢迎的产品类别，将此作为重点营销产品。 2、 各种产品的年龄段分布情况； 通过对各个年龄段的客户群体进行分析，据此了解顾客喜好，有针对性的进行营销。 3、 复购率情况（判定标准：本次分析将有推荐的数据认为是可复购的）； 复购率 ...

摘要 随着大数据时代的到来，企业挖掘出隐藏巨大的数据价值给带来了更多的市场机会。大数据存储，处理和处理的研究已是企业未来发展的趋势，因此，将开展基于Hadoop + Hive框架进行电子商务数据分析，搭建一个大数据集群平台，用于通过电商案例的存储，处理，分析和可视化展示的实验迎向困难该挑战 ...

1 用户行为数仓业务总结 1.1 数仓分几层？每层做什么的？ 1）ODS层（原始数据层） 存储原始数据，直接加载原始日志、数据，数据保持原貌不做处理。 2）DWD层（明细层） 对ODS层数据进行清洗（去除空值、脏数据，超过极限范围的数据） 3）DWS层（服务数据层） 以DWD层为基础 ...

问题重述 能够读取给定的数据文件 出租车GPS数据文件（taxi_gps.txt） 北京区域中心坐标及半径数据文件(district.txt) 能够输出以下统计信息 A：该出租车GPS数据文件（taxi_gps.txt）包含多少量车？ B：北京每个城区的车辆位置点数（每辆车有多个位置点 ...

摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此 ...

Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区，这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala中任意类型的对象，甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD：读取一个外部数据集，或在 ...

随着人们的生活和行为不断融入互联网，互联网金融犹如一头突然闯入的猛兽，不断冲击着传统银行的地盘。 大数据 的出现，给了银行们反击的机遇，借助庞大的 金融大数据 ，银行可以实现精准决策和快速反应。 大数据分析 在金融行业的广泛应用，已经是不可阻挡的时代趋势， 极星大数据 分析平台，顺应趋势 ...