【大数据】Spark内核解析
1. Spark 内核概述 Spark内核泛指Spark的核心运行机制，包括Spark核心组件的运行机制、Spark任务调度机制、Spark内存管理机制、Spark核心功能的运行原理等，熟练掌 ...
原文：小姐姐为你解析马爸爸是怎么用大数据“宰你”的
一 首先大数据杀熟是什么 大数据杀熟本质就是一种数据营销手段： 商家为了追求商业目的，利用交易双方信息的不对称性，根据每个用户的身份信息和历史数据表现，或者根据用户当前的需求来调整产品定价的手段 比如，在某宝里，一个用户的手机机型是苹果最新款，同时历史消费数额又比较高，那么该用户在数据营销里就是能消费能力高，舍得花钱 数据营销套路表现出来就是，该用户搜索出的商品价格有可能是加价的 又比如在视频类的 ...
2020-08-17 18:18 0 834 推荐指数：
相关推荐
大数据JSON流解析（转）
大数据JSON流解析 背景 最近在做一个需求，需要每月从一个别的数据系统同步一次数据过来。数据量大概90W条左右，数据接口只提供了一个JSON接口，接口返回报文为JSON，并且没有任何分页。这个数据量如果直接使用普通方式解析的话，肯定内存溢出。 解决思路 我们要保证内存溢出，那么就不能 ...
对于大数据量的Json解析
近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...
大数据领域全景解析
|01 什么是数据 数据是一种对客观事物的逻辑归纳，是事实或观察的结果。随着科学技术的发展，数据的概念内涵越来越广泛包括数值，文本，声音，图像，视频。常见的数据有三种分类，分别是结构属性分类、连续性特征分类与测量尺度分类。 根据数据存储形式的不同，数据可以分为结构化数据与分结构化数据两种 ...
大数据学习日志——解析sparkstreaming滑动窗口源码
写这篇随笔的原因在于本人在网上看了很多相关博客很多文章内容给出的用法都一致是如下形式： 1 reduceByKeyAndWindow(_ + _,_ - _,Minutes(2),Seconds( ...
【大数据】深入源码解析Map Reduce的架构
这几天学习了MapReduce，我参照资料，自己又画了两张MapReduce的架构图。 这里我根据架构图以及对应的源码，来解释一次分布式MapReduce的计算到底是怎么工作的。 话不多说 ...
大数据实践解析（下）：Spark的读写流程分析
导读： 众所周知，在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。spark是一种基于内存的快速、通用、可扩展的大数据计算引擎，适用于新时代的数据处理场景。在“大数据实践解析（上）：聊一聊spark的文件组织方式”中，我们分析了spark的多种文件存储格式，以及分区和分桶的设计 ...