【大數據】Spark內核解析
1. Spark 內核概述 Spark內核泛指Spark的核心運行機制，包括Spark核心組件的運行機制、Spark任務調度機制、Spark內存管理機制、Spark核心功能的運行原理等，熟練掌 ...
原文：小姐姐為你解析馬爸爸是怎么用大數據“宰你”的
一 首先大數據殺熟是什么 大數據殺熟本質就是一種數據營銷手段： 商家為了追求商業目的，利用交易雙方信息的不對稱性，根據每個用戶的身份信息和歷史數據表現，或者根據用戶當前的需求來調整產品定價的手段 比如，在某寶里，一個用戶的手機機型是蘋果最新款，同時歷史消費數額又比較高，那么該用戶在數據營銷里就是能消費能力高，舍得花錢 數據營銷套路表現出來就是，該用戶搜索出的商品價格有可能是加價的 又比如在視頻類的 ...
2020-08-17 18:18 0 834 推薦指數：
相關推薦
大數據JSON流解析（轉）
大數據JSON流解析 背景 最近在做一個需求，需要每月從一個別的數據系統同步一次數據過來。數據量大概90W條左右，數據接口只提供了一個JSON接口，接口返回報文為JSON，並且沒有任何分頁。這個數據量如果直接使用普通方式解析的話，肯定內存溢出。 解決思路 我們要保證內存溢出，那么就不能 ...
對於大數據量的Json解析
近幾天做了一個項目，需要解析大量的json數據，有一萬多條，以前我用的都是Gson包去自動解析，但是速度真是不敢恭維，於是我又去查了其它的方法，發現fastjson的解析，發現速度直的是很快，在此我不得不佩服，這個包的作者，直是很厲害，能寫出這樣一個工具，我在網上看了，這個工具還有很多問題，但也 ...
大數據領域全景解析
|01 什么是數據 數據是一種對客觀事物的邏輯歸納，是事實或觀察的結果。隨着科學技術的發展，數據的概念內涵越來越廣泛包括數值，文本，聲音，圖像，視頻。常見的數據有三種分類，分別是結構屬性分類、連續性特征分類與測量尺度分類。 根據數據存儲形式的不同，數據可以分為結構化數據與分結構化數據兩種 ...
大數據學習日志——解析sparkstreaming滑動窗口源碼
寫這篇隨筆的原因在於本人在網上看了很多相關博客很多文章內容給出的用法都一致是如下形式： 1 reduceByKeyAndWindow(_ + _,_ - _,Minutes(2),Seconds( ...
【大數據】深入源碼解析Map Reduce的架構
這幾天學習了MapReduce，我參照資料，自己又畫了兩張MapReduce的架構圖。 這里我根據架構圖以及對應的源碼，來解釋一次分布式MapReduce的計算到底是怎么工作的。 話不多說 ...
大數據實踐解析（下）：Spark的讀寫流程分析
導讀： 眾所周知，在大數據/數據庫領域，數據的存儲格式直接影響着系統的讀寫性能。spark是一種基於內存的快速、通用、可擴展的大數據計算引擎，適用於新時代的數據處理場景。在“大數據實踐解析（上）：聊一聊spark的文件組織方式”中，我們分析了spark的多種文件存儲格式，以及分區和分桶的設計 ...