SparkSQL大数据实战：揭开Join的神秘面纱
本文来自 网易云社区 。 Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQL支持的常见Join算法及其适用场景。 Join背景介绍 Join是数据库查询永远绕不开的话题，传统查询SQL技术总体可以分为简单操作（过滤 ...
原文：6大数据实战系列-sparkSql实战
sparkSql两个最重要的类SqlContext DataFrame，DataFrame功能强大，能够与rdd互转换 支持sql操作如sql .where.order.join.groupBy.limit等。SparkSql的查询响应性能是hive的几何级倍数，并且SparkSql支持多种数据源操作包括hive hdfs rdd json mysql，本文先讲解hive hdfs rdd js ...
2017-10-22 11:42 0 1276 推荐指数：
相关推荐
大数据实战项目有哪些
目前大数据的就业情况，对我们大学生来说，重要的一道坎是什么？实战经验有木有？翻看各大招聘网站的应聘需求，都需要两到三年的开发经验。这个很重要，企业开出了高额的薪资，自然是想得到相应的回报。 我们大数据课程为就业课程，除了对大数据生态圈各个服务组件进行细致的讲解，还通过企业级真实大数据项目实战 ...
5 大数据实战-hive实战分析
1 内部表 Show databses; Use hive_data; 1.1 创建内部表 CREATE TABLE SOGOUQ2(DT STRIN ...
大数据开发实战系列之电信客服(1)
大数据实战开发系列，以实战为主，辅以一些基础知识，关于电信客服，在网上也有很多的资料，这里我自然会去参考网上的资料，程序的整体设计是在今天开始的，老夫尽量在本周末钱结束这个电信客服的程序编写。因为我也是一个学习者，所以在程序编写过程中难免会存在问题，有问题还请大家指出，有则改之，无则加勉 ...
离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输 ...
Azure HDInsight 和 Spark 大数据实战(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群，包括St ...
2 python大数据挖掘系列之淘宝商城数据预处理实战
preface 在上一章节我们聊了python大数据分析的基本模块，下面就说说2个项目吧,第一个是进行淘宝商品数据的挖掘，第二个是进行文本相似度匹配。好了，废话不多说，赶紧上车。 淘宝商品数据挖掘 数据来源： 自己写个爬虫爬吧，爬到后入库（mysql）。 数据清洗： 所谓的数据 ...
大数据云原生系列| 微信 Flink on Kubernetes 实战总结
前言 架构转型，拥抱云原生服务生态 当前微信内部的大数据计算平台是基于自研的 Yard 资源调度系统来建设，Yard 的设计初衷除了提供在线服务资源隔离外，另一方面是为了提高在线服务机器的整体资源利用率，其核心策略是在机器空闲时能在上面跑一些大数据离线任务。但是对接业界各种大数据计算框架 ...