一文读懂spark yarn集群搭建
文是超简单的spark yarn配置教程: yarn是hadoop的一个子项目，目的是用于管理分布式计算资源，在yarn上面搭建spark集群需要配置好hadoop和spark。我在搭建集群的时候有3台虚拟机，都是centos系统的。下面就开始一步一步地进行集群搭建。 一、配置hosts文件 ...
原文：一文读懂 超简单的spark structured stream 源码解读
为了让大家理解structured stream的运行流程，我将根据一个代码例子，讲述structured stream的基本运行流程和原理。 下面是一段简单的代码: 这段代码就是单词计数。先从一个socket数据源读入数据，然后以 为分隔符把一行文本转换成单词的DataSet，然后转换成有标签 word 的DataFrame，接着按word列进行分组，聚合计算每个word的个数。最后输出到控制台 ...
2018-03-02 18:11 0 1238 推荐指数：
相关推荐
一文读懂Redis
目录结构如下： 简介 Redis是一个高性能的key-value数据库。Redis对数据的操作都是原子性的。 优缺点 优点： 基于内存操作，内存读写速度快。 Redis是单线程 ...
一文读懂Servlet
1 Servlet简介 Servlet就是sun公司开发动态web的一门技术 Sun在这些API中提供一个接口叫做：Servlet。 开发一个Servlet程序，只需两步： ...
一文读懂SASE
https://zhuanlan.zhihu.com/p/352580527 SASE作为网络安全界热词之一，本文将从概念、价值、需求等六大方面为您解读。书山有路勤为径，读懂SASE看这篇。 一、什么是SASE？ 安全访问服务边缘（SASE）是Gartner在2019年8月的报告《云中 ...
一文读懂SmartNIC
https://jishuin.proginn.com/p/763bfbd604ea 2021-07-19 00:08 传统网卡仅实现了 L1-L2 层的逻辑，而由 Host CPU ...
一文读懂DDD
何为DDD DDD不是架构设计方法，不能把每个设计细节具象化，DDD是一套体系，决定了其开放性，体系中可以用任何一种方法来解决这些问题，但是如果一些关键问题没有具体方案落地，可能让团队无所适从。 ...
一文读懂什么是ICT
一、ICT是什么 ICT即信息通信技术(Information and Communication Technology，简称ICT)，是it和ct两个领域越来越紧密结合的产物。ICT ...