参考：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和 ...

前言 更新时间：2019-08-05 倾斜角斜率 直线的倾斜角的范围\(\theta\in [0，\pi)\)； 直线方程 典例剖析 直线的方向向量 例1 与直线\(3x+4y+5=0\)的方向向量共线的一个单位向量是【】 $A.(3，4 ...

安装python 之前安装python包，导致了python里面的包不兼容，用管理工具卸载也下载不掉，重新安装也安装不上，没有办法只能卸掉python重装。 安装Anaconda Anacond ...

摘要：本文简要介绍了GaussDB(DWS)全文检索的原理和使用方法。 全文检索（Text search）顾名思义，就是在给定的文档中查找指定模式（pattern）的过程。GaussDB(DWS)支持对表格中文本类型的字段及字段的组合做全文检索，找出能匹配给定模式的文本，并以用户期望的方式 ...

摘要：Roach工具是GaussDB(DWS)推出的一款主力的备份恢复工具，包含物理与逻辑备份两种主要能力，本文着重于讲解Roach逻辑备份的实现原理。 一、简介 在大数据时代，数据的完整和可靠性成为一个数仓最核心的能力之一。GaussDB(DWS)以其出众的分布式计算和存储能力广受用 ...

数据倾斜的原因: 　　1. 存在bigkey 　　　　- 业务层避免bigkey　 　　　　- 将集合类型的bigkey拆分为多个小集合 　　2. slot手工分配不均 　　3. hashtag 导致数据分配到同一个slot 　　　　- 避免使用hashtag 访问倾斜的原因 ...

1.什么是大数据 大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化 ...

本文的目的是通过随机截取的一段网络数据包，然后根据协议类型来解析出这段内存。 学习本文需要掌握的基础知识： 网络协议 C语言 Linux操作 抓包工具的使用 其中抓包工具的安装和使用见下文： 《一文包你学会网络数据抓包》 视频教学链接如下： 《教你如何抓取网络中 ...