最近公司在做一个大数据项目的时候，数据量达到了1000w+的程度，并且还有源源不断的数据从采集上来，并需要和数据库中的数据做一系列的逻辑比对，在此就自己的实践总结下心得，欢迎批评指正。 　　需求：将MySQL表中的部分数据(状态为1)的数据和采集上来的新数据(状态为2)的数据根据已经设置好 ...

当你迈入大数据的领域，首先必要接受的是大数据开发的洗礼，编程语言作为大数据的基础方向是你入门的突破口，一定要仔细学习。在这里很多同学都会有一个疑问：编程语言那么多，我需要学习哪一门编程语言呢？看到很多人都选择学习Java，Java和大数据的关系是怎样的？ 诚然，很多Java程序员都纷纷转型大数据 ...

大数据必备 关于大数据基础知识，以前浪尖写过一篇文章，也多次在 知识星球里分享过经验。 具体学习内容，可以参看如下文章： 入门大数据必读 这个可以看到做大数据的话java是必需品，因为基本所有的大数据框架都是jvm开发，或者精确一点都是java或者scala。 况且想做一个牛x的大数据 ...

随着2017年大数据各种应用的发展，大数据的价值得以充分的发挥，大数据已在企业、社会各个层面都成为重要的手段，数据已成为新的企业战略制高点，也是各个企业争夺的新焦点。那么我们一直在说着的大数据究竟是什么呢?为什么提到大数据的时候会经常提到Java，Java与大数据究竟有什么关系 ...

1、关于Java Java就是一门编程语言。实现同一个需求有上百种编程语言可以完成，Java之于大数据就是一种工具罢了。 2、关于大数据 大数据就是一个行业，实现同一个需求同样有多种工具可以选择，狭义一点以技术的角度讲，各类框架有Hadoop，spark，storm，flink等，就这类技术 ...

学习hadoop已经有很长一段时间了，好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址，因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下看看 ...

　　进入大数据时 代， 云计算成为大数据基础设施，也使得大数据的核心思想和云计算一脉相承。大数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。 　 （去中心化：在一个分布有众多节点的系统中，每个节点都具有 ...

对于数据排序大家肯定见过不少,选择排序或者冒泡排序等等,今天我们要做的是快速排序 + 直接插入排序来对大数据（1000万以上）进行排序,下面我们分别来看看这两种排序规则 1， 直接插入排序 （1）基本思想：在要排序的一组数中，假设前面(n-1)[n>=2] 个数已经是排 好顺序的，现在 ...