前提准备：利用sql筛选出每个球出现概率最高的前5个数 原理：先爬出所有的历史数据，然后模拟摇奖机出球的机制并大量模拟计算，直到出现列表中的某一个数后即停 注意事项：由于计算过程数据量很大，需要加入内存释放的操作 成果：目前博主最好记录是中了3红1蓝，适合学习交流使用，信则有 ...

导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术 ...

1.大数据概念 1.1 什么是大数据 大数据顾名思义就是大量的数据，一般这些数据都是PB级以上。这些数据的特点是种类多（有视频啊，图片啊，文字啊，语音啊等），数据量大（PB级以上，1EB=1024PB，1PB=1024T，1T=1024G），需要快速处理（后面会介绍分布式处理技术），有价值 ...

一、环境准备 已安装Apache Spark 2.2.0(此版本仅支持Apache Spark 2.2.0, 其他Spark 版本后续会兼容) 已安装MySQL并启动,且开启远程访问 ...

前言 最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的.... 所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。 在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx ...

一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out ...

1. 系统拓扑图 在日常业务分析中，R是非常常用的分析工具，而当数据量较大时，用R语言需要需用更多的时间来完成训练模型，spark作为大规模数据处理框架，采用内存计算，可以短时间内完成大量的数据的处理及计算模型，但缺点是不能图形展示，R语言的sparkly则提供了R语言和Spark的接口，实现 ...

阅读本文请先阅读如下两篇文章 什么是企业软件 Netsharp什么 Netsharp总体设计 1.1 Netsharp终端形式 Netsharp基于.NET平台，支持的产品形态有三种： 北极熊（Polarbear，桌面模式，WPF实现） 熊猫(Panda ...