NoSQL-键值数据库介绍
键值数据库是一类轻量级结合内存处理为主的NoSQL数据库。 为什么说他是轻量级？？？ 1.他的存储数据结构特别简单，数据库系统本身的规模也比较小 2.以内存为主的运行处理，目的是为了更快的实现对大数据的处理 键值存储实现 ...
原文：NoSQL-流式数据处理与Spark
流式数据处理与Spark 技术产生背景 随着信息时代的到来，数据开始急剧膨胀，业务也变得很复杂，我们每个人都是个数据源，每时每刻都在产生着数据与个性化 实时化的需求，原本的人力以及服务器已经不足以支撑数据处理平台的业务。由此，流式数据处理便应运而生。 在我们的普遍认知中，数据的价值会随着时间的流逝而降低，所以在事件出现后必须尽快对它进行处理，最好是数据出现时便立刻对其进行处理，发生一个事件处理一次 ...
2017-10-18 09:48 0 3254 推荐指数：
相关推荐
Storm，Spark和Flink三种流式大数据处理框架对比
storm、spark streaming、flink都是开源的分布式系统，具有低延迟、可扩展和容错性诸多优点，允许你在运行数据流代码时，将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中，先要设计一个用于 ...
Spark streaming + Kafka 流式数据处理，结果存储至MongoDB、Solr、Neo4j（自用）
KafkaStreaming.scala文件 import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds ...
Java8 中的流式数据处理
java8的流式处理极大了简化我们对于集合、数组等结构的操作，让我们可以以函数式的思想去操作，本篇文章将探讨java8的流式数据处理的基本使用。 一. 流式处理简介 在我接触到java8流式处理的时候，我的第一感觉是流式处理让集合操作变得简洁了许多，通常我们需要多行代码才能完成的操作，借助于 ...
基于滑动窗口的流式数据处理示例
在科技飞速发展的今天，每天都会产生大量新数据，例如银行交易记录，卫星飞行记录，网页点击信息，用户日志等。为了充分利用这些数据，我们需要对数据进行分析。在数据分析领域，很重要的一块内容是流式数据分析。流式数据，也即数据是实时到达的，无法一次性获得所有数据。通常情况下我们需要对其进行分批处理 ...
materialize 基于sql 的流式数据处理平
materialize 是基于pg 开发的一个可以处理流式数据的平台，同时提供了强大的数据处理能力（也出现在了最新的技术雷达中） 参考处理图 通过下图可以看到支持批处理以及实时数据处理，我们可以通过sql 支持强大的数据处理 说明 materialize 基于rust 开发 ...
Spark之json数据处理
...
SparkStreaming实时流式大数据处理实战总结
总结《SparkStreaming实时流式大数据处理实战》 一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理（Native）的方式，即所有输入记录会一条接一条地被处理，storm 和 flink 2. 另一种是微批处理（Batch ...