我的《海量数据处理与大数据技术实战》出版啦！
我是如何持续写作的？ 其实，关于写作，我也没多想，就是想着总结自己学习和工作中遇到的一些问题。我最开始写文章并不是在CSDN或者其他的一些博客平台，而是在QQ空间。那时的我还在上学，在QQ空间里 ...
原文：利用大数据技术处理海量GPS数据
我秀中国物联网地图服务平台目前接入的监控车辆近百万辆，每天采集GPS数据 亿多条，产生日志文件 GB，使用传统的数据处理方式非常耗时。 比如，仅仅对GPS做一些简单的统计分析，程序就需要几个小时才能跑完一天的数据，完全达不到实时分析的要求，更无法对数据进行一些深层次的挖掘。 另外历史数据的存储也是一个亟待解决的问题，目前大多采用的方式是将日志文件进行压缩后上传到服务器上进行存储。 这种方式既原始 ...
2018-10-24 10:02 0 1589 推荐指数：
相关推荐
大数据预处理技术
一、大数据预处理的几个步骤 1.数据预处理 2.数据清洗 3.数据集成 4.数据归约 5.数据变换 6.数据离散化 7.大数据预处理 二、数据预处理 现实中的数据大多是“脏”数据： ①不完整 缺少属性值或仅仅包含聚集数据 ②含噪声 包含错误或存在偏离期望的离群值 ...
大数据技术
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...
大数据技术
一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...
php 大数据量及海量数据处理算法总结
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Bloom filter 适用范围 ...
大数据量，海量数据 处理方法总结(转)
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题 ...
大数据时代，野心勃勃的MongDB为你处理海量数据!
MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。其名字来自humongous这个单词的中间部分，从名字可见其野心所在就是海量数据的处理。 一、MongoDB简介 2011年将被记住，因为这一年SQL将死；这一年，关系数据 ...
大数据算法---海量数据处理面试题整理
1. 海量数据处理常用数据结构 数据结构： 【Bloom Filter】 它实际上是一个很长的二进制向量和一系列随机映射函数 布隆过滤器可以用于检索一个元素是否在一个集合中 它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难 ...