大数据学习——flume日志分类采集汇总
1. 案例场景 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 但是在hdfs中要求的目录 ...
原文：大数据学习资源汇总
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今 大数据 一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明 新服务和新的发展机遇。 为了帮助大家更好深入了解大数据，云栖 ...
2016-05-05 11:48 28 10826 推荐指数：
相关推荐
【转】史上最全的“大数据”学习资源整理
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法 ...
【转】史上最全“大数据”学习资源整理
http://mp.weixin.qq.com/s?__biz=MzA5MTc0NTMwNQ==&mid=2650713542&idx=1&sn=6fb304aa04be4bef4799036aeff157f5&scene=0#rd 史上最全“大数据 ...
史上最全的大数据学习资源(Awesome Big Data)
https://blog.csdn.net/wypblog/article/details/101394517 为了让大家更好地学习交流，过往记忆大数据花了一个周末的时间把 Awesome Big Data 里近 600 个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供 ...
大数据基础---大数据调优汇总
前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减 ...
大数据开源组件汇总
本文除了一些常用的大数据工具，还总结汇总了其他大数据工具，几乎是最全的大数据工具的总结。 如果你想入门大数据，可以对他们进行简单的了解。 如果你想学习自己熟悉意外的大数据工具，可以看这篇文章。 如果你想选择一个适合自己公司的大数据工具，也可以参考这篇 ...
大数据开源框架技术汇总
大数据框架：现阶段用的最多的就hadoop、spark、flinnk。三者都是apache软件基金会的顶级开源项目。Hadoop: Apache Hadoop 软件库是一个允许在计算机集群上通过分布式运算使用简单编程模式处理大型的数据集合Spark: Apache Spark 是一个 ...
大数据开源apache项目汇总
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。使用它实现低延迟可伸缩的实时分析。Pinot 从离线数据源(包括Hadoop和各类文件)和在线数据源(如Kafka)中攫取数据进行分析 ignite是分布式内存网格的一种实现,其基于java平台,具有可持久化,分布式 ...