【原创】大数据基础之Hadoop（3）yarn数据收集与监控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
原文：大数据之数据收集
大数据之数据收集 数据收集是大数据的基础。散落在各处的数据，只有经过了数据收集，才会集中起来，提供了后续处理的可能。从大数据技术发展以来，出现了很多数据收集的技术框架，本文试图在若干流行的数据收集解决方案上加以叙述。 评估一个技术框架是否适合某个业务场景，通常需要考虑多个方面。 l最基本的，考虑接口是否适配，收集socket数据了还是log数据，输出到哪里 l考虑技术框架的性能，是否满足业务的需求 ...
2020-04-02 17:17 0 599 推荐指数：
相关推荐
大数据3-Flume收集数据+落地HDFS
flume 日志收集系统 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 ...
大数据之presto
1、概述 Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。presto可以通过使用分布式查询，可以快速高效的完成海量数据的查询。它是完全基于内存的，所以速度非常快。presto不仅可以查询HDFS，还可以查询RDMBS数据库。 具体的介绍可以参考 ...
大数据 什么是 ETL
ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL ...
我对大数据的认识
当前的公司是专业从事气象软件开发，从气象大数据对大数据有一些自己的认识。2008年 《自然》杂志提出“大数据”概念 ，而2013为公认的大数据元年。 大数据不仅包含数据，还包括处理数据的工具和技术。一般会经过采集->存储->处理->分析四个阶段，其实处 ...
大数据技术
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...
大数据
1 ...
大数据
1.为什么产生大数据技术 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师 ...