大数据整理——数据集成
数据集成 1.背景： 因业务需要，事业单位内部普遍构建了多个异构的信息系统，这些信息系统中管理的数据源彼此独立、相互封闭，形成“信息孤岛”无法形成快速有效的共享。 2.定义： 数据集成把一组自治、异构数据源中的数据进行逻辑或物理上的集中，并对外提供统一的访问接口，从而实现全面 ...
原文：大数据框架整理
大数据离线部分 HDFS ：HDFS的架构部分及工作原理 NameNode：负责管理元素据，将信息保存在内存中 DataNode：保存数据，以块的形式保存。启动后需要定时的向NameNode发送心跳，报告自身存储的块信息 ：HDFS的上传过程 ：HDFS的下载 ：NameNode的元数据安全机制 以记日志的形式将每一个操作写在磁盘的日志文件中，然后借助SecondaryNameNode的check ...
2017-01-06 12:36 0 1854 推荐指数：
相关推荐
大数据知识梳理（整理中。。。）
大数据知识梳理（整理中。。。） 一、大数据概述 大数据的特征（4V）： 1、Volume，数据量大 2、Variety，数据类型多 大数据由结构化和非结构化数据组成： 10%的结构化数据，存储在数据库中； 90%的非结构化数据，与人类信息密切相关。 3、Velocity，处理速度 ...
大数据开发学习路线整理
参考博客：做了五年大数据开发工程师总结的的大数据学习路线 大数据的4V特征： 1. 数据量大，TB->PB 2. 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 3. 商业价值高，但是这种价值需要 ...
大数据常见问题整理
讲述HDFS上传文件和读文件的流程 HDFS 上传流程 过程解析：详解这里描述的 是一个256M的文件上传过程 ① 由客户端 向 NameNode节点节点 发出请求②NameNode 向Client返回可以可以存数据的 DataNode 这里遵循 机架感应 原则③客户端 ...
大数据面试题整理
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候 ...
大数据开源框架技术汇总
大数据框架：现阶段用的最多的就hadoop、spark、flinnk。三者都是apache软件基金会的顶级开源项目。Hadoop: Apache Hadoop 软件库是一个允许在计算机集群上通过分布式运算使用简单编程模式处理大型的数据集合Spark: Apache Spark 是一个 ...
大数据 常用框架特点
一、大数据框架： Impala：hadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。 Spark：各种格式、各种计算（机器学习、图形计算）、可sql、可代码 ...
【原创】大数据基础之调度框架
常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 ...