大数据关键技术（一）——数据采集 - 知乎 https://zhuanlan.zhihu.com/p/43988449 数据采集_360百科 https://baike.so.com/doc/6150506-6363700.html DAq_百度百科 https ...

大数据隐私保护关键技术：数据脱敏、匿名化、差分隐私和同态加密 2020-04-10 10:24·闪念基因 古人云，“鱼，我所欲也，熊掌亦我所欲也；二者不可得兼”。大数据时代，数据挖掘诚可贵，例如各类APP通过收集我们的行为信息进行购买商品与美食预测和推荐，提高用户体验和提升效率；然而，隐私 ...

　　大数据关键技术浅谈之大数据存储及管理 　　 　　数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。自磁盘系统问世以来，数据存储已经走过了近百年的历程。 　　 　　对于存储，计算机就像我们的大脑一样，两者都可以拥有短期记忆和长期记忆，例如大脑 ...

文章大纲 一、大数据概念介绍二、大数据处理逻辑三、数据库处理关键技术四、数据相关从业者和角色五、参考文章 一、大数据概念介绍 https://www.jianshu.com/p/5b488c39af80 二、大数据处理逻辑 ...

一个完整的大数据项目架构可以分为数据采集层，数据存储层，数据计算层，数据接入层和数据应用层、基础服务层 。 根据大数据项目的分层架构的自底向上的顺序（数据流转顺序），应该关注：数据的采集与存储、大数据计算、大数据监控。 与传统项目开发相比，大数据项目开发具有如下特点 1）数据量大。带来的问题 ...

大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 它可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。 一、flume结构 Flume分布式系统中最核心 ...

大数据之数据采集 大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。 在数据采集层，主要分为 日志采集 和 数据源数据同步。 日志采集 根据产品的类型 又有可以分为： - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器 ...