某公司面试题: 1、阐述数据库的三大范式? 2、Linux 自带的常用命令举例至少20个? 3、Spark 有哪些聚合类的算子,我们应该尽量避免什么类型的算子? 4、Hive 和 HBase 的区别? 5、你了解设计模式吗?写出你知道的设计模式。 6、常见的GC算法 ...
大数据的岗位都有哪些,都是做什么的 这个问题恐怕困扰着很多人,因为一直没有统一的标准,就容易造成这种混乱的情况。搜索某招聘网站,可以看到这样的结果。 其实有时候我都不知道自己是哪一个岗位,感觉都符合,感觉又不符合。 当然这种问题肯定是暂时,近日 大数据从业人员能力要求 正式发布,并于 月 日开始实施,大数据的岗位与从业标准更加的明确了。也相信这会让大数据的发展更加的迅速,规范。 全文pdf请在公众 ...
2021-11-04 13:02 0 323 推荐指数:
某公司面试题: 1、阐述数据库的三大范式? 2、Linux 自带的常用命令举例至少20个? 3、Spark 有哪些聚合类的算子,我们应该尽量避免什么类型的算子? 4、Hive 和 HBase 的区别? 5、你了解设计模式吗?写出你知道的设计模式。 6、常见的GC算法 ...
Linux 1、使用 linux 命令从字符串 apple@163.com 中提取 apple 2、将 apple@163.com 替换为 apple@qq.com 3、配置crontab 定时调度,每小时10分执行 /data/checklog.sh 脚本 数据库 1、Oracle 数据 ...
1、概述 Presto是一个分布式SQL查询引擎,用于查询分布在一个或多个不同数据源中的大数据集。presto可以通过使用分布式查询,可以快速高效的完成海量数据的查询。它是完全基于内存的,所以速度非常快。presto不仅可以查询HDFS,还可以查询RDMBS数据库。 具体的介绍可以参考 ...
ETL 概念 ETL 这个术语来源于数据仓库,ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下,在 BI 项目中 ETL ...
当前的公司是专业从事气象软件开发,从气象大数据对大数据有一些自己的认识。2008年 《自然》杂志提出“大数据”概念 ,而2013为公认的大数据元年。 大数据不仅包含数据,还包括处理数据的工具和技术。一般会经过采集->存储->处理->分析四个阶段,其实处 ...
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及:数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术,应用广泛 ...
1 ...
大数据平台的实施流程。 一、确定管理人员的需求 领导驾驶舱制作的第一步就是搞清楚需求,不同的管 ...