大数据算法
大数据算法 # 参考：http://blog.csdn.net/hguisu/article/details/7856239 http://www.cnblogs.com/allensun/archive/2011/02/16/1956532.html 程序员代码面试指南-第六章 ...
原文：大数据笔记-外存算法
. 外存存储结构与外存算法： 分层存储： 做法： 可扩展性问题：若程序分散地访问磁盘上的数据，即使是好的操作系统也无法利用数据块存取优势 基本界限： 队列和堆栈： . 外存算法示例：外存排序算法 算法的分析 ： 多路归并 M B路 以块为单位进行调度 .首先从磁盘里把磁盘块放进内存，在内存中进行排序，每次放M B块，一共放N B块。做完后，外存中已经是在大小为M B的区域里 分别排好序的数据。再 ...
2018-12-10 22:48 0 681 推荐指数：
相关推荐
BitMap算法知识笔记以及在大数据方向的使用
概述 所谓的BitMap算法就是位图算法，简单说就是用一个bit位来标记某个元素所对应的value，而key即是该元素，由于BitMap使用了bit位来存储数据，因此可以大大节省存储空间，这是很常用的数据结构，比如用于Bloom Filter中、用于无重复整数的排序等等。bitmap通常基于数组 ...
大数据算法题（一）
分类：海量数据处理面试题 1.海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到ip是32位的，最多有个2^32个ip。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，在找出每个 ...
大数据常用基本算法
1、冒泡排序 冒泡排序（Bubble Sort），是一种计算机科学领域的较简单的排序算法 它重复地走访过要排序的元素列，依次比较两个相邻的元素，如果他们的顺序（如从大 到小、首字母从A到Z）错误就把他们交换过来。走访元素的工作是重复地进行直到没有 相邻元素需要交换，也就是说该元素已经排序 ...
书籍-大数据技术入门笔记
0.前沿 1.大数据时代 2.大数据软件架构 MapReduce进程示例 PS:jobTracker:是主节点，只有一个，管理所有的作业。老板 tasktracker:负责maptask、reducetask ...
【大数据】Hive学习笔记
第1章 Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 ...
【大数据】SparkSql学习笔记
第1章 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和 DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成 ...