前言: 都说现在是草根为尊的时代,近年来hadoop及spark技术在国内越来越流行。而且渐渐现成为企业的新宠。在DT时代全面来临之前,能提早接触大数据的技术必然能先人一步。本文作为Hadoop系列的第一篇,将HDFS和MapRed两个技术核心用2个实例简单实现一些,希望能供hadoop入门 ...
比较惭愧,博客很久 半年 没更新了。最近也自己搭了个博客,wordpress玩的还不是很熟,感兴趣的朋友可以多多交流哈 地址是:http: www.leocook.org 另外,我建了个QQ群: ,希望对大数据 算法研发 系统架构感兴趣的朋友能够加入进来,大家一起学习,共同进步 进群请说明自己的公司 职业 昵称 。 .应用程序角度进行优化 . .减少不必要的reduce任务若对于同一份数据需要多次 ...
2015-06-27 19:45 0 9046 推荐指数:
前言: 都说现在是草根为尊的时代,近年来hadoop及spark技术在国内越来越流行。而且渐渐现成为企业的新宠。在DT时代全面来临之前,能提早接触大数据的技术必然能先人一步。本文作为Hadoop系列的第一篇,将HDFS和MapRed两个技术核心用2个实例简单实现一些,希望能供hadoop入门 ...
前言 本文大致介绍下Hadoop的一些背景知识,为后面深入学习打下铺垫。 什么是Hadoop Hadoop是一个开源分布式计算平台,它以HDFS文件系统和MapReduce计算框架为核心。 前者能够让用户使用一些廉价的硬件搭建出分布式系统,后者则能 ...
阅读与思考 (一)回想一下你初入大学时对计算机专业的畅想 当初你是如何做出选择计算机专业的决定的? 大概是从小家里父上大人就喜欢捯饬这些电子设备什么的,所以小的时候甚至连自己的玩具都很少玩,就喜 ...
Mysql数据库优化 1. 优化概述 存储层:存储引擎、字段类型选择、范式设计 设计层:索引、缓存、分区(分表) 架构层:多个mysql服务器设置,读写分离(主从模式) sql语句层:多个sql语句都可以达到目的的情况下,要选择性能高、速度快的sql语句 2. ...
1.性能下降SQL慢 执行时间长 等待时间长 查询语句写的烂 索引失效(单值,复合) 关联查询太多join(设计缺陷或不得已的需求) 服务器调优及各个参数设置(缓冲\线程数等) 2.常见通用 ...
1.你对网络专业或者计算机专业了解是怎样? 我对这方面了解不是很深,一开始报考这个专业的原因是我热爱计算机以及网络,不仅仅是游戏;我热爱的,是计算机的运行方式,计算机的操作,计算机本身设计的 ...
【1】我的名字是孟中艺,学号1413042022,班级网络工程141.兴趣爱好是打球,看书,上网。 【2】我的github账号是Yizhongmeng。 注册流程: 我在手机上下载git ...
欢迎使用马克飞象 @(示例笔记本)[马克飞象 | 帮助 | Markdown] ** 马克飞象 ** 是一款专为印象笔记(Evernote)打造的 Markdown 编辑器,通过精心的设计与技术实 ...