前言: 都說現在是草根為尊的時代,近年來hadoop及spark技術在國內越來越流行。而且漸漸現成為企業的新寵。在DT時代全面來臨之前,能提早接觸大數據的技術必然能先人一步。本文作為Hadoop系列的第一篇,將HDFS和MapRed兩個技術核心用2個實例簡單實現一些,希望能供hadoop入門 ...
比較慚愧,博客很久 半年 沒更新了。最近也自己搭了個博客,wordpress玩的還不是很熟,感興趣的朋友可以多多交流哈 地址是:http: www.leocook.org 另外,我建了個QQ群: ,希望對大數據 算法研發 系統架構感興趣的朋友能夠加入進來,大家一起學習,共同進步 進群請說明自己的公司 職業 昵稱 。 .應用程序角度進行優化 . .減少不必要的reduce任務若對於同一份數據需要多次 ...
2015-06-27 19:45 0 9046 推薦指數:
前言: 都說現在是草根為尊的時代,近年來hadoop及spark技術在國內越來越流行。而且漸漸現成為企業的新寵。在DT時代全面來臨之前,能提早接觸大數據的技術必然能先人一步。本文作為Hadoop系列的第一篇,將HDFS和MapRed兩個技術核心用2個實例簡單實現一些,希望能供hadoop入門 ...
前言 本文大致介紹下Hadoop的一些背景知識,為后面深入學習打下鋪墊。 什么是Hadoop Hadoop是一個開源分布式計算平台,它以HDFS文件系統和MapReduce計算框架為核心。 前者能夠讓用戶使用一些廉價的硬件搭建出分布式系統,后者則能 ...
閱讀與思考 (一)回想一下你初入大學時對計算機專業的暢想 當初你是如何做出選擇計算機專業的決定的? 大概是從小家里父上大人就喜歡捯飭這些電子設備什么的,所以小的時候甚至連自己的玩具都很少玩,就喜 ...
Mysql數據庫優化 1. 優化概述 存儲層:存儲引擎、字段類型選擇、范式設計 設計層:索引、緩存、分區(分表) 架構層:多個mysql服務器設置,讀寫分離(主從模式) sql語句層:多個sql語句都可以達到目的的情況下,要選擇性能高、速度快的sql語句 2. ...
1.性能下降SQL慢 執行時間長 等待時間長 查詢語句寫的爛 索引失效(單值,復合) 關聯查詢太多join(設計缺陷或不得已的需求) 服務器調優及各個參數設置(緩沖\線程數等) 2.常見通用 ...
1.你對網絡專業或者計算機專業了解是怎樣? 我對這方面了解不是很深,一開始報考這個專業的原因是我熱愛計算機以及網絡,不僅僅是游戲;我熱愛的,是計算機的運行方式,計算機的操作,計算機本身設計的 ...
【1】我的名字是孟中藝,學號1413042022,班級網絡工程141.興趣愛好是打球,看書,上網。 【2】我的github賬號是Yizhongmeng。 注冊流程: 我在手機上下載git ...
歡迎使用馬克飛象 @(示例筆記本)[馬克飛象 | 幫助 | Markdown] ** 馬克飛象 ** 是一款專為印象筆記(Evernote)打造的 Markdown 編輯器,通過精心的設計與技術實 ...