hadoop 性能调优与运维
hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量 ...
原文：大厂运维必备技能：PB级数据仓库性能调优
摘要：众所周知，数据量大了之后，性能是大家关注的一点，所以我们在业务开发的时候，特别关注性能，做为一个架构师，必须对性能要了解，要懂。才能设计出高性能的业务系统。 一 GaussDB分布式架构 所谓集群是将多台物理服务器组建成一个逻辑平台，对外展现一个集群平台的形式。 所谓分布式架构是将数据分而治之。以逻辑进行划分，将数据存放在不同的物理节点。 CN：协调节点 负责接收来自应用的访问请求，并向客 ...
2020-09-08 14:57 1 719 推荐指数：
相关推荐
Mysql千万级数据性能调优配置
背景： 笔者的源数据一张表大概7000多万条，数据大小36G，索引6G，加起来表空间有40G+，类似的表有4张，总计2亿多条 数据库mysql，引擎为innodb,版本5.7，服务器内存256G，物理内存几个T，硬件参数杠杠的，然而处理这些数据踩了不少坑，因 为之前没做过这方面的工作 ...
《Oracle DBA工作笔记：运维、数据迁移与性能调优》 PDF 下载
一：下载途径 二：本书图样 三：本书目录 第1篇 数据库运维篇第１章 数据库安装配置1.1 安装前的准备 11.2 安装数据库软件 51.2.1 方法1：OUI安装 61.2.2 方法2：静默安装 81.2.3 方法3：克隆 ...
elasticsearch运维实战之2 - 系统性能调优
elasticsearch性能调优 集群规划 独立的master节点，不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node)，起到负载均衡的作用 Linux系统参数配置 文件句柄 Linux中，每个进程默认打开的最大文件句柄数 ...
PB级大规模Elasticsearch集群运维与调优实践
导语 | 腾讯云Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。文章作者：bellen，腾讯云大数据研发工程师 ...
企业级数据仓库是什么
一、数据仓库定义 简单理解：数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析，帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。 官方定义：数据仓库是一个面向主题的（主题明确）、集成的（从不同的数据源采集到同一个数据源）、随时间变化的（关键数据是可变的可更新的）、但信息 ...
性能调优必备利器之 JMH
if 快还是 switch 快？HashMap 的初始化 size 要不要指定，指定之后性能可以提高多少？各种序列化方法哪个耗时更短？ 无论出自何种原因需要进行性能评估，量化指标总是必要的。 在大部分场合，简单地回答谁快谁慢是远远不够的，如何将程序性能量化呢？ 这就需要我们的主角 JMH ...
Java 性能调优必备利器—JMH
if 快还是 switch 快？HashMap 的初始化 size 要不要指定，指定之后性能可以提高多少？各种序列化方法哪个耗时更短？无论出自何种原因需要进行性能评估，量化指标总是必要的。在大部分场合，简单地回答谁快谁慢是远远不够的，如何将程序性能量化呢？这就需要我们的主角 JMH 登场 ...