前言 最近配合某客户做了一个关于XX系统的压力测试，其实经过和客户的沟通得知，客户此系统上线后压力并不大，但由于应用方前期的表现不是特别尽如人意，对此不太信任，所以要求本次压力测试着重观察。 参与方 我、客户、应用方（我和客户简称甲方，应用方简称乙方） 环境配置 数据库：RAC一体机集群 ...

概述 在我们学习ETL测试之前，先了解下business intelligence(即BI)和数据仓库。 什么是BI？ BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或商业数据或业务数据等）进行有效的整合，快速准确 ...

一台Redis服务器，4核，16G内存且没有任何硬件上的问题。持续高压运行了大约3个月，保存了大约14G的数据，设置了比较完备的Save参数。而就是这台主机，在一次重起之后，丢失了大量的数据，14G的数据最终只恢复了几百兆而已。 正常情况下，像Redis这样定期回写磁盘的内存数据库，丢失几个数据 ...

2,...) select 值1, 值2,.... from table_name2 次插入多次数 ...

1. 什么是数据仓库？ 在wiki中对数据仓库的解释是： 　　在计算中，数据仓库（DW或DWH），也称为企业数据仓库（EDW），是用于报告和数据分析的系统，被认为是商业智能的核心组成部分 DW是来自一个或多个不同来源的集成数据的中央存储库。 他们将当前和历史数据存储在一个地方，用于为整个企业 ...

声明： 1. 本栏是个人总结，如有错漏，请指正 2. 数据仓库的构建目前业界只有指导方案，并没有统一的标准，每个公司都可以按照实际情况进行设计 3. 本总结参考《阿里巴巴大数据之路》、《数据仓库工具箱》 产生背景 ...

第一章 数仓搭建-ODS层 1）保持数据原貌不做任何修改，起到备份数据的作用。 2）数据采用LZO压缩，减少磁盘存储空间。100G数据可以压缩到10G以内。 3）创建分区表，防止后续的全表扫描，在企业开发中大量使用分区表。 4）创建外部表。在企业开发中，除了自己用的临时表，创建内部表外 ...

1、 hive是什么？ Hive是基于 Hadoop 的一个数据仓库工具： 1. hive本身不提供数据存储功能，使用HDFS做数据存储； 2. hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序； 3. hive也不提 ...